代码拉取完成，页面将自动刷新
运行该示例前请安装Paddle1.6或更高版本和PaddleSlim
该示例使用PaddleSlim提供的量化压缩API对分割模型进行压缩。 在阅读该示例前，建议您先了解以下内容：
可按照PaddleSlim使用文档中的步骤安装PaddleSlim。
请按照分割库的教程下载数据集并放到对应位置。
在分割库根目录下运行以下命令：
mkdir pretrain
cd pretrain
wget https://paddleseg.bj.bcebos.com/models/mobilenet_cityscapes.tgz
tar xf mobilenet_cityscapes.tgz
config = { 'weight_quantize_type': 'channel_wise_abs_max', 'activation_quantize_type': 'moving_average_abs_max', 'quantize_op_types': ['depthwise_conv2d', 'mul', 'conv2d'], 'not_quant_pattern': ['last_conv'] }
如何配置以及含义请参考PaddleSlim 量化API。
使用PaddleSlim quant_aware API在Program中插入量化和反量化OP。
compiled_train_prog = quant_aware(train_prog, place, config, for_test=False)
因为量化要对Program做修改，所以一些会修改Program的训练策略需要关闭。sync_batch_norm 和量化多卡训练同时使用时会出错, 需要将其关闭。
build_strategy.fuse_all_reduce_ops = False
build_strategy.sync_batch_norm = False
step1: 设置gpu卡
export CUDA_VISIBLE_DEVICES=0
step2: 将pdseg文件夹加到系统路径
分割库根目录下运行以下命令
export PYTHONPATH=$PYTHONPATH:./pdseg
step2: 开始训练
在分割库根目录下运行以下命令进行训练。
python -u ./slim/quantization/train_quant.py --log_steps 10 --not_quant_pattern last_conv --cfg configs/deeplabv3p_mobilenetv2_cityscapes.yaml --use_gpu --use_mpio --do_eval \
TRAIN.PRETRAINED_MODEL_DIR "./pretrain/mobilenet_cityscapes/" \
TRAIN.MODEL_SAVE_DIR "./snapshots/mobilenetv2_quant" \
MODEL.DEEPLAB.ENCODER_WITH_ASPP False \
MODEL.DEEPLAB.ENABLE_DECODER False \
TRAIN.SYNC_BATCH_NORM False \
SOLVER.LR 0.0001 \
TRAIN.SNAPSHOT_EPOCH 1 \
SOLVER.NUM_EPOCHS 30 \
BATCH_SIZE 16 \
PaddleSlim 量化API文档中介绍了paddleslim.quant.quant_aware和paddleslim.quant.convert两个接口。
paddleslim.quant.quant_aware 作用是在网络中的conv2d、depthwise_conv2d、mul等算子的各个输入前插入连续的量化op和反量化op，并改变相应反向算子的某些输入。示例图如下：
图1：应用 paddleslim.quant.quant_aware 后的结果
在脚本中边训练边测试得到的测试精度是基于图1中的网络结构进行的。
paddleslim.quant.convert 主要用于改变Program中量化op和反量化op的顺序，即将类似图1中的量化op和反量化op顺序改变为图2中的布局。除此之外，paddleslim.quant.convert 还会将conv2d、depthwise_conv2d、mul等算子参数变为量化后的int8_t范围内的值(但数据类型仍为float32)，示例如图2：
图2：paddleslim.quant.convert 后的结果
所以在调用 paddleslim.quant.convert 之后，才得到最终的量化模型。此模型可使用PaddleLite进行加载预测，可参见教程Paddle-Lite如何加载运行量化模型。
使用脚本slim/quantization/eval_quant.py进行评估。
paddleslim.quant.quant_aware 插入量化和反量化op。paddleslim.quant.convert 改变op顺序，得到最终量化模型进行评估。评估命令：
分割库根目录下运行
python -u ./slim/quantization/eval_quant.py --cfg configs/deeplabv3p_mobilenetv2_cityscapes.yaml --use_gpu --not_quant_pattern last_conv --use_mpio --convert \
TEST.TEST_MODEL "./snapshots/mobilenetv2_quant/best_model" \
MODEL.DEEPLAB.ENCODER_WITH_ASPP False \
MODEL.DEEPLAB.ENABLE_DECODER False \
TRAIN.SYNC_BATCH_NORM False \
BATCH_SIZE 16 \
使用脚本slim/quantization/export_model.py导出模型。
导出命令：
分割库根目录下运行
python -u ./slim/quantization/export_model.py --not_quant_pattern last_conv --cfg configs/deeplabv3p_mobilenetv2_cityscapes.yaml \
TEST.TEST_MODEL "./snapshots/mobilenetv2_quant/best_model" \
MODEL.DEEPLAB.ENCODER_WITH_ASPP False \
MODEL.DEEPLAB.ENABLE_DECODER False \
TRAIN.SYNC_BATCH_NORM False \
SLIM.PREPROCESS True \
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手
