add ACT mobilenetv1 demo (PaddlePaddle#1109)

Author: RachelXu7

demo/auto_compression/image_classification/README.md

@@ -0,0 +1,99 @@
+# 图像分类模型自动压缩示例
+
+目录：
+- [1. 简介](#1简介)
+- [2. Benchmark](#2Benchmark)
+- [3. 自动压缩流程](#自动压缩流程)
+  - [3.1 准备环境](#31-准备准备)
+  - [3.2 准备数据集](#32-准备数据集)
+  - [3.3 准备预测模型](#33-准备预测模型)
+  - [3.4 自动压缩并产出模型](#34-自动压缩并产出模型)
+- [4. 预测部署](#4预测部署)
+- [5. FAQ](5FAQ)
+
+
+## 1. 简介
+本示例将以图像分类模型MobileNetV1为例，介绍如何使用PaddleClas中Inference部署模型进行自动压缩。本示例使用的自动压缩策略为量化训练和蒸馏。
+
+## 2. Benchmark
+- MobileNetV1模型
+
+| 模型 | 策略 | Top-1 Acc | 耗时(ms) threads=4 | 
+|:------:|:------:|:------:|:------:|
+| MobileNetV1 | Base模型 | 70.90 | 39.041 | 
+| MobileNetV1 | 量化+蒸馏 | 70.49 | 29.238|
+
+- 测试环境：`SDM710 2*A75(2.2GHz) 6*A55(1.7GHz)`
+
+## 3. 自动压缩流程
+
+#### 3.1 准备环境
+
+- python >= 3.6
+- PaddlePaddle >= 2.2 （可从[Paddle官网](https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html)下载安装）
+- PaddleSlim >= 2.3 或者适当develop版本
+
+安装paddlepaddle：
+```shell
+# CPU
+pip install paddlepaddle
+# GPU
+pip install paddlepaddle-gpu
+```
+
+安装paddleslim：
+```shell
+pip install paddleslim
+```
+
+#### 3.2 准备数据集
+本案例默认以ImageNet1k数据进行自动压缩实验，如数据集为非ImageNet1k格式数据， 请参考[PaddleClas数据准备文档](https://github.com/PaddlePaddle/PaddleClas/blob/release/2.3/docs/zh_CN/data_preparation/classification_dataset.md)。
+
+
+#### 3.3 准备预测模型
+预测模型的格式为：`model.pdmodel` 和 `model.pdiparams`两个，带`pdmodel`的是模型文件，带`pdiparams`后缀的是权重文件。
+
+注：其他像`__model__`和`__params__`分别对应`model.pdmodel` 和 `model.pdiparams`文件。
+
+可在[PaddleClas预训练模型库](https://github.com/PaddlePaddle/PaddleClas/blob/release/2.3/docs/zh_CN/algorithm_introduction/ImageNet_models.md)中直接获取Inference模型，具体可参考下方获取MobileNetV1模型示例：
+
+```shell
+wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/MobileNetV1_infer.tar
+tar -zxvf MobileNetV1_infer.tar
+```
+也可根据[PaddleClas文档](https://github.com/PaddlePaddle/PaddleClas/blob/release/2.3/docs/zh_CN/inference_deployment/export_model.md)导出Inference模型。
+
+#### 3.4 自动压缩并产出模型
+
+蒸馏量化自动压缩示例通过run.py脚本启动，会使用接口```paddleslim.auto_compression.AutoCompression```对模型进行量化训练和蒸馏。配置config文件中模型路径、数据集路径、蒸馏、量化和训练等部分的参数，配置完成后便可开始自动压缩。
+
+```shell
+# 单卡启动
+python run.py \
+    --model_dir='MobileNetV1_infer' \
+    --model_filename='inference.pdmodel' \
+    --params_filename='inference.pdiparams' \
+    --save_dir='./save_quant_mobilev1/' \
+    --batch_size=128 \
+    --config_path='./configs/mobilev1.yaml'\
+    --data_dir='ILSVRC2012'
+    
+# 多卡启动
+python -m paddle.distributed.launch run.py \
+    --model_dir='MobileNetV1_infer' \
+    --model_filename='inference.pdmodel' \
+    --params_filename='inference.pdiparams' \
+    --save_dir='./save_quant_mobilev1/' \
+    --batch_size=128 \
+    --config_path='./configs/mobilev1.yaml'\
+    --data_dir='ILSVRC2012' 
+```
+
+
+## 4.预测部署
+
+- [Paddle Inference Python部署](https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.5/docs/deployment/inference/python_inference.md)
+- [Paddle Inference C++部署](https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.5/docs/deployment/inference/cpp_inference.md)
+- [Paddle Lite部署](https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.5/docs/deployment/lite/lite.md)
+
+## 5.FAQ

demo/auto_compression/image_classification/configs/mobilev1.yaml

@@ -0,0 +1,29 @@
+Distillation:
+  distill_lambda: 1.0
+  distill_loss: l2_loss
+  distill_node_pair:
+  - teacher_softmax_0.tmp_0
+  - softmax_0.tmp_0
+  merge_feed: true
+  teacher_model_dir: MobileNetV1_infer
+  teacher_model_filename: inference.pdmodel
+  teacher_params_filename: inference.pdiparams
+Quantization:
+  activation_bits: 8
+  is_full_quantize: false
+  activation_quantize_type: range_abs_max
+  weight_quantize_type: abs_max
+  not_quant_pattern:
+  - skip_quant
+  quantize_op_types:
+  - conv2d
+  - depthwise_conv2d
+  weight_bits: 8
+TrainConfig:
+  epochs: 1
+  eval_iter: 500
+  learning_rate: 0.004
+  optimizer: Momentum
+  optim_args:
+    weight_decay: 0.00003
+  origin_metric: 0.70898

demo/auto_compression/image_classification/run.py

@@ -1,6 +1,6 @@
 import os
 import sys
-sys.path[0] = os.path.join(os.path.dirname("__file__"), os.path.pardir)
+sys.path[0] = os.path.join(os.path.dirname("__file__"), os.path.pardir, os.path.pardir)
 import argparse
 import functools
 from functools import partial

demo/auto_compression/image_classification/run.sh

@@ -0,0 +1,20 @@
+# 单卡启动
+python run.py \
+    --model_dir='MobileNetV1_infer' \
+    --model_filename='inference.pdmodel' \
+    --params_filename='inference.pdiparams' \
+    --save_dir='./save_quant_mobilev1/' \
+    --batch_size=128 \
+    --config_path='./configs/mobilev1.yaml'\
+    --data_dir='ILSVRC2012'
+    
+# 多卡启动    
+# python -m paddle.distributed.launch run.py \
+#     --model_dir='MobileNetV1_infer' \
+#     --model_filename='inference.pdmodel' \
+#     --params_filename='inference.pdiparams' \
+#     --save_dir='./save_quant_mobilev1/' \
+#     --batch_size=128 \
+#     --config_path='./configs/mobilev1.yaml'\
+#     --data_dir='/workspace/dataset/ILSVRC2012/' 
+