File tree Expand file tree Collapse file tree 1 file changed +3
-2
lines changed
docs/deploy/paddlelite/slim Expand file tree Collapse file tree 1 file changed +3
-2
lines changed Original file line number Diff line number Diff line change 22为了更好地满足端侧部署场景下,低内存带宽、低功耗、低计算资源占用以及低模型存储等需求,PaddleX通过集成PaddleSlim实现模型量化和裁剪,可提升PaddleLite端侧部署性能。
33
44## 模型量化
5+
56### 原理介绍
67定点量化使用更少的比特数(如8-bit、3-bit、2-bit等)表示神经网络的权重和激活值,从而加速模型推理速度。PaddleX提供了训练后量化技术,其原理可参见[ 训练后量化原理] ( https://paddlepaddle.github.io/PaddleSlim/algo/algo.html#id14 ) ,该量化使用KL散度确定量化比例因子,将FP32模型转成INT8模型,且不需要重新训练,可以快速得到量化模型。
78
89### 使用PaddleX量化模型
9- PaddleX提供了` export_quant_model ` 接口,让用户以接口的形式完成模型以post_quantization方式量化并导出。点击查看[ 量化接口使用文档] ( ../../apis/slim.md ) 。
10+ PaddleX提供了` export_quant_model ` 接口,让用户以接口的形式完成模型以post_quantization方式量化并导出。点击查看[ 量化接口使用文档] ( ../../apis/slim.html ) 。
1011
1112### 量化性能对比
1213模型量化后的性能对比指标请查阅[ PaddleSlim模型库] ( https://paddlepaddle.github.io/PaddleSlim/model_zoo.html )
@@ -35,7 +36,7 @@ PaddleX提供了两种方式:
3536> 注:各模型内置的裁剪方案分别依据的数据集为: 图像分类——ImageNet数据集、目标检测——PascalVOC数据集、语义分割——CityScape数据集
3637
3738### 裁剪实验
38- 基于上述两种方案,我们在PaddleX上使用样例数据进行了实验,在Tesla P40上实验指标如下所示,使用方法见[ 使用教程-模型压缩] ( ../../../../tutorials/compress/README.md )
39+ 基于上述两种方案,我们在PaddleX上使用样例数据进行了实验,在Tesla P40上实验指标如下所示,使用方法见[ 使用教程-模型压缩] ( ../../../../tutorials/compress/README.html )
3940
4041#### 图像分类
4142实验背景:使用MobileNetV2模型,数据集为蔬菜分类示例数据
You can’t perform that action at this time.
0 commit comments