File tree Expand file tree Collapse file tree 1 file changed +2
-2
lines changed Expand file tree Collapse file tree 1 file changed +2
-2
lines changed Original file line number Diff line number Diff line change @@ -569,12 +569,12 @@ python run_eval.py \
569
569
570
570
尽管 ERNIE 3.0 Tiny 已提供了效果不错的轻量级模型可以微调后直接使用,但在本项目中,微调后的模型体积是 69.0 MB,内存占用达到 115.72MB,部署至移动端还是存在一定困难。因此当模型有部署上线的需求,想要进一步压缩模型体积,降低推理时延,可使用本项目的 ** 端上语义理解压缩方案** 对上一步微调后的模型进行压缩。
571
571
572
- 为了方便实现,[ PaddleNLP 模型压缩 API] ( ../../docs/compression.md ) 已提供了以下压缩功能。
572
+ 为了方便实现,[ PaddleNLP 模型压缩 API] ( ../../docs/compression.md ) 已提供了以下压缩功能,模型压缩API主要是依赖于 [ PaddleSlim ] ( https://github.com/PaddlePaddle/PaddleSlim ) 模型压缩能力,PaddleSlim是一个专注于深度学习模型压缩的工具库,提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略,帮助开发者快速实现模型的小型化,欢迎大家使用 。
573
573
574
574
端上模型压缩流程如下图所示:
575
575
576
576
<p align =" center " >
577
- <img width="1000" alt="image" src="https://user-images.githubusercontent.com/26483581/211022166-0558371b-c5b2-4a7a-a019-674f0a321ccf .png" title="compression plan">
577
+ <img width="1000" alt="image" src="https://user-images.githubusercontent.com/16698950/212007542-b651c57a-9e4e-46c2-8724-cd7a6a20973f .png" title="compression plan">
578
578
</p >
579
579
<br >
580
580
You can’t perform that action at this time.
0 commit comments