File tree Expand file tree Collapse file tree 1 file changed +3
-4
lines changed Expand file tree Collapse file tree 1 file changed +3
-4
lines changed Original file line number Diff line number Diff line change 1
- # 端上语义理解压缩方案
1
+ # ERNIE 3.0 Tiny
2
2
3
3
** 目录**
4
4
* [ ERNIE 3.0 Tiny 介绍] ( #模型介绍 )
15
15
* [ ⚡️ FastDeploy 部署] ( #FastDeploy部署 )
16
16
* [ 参考文献] ( #参考文献 )
17
17
18
-
19
18
本项目开源了 ** ERNIE 3.0 Tiny** 预训练模型及 ** 端上语义理解压缩方案** 。
20
19
21
20
- ** ERNIE 3.0 Tiny** 百度 ERNIE 使用 ERNIE-Tiny 系列的知识蒸馏技术,将 ERNIE 3.0 Titan 大模型的能力传递给小模型,产出并开源了易于部署的 ERNIE 3.0 Tiny 系列预训练模型,刷新了中文小模型的 SOTA 成绩。在这些较少参数量的 ERNIE 3.0 Tiny 系列模型中,有一部分可以直接部署在 CPU 上。
@@ -70,7 +69,7 @@ ERNIE 3.0 Tiny v1 通过在线蒸馏技术将预训练大模型压缩成预训
70
69
71
70
其中,v2 版本开源了 6 种结构的模型,v1 版本开源了前 5 种结构的模型。
72
71
73
- ERNIE 3.0 Tiny 模型可以用于文本分类、文本推理、实体抽取、问答等各种 NLU 任务中。下表是 ERNIE 3.0 Tiny 模型在 in-domain、out-domain 和 low-resourced 三类数据集上的效果。其中 CLUE 指标可以通过 [ PaddleNLP CLUE Benchmark] ( ../../../ examples/benchmark/clue ) 复现。
72
+ ERNIE 3.0 Tiny 模型可以用于文本分类、文本推理、实体抽取、问答等各种 NLU 任务中。下表是 ERNIE 3.0 Tiny 模型在 in-domain、out-domain 和 low-resourced 三类数据集上的效果。其中 CLUE 指标可以通过 [ PaddleNLP CLUE Benchmark] ( ../../examples/benchmark/clue ) 复现。
74
73
75
74
<table >
76
75
<tr>
@@ -570,7 +569,7 @@ python run_eval.py \
570
569
571
570
尽管 ERNIE 3.0 Tiny 已提供了效果不错的轻量级模型可以微调后直接使用,但在本项目中,微调后的模型体积是 69.0 MB,内存占用达到 115.72MB,部署至移动端还是存在一定困难。因此当模型有部署上线的需求,想要进一步压缩模型体积,降低推理时延,可使用本项目的 ** 端上语义理解压缩方案** 对上一步微调后的模型进行压缩。
572
571
573
- 为了方便实现,[ PaddleNLP 模型压缩 API] ( ../../../ docs/compression.md ) 已提供了以下压缩功能。
572
+ 为了方便实现,[ PaddleNLP 模型压缩 API] ( ../../docs/compression.md ) 已提供了以下压缩功能。
574
573
575
574
端上模型压缩流程如下图所示:
576
575
You can’t perform that action at this time.
0 commit comments