add the ernie pretrain config (#3962)

* add the model zoo for the ernie 3.0

* temp add

* add the qa prediction

* add the config for the ernie

* add the predictor for the paddlenlp

* add the server for the token、seq

* add the qa handler

* add the qa server

* update the readme for the ernie 3.0

* update the code for the paddlenlp

* update the code for qa server

* update the code for the trition serving

* add the function for the compress

* update the code for the paddlenlp

* update the code for the token

* update the code for token cls

* update the code for ernie model

Author: wawltor

model_zoo/ernie-3.0/README.md

@@ -4,7 +4,11 @@
    * [模型介绍](#模型介绍)
        * [在线蒸馏技术](#在线蒸馏技术)
    * [模型效果](#模型效果)
-   * [微调](#微调)
+   * [开始运行](#开始运行)
+       * [环境要求](#环境要求)
+       * [数据准备](#数据准备)
+   * [模型训练](#模型训练)
+   * [模型预测](#模型预测)
    * [模型压缩](#模型压缩)
        * [环境依赖](#环境依赖)
        * [模型压缩 API 使用](#模型压缩API使用)
@@ -17,20 +21,17 @@
    * [部署](#部署)
        * [Python 部署](#Python部署)
        * [服务化部署](#服务化部署)
-       * [Paddle2ONNX 部署](#Paddle2ONNX部署)
    * [Notebook教程](#Notebook教程)
    * [参考文献](#参考文献)
 
 <a name="模型介绍"></a>
 
 ## 模型介绍
 
-本次开源的模型是在文心大模型ERNIE 3.0 基础上通过**在线蒸馏技术**得到的轻量级模型，模型结构与 ERNIE 2.0 保持一致，相比 ERNIE 2.0 具有更强的中文效果。
+本次开源的模型是在文心大模型ERNIE 3.0, 文心大模型ERNIE 3.0 作为百亿参数知识增强的大模型，除了从海量文本数据中学习词汇、结构、语义等知识外，还从大规模知识图谱中学习。 基础上通过**在线蒸馏技术**得到的轻量级模型，模型结构与 ERNIE 2.0 保持一致，相比 ERNIE 2.0 具有更强的中文效果。
 
 相关技术详解可参考文章[《解析全球最大中文单体模型鹏城-百度·文心技术细节》](https://www.jiqizhixin.com/articles/2021-12-08-9)
 
-<a name="在线蒸馏技术"></a>
-
 ### 在线蒸馏技术
 
 在线蒸馏技术在模型学习的过程中周期性地将知识信号传递给若干个学生模型同时训练，从而在蒸馏阶段一次性产出多种尺寸的学生模型。相对传统蒸馏技术，该技术极大节省了因大模型额外蒸馏计算以及多个学生的重复知识传递带来的算力消耗。
@@ -47,7 +48,8 @@
 
 <a name="模型效果"></a>
 
-## 模型效果
+
+### 模型效果
 
 本项目开源 **ERNIE 3.0 _Base_** 、**ERNIE 3.0 _Medium_** 、 **ERNIE 3.0 _Mini_** 、 **ERNIE 3.0 _Micro_** 、 **ERNIE 3.0 _Nano_** 五个模型：
 
@@ -1277,45 +1279,65 @@ batch_size=32 和 1，预测精度为 FP16 时，GPU 下的效果-时延图：
 <br />
 
 
-以下是本项目目录结构及说明：
-
-```shell
+<a name="代码结构"></a>
+## 代码结构
+以下是本项目代码结构
+```text
 .
 ├── run_seq_cls.py               # 分类任务的微调脚本
 ├── run_token_cls.py             # 序列标注任务的微调脚本
 ├── run_qa.py                    # 阅读理解任务的微调脚本
 ├── compress_seq_cls.py          # 分类任务的压缩脚本
 ├── compress_token_cls.py        # 序列标注任务的压缩脚本
 ├── compress_qa.py               # 阅读理解任务的压缩脚本
-├── config.yml                   # 压缩配置文件
-├── infer.py                     # 支持 CLUE 分类、CLUE CMRC2018、MSRA_NER 任务的预测脚本
+├── utils.py                     # 训练工具脚本
+├── configs                      # 压缩配置文件夹
+│ └── default.yml                # 默认配置文件
 ├── deploy                       # 部署目录
-│ └── python
-│   └── ernie_predictor.py
+│ └── predictor                  # onnx离线部署
 │   └── infer_cpu.py
 │   └── infer_gpu.py
 │   └── README.md
-│ └── serving
-│   └── seq_cls_rpc_client.py
-│   └── seq_cls_service.py
-│   └── seq_cls_config.yml
-│   └── token_cls_rpc_client.py
-│   └── token_cls_service.py
-│   └── token_cls_config.yml
+│   └── requirements_cpu.txt
+│   └── requirements_gpu.txt
+│ └── simple_serving            # 基于PaddleNLP SimpleServing 服务化部署
+│   └── client_qa.py
+│   └── client_seq_cls.py
+│   └── client_token_cls.py
 │   └── README.md
-│ └── paddle2onnx
-│   └── ernie_predictor.py
-│   └── infer.py
+│   └── server_qa.py
+│   └── server_seq_cls.py
+│   └── server_token_cls.py
+│ └── triton_serving           # 基于Triton Serving 服务化部署
+│   └── models
 │   └── README.md
-└── README.md                    # 文档，本文件
+│   └── seq_cls_grpc_client.py
+│   └── token_cls_grpc_client.py
+└── README.md                    # 文档
 
-```
+<a name="开始运行"></a>
+## 开始运行
+下面提供以CLUE数据集进行模型微调相关训练、预测、部署的代码, CLUE数据集是中文语言理解测评基准数据集，包括了文本分类、文本推理、实体抽取、问答等相关数据集。
 
-<a name="微调"></a>
+### 环境要求
+- python >= 3.7
+- paddlepaddle >= 2.3
+- paddlenlp >= 2.4
+- paddleslim >= 2.4
 
-## 微调
+### 数据准备
+此次微调数据主要是以CLUE benchmark 数据集为主, CLUE benchmark 包括了文本分类、实体抽取、问答三大类数据集，而 CLUE benchmark 数据目前已经集成在PaddleNLP的datasets里面，可以通过下面的方式来使用数据集
+
+```python
+from paddlenlp.datasets import load_dataset
+
+# Load the clue Tnews dataset
+train_ds, test_ds = load_dataset('clue', 'tnews', splits=('train', 'test'))
+
+```
 
-ERNIE 3.0 发布的预训练模型还不能直接在下游任务上直接使用，需要使用具体任务上的数据对预训练模型进行微调。
+<a name="模型训练"></a>
+## 模型训练
 
 使用 PaddleNLP 只需要一行代码可以拿到 ERNIE 3.0 系列模型，之后可以在自己的下游数据下进行微调，从而获得具体任务上效果更好的模型。
 
@@ -1341,33 +1363,31 @@ qa_model = AutoModelForQuestionAnswering.from_pretrained("ernie-3.0-medium-zh")
 ```shell
 # 分类任务
 # 该脚本共支持 CLUE 中 7 个分类任务，超参不全相同，因此分类任务中的超参配置利用 config.yml 配置
-python run_seq_cls.py  \
-    --task_name tnews \
-    --model_name_or_path ernie-3.0-medium-zh \
-    --do_train
+python run_seq_cls.py  --model_name_or_path ernie-3.0-medium-zh  --dataset afqmc --output_dir ./best_models --export_model_dir best_models/ --do_train --do_eval --do_export --config=configs/default.yml
+
+# 序列标注任务
+python run_token_cls.py --model_name_or_path ernie-3.0-medium-zh --dataset msra_ner --output_dir ./best_models --export_model_dir best_models/ --do_train --do_eval --do_export --config=configs/default.yml
+
+# 阅读理解任务
+python run_qa.py --model_name_or_path ernie-3.0-medium-zh --dataset cmrc2018  --output_dir ./best_models --export_model_dir best_models/ --do_train --do_eval --do_export --config=configs/default.yml
+```
+
+<a name="模型预测"></a>
+## 模型预测
+
+```shell
+# 分类任务
+# 该脚本共支持 CLUE 中 7 个分类任务，超参不全相同，因此分类任务中的超参配置利用 config.yml 配置
+python run_seq_cls.py  --model_name_or_path best_models/afqmc/  --dataset afqmc --output_dir ./best_models --do_predict --config=configs/default.yml
 
 # 序列标注任务
-python run_token_cls.py \
-    --task_name msra_ner  \
-    --model_name_or_path ernie-3.0-medium-zh \
-    --do_train \
-    --num_train_epochs 3 \
-    --learning_rate 0.00005 \
-    --save_steps 100 \
-    --batch_size 32 \
-    --max_seq_length 128 \
-    --remove_unused_columns False
+python run_token_cls.py  --model_name_or_path best_models/msra_ner/  --dataset msra_ner --output_dir ./best_models --do_predict --config=configs/default.yml
 
 # 阅读理解任务
-python run_qa.py \
-    --model_name_or_path ernie-3.0-medium-zh \
-    --do_train \
-    --learning_rate 0.00003 \
-    --num_train_epochs 8 \
-    --batch_size 24 \
-    --max_seq_length 512
+python run_qa.py --model_name_or_path best_models/cmrc2018/ --dataset cmrc2018  --output_dir ./best_models --do_predict --config=configs/default.yml
 ```
 
+
 <a name="模型压缩"></a>
 
 ## 模型压缩
@@ -1405,73 +1425,23 @@ trainer = Trainer(
 trainer.compress()
 
 ```
-使用压缩 API 基于 Trainer 需要先初始化一个 Trainer 实例，然后调用 `compress()` 启动压缩。
-
-假设上述代码位于脚本 compress.py 中，可这样调用：
-
-```shell
-python compress.py \
-    --dataset   "clue cluewsc2020"   \
-    --model_name_or_path best_models/CLUEWSC2020 \
-    --output_dir ./compress_models  \
-    --per_device_train_batch_size 32 \
-    --per_device_eval_batch_size 32 \
-    --width_mult_list 0.75 \
-    --batch_size_list 4 8 16 \
-    --batch_num_list 1 \
-```
-
-可以通过传入命令行参数来控制模型压缩的一些超参数，压缩 API 可以传入的超参数可参考[文档](../../docs/compression.md)。
+压缩 API 可以传入的超参数可参考[文档](../../docs/compression.md)。
 
 本项目提供了压缩 API 在分类（包含文本分类、文本匹配、自然语言推理、代词消歧等任务）、序列标注、阅读理解三大场景下的使用样例，可以分别参考 `compress_seq_cls.py` 、`compress_token_cls.py`、`compress_qa.py`，启动方式如下：
 
 ```shell
 # 分类任务
-# 该脚本共支持 CLUE 中 7 个分类任务，超参不全相同，因此分类任务中的超参配置利用 config.yml 配置
-python compress_seq_cls.py \
-    --dataset "clue tnews"  \
-    --model_name_or_path best_models/TNEWS  \
-    --output_dir ./
+# 该脚本共支持 CLUE 中 7 个分类任务，超参不全相同，因此分类任务中的超参配置利用 configs/defalut.yml 配置
+python compress_seq_cls.py  --model_name_or_path best_models/afqmc/  --dataset afqmc --output_dir ./best_models/afqmc --config=configs/default.yml
 
 # 序列标注任务
-python compress_token_cls.py \
-    --dataset "msra_ner"  \
-    --model_name_or_path best_models/MSRA_NER \
-    --output_dir ./ \
-    --max_seq_length 128 \
-    --per_device_train_batch_size 32 \
-    --per_device_eval_batch_size 32 \
-    --learning_rate 0.00005 \
-    --remove_unused_columns False \
-    --num_train_epochs 3
+python compress_token_cls.py  --model_name_or_path best_models/msra_ner/  --dataset msra_ner --output_dir ./best_models/msra_ner --config=configs/default.yml
 
 # 阅读理解任务
-python compress_qa.py \
-    --dataset "clue cmrc2018" \
-    --model_name_or_path best_models/CMRC2018  \
-    --output_dir ./ \
-    --max_answer_length 50 \
-    --max_seq_length 512 \
-    --learning_rate 0.00003 \
-    --num_train_epochs 8 \
-    --per_device_train_batch_size 24 \
-    --per_device_eval_batch_size 24 \
+python compress_qa.py --model_name_or_path best_models/cmrc2018/ --dataset cmrc2018  --output_dir ./best_models/cmrc2018 --config=configs/default.yml
 
 ```
 
-一行代码验证上面模型压缩后模型的精度：
-
-```shell
-# 原模型
-python infer.py --task_name tnews --model_path best_models/TNEWS/compress/inference/infer --use_trt
-# 裁剪后
-python infer.py --task_name tnews --model_path best_models/TNEWS/compress/0.75/float --use_trt
-# 量化后
-python infer.py --task_name tnews --model_path best_models/TNEWS/compress/0.75/hist16/int8 --use_trt --precision int8
-
-```
-其中 --model_path 参数需要传入静态图模型的路径和前缀名。
-
 
 <a name="压缩效果"></a>
 
@@ -1599,30 +1569,18 @@ AutoTokenizer.from_pretrained("ernie-3.0-medium-zh", use_fast=True)
 
 ### Python 部署
 
-Python部署请参考：[Python 部署指南](./deploy/python/README.md)
+Python部署请参考：[Python 部署指南](./deploy/predictor/README.md)
 
 <a name="服务化部署"></a>
 
 ### 服务化部署
 
-- [Triton Inference Server 服务化部署指南](./deploy/triton/README.md)
-- [Paddle Serving 服务化部署指南](./deploy/serving/README.md)
-
-<a name="Paddle2ONNX部署"></a>
-
-### Paddle2ONNX 部署
-
-ONNX 导出及 ONNXRuntime 部署请参考：[ONNX 导出及 ONNXRuntime 部署指南](./deploy/paddle2onnx/README.md)
-
-
-### Paddle Lite 移动端部署
-
-即将支持，敬请期待
+- [Triton Inference Server 服务化部署指南](./deploy/triton_serving/README.md)
+- [PaddleNLp SimpleServing 服务化部署指南](./deploy/simple_serving/README.md)
 
 
 <a name="参考文献"></a>
 
-
 ## Notebook教程
 
 - [【快速上手ERNIE 3.0】中文情感分析实战](https://aistudio.baidu.com/aistudio/projectdetail/3955163)

model_zoo/ernie-3.0/compress_qa.py

@@ -12,65 +12,62 @@
 # See the License for the specific language governing permissions and
 # limitations under the License.
 
-import os
-import sys
 from functools import partial
 
 import paddle
 import paddle.nn.functional as F
-
-from paddlenlp.data import DataCollatorWithPadding
-from paddlenlp.trainer import PdArgumentParser, CompressionArguments, Trainer
-from paddlenlp.trainer import EvalPrediction, get_last_checkpoint
-from paddlenlp.transformers import AutoTokenizer, AutoModelForQuestionAnswering
-from paddlenlp.utils.log import logger
-from datasets import load_metric, load_dataset
-
-sys.path.append("../ernie-1.0/finetune")
-from question_answering import (
+from datasets import load_dataset
+from utils import (
+    DataArguments,
+    ModelArguments,
     QuestionAnsweringTrainer,
-    CrossEntropyLossForSQuAD,
+    load_config,
     prepare_train_features,
     prepare_validation_features,
 )
-from utils import ALL_DATASETS, DataArguments, ModelArguments
+
+from paddlenlp.data import DataCollatorWithPadding
+from paddlenlp.metrics.squad import compute_prediction
+from paddlenlp.trainer import CompressionArguments, EvalPrediction, PdArgumentParser
+from paddlenlp.transformers import ErnieForQuestionAnswering, ErnieTokenizer
 
 
 def main():
     parser = PdArgumentParser((ModelArguments, DataArguments, CompressionArguments))
     model_args, data_args, compression_args = parser.parse_args_into_dataclasses()
 
+    # Load model and data config
+    model_args, data_args, compression_args = load_config(
+        model_args.config, "QuestionAnswering", data_args.dataset, model_args, data_args, compression_args
+    )
+
     paddle.set_device(compression_args.device)
     data_args.dataset = data_args.dataset.strip()
 
     # Log model and data config
     compression_args.print_config(model_args, "Model")
     compression_args.print_config(data_args, "Data")
 
-    dataset_config = data_args.dataset.split(" ")
-    raw_datasets = load_dataset(
-        dataset_config[0], None if len(dataset_config) <= 1 else dataset_config[1], cache_dir=model_args.cache_dir
-    )
+    raw_datasets = load_dataset("clue", data_args.dataset)
 
     label_list = getattr(raw_datasets["train"], "label_list", None)
     data_args.label_list = label_list
 
     # Define tokenizer, model, loss function.
-    tokenizer = AutoTokenizer.from_pretrained(model_args.model_name_or_path)
-    model = AutoModelForQuestionAnswering.from_pretrained(model_args.model_name_or_path)
-
-    loss_fct = CrossEntropyLossForSQuAD()
+    tokenizer = ErnieTokenizer.from_pretrained(model_args.model_name_or_path)
+    model = ErnieForQuestionAnswering.from_pretrained(model_args.model_name_or_path)
 
     # Preprocessing the datasets.
     # Preprocessing is slighlty different for training and evaluation.
-    column_names = raw_datasets["train"].column_names
-
-    column_names = raw_datasets["validation"].column_names
 
-    train_dataset = raw_datasets["train"]
+    raw_datasets = load_dataset("clue", data_args.dataset)
+    column_names = raw_datasets["train"].column_names
+    label_list = getattr(raw_datasets["train"], "label_list", None)
+    data_args.label_list = label_list
     # Create train feature from dataset
     with compression_args.main_process_first(desc="train dataset map pre-processing"):
         # Dataset pre-process
+        train_dataset = raw_datasets["train"]
         train_dataset = train_dataset.map(
             partial(prepare_train_features, tokenizer=tokenizer, args=data_args),
             batched=True,
@@ -79,8 +76,8 @@ def main():
             load_from_cache_file=not data_args.overwrite_cache,
             desc="Running tokenizer on train dataset",
         )
-    eval_examples = raw_datasets["validation"]
     with compression_args.main_process_first(desc="evaluate dataset map pre-processing"):
+        eval_examples = raw_datasets["validation"]
         eval_dataset = eval_examples.map(
             partial(prepare_validation_features, tokenizer=tokenizer, args=data_args),
             batched=True,