Merge pull request #3560 from westfish/qg-example

add qg models and update readme

Author: westfish

docs/model_zoo/taskflow.md

@@ -1622,13 +1622,13 @@ from paddlenlp import Taskflow
 </div></details>
 
 ### 问题生成
-<details><summary>&emsp; 通过UNIMO-Text模型来根据上下文和答案生成问题 </summary><div>
+<details><summary>&emsp; 基于百度自研中文预训练模型UNIMO-Text和大规模多领域问题生成数据集</summary><div>
 
 #### 支持单条、批量预测
 
 ```python
 >>> from paddlenlp import Taskflow
-# 默认模型为 unimo-text-1.0-dureader_qg-template1
+# 默认模型为 unimo-text-1.0-dureader_qg
 >>> question_generator = Taskflow("question_generation")
 # 单条输入
 >>> question_generator([
@@ -1648,7 +1648,7 @@ from paddlenlp import Taskflow
 ```
 
 #### 可配置参数说明
-* `model`：可选模型，默认为unimo-text-1.0-dureader_qg-template1，支持的模型支持的模型有["unimo-text-1.0", "unimo-text-1.0-dureader_qg-template1", ]。
+* `model`：可选模型，默认为unimo-text-1.0-dureader_qg，支持的模型有["unimo-text-1.0", "unimo-text-1.0-dureader_qg", "unimo-text-1.0-question-generation", "unimo-text-1.0-question-generation-dureader_qg"]。
 * `device`：运行设备，默认为"gpu"。
 * `template`：模版，可选项有[0, 1, 2, 3]，1表示使用默认模版，0表示不使用模版。
 * `batch_size`：批处理大小，请结合机器情况进行调整，默认为1。

examples/question_generation/unimo-text/README.md

@@ -5,8 +5,8 @@
 - [问题生成](#问题生成)
   - [简介](#简介)
     <!-- - [基于预训练语言模型的问题生成](#基于预训练语言模型的问题生成) -->
-  <!-- - [效果展示](#效果展示)
-  - [开箱即用](#开箱即用) -->
+  <!-- - [效果展示](#效果展示) -->
+  - [开箱即用](#开箱即用)
   - [训练定制](#训练定制)
     - [环境依赖](#环境依赖)
     - [代码结构说明](#代码结构说明)
@@ -27,6 +27,13 @@ Question Generation（QG），即问题生成，指的是给定一段上下文
 
 问题生成技术在教育、咨询、搜索、推荐等多个领域均有着巨大的应用价值。具体来说，问题生成可广泛应用于问答系统语料库构建，事实性问题生成，教育行业题库生成，对话提问，聊天机器人意图理解，对话式搜索意图提问，闲聊机器人主动提问等等场景。
 
+本项目是基于预训练语言模型UNIMO-Text的问题生成，具有以下优势：
+
+- 效果领先。基于百度自研中文预训练语言模型UNIMO-Text，并提供基于模版策略和大规模多领域问题生成数据集训练的通用问题生成预训练模型`unimo-text-1.0-question-generation`。
+- 开箱即用。本项目提供TaskFlow接口，无需训练，仅需几行代码便可预测。
+- 高性能推理。本项目基于FasterTransformer进行推理加速，能够提供更高性能的推理体验，优化后的推理模型在dureader_qg开发集的推理耗时缩短为优化前的1/5。
+- 训练推理部署全流程打通。本项目提供了全面的定制训练流程，从数据准备、模型训练预测，到模型推理部署，一应俱全。
+
 <!-- ### 基于预训练语言模型的问题生成
 
 基于预训练语言模型（Pretrained Language Models, PLMs）范式的问题生成是目前最常用、效果最好(SOTA)的方式。
@@ -40,10 +47,34 @@ model_name = "ernie-1.0"
 model = UNIMOLMHeadModel.from_pretrained(model_name)
 tokenizer = UNIMOTokenizer.from_pretrained(model_name)
 ``` -->
-<!--
-## 效果展示
 
-## 开箱即用 -->
+## 开箱即用
+PaddleNLP提供开箱即用的产业级NLP预置任务能力，无需训练，一键预测。
+#### 支持单条、批量预测
+```python
+>>> from paddlenlp import Taskflow
+# 默认模型为 unimo-text-1.0-dureader_qg
+>>> question_generator = Taskflow("question_generation")
+# 单条输入
+>>> question_generator([
+  {"context": "奇峰黄山千米以上的山峰有77座，整座黄山就是一座花岗岩的峰林，自古有36大峰，36小峰，最高峰莲花峰、最险峰天都峰和观日出的最佳点光明顶构成黄山的三大主峰。", "answer": "莲花峰"}
+  ])
+'''
+  ['黄山最高峰是什么']
+'''
+# 多条输入
+>>> question_generator([
+  {"context": "奇峰黄山千米以上的山峰有77座，整座黄山就是一座花岗岩的峰林，自古有36大峰，36小峰，最高峰莲花峰、最险峰天都峰和观日出的最佳点光明顶构成黄山的三大主峰。", "answer": "莲花峰"},
+  {"context": "弗朗索瓦·韦达外文名：franciscusvieta国籍：法国出生地：普瓦图出生日期：1540年逝世日期：1603年12月13日职业：数学家主要成就：为近代数学的发展奠定了基础。", "answer": "法国"}
+  ])
+'''
+  ['黄山最高峰是什么',  '弗朗索瓦是哪里人']
+'''
+```
+关键配置参数说明：
+* `model`：可选模型，默认为unimo-text-1.0-dureader_qg，支持的模型有["unimo-text-1.0", "unimo-text-1.0-dureader_qg", "unimo-text-1.0-question-generation", "unimo-text-1.0-question-generation-dureader_qg"]。
+
+具体参数配置可参考[Taskflow文档](../../../docs/model_zoo/taskflow.md)。
 
 ## 训练定制
 
@@ -83,7 +114,7 @@ tokenizer = UNIMOTokenizer.from_pretrained(model_name)
 
 2. **模型训练**
 
-- 数据准备完成后，可以开始使用我们的数据集对预训练模型进行微调训练。我们可以根据任务需求，调整可配置参数，选择使用GPU或CPU进行模型训练，脚本默认保存在开发集最佳表现模型。中文任务默认使用"unimo-text-1.0"模型，unimo-text-1.0还支持large模型，详见[UNIMO模型汇总](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/transformers/UNIMO/contents.html)，可以根据任务和设备需求进行选择。
+- 数据准备完成后，可以开始使用我们的数据集对预训练模型进行微调训练。我们可以根据任务需求，调整可配置参数，选择使用GPU或CPU进行模型训练，脚本默认保存在开发集最佳表现模型。中文任务默认使用`unimo-text-1.0`模型，unimo-text-1.0还支持large模型。此外本项目还提供基于大规模多领域问题生成数据集训练的通用问题生成预训练模型`unimo-text-1.0-question-generation`，详见[UNIMO模型汇总](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/transformers/UNIMO/contents.html)，用户可以根据任务和设备需求进行选择。
 
 
 3. **模型预测**
@@ -184,14 +215,15 @@ python -m paddle.distributed.launch --gpus "1,2" --log_dir ./unimo/finetune/log
 
 关键参数释义如下：
 - `gpus` 指示了训练所用的GPU，使用多卡训练可以指定多个GPU卡号，例如 --gpus "0,1"。
-- `dataset_name` 数据集名称，默认为`dureader_qg`。
+- `dataset_name` 数据集名称，当`train_file`和`predict_file`为None时将加载`dataset_name`的训练集和开发集，默认为`dureader_qg`。
 - `train_file` 本地训练数据地址，数据格式必须与`dataset_name`所指数据集格式相同，默认为None。
 - `predict_file` 本地测试数据地址，数据格式必须与`dataset_name`所指数据集格式相同，默认为None。
 - `model_name_or_path` 指示了finetune使用的具体预训练模型，可以是PaddleNLP提供的预训练模型，或者是本地的预训练模型。如果使用本地的预训练模型，可以配置本地模型的目录地址，例如: ./checkpoints/model_xx/，目录中需包含paddle预训练模型model_state.pdparams。如果使用PaddleNLP提供的预训练模型，可以选择下面其中之一。
    | 可选预训练模型        |
    |---------------------------------|
    | unimo-text-1.0      |
    | unimo-text-1.0-large |
+   | unimo-text-1.0-question-generation |
 
    <!-- | T5-PEGASUS |
    | ernie-1.0 |
@@ -233,11 +265,14 @@ python -m paddle.distributed.launch --gpus "1,2" --log_dir ./unimo/finetune/log
 
 **NOTE:** 如需恢复模型训练，`model_name_or_path`配置本地模型的目录地址即可。
 
-微调的baseline模型在dureader_qg验证集上有如下结果(指标为BLEU-4)：
+微调的模型在dureader_qg验证集上有如下结果(指标为BLEU-4)，其中`unimo-text-1.0-dureader_qg-w/o-template`表示不使用模版策略微调的结果，`unimo-text-1.0-large-dureader_qg`表示使用large模型微调的结果，`unimo-text-1.0-question-generation-dureader_qg`表示在通用问题生成预训练模型`unimo-text-1.0-question-generation`上微调的结果：
 
 |       model_name        | DuReaderQG |
 | :-----------------------------: | :-----------: |
-|    unimo-text-1.0-dureader_qg-template1    | 41.08 |
+|    unimo-text-1.0-dureader_qg-w/o-template    | 39.61 |
+|    unimo-text-1.0-dureader_qg    | 41.08 |
+|    unimo-text-1.0-large-dureader_qg    | 41.51 |
+|    unimo-text-1.0-question-generation-dureader_qg    | 44.02 |
 
 ### 模型预测
 

paddlenlp/taskflow/taskflow.py

@@ -457,15 +457,25 @@
                 "task_class": QuestionGenerationTask,
                 "task_flag": "question_generation-unimo-text-1.0",
             },
-            "unimo-text-1.0-dureader_qg-template1": {
+            "unimo-text-1.0-dureader_qg": {
+                "task_class": QuestionGenerationTask,
+                "task_flag": "question_generation-unimo-text-1.0-dureader_qg",
+            },
+            "unimo-text-1.0-question-generation": {
+                "task_class":
+                QuestionGenerationTask,
+                "task_flag":
+                "question_generation-unimo-text-1.0-question-generation",
+            },
+            "unimo-text-1.0-question-generation-dureader_qg": {
                 "task_class":
                 QuestionGenerationTask,
                 "task_flag":
-                "question_generation-unimo-text-1.0-dureader_qg-template1",
+                "question_generation-unimo-text-1.0-question-generation-dureader_qg",
             },
         },
         "default": {
-            "model": "unimo-text-1.0-dureader_qg-template1"
+            "model": "unimo-text-1.0-dureader_qg"
         }
     },
 }

paddlenlp/transformers/unimo/modeling.py

@@ -114,7 +114,64 @@ class UNIMOPretrainedModel(PretrainedModel):
             "eos_token_id": 3,
             "mask_token_id": 3,
         },
-        "unimo-text-1.0-dureader_qg-template1": {
+        "unimo-text-1.0-dureader_qg": {
+            "vocab_size": 18000,
+            "hidden_size": 768,
+            "num_hidden_layers": 12,
+            "num_attention_heads": 12,
+            "intermediate_size": 3072,
+            "hidden_act": "relu",
+            "hidden_dropout_prob": 0.1,
+            "attention_probs_dropout_prob": 0.1,
+            "normalize_before": False,
+            "max_position_embeddings": 513,
+            "type_vocab_size": 4,
+            "initializer_range": 0.02,
+            "unk_token_id": 17963,
+            "pad_token_id": 0,
+            "bos_token_id": 1,
+            "eos_token_id": 3,
+            "mask_token_id": 3,
+        },
+        "unimo-text-1.0-question-generation": {
+            "vocab_size": 18000,
+            "hidden_size": 768,
+            "num_hidden_layers": 12,
+            "num_attention_heads": 12,
+            "intermediate_size": 3072,
+            "hidden_act": "relu",
+            "hidden_dropout_prob": 0.1,
+            "attention_probs_dropout_prob": 0.1,
+            "normalize_before": False,
+            "max_position_embeddings": 513,
+            "type_vocab_size": 4,
+            "initializer_range": 0.02,
+            "unk_token_id": 17963,
+            "pad_token_id": 0,
+            "bos_token_id": 1,
+            "eos_token_id": 3,
+            "mask_token_id": 3,
+        },
+        "unimo-text-1.0-question-generation-full_domain": {
+            "vocab_size": 18000,
+            "hidden_size": 768,
+            "num_hidden_layers": 12,
+            "num_attention_heads": 12,
+            "intermediate_size": 3072,
+            "hidden_act": "relu",
+            "hidden_dropout_prob": 0.1,
+            "attention_probs_dropout_prob": 0.1,
+            "normalize_before": False,
+            "max_position_embeddings": 513,
+            "type_vocab_size": 4,
+            "initializer_range": 0.02,
+            "unk_token_id": 17963,
+            "pad_token_id": 0,
+            "bos_token_id": 1,
+            "eos_token_id": 3,
+            "mask_token_id": 3,
+        },
+        "unimo-text-1.0-question-generation-dureader_qg": {
             "vocab_size": 18000,
             "hidden_size": 768,
             "num_hidden_layers": 12,
@@ -144,8 +201,14 @@ class UNIMOPretrainedModel(PretrainedModel):
             "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-large.pdparams",
             "unimo-text-1.0-summary":
             "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-summary.pdparams",
-            "unimo-text-1.0-dureader_qg-template1":
-            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-dureader_qg-template1.pdparams"
+            "unimo-text-1.0-dureader_qg":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-dureader_qg.pdparams",
+            "unimo-text-1.0-question-generation":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-question-generation.pdparams",
+            "unimo-text-1.0-question-generation-v2":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-question-generation-full_domain.pdparams",
+            "unimo-text-1.0-question-generation-dureader_qg":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-question-generation-dureader_qg.pdparams",
         }
     }
     base_model_prefix = "unimo"

paddlenlp/transformers/unimo/tokenizer.py

@@ -93,7 +93,13 @@ class UNIMOTokenizer(PretrainedTokenizer):
             "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-large-vocab.txt",
             "unimo-text-1.0-summary":
             "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-vocab.txt",
-            "unimo-text-1.0-dureader_qg-template1":
+            "unimo-text-1.0-dureader_qg":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-vocab.txt",
+            "unimo-text-1.0-question-generation":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-vocab.txt",
+            "unimo-text-1.0-question-generation-full_domain":
+            "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-vocab.txt",
+            "unimo-text-1.0-question-generation-dureader_qg":
             "https://bj.bcebos.com/paddlenlp/models/transformers/unimo/unimo-text-1.0-vocab.txt",
         }
     }
@@ -110,9 +116,18 @@ class UNIMOTokenizer(PretrainedTokenizer):
         "unimo-text-1.0-summary": {
             "do_lower_case": True
         },
-        "unimo-text-1.0-dureader_qg-template1": {
+        "unimo-text-1.0-dureader_qg": {
             "do_lower_case": True
-        }
+        },
+        "unimo-text-1.0-question-generation": {
+            "do_lower_case": True
+        },
+        "unimo-text-1.0-question-generation-full_domain": {
+            "do_lower_case": True
+        },
+        "unimo-text-1.0-question-generation-dureader_qg": {
+            "do_lower_case": True
+        },
     }
     max_model_input_sizes = PRETRAINED_POSITIONAL_EMBEDDINGS_SIZES