Skip to content

Commit 2ae7a87

Browse files
tianxinZeyuChen
andauthored
Release pretrained model for question matching baseline (#907)
* finish QM baseline * update * update * update * add README.md * Update README.md * implement rdrop as paddlenlp api * add rdrop.py into paddlenlp.losses module * release pretrained model to reproduce out results Co-authored-by: Zeyu Chen <[email protected]>
1 parent 057d920 commit 2ae7a87

File tree

1 file changed

+6
-3
lines changed
  • examples/text_matching/question_matching

1 file changed

+6
-3
lines changed

examples/text_matching/question_matching/README.md

Lines changed: 6 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -4,14 +4,17 @@
44

55
## 评测效果
66
本项目分别基于ERNIE-1.0、Bert-base-chinese、ERNIE-Gram 3 个中文预训练模型训练了单塔 Point-wise 的匹配模型, 基于 ERNIE-Gram 的模型效果显著优于其它 2 个预训练模型。
7-
此外,在 ERNIE-Gram 模型基础上我们也对最新的正则化策略 [R-Drop](https://arxiv.org/abs/2106.14448) 进行了相关评测, [R-Drop](https://arxiv.org/abs/2106.14448) 策略的核心思想是针对同 1 个训练样本过多次前向网络得到的输出加上正则化的 Loss 约束。
7+
8+
此外,在 ERNIE-Gram 模型基础上我们也对最新的正则化策略 [R-Drop](https://arxiv.org/abs/2106.14448) 进行了相关评测, [R-Drop](https://arxiv.org/abs/2106.14448) 策略的核心思想是针对同 1 个训练样本过多次前向网络得到的输出加上正则化的 Loss 约束。
9+
10+
我们开源了效果最好的 2 个策略对应模型的 checkpoint: 基于 ERNIE-Gram R-Drop 系数分别为 0.0 和 0.1 的 2 个模型, 用户可以下载相应的模型来复现我们的评测结果。
811

912
| 模型 | rdrop_coef | dev acc | test-A acc | test-B acc|
1013
| ---- | ---- |-----|--------|------- |
1114
| ernie-1.0-base |0.0| 86.96 |76.20 | 77.50|
1215
| bert-base-chinese |0.0| 86.93| 76.90 |77.60 |
13-
| ernie-gram-zh | 0.0 |87.66 | **80.80** | **81.20** |
14-
| ernie-gram-zh | 0.1 |87.91 | 80.20 | 80.80 |
16+
| [ernie-gram-zh](https://paddlenlp.bj.bcebos.com/models/text_matching/question_matching_rdrop0p0_baseline_model.tar) | 0.0 |87.66 | **80.80** | **81.20** |
17+
| [ernie-gram-zh](https://paddlenlp.bj.bcebos.com/models/text_matching/question_matching_rdrop0p1_baseline_model.tar) | 0.1 |87.91 | 80.20 | 80.80 |
1518
| ernie-gram-zh | 0.2 |87.47 | 80.10 | 81.00 |
1619

1720

0 commit comments

Comments
 (0)