Skip to content

Commit eec0299

Browse files
committed
update and fix problem
1 parent 6007835 commit eec0299

File tree

4 files changed

+12
-12
lines changed

4 files changed

+12
-12
lines changed

examples/few_shot/README.md

Lines changed: 6 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -11,12 +11,12 @@ Few-Shot Learning 旨在研究如何从少量有监督的训练样本中学习
1111

1212
| 算法 | 预训练模型 | Score | eprstmt | bustm | ocnli | csldcp | tnews | cluewsc | iflytek | csl | chid |
1313
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |------------ | ------------ | ---------- |
14-
| P-tuning | ERNIE1.0 | 55.70 | 83.28 | 63.43 | 35.36 | 60.54 | 50.02 | 54.51 | 50.14 | 54.93 | 41.16 |
15-
| P-tuning+Rdrop | ERNIE1.0 | 56.17 | 83.11 | 64.50 | 35.48 | 61.88 | 57.51 | 54 | 52 | 56 | 41 |
16-
| EFL | ERNIE1.0 | 54.47 | 84.10 | 60.10 | 35.12 | 56.61 | 56.57 | 53.59 | 46.37 | 61.21 | 36.56 |
17-
| EFL+Rdrop | ERNIE1.0 | 56.94 | 87 | 62.75 | 37.54 | 53.98 | 56.77 | 56.87 | 48.54 | 62.19 | 46.85 |
18-
| PET | ERNIE1.0 | 56.63 | 86.88 | 61.90 | 36.90 | 61.10 | 56.51 | 55.02 | 50.31 | 59.72 | 41.35 |
19-
| PET+Rdrop | ERNIE1.0 | 57.74 | 87.54 | 61.57 | 37.30 | 62.5 | 58.91 | 56.25 | 53.46 | 61.84 | 40.31 |
14+
| P-tuning | ERNIE-1.0 | 55.70 | 83.28 | 63.43 | 35.36 | 60.54 | 50.02 | 54.51 | 50.14 | 54.93 | 41.16 |
15+
| P-tuning+R-Drop | ERNIE-1.0 | 56.23 | 83.11 | 64.56 | 35.71 | 61.88 | 57.51 | 54 | 52 | 56.3 | 41 |
16+
| EFL | ERNIE-1.0 | 54.47 | 84.10 | 60.10 | 35.12 | 56.61 | 56.57 | 53.59 | 46.37 | 61.21 | 36.56 |
17+
| EFL+R-Drop | ERNIE-1.0 | 56.94 | 87 | 62.75 | 37.54 | 53.98 | 56.77 | 56.87 | 48.54 | 62.19 | 46.85 |
18+
| PET | ERNIE-1.0 | 56.63 | 86.88 | 61.90 | 36.90 | 61.10 | 56.51 | 55.02 | 50.31 | 59.72 | 41.35 |
19+
| PET+R-Drop | ERNIE-1.0 | 57.37 | 87.54 | 63.66 | 36.46 | 62.5 | 58.91 | 56.25 | 53.46 | 57.22 | 40.31 |
2020

2121
## Models
2222
- [P-tuning](./p-tuning)

examples/few_shot/efl/README.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -40,15 +40,15 @@ python -u -m paddle.distributed.launch --gpus "0" \
4040
--learning_rate 5E-5 \
4141
--epochs 10 \
4242
--max_seq_length 512 \
43-
--rdrop_coef 0.5 \
43+
--rdrop_coef 0 \
4444
```
4545
参数含义说明
4646
- `task_name`: FewCLUE 中的数据集名字
4747
- `negative_num`: 负样本采样个数,对于多分类任务,负样本数量对效果影响很大。负样本数量参数取值范围为 [1, class_num - 1]
4848
- `device`: 使用 cpu/gpu 进行训练
4949
- `save_dir`: 模型存储路径
5050
- `max_seq_length`: 文本的最大截断长度
51-
- `rdrop_coef`: rdrop参数,默认为0,若为0则不使用rdrop
51+
- `rdrop_coef`: R-Drop 策略 Loss 的权重系数,默认为 0, 若为 0 则未使用 R-Drop 策略
5252
5353
模型每训练 1 个 epoch, 会在验证集上进行评估,并针对测试集进行预测存储到预测结果文件。
5454

examples/few_shot/p-tuning/README.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -37,15 +37,15 @@ python -u -m paddle.distributed.launch --gpus "0" \
3737
--learning_rate 5E-5 \
3838
--epochs 10 \
3939
--max_seq_length 512 \
40-
--rdrop_coef 0.5 \
40+
--rdrop_coef 0 \
4141
```
4242
参数含义说明
4343
- `task_name`: FewCLUE 中的数据集名字
4444
- `p_embedding_num`: P-embedding 的个数
4545
- `device`: 使用 cpu/gpu 进行训练
4646
- `save_dir`: 模型存储路径
4747
- `max_seq_length`: 文本的最大截断长度
48-
- `rdrop_coef`: rdrop参数,默认为0,若为0则不使用rdrop
48+
- `rdrop_coef`: R-Drop 策略 Loss 的权重系数,默认为 0, 若为 0 则未使用 R-Drop 策略
4949
5050
模型每训练 1 个 epoch, 会在验证集和测试集上进行评估。
5151

examples/few_shot/pet/README.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -39,15 +39,15 @@ python -u -m paddle.distributed.launch --gpus "0" \
3939
--epochs 10 \
4040
--max_seq_length 512 \
4141
--language_model "ernie-1.0" \
42-
--rdrop_coef 0.5 \
42+
--rdrop_coef 0 \
4343
```
4444
参数含义说明
4545
- `task_name`: FewCLUE 中的数据集名字
4646
- `device`: 使用 cpu/gpu 进行训练
4747
- `pattern_id` 完形填空的模式
4848
- `save_dir`: 模型存储路径
4949
- `max_seq_length`: 文本的最大截断长度
50-
- `rdrop_coef`: rdrop参数,默认为0,若为0则不使用rdrop
50+
- `rdrop_coef`: R-Drop 策略 Loss 的权重系数,默认为 0, 若为 0 则未使用 R-Drop 策略
5151
5252
模型每训练 1 个 epoch, 会在验证集上进行评估
5353

0 commit comments

Comments
 (0)