Merge pull request #712 from wangzhen38/bug_test_fix

frankwhzhang · web-flow · commit 64fc8ed3abe5 · 2022-02-24T12:47:37.000+08:00
fix bert4rec and ensfm doc
diff --git a/models/multitask/dselect_k/config.yaml b/models/multitask/dselect_k/config.yaml
@@ -13,7 +13,7 @@
 # limitations under the License.
 
 runner:
-  train_data_dir: "data/sample_data"
+  train_data_dir: "data/sample_data.pickle"
   train_reader_path: "multiMNIST_reader" # importlib format
   use_gpu: False
   use_auc: True
@@ -22,7 +22,7 @@ runner:
   print_interval: 2
   #model_init_path: "output_model/0" # init model
   model_save_path: "output_model_dselect_k"
-  test_data_dir: "data/sample_data"
+  test_data_dir: "data/sample_data.pickle"
   infer_batch_size: 8
   infer_reader_path: "multiMNIST_reader" # importlib format
   infer_load_path: "output_model_dselect_k"
diff --git a/models/multitask/dselect_k/config_bigdata.yaml b/models/multitask/dselect_k/config_bigdata.yaml
@@ -23,7 +23,7 @@ runner:
   #model_init_path: "output_model/0" # init model
   model_save_path: "output_model_dselect_k_all"
   test_data_dir: "../../../datasets/Multi_MNIST_DselectK/test"
-  infer_batch_size: 20000
+  infer_batch_size: 256
   infer_reader_path: "multiMNIST_reader" # importlib format
   infer_load_path: "output_model_dselect_k_all"
   infer_start_epoch: 0
diff --git a/models/multitask/dselect_k/readme.md b/models/multitask/dselect_k/readme.md
@@ -68,8 +68,7 @@
 
 上图是其中一张图片，与经典数据集 MNIST 不同，该图片上包含两位数字，左上和右下，对应两个多分类任务。数据集划分为训练集、验证集、测试集，数量分别为 100000、20000、20000。
 
-在 PaperswithCode 网站上检索到 【NeurlPS 2019】[Pareto Multi-Task Learning](https://arxiv.org/pdf/1912.12854v1.pdf) 公布了该数据集，
-下载链接： https://drive.google.com/drive/folders/1VnmCmBAVh8f_BKJg1KYx-E137gBLXbGG。
+在 PaperswithCode 网站上检索到 【NeurlPS 2019】[Pareto Multi-Task Learning](https://arxiv.org/pdf/1912.12854v1.pdf) 公布了该数据集。
 
 
 ## 运行环境
diff --git a/models/rank/bert4rec/config.yaml b/models/rank/bert4rec/config.yaml
@@ -23,11 +23,11 @@ runner:
   epochs: 1
   print_interval: 1
 
-  model_save_path: "output_model_bert4rec_demo"
+  model_save_path: "output_model_bert4rec"
   test_data_dir: "data/test/"
   infer_reader_path: "data_reader" # importlib format
   infer_batch_size: 1
-  infer_load_path: "output_model_bert4rec_demo"
+  infer_load_path: "output_model_bert4rec"
   infer_start_epoch: 0
   infer_end_epoch: 1
 
diff --git a/models/rank/bert4rec/readme.md b/models/rank/bert4rec/readme.md
@@ -1,98 +1,101 @@
-# BERT4Rec模型
-
-以下是本例的简要目录结构及说明： 
-
-```
-├── data #示例数据
-    ├── train #训练数据
-    ├── test #测试数据
-├── readme.md #文档
-├── config_bigdata.yaml # 全量数据配置
-├── config.yaml # demo数据配置
-├── net.py # 模型核心组网
-├── data_reader.py #数据读取程序
-├── dygraph_model.py # 构建动态图
-```
-
-注：在阅读该示例前，建议您先了解以下内容：
-
-[paddlerec入门教程](https://github.com/PaddlePaddle/PaddleRec/blob/master/README.md)
-
-## 内容
-
-- [模型简介](#模型简介)
-- [数据准备](#数据准备)
-- [运行环境](#运行环境)
-- [快速开始](#快速开始)
-- [模型组网](#模型组网)
-- [效果复现](#效果复现)
-- [进阶使用](#进阶使用)
-- [FAQ](#FAQ)
-
-
-## 模型简介
-BERT4Rec将NLP中的mask language任务迁移到序列推荐问题来，**给予了序列推荐一种不同于item2item，left2right的训练范式**。
-具体来说，对于一条物品序列，**以一定的概率p随机mask掉序列中的物品**，**使用transformer的encoder结构**对mask item进行预测。
-通过数据增强，完形填空任务的方式使得训练更加充分。
-
-[BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer](https://dl.acm.org/doi/abs/10.1145/3357384.3357895)
-本模型来自飞桨论文复现挑战赛（第四期）的[BERT4Rec的第一名方案](https://aistudio.baidu.com/aistudio/projectdetail/2558070)达到了原作者github[BERT4Rec](https://github.com/FeiSun/BERT4Rec)的精度。
-
-## 数据准备
-本模型使用论文中的数据集Beauty Dataset，在模型目录的data目录下。
-
-## 运行环境
-PaddlePaddle>=2.0
-
-python 3.7
-
-## 快速开始
-本文提供了样例数据可以供您快速体验，在任意目录下均可执行。在BERT4Rec模型目录的快速执行命令如下： 
-```bash
-# 进入模型目录
-# cd models/rank/bert4rec # 在任意目录均可运行
-# 动态图训练
-python -u ../../../tools/trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 
-# 动态图预测
-python -u ../../../tools/infer.py -m config.yaml 
-```
-
-## 模型组网
-在BERT4Rec之前，SASRec已经将self-attention应用在了序列推荐任务中。
-
-而与之对应的，BERT4Rec的作者认为像SASRec那种left-to-right的建模方式限制了模型的表达能力。 虽然用户的行为序列长期来看存在顺序的依赖关系，但在短期的一段时间内，用户的行为顺序不应该是严格顺序依赖的。
-
-为了解决上述问题，BERT4Rec将NLP中的Mask Language任务迁移到序列推荐问题来，给予了序列推荐一种不同于item2item，left2right的训练范式。 
-具体来说，对于一条物品序列，以一定的概率p随机mask掉序列中的物品（体现在data_augment_candi_gen.py)，使用Transformer的Encoder结构对masked item进行预测(net.py)。
-训练的过程中，则是取出Encoder对应mask位置的representation来预测mask的label物品。即完形填空。
-
-可以注意到，通过随机mask，我们可以成倍的生成新样本。（BERT4Rec训练样本是原有的十一倍(10:随机mask 1：原本样本)） 因此BERT4Rec效果的提升，也从数据增强的角度来解释。即通过数据增强，和完形填空式的前置任务的方式使得模型训练得更加充分。
-
-在模型上面，BERT4Rec正如其名，就是跟BERT一样，使用Transformer的Encoder部分来做序列特征提取。
-
-在测试的时候，我们只需要mask掉序列最后的物品，并取出模型最后一步的representation出来，那么就将训练好的模型成功应用在Next-item Prediction任务上。
-
-## 效果复现
-
-| 模型 | HR@10 | NDCG@10 | MRR | epoch_num| Time of each epoch |
-| :------| :------ |:------ | :------ | :------| :------ | 
-| BERT4Rec | 0.305 | 0.184 | 0.166 | 50 | 约2小时 |
-
-本文提供了beauty数据集可以供您快速体验及其复现。在BERT4Rec模型目录的快速执行命令如下： 
-
-```bash
-# 进入模型目录
-# cd models/rank/bert4rec # 在任意目录均可运行
-# 数据增强与候选集生成
-python -u data_augment_candi_gen.py 
-# 动态图训练
-python -u ../../../tools/trainer.py -m config_bigdata.yaml 
-# 动态图预测
-python -u ../../../tools/infer.py -m config_bigdata.yaml 
-
-``` 
-
-## 进阶使用
-  
-## FAQ
-
+# BERT4Rec模型
+
+以下是本例的简要目录结构及说明： 
+
+```
+├── data #示例数据
+    ├── train #训练数据
+    ├── test #测试数据
+├── readme.md #文档
+├── config_bigdata.yaml # 全量数据配置
+├── config.yaml # demo数据配置
+├── net.py # 模型核心组网
+├── data_reader.py #数据读取程序
+├── dygraph_model.py # 构建动态图
+```
+
+注：在阅读该示例前，建议您先了解以下内容：
+
+[paddlerec入门教程](https://github.com/PaddlePaddle/PaddleRec/blob/master/README.md)
+
+## 内容
+
+- [模型简介](#模型简介)
+- [数据准备](#数据准备)
+- [运行环境](#运行环境)
+- [快速开始](#快速开始)
+- [模型组网](#模型组网)
+- [效果复现](#效果复现)
+- [进阶使用](#进阶使用)
+- [FAQ](#FAQ)
+
+
+## 模型简介
+BERT4Rec将NLP中的mask language任务迁移到序列推荐问题来，**给予了序列推荐一种不同于item2item，left2right的训练范式**。
+具体来说，对于一条物品序列，**以一定的概率p随机mask掉序列中的物品**，**使用transformer的encoder结构**对mask item进行预测。
+通过数据增强，完形填空任务的方式使得训练更加充分。
+
+[BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer](https://dl.acm.org/doi/abs/10.1145/3357384.3357895)
+本模型来自飞桨论文复现挑战赛（第四期）的[BERT4Rec的第一名方案](https://aistudio.baidu.com/aistudio/projectdetail/2558070)达到了原作者github[BERT4Rec](https://github.com/FeiSun/BERT4Rec)的精度。
+
+## 数据准备
+本模型使用论文中的数据集Beauty Dataset，在模型目录的data目录下。
+
+## 运行环境
+PaddlePaddle>=2.0
+
+python 3.7
+
+## 快速开始
+本文提供了样例数据可以供您快速体验，在任意目录下均可执行。在BERT4Rec模型目录的快速执行命令如下： 
+```bash
+# 进入模型目录
+# cd models/rank/bert4rec # 在任意目录均可运行
+# 动态图训练
+python -u ../../../tools/trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 
+# 动态图预测
+python -u ../../../tools/infer.py -m config.yaml 
+``` 
+
+
+## 模型组网
+在BERT4Rec之前，SASRec已经将self-attention应用在了序列推荐任务中。
+
+而与之对应的，BERT4Rec的作者认为像SASRec那种left-to-right的建模方式限制了模型的表达能力。 虽然用户的行为序列长期来看存在顺序的依赖关系，但在短期的一段时间内，用户的行为顺序不应该是严格顺序依赖的。
+
+为了解决上述问题，BERT4Rec将NLP中的Mask Language任务迁移到序列推荐问题来，给予了序列推荐一种不同于item2item，left2right的训练范式。 
+具体来说，对于一条物品序列，以一定的概率p随机mask掉序列中的物品（体现在data_augment_candi_gen.py)，使用Transformer的Encoder结构对masked item进行预测(net.py)。
+训练的过程中，则是取出Encoder对应mask位置的representation来预测mask的label物品。即完形填空。
+
+可以注意到，通过随机mask，我们可以成倍的生成新样本。（BERT4Rec训练样本是原有的十一倍(10:随机mask 1：原本样本)） 因此BERT4Rec效果的提升，也从数据增强的角度来解释。即通过数据增强，和完形填空式的前置任务的方式使得模型训练得更加充分。
+
+在模型上面，BERT4Rec正如其名，就是跟BERT一样，使用Transformer的Encoder部分来做序列特征提取。
+
+在测试的时候，我们只需要mask掉序列最后的物品，并取出模型最后一步的representation出来，那么就将训练好的模型成功应用在Next-item Prediction任务上。
+
+## 效果复现
+
+| 模型 | HR@10 | NDCG@10 | MRR | epoch_num| Time of each epoch |
+| :------| :------ |:------ | :------ | :------| :------ | 
+| BERT4Rec | 0.305 | 0.184 | 0.166 | 50 | 约2小时 |
+
+1. 确认您当前所在目录为 `PaddleRec/models/rank/bert4rec`
+2. 进入 `PaddleRec/datasets/Beauty` 目录下，执行该脚本，会从国内源的服务器上下载我们预处理完成的 Beauty 全量数据集，并解压到指定文件夹。
+``` bash
+cd ../../../datasets/Beauty
+sh run.sh
+``` 
+3. 切回模型目录,执行命令运行全量数据
+
+```bash
+# 进入模型目录
+# 动态图训练
+python -u ../../../tools/trainer.py -m config_bigdata.yaml 
+# 动态图预测
+python -u ../../../tools/infer.py -m config_bigdata.yaml 
+
+``` 
+
+## 进阶使用
+  
+## FAQ
diff --git a/models/recall/ensfm/readme.md b/models/recall/ensfm/readme.md
@@ -9,7 +9,6 @@
         ├── test.csv #训练数据样例
 ├── config.yaml # sample数据配置
 ├── config_bigdata.yaml # 全量数据数据配置
-├── download.sh # 下载全量数据
 ├── dygraph_model.py # 构建动态图
 ├── infer.py # 预测脚本
 ├── movielens_reader.py #数据读取程序
@@ -46,7 +45,7 @@ python 2.7/3.5/3.6/3.7
 os : windows/linux/macos 
 
 ## 快速开始
-本文提供了样例数据可以供您快速体验，在任意目录下均可执行。在ncf模型目录的快速执行命令如下： 
+本文提供了样例数据可以供您快速体验，在任意目录下均可执行。在ensfm模型目录的快速执行命令如下： 
 ```bash
 # 进入模型目录
 # cd models/recall/ensfm # 在任意目录均可运行
@@ -67,18 +66,18 @@ python -u infer.py -m config.yaml
 | :------| :------ |:------ | :------ | :------| :------ | 
 | ENSFM | 0.058 | 0.1 | 512 | 500 | 约2分钟 |
 
-1. 确认您当前所在目录为PaddleRec/models/recall/ensfm  
-2. 进入paddlerec/datasets/ml-1m_ensfm
+1. 确认您当前所在目录为`PaddleRec/models/recall/ensfm`  
+2. 进入`Paddlerec/datasets/ml-1m_ensfm`
 3. 执行该脚本，会从国内源的服务器上下载我们预处理完成的movielens全量数据集，并解压到指定文件夹。
 
 ``` bash
-cd ../../../datasets/movielens_pinterest_NCF
+cd ../../../datasets/ml-1m_ensfm
 sh run.sh
 ```
 
 ```bash
 cd - # 切回模型目录
-# 动态图训练并得到指标(这里需要使用bash启动脚本)
+# 动态图训练并得到指标
 python -u ../../../tools/trainer.py -m config_bigdata.yaml
 python -u infer.py -m config_bigdata.yaml
 ```
