Skip to content

Commit 2ca7642

Browse files
committed
update reademe
1 parent ffe233c commit 2ca7642

File tree

4 files changed

+12
-2
lines changed

4 files changed

+12
-2
lines changed

tools/inference/README.md

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -2,5 +2,6 @@
22
- cpp:c++ 预测代码
33
- java:java 预测代码
44
- python:python 预测代码
5+
- go: go 预测代码
56
- data:预测所使用的样本数据
67
- model:预测所使用的模型文件

tools/inference/cpp/README.md

Lines changed: 5 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -3,7 +3,7 @@
33
<h2>代码目录</h2>
44

55
```
6-
inference_c++2.0
6+
cpp
77
|-- main.cpp # 工程 main 文件
88
|-- src # cpp 文件
99
|-- include # h 文件
@@ -19,9 +19,12 @@ inference_c++2.0
1919
```
2020
<h2>准备工作</h2>
2121

22-
1. 下载 PaddlePaddle C++ 预测库:[C++ 预测库下载地址](https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html),下载后解压到 tools/inference_c++2.0/ 目录下
22+
1. 下载 PaddlePaddle C++ 预测库:[C++ 预测库下载地址](https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html),下载后解压到 tools/inference/cpp 目录下
2323
2. 引入百度 brpc 库 [brpc 源码地址](https://github.com/apache/incubator-brpc),下载后编译,编译输出文件放入 paddle_inference 目录下
2424
3. 训练保存好的模型和参数文件、推理样本文件
25+
<h2>paddlerec 中引入 cube 的背景</h2>
26+
27+
成熟的推荐系统的排序算法通常都有规模相当大的 embedding 表,这些 embedding 表通常无法在单台机器上存放,因此通常的做法是 embedding 拆解存放在外部 KV 服务上。预测时,大规模稀疏参数不需要存放在本地,而是直接去远端查询,避免了本地 lookup_table 操作。
2528
<h2>cube kv 功能流程</h2>
2629

2730
1. 准备 Sequence File [样例seqfile](https://paddle-serving.bj.bcebos.com/others/part-000-00000 )

tools/inference/java/README.md

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,2 +1,4 @@
1+
# 背景
2+
java 推理库使用的是 [deepjavalibrary](https://github.com/deepjavalibrary/djl)
13
# 运行命令
24
sh run.sh

tools/inference/model/README.md

Lines changed: 4 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,4 @@
1+
# 目录说明
2+
1. rec_inference.pdmodel、rec_inference.pdiparams:完整的模型和参数文件
3+
2. pruned_inference.pdmodel、pruned_inference.pdiparams:使用 cube 服务时所使用的裁剪后的模型和参数文件,相比 1,少了 lookup_table 层。
4+
3. rec_inference.zip:java 推理所使用的模型和参数文件压缩包

0 commit comments

Comments
 (0)