File tree Expand file tree Collapse file tree 4 files changed +12
-2
lines changed Expand file tree Collapse file tree 4 files changed +12
-2
lines changed Original file line number Diff line number Diff line change 22- cpp:c++ 预测代码
33- java:java 预测代码
44- python:python 预测代码
5+ - go: go 预测代码
56- data:预测所使用的样本数据
67- model:预测所使用的模型文件
Original file line number Diff line number Diff line change 33<h2 >代码目录</h2 >
44
55```
6- inference_c++2.0
6+ cpp
77|-- main.cpp # 工程 main 文件
88|-- src # cpp 文件
99|-- include # h 文件
@@ -19,9 +19,12 @@ inference_c++2.0
1919```
2020<h2 >准备工作</h2 >
2121
22- 1 . 下载 PaddlePaddle C++ 预测库:[ C++ 预测库下载地址] ( https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html ) ,下载后解压到 tools/inference_c++2.0/ 目录下
22+ 1 . 下载 PaddlePaddle C++ 预测库:[ C++ 预测库下载地址] ( https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html ) ,下载后解压到 tools/inference/cpp 目录下
23232 . 引入百度 brpc 库 [ brpc 源码地址] ( https://github.com/apache/incubator-brpc ) ,下载后编译,编译输出文件放入 paddle_inference 目录下
24243 . 训练保存好的模型和参数文件、推理样本文件
25+ <h2 >paddlerec 中引入 cube 的背景</h2 >
26+
27+ 成熟的推荐系统的排序算法通常都有规模相当大的 embedding 表,这些 embedding 表通常无法在单台机器上存放,因此通常的做法是 embedding 拆解存放在外部 KV 服务上。预测时,大规模稀疏参数不需要存放在本地,而是直接去远端查询,避免了本地 lookup_table 操作。
2528<h2 >cube kv 功能流程</h2 >
2629
27301 . 准备 Sequence File [ 样例seqfile] ( https://paddle-serving.bj.bcebos.com/others/part-000-00000 )
Original file line number Diff line number Diff line change 1+ # 背景
2+ java 推理库使用的是 [ deepjavalibrary] ( https://github.com/deepjavalibrary/djl )
13# 运行命令
24sh run.sh
Original file line number Diff line number Diff line change 1+ # 目录说明
2+ 1 . rec_inference.pdmodel、rec_inference.pdiparams:完整的模型和参数文件
3+ 2 . pruned_inference.pdmodel、pruned_inference.pdiparams:使用 cube 服务时所使用的裁剪后的模型和参数文件,相比 1,少了 lookup_table 层。
4+ 3 . rec_inference.zip:java 推理所使用的模型和参数文件压缩包
You can’t perform that action at this time.
0 commit comments