lora微调后使用api_sever调用并无效果，inference_hf.py调用却有效果 #1045
-
|
有没有人微调过chatglm3后调用api，为什么我微调后直接使用inference_hf.py和使用api_sever.py调用相差很大，api_sever可以说基本没有微调一样，api_sever.py已经换了inference.py的调用方式 |
Beta Was this translation helpful? Give feedback.
Answered by
zRzRzRzRzRzRzR
Mar 31, 2024
Replies: 2 comments
-
|
同个问题 inference效果很好 ，但是一用api就开始抽搐 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
所有的非inference的内容调用模型部分都要修改成inference的方式，这个是要改的，不是直接套的 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
zRzRzRzRzRzRzR
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
所有的非inference的内容调用模型部分都要修改成inference的方式，这个是要改的，不是直接套的