微调完后模型部署数据出错

[zsq2489]

使用finetune_hf.py进行微调后得到checkpoint文件，用python inference_hf.py your_finetune_path --prompt your prompt这样的方式得到的回答是我需要的，但当其导入至web_demo_gradio.py后，所得回复疯了。

[zRzRzRzRzRzRzR]

记得按照readme改推理方式

[zsq2489]

改了的，疯了一样是指成功微调了一半，然后回复停不下来。

[zsq2489]

图片上传不了，就是是我微调后应该得到的的，但是停不下来然后开始胡言乱语。修改了web_demo_gradio的modelpath，然后将说明文档里的代码复制上去了，如果使用inference的该函数覆盖会报错，config文件里basemodel也改了。