微调以后推理生成的数据有一直重复生成，

[TongrongHuang]

理论上我只需要前面四行的数据即可，但是正确的数据生成结束以后还会接着不断生成重复的数据，这个问题该如何解决，以前在微调完第一代6B的时候也有这种问题，现在微调的是3代的，还是不知道怎么解决，希望大佬提供意见

[zRzRzRzRzRzRzR]

检查你的special token有没有正确，是transformer推理吗

[TongrongHuang]

我是在自己新建的ipynb文件导入inference_hf.py中的load_model_and_tokenizer函数，然后传入finetune_demo/output/checkpoint-3000给model

[TongrongHuang]

我看了一下微调前后的special_tokens都是special_tokens={'eos_token': '</s>', 'unk_token': '<unk>', 'pad_token': '<unk>'}，没有发生变化

[zRzRzRzRzRzRzR]

尝试增加 user这个special token作为stop id

[zRzRzRzRzRzRzR]

后续的代码会重新将special tokenizer id这边进行重构，对齐huggingface代码