Qlora 微调模型测试

[TousenKaname]

我现在有一个基于 internlm2 的 qlora 微调的模型，最终结果是这样的一个目录结构

我想测试 epoch3.pth文件夹里面的pt 的 tokenizer，请问我该怎么写 model

[onlyone2019]

请问这个问题您解决了吗？我也苦于这个问题

[bittersweet1999]

Is this model trained with Xtuner? If so, you would need to first use the relevant scripts to convert it into Hugging Face format checkpoints for testing. You can find the relevant scripts within Xtuner.