求问大佬们，如何使用langchain将微调之后的多轮对话模型与本地知识库连接啊

[Git-ycy]

q1:微调之后的模型用composite_demo/里的代码运行，已经封装到了demo_chat.chat就直接输出到界面的程度，该怎么把微调之后的模型自己封装到能够接入langchain啊，是只要能够单独获取到response就可以吗
q2: langchain_demo里面的tool可以封装本地知识库吗，比如知识图谱或者chroma
q3: 大模型和本地知识图谱的接口，如果q2可以的话那这个就是模仿tool即可，但是如果不是的话该怎么接入成检索问答链呢，是用retrieval吗

[Roych13]

q1，个人觉得没必要用langchain套壳。langchain_demo只是为了调用tools或者agents才套壳的。
q2.chatglm3并非嵌入（embedding）模型，如果要进行知识库管理，应该调用m3e之类的embedding模型来处理。非要使用chatglm3的话，不知道分词器tokenizer能否处理，没仔细研究过。如果不能处理，估计最多也就调用函数来读取知识图谱或者chroma，或者将检索到的信息再润色一下。
q3，其实q2已经回答了。个人更加推荐使用embedding模型来做知识库检索，多轮问答则交给chatglm3。而不是非要用一个模型来做所有事情。