不同的任务的数据集合并之后再lora微调效果明显不如数据单独进行微调

[kevindany]

我用的ChatGLM3-6B-base，准备了两份微调的数据，一个用于意图识别类的任务，另一个用于数据抽取的任务。
我单独进行微调和评估效果，都还ok，但是把两份数据直接合并一起再微调，发现效果非常差。请问如何解决？原因是什么？
我合并之后微调是为了统一成一个模型提供服务。是否有必要用第一个数据集微调之后，合并模型，然后用第二个数据集微调？
ChatGLM3-6B-chat也有同样的现象。感谢！

[zRzRzRzRzRzRzR]

我们没有做这方面的demo，或许需要 在 #253 讨论