Skip to content

[Question]同一个问题生成的单轮数据集和多轮数据集回答不一致, 多轮数据集正确率极低 #674

@Haiyang-coder

Description

@Haiyang-coder

注意:请务必按照此模版填写 ISSUES 信息,否则 ISSUE 将不会得到回复

问题描述
同一个问题生成的单轮数据集和多轮数据集回答不一致, 多轮数据集正确率极低

桌面设备(请完善以下信息)

  • 操作系统:[MAC]
  • 浏览器:[谷歌浏览器(Chrome)]
  • Easy Dataset 版本:[1.7.1]

使用模型

  • 模型提供商:智普
  • 模型名称:例如GLM4,7 GLM-4-flash都用了

复现步骤
重现该问题的操作步骤:

  1. 上传文档界面
  2. 点击上传文献,上传一个md文档,里面只有一句话,<每个vpc创建的子网个数上限为10个>
  3. 点击上传
  4. 点击生成问题
    5.点击生成数据集, 点击生成多轮对话数据集

预期结果
无论是单轮对话数据集还是多轮对话数据集都应该回答10

实际结果
单轮正确,多轮测试多次都是回答错误

截图

Image Image Image

其他相关信息
在此处添加关于该问题的其他任何相关背景信息。

Metadata

Metadata

Assignees

No one assigned

    Labels

    questionFurther information is requested

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions