如何对已经生成了的回答进行评估而不是使用模型重新跑 #2282
Unanswered
AqualCross
asked this question in
Q&A
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
我曾使用alpaca-eval,并使用我的模型对alpaca-eval数据集上的每一条instruction生成对应的output,保存为jsonl文件,每个对象都只有instruction和output,然后可以使用alpaca,使用llm对两份json文件进行成对评估
我该如何在司南中利用这些jsonl文件快速地评估模型而不是重新生成,这很花费时间和算力
Beta Was this translation helpful? Give feedback.
All reactions