-
Notifications
You must be signed in to change notification settings - Fork 34
Open
Description
我使用开源的7B模型(https://huggingface.co/Junfeng5/Liquid_V1_7B/tree/main)
使用lm-evaluation-harness工具
测试纯文本任务的效果,得到以下结果
/usr/local/python3/bin/lm-eval --model hf \ --model_args pretrained=/root/paddlejob/workspace/env_run/test_liquid/liquid_v1_7b/,dtype="float" \ --tasks openbookqa,arc_easy,winogrande,hellaswag,arc_challenge,piqa,boolq \ --device cuda:6 \ --batch_size 8
不知道我的测试方法哪里出了问题
lst627
Metadata
Metadata
Assignees
Labels
No labels
