你好，我看论文里说测试集有4.9K条问题，为什么下载的测试集只有1k多条问题呢

[huzj01]

你好，我看论文里说测试集有4.9K条问题，为什么下载的测试集只有1k多条问题呢

[ymcui]

你是从哪儿下的？CLUE？
除了给CLUE授权的数据之外，完整的测试集是不对外公开的，如需获得测试集结果需要提交代码。

[ymcui]

https://github.com/ymcui/cmrc2018/blob/master/README_CN.md#提交方法

[huzj01]

1.你的github 里有个 squad-style-data ，这里面有个cmrc2018_trial.json, 这个是测试集文件吧，只有1k多条。
2.clue也有个cmrc数据集下载，里面有个test.json ,这个文件里 没有答案， 如下格式， 这个文件由于没有正确答案，没法算准确率。
"qas": [
{
"question": "罗亚尔港号是什么级别的导弹巡洋舰？",
"id": "TEST_0_QUERY_0",
"answers": [
{
"text": "FAKE_ANSWER_1",
"answer_start": -1
},
{
"text": "FAKE_ANSWER_2",
"answer_start": -1
},
{
"text": "FAKE_ANSWER_3",
"answer_start": -1
}
]
}

[ymcui]

1、trial = 试验，不是翻译成测试
2、clue的也是不提供标签的，你要去clue网站提交结果，而不是线下自己测。