微调代码存在异常 #1015

twwch · 2024-03-22T05:57:21Z

twwch
Mar 22, 2024

python finetune_hf.py data/ikmore/ /data1/chenhao/models/THUDM/chatglm3-6b configs/lora.yaml
Setting eos_token is not supported, use the default one.
Setting pad_token is not supported, use the default one.
Setting unk_token is not supported, use the default one.
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00, 2.64it/s]
trainable params: 1,949,696 || all params: 6,245,533,696 || trainable%: 0.031217444255383614
--> Model

--> model has 1.949696M params

train_dataset: Dataset({
features: ['input_ids', 'labels'],
num_rows: 25260
})
val_dataset: Dataset({
features: ['input_ids', 'output_ids'],
num_rows: 1
})
test_dataset: Dataset({
features: ['input_ids', 'output_ids'],
num_rows: 1
})
--> Sanity check
'[gMASK]': 64790 -> -100
'sop': 64792 -> -100
'<|user|>': 64795 -> -100
'': 30910 -> -100
'\n': 13 -> -100
'你': 36474 -> -100
'是一个': 32103 -> -100
'使用': 31695 -> -100
'先进的': 38568 -> -100
'自然': 31799 -> -100
'语言': 32330 -> -100
'处理': 31940 -> -100
'技术': 31668 -> -100
'能': 54558 -> -100
'快速': 32371 -> -100
'准确': 33494 -> -100
'地': 54563 -> -100
'概括': 39268 -> -100
'文档': 42979 -> -100
'的人工': 51393 -> -100
'智能': 32093 -> -100
'助手': 42481 -> -100
'，': 31123 -> -100
'善于': 35386 -> -100
'对': 54570 -> -100
'文档': 42979 -> -100
'合并': 35211 -> -100
'重复': 35287 -> -100
'内容': 31795 -> -100
'、': 31201 -> -100
'提炼': 46385 -> -100
'重点': 31881 -> -100
'内容': 31795 -> -100
'，': 31123 -> -100
'具备': 32995 -> -100
'对': 54570 -> -100
'文档': 42979 -> -100
'内容': 31795 -> -100
'深度': 33442 -> -100
'理解': 32185 -> -100
'的能力': 33926 -> -100
'，': 31123 -> -100
'并能': 51533 -> -100
'有效': 31942 -> -100
'识别': 34292 -> -100
'文档': 42979 -> -100
'的核心': 35732 -> -100
'内容': 31795 -> -100
'，': 31123 -> -100
'排除': 35665 -> -100
'掉': 55751 -> -100
'与': 54619 -> -100
'文章': 32146 -> -100
'标题': 34490 -> -100
'不': 54535 -> -100
'相关的': 34363 -> -100
'干扰': 37272 -> -100
'。': 31155 -> -100
'文档': 42979 -> -100
'内容': 31795 -> -100
'如下': 33163 -> -100
'：': 31211 -> -100
'\n': 13 -> -100
'``': 10846 -> -100
'`': 31040 -> -100
'越来越': 32193 -> -100
'贵': 55402 -> -100
'！': 31404 -> -100
'揭秘': 42487 -> -100
'SCI': 43618 -> -100
'、': 31201 -> -100
'SS': 4800 -> -100
'CI': 19427 -> -100
'期刊': 34248 -> -100
'“': 30989 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'”：': 37202 -> -100
'内': 54680 -> -100
'情': 54623 -> -100
'与': 54619 -> -100
'缴费': 36560 -> -100
'流程': 33130 -> -100
'': 30910 -> -100
'送': 55244 -> -100
'资料': 32315 -> -100
'活动': 31651 -> -100
'': 30910 -> -100
'科研': 32692 -> -100
'与': 54619 -> -100
'发表': 32560 -> -100
'\n': 13 -> -100
'科研': 32692 -> -100
'与': 54619 -> -100
'发表': 32560 -> -100
'\n': 13 -> -100
'微信号': 47286 -> -100
'\n': 13 -> -100
'ac': 338 -> -100
'adem': 2578 -> -100
'ic': 294 -> -100
'_': 30962 -> -100
'times': 6709 -> -100
'\n': 13 -> -100
'功能': 31877 -> -100
'介绍': 32025 -> -100
'\n': 13 -> -100
'关注': 31959 -> -100
'科研': 32692 -> -100
'圏': 62549 -> -100
'动态': 33543 -> -100
'，': 31123 -> -100
'国际': 31721 -> -100
'期刊': 34248 -> -100
'动态': 33543 -> -100
'，': 31123 -> -100
'介绍': 32025 -> -100
'发表': 32560 -> -100
'经验': 32035 -> -100
'。': 31155 -> -100
'\n': 13 -> -100
'不管是': 35759 -> -100
'文科': 43431 -> -100
'的还是': 54291 -> -100
'\n': 13 -> -100
'理工': 34327 -> -100
'科的': 53397 -> -100
'，': 31123 -> -100
'现在': 31714 -> -100
'都要': 33078 -> -100
'发': 54559 -> -100
'国际': 31721 -> -100
'期刊': 34248 -> -100
'论文': 33012 -> -100
'了': 54537 -> -100
'。': 31155 -> -100
'理工': 34327 -> -100
'科': 54693 -> -100
'发': 54559 -> -100
'SCI': 43618 -> -100
'，': 31123 -> -100
'文科': 43431 -> -100
'发': 54559 -> -100
'SS': 4800 -> -100
'CI': 19427 -> -100
'。': 31155 -> -100
'\n': 13 -> -100
'在': 54534 -> -100
'\n': 13 -> -100
'发': 54559 -> -100
'国际': 31721 -> -100
'论文': 33012 -> -100
'\n': 13 -> -100
'时': 54554 -> -100
'，': 31123 -> -100
'我们都': 39566 -> -100
'可能会': 32934 -> -100
'被': 54732 -> -100
'学术': 32472 -> -100
'期刊': 34248 -> -100
'索': 55403 -> -100
'要': 54552 -> -100
'“': 30989 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'”，': 31644 -> -100
'就是': 31632 -> -100
'得': 54607 -> -100
'掏': 57900 -> -100
'钱': 55219 -> -100
'才能': 32017 -> -100
'发': 54559 -> -100
'论文': 33012 -> -100
'\n': 13 -> -100
'。': 31155 -> -100
'\n': 13 -> -100
'很多': 31679 -> -100
'作者': 32032 -> -100
'感慨': 37931 -> -100
'，': 31123 -> -100
'现在': 31714 -> -100
'SCI': 43618 -> -100
'、': 31201 -> -100
'SS': 4800 -> -100
'CI': 19427 -> -100
'期刊': 34248 -> -100
'“': 30989 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'”，': 31644 -> -100
'越来越': 32193 -> -100
'贵': 55402 -> -100
'了': 54537 -> -100
'！': 31404 -> -100
'\n': 13 -> -100
'当然': 32276 -> -100
'，': 31123 -> -100
'这': 54551 -> -100
'也不': 31946 -> -100
'绝对': 33194 -> -100
'，': 31123 -> -100
'虽然': 31855 -> -100
'很多': 31679 -> -100
'国外': 34401 -> -100
'期刊': 34248 -> -100
'是': 54532 -> -100
'会': 54549 -> -100
'要': 54552 -> -100
'”': 30991 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'“': 30989 -> -100
'的': 54530 -> -100
'，': 31123 -> -100
'但': 54688 -> -100
'也有很多': 48106 -> -100
'期刊': 34248 -> -100
'不要': 31844 -> -100
'这个': 31646 -> -100
'钱': 55219 -> -100
'。': 31155 -> -100
'所以': 31672 -> -100
'，': 31123 -> -100
'你在': 35292 -> -100
'投稿': 38670 -> -100
'时': 54554 -> -100
'，': 31123 -> -100
'一定要': 32469 -> -100
'先': 54810 -> -100
'对': 54570 -> -100
'\n': 13 -> -100
'”': 30991 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'\n': 13 -> -100
'“': 30989 -> -100
'\n': 13 -> -100
'做好': 31971 -> -100
'了解': 31788 -> -100
'。': 31155 -> -100
'\n': 13 -> -100
'我们在': 34246 -> -100
'工作中': 33837 -> -100
'，': 31123 -> -100
'经常': 32289 -> -100
'有': 54536 -> -100
'作者': 32032 -> -100
'来': 54556 -> -100
'问': 54761 -> -100
'我们': 31625 -> -100
'期刊': 34248 -> -100
'\n': 13 -> -100
'”': 30991 -> -100
'\n': 13 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'\n': 13 -> -100
'“': 30989 -> -100
'的问题': 32184 -> -100
'，': 31123 -> -100
'也有很多': 48106 -> -100
'关于': 31809 -> -100
'\n': 13 -> -100
'”': 30991 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'\n': 13 -> -100
'“': 30989 -> -100
'的': 54530 -> -100
'\n': 13 -> -100
'常识': 38851 -> -100
'与': 54619 -> -100
'缴费': 36560 -> -100
'流程': 33130 -> -100
'的': 54530 -> -100
'提问': 37817 -> -100
'。': 31155 -> -100
'\n': 13 -> -100
'我们': 31625 -> -100
'经过': 32082 -> -100
'整理': 33362 -> -100
'，': 31123 -> -100
'这里': 31939 -> -100
'一次性': 37905 -> -100
'把': 54849 -> -100
'说明': 32448 -> -100
'送': 55244 -> -100
'给大家': 34693 -> -100
'！': 31404 -> -100
'\n': 13 -> -100
'！': 31404 -> -100
'\n': 13 -> -100
'！': 31404 -> -100
'\n': 13 -> -100
'因为': 31659 -> -100
'这些': 31704 -> -100
'说明': 32448 -> -100
'文件': 32410 -> -100
'比较多': 44036 -> -100
'，': 31123 -> -100
'是': 54532 -> -100
'数字': 32224 -> -100
'版的': 38212 -> -100
'，': 31123 -> -100
'需要': 31665 -> -100
'打包': 45341 -> -100
'才能': 32017 -> -100
'发': 54559 -> -100
'\n': 13 -> -100
'给大家': 34693 -> -100
'，': 31123 -> -100
'所以': 31672 -> -100
'\n': 13 -> -100
'大家': 31684 -> -100
'可': 54568 -> -100
'加': 54639 -> -100
'@': 31030 -> -100
'花': 54867 -> -100
'博士': 32384 -> -100
'微信': 32109 -> -100
'，': 31123 -> -100
'留言': 34376 -> -100
'\n': 13 -> -100
'“': 30989 -> -100
'我': 54546 -> -100
'需要': 31665 -> -100
'“': 30989 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'”': 30991 -> -100
'说明': 32448 -> -100
'”': 30991 -> -100
'\n': 13 -> -100
'，': 31123 -> -100
'即可': 32895 -> -100
'免费': 32717 -> -100
'领取': 35773 -> -100
'。': 31155 -> -100
'留言': 34376 -> -100
'就可': 44791 -> -100
'获得': 31823 -> -100
'！': 31404 -> -100
'\n': 13 -> -100
'长按': 53846 -> -100
'、': 31201 -> -100
'扫码': 38937 -> -100
'加': 54639 -> -100
'“': 30989 -> -100
'花': 54867 -> -100
'博士': 32384 -> -100
'”': 30991 -> -100
'\n': 13 -> -100
'留言': 34376 -> -100
'“': 30989 -> -100
'\n': 13 -> -100
'我': 54546 -> -100
'需要': 31665 -> -100
'“': 30989 -> -100
'版': 55090 -> -100
'面': 54610 -> -100
'费': 55000 -> -100
'”': 30991 -> -100
'说明': 32448 -> -100
'\n': 13 -> -100
'”，': 31644 -> -100
'即可': 32895 -> -100
'免费': 32717 -> -100
'领取': 35773 -> -100
'\n': 13 -> -100
'。': 31155 -> -100
'\n': 13 -> -100
'除此之外': 36329 -> -100
'，': 31123 -> -100
'在': 54534 -> -100
'科研': 32692 -> -100
'中': 54538 -> -100
'，': 31123 -> -100
Traceback (most recent call last):

File "/data1/chenhao/codes/ChatGLM3/finetune_demo/finetune_hf.py", line 571, in
app()

File "/data1/chenhao/codes/ChatGLM3/finetune_demo/finetune_hf.py", line 527, in main
eval_dataset=val_dataset.select(list(range(50))),

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/arrow_dataset.py", line 558, in wrapper
out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs)

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/fingerprint.py", line 482, in wrapper
out = func(dataset, *args, **kwargs)

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/arrow_dataset.py", line 3829, in select
return self._select_contiguous(start, length, new_fingerprint=new_fingerprint)

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/arrow_dataset.py", line 558, in wrapper
out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs)

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/fingerprint.py", line 482, in wrapper
out = func(dataset, *args, **kwargs)

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/arrow_dataset.py", line 3879, in _select_contiguous
_check_valid_indices_value(start + length - 1, len(self))

File "/data1/chenhao/anaconda3/envs/chatglm3-ft/lib/python3.9/site-packages/datasets/arrow_dataset.py", line 650, in _check_valid_indices_value
raise IndexError(f"Index {index} out of range for dataset of size {size}.")

IndexError: Index 49 out of range for dataset of size 1.

我的数据集格式

{
        "conversations": [
            {
                "role": "user",
                "content": "你是一个使用先进的自然语言处理技术能快速准确地概括文档的人工智能助手，善于对文档合并重复内容、提炼重点内容，具备对文档内容深度理解的能力，并能有效识别文档的核心内容，排除掉与文章标题不相关的干扰。文档内容如下：\n```惊艳！AI能替我上大学了？每个大学生必备的AI学习神器：讯飞星火！ 面经熊\n面经熊\n微信号\ngh_b6a15ac19b80\n功能介绍\n互联网大厂面经一网打尽，互联网求职必备神器\n你们上大学遇到\n最烦人的问题\n是什么？如果有一个能够\n替你写作业、帮你找工作\n的\nAI神器，你会想试试嘛？\n面经熊今天就给大家分享一个\n拯救大学生学习难、找工作难的AI神器\n！不说卷死同学，但至少能每天多出几个小时的娱乐玩耍时间，是不是心里暗爽？\n之前\n会科学上网的同学说C\nhatGPT在这一块儿表现不错，国产的大模型差一些，就在\n前两天讯飞星火认知大模型发布了\nV2.0，包含了\n多模态与插件能力\n（写PPT、写简历、图像生成等）、代码生成能力\n、\n文档问答能力\n的重大升级，作为每天为大学生服务的面经熊，必须得去看看！\n01\n简历生成\n对于应届大学生来\n说，一份简历至关重要，但是每次写简历和更新简历，都是一件比较麻烦的事情。\n讯飞星火的插件，正好为我们提供了撰写简历的功能，让我们来试一试：\n很快，讯飞星火为我们生成了一份非常漂亮详尽的简历，我们可以在此基础上稍作修改，成为更加符合自己情况的个人简历。\n02\nPPT生成\n讯飞星火为我们提供了生成\nPPT的能力，非常方便，我们来试用一下，让AI为我们生成一个PPT\n，\n制作一份研究生毕业论文选题讨论\nPPT模板\n。\n很快，讯飞星火就为我们生成了\nPPT的预览：\n下载完整\nPPT以后，呈现给我们的是一套非常工整清晰的PPT文档：\n03\n文档问答\n讯飞星火还为我们提供了文档问答的能力，\n所谓文档问答，就是上传一份文档供\nAI进行学习和理解，提取出文档中的关键信息，并且可以根据文档内容来回答用户的提问。\n我们首先上传一个\n论文文献《\n高温超导材料与技术的发展及应用\n》\n的文档给讯飞\n星火\n：\n很快，讯飞星火为我们提炼了文档中的关键信息：\n我们再根据文档的内容，问一问讯飞星火本论文的核心结论是什么\n，结论秒出以后我们看文献再也不用那么辛苦了，学习效率提升\n1\n0\n倍！\n由此可见，讯飞星火的文档学习能力真的很强大！\n讯飞星火的能力这么强大，我赶紧找讯飞的朋友要了一个\n专属内测通道\n：\nhttps://xinghuo.xfyun.cn/?ch=bl_1wJMzu\n1.\n专属通道：\n注册使用\n完全免费、秒通过，即刻上手使用，无需审核；\n2.开发者权益：\n如果你是开发者，可以获得比常规渠道多30%的\nAPI额度\n（200万V1.5版Tokens+200万最新V2.0版Tokens），累计400万星火大模型使用权益。\n也可通过\n扫描二维码\n申请：\n04\n大学生活好帮手\n除了写简历找工作、完成学业毕业，每个大学生都想在大学里谈一段甜甜的恋爱，可是总是事与愿违，遇到了一些不合适的人，那么怎么提分手让双方更加体面呢？\n1.分手大师\n讯飞星火提供了\n“分手大师”\n助手，我们来试试看：\n讯飞星火非常聪明！很快就写了一封分手信，妈妈再也不用担心我的\n1\n08\n个女朋友怎么管理了！简直是大学生谈恋爱神器（\n）\n2.文生图\n作为一名正经熊，以前体验过不少文生图的产品，比如我想生成一个封面来吸引用户点击查看：\n不得不说，很符合\n理工男对大学清纯女神\n形象的认知\n~\n05\n为什么是讯飞星火\n以上更新，还只是讯飞星火的冰山一角，讯飞星火还推出了助手模式，并且提供了更加强大的代码能力，大家都可以自己注册来体验一番。\n或许有小伙伴会想，现在\nGPT-4已经那么强大了，我为什么还要去使用讯飞星火呢？\nGPT-4的确非常智能，堪称AI历史上的里程碑产品，但讯飞星火也有它不可替代的优势。\n1.\n使用更方便、速度更快\n使用ChatGPT，需要繁琐的注册流程，以及你懂的\n～\n而讯飞星火注册过程非常简单，只需要花不到\n1分钟申请一下即可。\n2.\n完全免费\nOpenAI的plus账号，无论是自己充值还是购买，最低也要100多元人民币，有效期一个月，真的不便宜。\n作为大学生的我们，能省一点就省点，白嫖真香！\n免费白嫖攻略：\n面经熊为大家申请了一些内测体验名额，\n长按内测二维码，点击“申请注册”即可\n，无需等待秒通过！\n通过上面面经熊的专属二维码申请体验的朋友，可以获得额外的专属权益，\n强烈建议通过面经熊的专属二维码来申请：\n1.\n专属通道：\n注册使用\n完全免费、秒通过，即刻上手使用，无需审核；\n2.\n开发者权益：\n如果你是开发者，可以获得比常规渠道多3\n0%\n的\nAPI额度\n（2\n00\n万V\n1.5\n版Tokens+\n200\n万最新V\n2.0\n版Tokens），累计4\n00万星火大模型使用权益。\n最后，期待国产大模型可以越做越好，达到国际领先水平。也期望越来越多的\n同学\n了解\nAI，掌握AI，成为AI时代的弄潮儿！\n预览时标签不可点\n微信扫一扫\n关注该公众号\n继续滑动看下一个\n轻触阅读原文 面经熊\n向上滑动看下一个\n知道了 微信扫一扫\n使用小程序\n取消\n允许\n取消\n允许\n：\n，\n。\n视频\n小程序\n赞\n，轻点两下取消赞\n在看\n，轻点两下取消在看\n分享\n留言```"
            },
            {
                "role": "assistant",
                "content": "1. 讯飞星火提供了简历生成、PPT生成和文档问答等功能，帮助大学生撰写简历、制作PPT以及提取文档中的关键信息。\n2. 讯飞星火提供了分手大师助手，可以帮助大学生写分手信。此外，还提供了文生图功能，可以生成吸引人的封面。\n3. 使用讯飞星火无需繁琐的注册流程，注册过程简单且免费。相比OpenAI的plus账号，讯飞星火更省钱。"
            }
        ]
    }

zRzRzRzRzRzRzR · 2024-03-25T08:11:55Z

zRzRzRzRzRzRzR
Mar 25, 2024
Maintainer

检查一下你的数据集是不是官方格式

0 replies

kennponn · 2024-03-29T17:07:36Z

kennponn
Mar 29, 2024

解决了吗

0 replies

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Uh oh!

微调代码存在异常 #1015

Uh oh!

{{title}}

Uh oh!

Replies: 2 comments

Uh oh!

{{title}}

Uh oh!

Uh oh!

{{title}}

Uh oh!

Select a reply

Uh oh!

微调代码存在异常 #1015

Uh oh!

twwch Mar 22, 2024

Replies: 2 comments

Uh oh!

zRzRzRzRzRzRzR Mar 25, 2024 Maintainer

Uh oh!

kennponn Mar 29, 2024

twwch
Mar 22, 2024

zRzRzRzRzRzRzR
Mar 25, 2024
Maintainer

kennponn
Mar 29, 2024