按照最新的微调，报错：KeyError: 'conversations'，求大佬帮忙看看

[ChengQianlong]

按照最新（3月12日）的代码，按照微调的步骤，执行：python finetune_hf.py data/AdvertiseGen/ models/chatglm3-6b configs/lora.yaml
报错：
"""
Traceback (most recent call last):
File "/home/chengql4/anaconda3/envs/ChatGLM3/lib/python3.11/site-packages/multiprocess/pool.py", line 125, in worker
result = (True, func(*args, **kwds))
^^^^^^^^^^^^^^^^^^^
File "/home/chengql4/anaconda3/envs/ChatGLM3/lib/python3.11/site-packages/datasets/utils/py_utils.py", line 623, in _write_generator_to_queue
for i, result in enumerate(func(**kwargs)):
File "/home/chengql4/anaconda3/envs/ChatGLM3/lib/python3.11/site-packages/datasets/arrow_dataset.py", line 3482, in _map_single
batch = apply_function_on_filtered_inputs(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/chengql4/anaconda3/envs/ChatGLM3/lib/python3.11/site-packages/datasets/arrow_dataset.py", line 3361, in apply_function_on_filtered_inputs
processed_inputs = function(*fn_args, *additional_args, **fn_kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/chengql4/myProject/ChatGLM3/finetune_demo/finetune_hf.py", line 274, in process_batch
batched_conv = batch['conversations']
~~~~~^^^^^^^^^^^^^^^^^
File "/home/chengql4/anaconda3/envs/ChatGLM3/lib/python3.11/site-packages/datasets/formatting/formatting.py", line 270, in getitem
value = self.data[key]
~~~~~~~~~^^^^^
KeyError: 'conversations'
"""

[MrHuangZy]

您好，这个问题我刚刚遇到了，这个应该是没有把那个数据的文件格式做转化，在lora_finetune.ipynb文件里面可以将数据文件转换格式，转换之后再运行代码就可以解决了。当然这是我遇到的情况。

[ChengQianlong]

感谢回复。确实是数据格式的问题，直接从链接里面下载的Ad的数据格式和GLM微调要求的数据格式不一样，得稍微处理下。再次感谢

[wangzj1990]

感谢回复。确实是数据格式的问题，直接从链接里面下载的Ad的数据格式和GLM微调要求的数据格式不一样，得稍微处理下。再次感谢

我也遇到同样的问题了，要怎么处理Ad的数据格式，谢谢

[MrHuangZy]

你可以参考finetune_demo里面的lora_finetune.ipynb文件，里面有处理Ad的数据格式转换文件

[wangzj1990]

感谢回复。可以了