通过LLaMA-Factory代码预训练，Loss不降反增，训练之后回答混乱

[ItsFated]

训练环境：

Windows 10
Tesla P40 x1
I7 12700K

训练指令（通过LLaMA Factory微调）：

set CUDA_VISIBLE_DEVICES=0
python src/train_bash.py ^
--stage pt ^
--model_name_or_path D:\workspaces\chatglm3-6b ^
--do_train ^
--dataset starcoder_c ^
--finetuning_type lora ^
--lora_target query_key_value ^
--output_dir checkpoint_pt_glm3 ^
--overwrite_cache ^
--per_device_train_batch_size 4 ^
--gradient_accumulation_steps 4 ^
--lr_scheduler_type cosine ^
--logging_steps 10 ^
--save_steps 1000 ^
--learning_rate 5e-5 ^
--num_train_epochs 10.0 ^
--plot_loss

数据集：

StarCode的单个C代码文件，qarquet格式

训练日志：

train_pt.log

训练后效果：

我的问题是：

1. ChatGLM3是否支持代码微调？
2. 如果支持为什么Loss值会不降反增？
3. 如何进行代码微调，对数据集是否有要求，能否使用StarCode的数据集。

[zRzRzRzRzRzRzR]

不支持code 能力微调
loss不降大概率是数据构建有问题 llama factory我们测过了是正常的