ms-swift已适配MiniMind2

[PiggerZZM]

感谢大佬的开源项目，这个项目对个人学习与小规模研究意义重大。做了一点简单的适配工作，现已支持在ms-swift中使用MiniMind2和Minimind2-Small。

modelscope/ms-swift#7136

[xkooonet]

你好，测试sft_2048 一直卡在map切分，麻烦你把minimind的数据集都测试一下呗

[PiggerZZM]

你好，测试sft_2048 一直卡在map切分，麻烦你把minimind的数据集都测试一下呗

minimind的数据集还没做适配，你是手动把sft_2048转成ms_swift需要的格式然后训练卡住吗？

[xkooonet]

你好，测试sft_2048 一直卡在map切分，麻烦你把minimind的数据集都测试一下呗

minimind的数据集还没做适配，你是手动把sft_2048转成ms_swift需要的格式然后训练卡住吗？

后来我看哪个错误的意思就是max_seq_len 这个超过2048了，我跑代码看了下，sft_2048有 6367 字符长度呢，需要处理。后面的步骤还没试，我 本来是想实时ms-swift在sft上全参数是不是比原生的torch快的。

[whale-withme]

@xkooonet @PiggerZZM 我试了一下原生torch的速度要比ms-swift full-sft 速度快很多，这是为什么呢

[PiggerZZM]

@xkooonet @PiggerZZM 我试了一下原生torch的速度要比ms-swift full-sft 速度快很多，这是为什么呢

看看ms-swift是不是开了gradient checkpointing或者其他降显存设置呢，默认是会开的

[whale-withme]

@xkooonet @PiggerZZM 我试了一下原生torch的速度要比ms-swift full-sft 速度快很多，这是为什么呢

看看ms-swift是不是开了gradient checkpointing或者其他降显存设置呢，默认是会开的

确实ms-swift开了 gradient checkpointing，显存只占用了 1G。我用作者的没开的话显存占 12G