模型在多卡Lora微调时使用deepspeed出现第一个500断点保存后报错情况

[April-ROY]

模型在多卡Lora微调时使用deepspeed出现第一个500断点保存后报错情况。

如果注释deepspeed则可以正常进行。

模型使用lora多卡微调为什么显存占用反而升高了呢？原本是14m，多卡后每张卡提升至19m。