ulysses, num_attention_head整除问题 #5
Description
hello， 看论文和代码描述， 序列并行使用的是DeepSpeed-Ulysses， 并行度设置为world size, 但DeepSpeed-Ulysses并行需要num_attn_heads能够整除并行度， 如果是单机8卡， 而qwen2.5的num_attn_heads是28， 这个也能跑起来？
{{ message }}
hello， 看论文和代码描述， 序列并行使用的是DeepSpeed-Ulysses， 并行度设置为world size, 但DeepSpeed-Ulysses并行需要num_attn_heads能够整除并行度， 如果是单机8卡， 而qwen2.5的num_attn_heads是28， 这个也能跑起来？