Skip to content

如果第一阶段kl loss =0,那什么时候开启第二阶段训练呢? #175

@bobo-wmdigit

Description

@bobo-wmdigit

我前面没注意,训练的过程中一直是有kl loss的,这个最后的声音就会有阶段的嗡名声和金属碰撞声,不知道是不是因为kl loss长期约束导致的。

再就是,如果要分阶段训练,第2阶段应该是在什么条件下开启kl loss呢?是 l1 拉不动的时候吗?
感谢指点。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions