Skip to content

多机训练问题 #26

@cdj0311

Description

@cdj0311

您好,感谢分享, 请教一个多机训练问题。
使用keras和tf.distribute.experimental.MultiWorkerMirroredStrategy()进行多机训练时,batch_size=batch_size * worker_num,那么输入的数据(tfrecord格式)需要切分成worker_num份吗?如果不切分,每个worker都读取所有的数据,这种分布式策略会不会自动对数据进行分发呢?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions