训练PP-OCRv5_server_rec时，是否为流式加载数据？如果不是，如何流式加载数据？ #16213
-
|
训练数据量比较大，有百万量级。模型训练会卡在加载数据上。请问如何开启流式加载数据 |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 6 replies
-
|
您好，PP-OCRv5_server_rec 训练时会读取txt文件进行初始化，然后使用dataloader 迭代处理，数据读取应该是很快的。我们内部训练处理百万级甚至千万级的数据也没有出现数据加载卡顿，可以再深入分析一下各个步骤的耗时。 |
Beta Was this translation helpful? Give feedback.
-
|
您好，可以看下执行 nvidia-smi 后每张卡都要显存占用吗？ |
Beta Was this translation helpful? Give feedback.
-
|
显存占用大概是每张卡42G。 |
Beta Was this translation helpful? Give feedback.
-
|
您好，可以先试下单卡是否可以正常运行呢？可能是paddle分布式适配的问题。正常的话应该输出 |
Beta Was this translation helpful? Give feedback.
-
|
或者使用 CUDA_VISIBLE_DEVICES=XX 命令，避开那张利用率为0的卡呢？ |
Beta Was this translation helpful? Give feedback.
-
|
感谢，可能是卡出现的问题。目前使用双卡进行试验没问题了！ |
Beta Was this translation helpful? Give feedback.
或者使用 CUDA_VISIBLE_DEVICES=XX 命令，避开那张利用率为0的卡呢？