就是对ctc loss的输入做了过滤，用下标取了值，前向过程中ctc报错显存不足

[zzk2021]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

Traceback (most recent call last):
File "/data/PaddleOCR/PaddleOCR-2.8.1/tools/train.py", line 292, in
main(config, device, logger, vdl_writer, seed)
File "/data/PaddleOCR/PaddleOCR-2.8.1/tools/train.py", line 221, in main
lwf_program.train(
File "/data/PaddleOCR/PaddleOCR-2.8.1/tools/LwF_program.py", line 357, in train
loss = loss_class(preds, batch)
File "/home/server/anaconda3/envs/paddle/lib/python3.10/site-packages/paddle/nn/layer/layers.py", line 1429, in call
return self.forward(*inputs, **kwargs)
File "/data/PaddleOCR/PaddleOCR-2.8.1/ppocr/losses/rec_multi_loss.py", line 53, in forward
loss_func(predicts["ctc"], [batch[:2] + batch[3:], predicts["preds_distill"]["ctc"]])["loss"]
File "/home/server/anaconda3/envs/paddle/lib/python3.10/site-packages/paddle/nn/layer/layers.py", line 1429, in call
return self.forward(*inputs, **kwargs)
File "/data/PaddleOCR/PaddleOCR-2.8.1/ppocr/losses/rec_ctc_loss.py", line 63, in forward
ctc_loss = self.loss_func.forward(predicts, batch[0])
File "/data/PaddleOCR/PaddleOCR-2.8.1/ppocr/losses/rec_ctc_loss.py", line 92, in forward
loss = self.loss_func(predicts, labels, preds_lengths, label_lengths)
File "/home/server/anaconda3/envs/paddle/lib/python3.10/site-packages/paddle/nn/layer/layers.py", line 1429, in call
return self.forward(*inputs, **kwargs)
File "/home/server/anaconda3/envs/paddle/lib/python3.10/site-packages/paddle/nn/layer/loss.py", line 1261, in forward
return paddle.nn.functional.ctc_loss(
File "/home/server/anaconda3/envs/paddle/lib/python3.10/site-packages/paddle/nn/functional/loss.py", line 1940, in ctc_loss
loss_out = warpctc(
File "/home/server/anaconda3/envs/paddle/lib/python3.10/site-packages/paddle/nn/functional/loss.py", line 1901, in warpctc
loss_out = _C_ops.warpctc(
MemoryError: (ResourceExhausted) Fail to alloc memory of 559140344358520 size, error code is 12.
[Hint: Expected error == 0, but received error:12 != 0:0.] (at ../paddle/fluid/memory/allocation/cpu_allocator.cc:50)

🏃‍♂️ Environment (运行环境)

Linux CentOS 3090 x4 paddleocr 2.8.1

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

        filtered_indices = paddle.to_tensor(filtered_indices)
        
        batch[0][1] = batch[0][1][filtered_indices]
        batch[0][2] = batch[0][2][filtered_indices]
        
        ctc_loss = self.loss_func.forward(predicts[filtered_indices], batch[0])

[UserWangZz]

可以详细说说遇到的问题吗

[GreatV]

根据你的描述和提供的错误信息，CTC Loss 报显存不足的错误主要原因可能与以下几点有关：

---

问题分析

1. 内存分配异常
   错误提示中显存分配失败的内存大小 (559140344358520) 显然是不合理的。这可能是由于：

   • 输入数据维度错误（如输入过大或矩阵维度不匹配）。
   • filtered_indices 的操作导致了数据形状不正确，进而引发显存异常。

2. filtered_indices 的维度问题

   • 在 filtered_indices 对 predicts 和 batch[0] 进行索引后，可能导致了数据维度或类型变化，如 predicts 和 batch[0] 不再匹配 CTC Loss 的期望输入格式。

3. CTC Loss 的输入要求

   • CTC Loss 的输入通常要求是 [T, N, C] 格式（时间步数、批次大小、类别数）或其他特定格式，同时需要提供预测序列长度和标签长度。
   • 如果过滤操作破坏了这些要求，可能会导致异常。

4. 显存不足问题

   • 即便过滤操作正确，输入数据可能仍然过大，超出了显存限制，特别是在多 GPU 训练时分配不均或某些 GPU 被过度使用。

---

解决方案

1. 检查输入的形状和大小

• 打印 filtered_indices、predicts[filtered_indices] 和 batch[0] 的形状，确保它们满足 CTC Loss 的输入要求：

  print("filtered_indices shape: ", filtered_indices.shape)
  print("predicts shape after indexing: ", predicts[filtered_indices].shape)
  print("batch[0] shape after indexing: ", batch[0].shape)

• 确保 predicts[filtered_indices] 的时间步数和批次大小与标签的长度匹配。

2. 调整过滤逻辑

• 如果 filtered_indices 的生成逻辑不正确，可能会导致索引错误。例如：

  filtered_indices = paddle.to_tensor(filtered_indices)
  predicts = predicts[filtered_indices]  # 确保 predicts 被正确过滤
  batch[0][1] = batch[0][1][filtered_indices]
  batch[0][2] = batch[0][2][filtered_indices]

• 确保 filtered_indices 的值在索引范围内，且维度正确。

3. 减小批次大小

• 如果确实存在显存不足问题，尝试减小 batch_size 或减少模型的参数量：

  Global:
    batch_size_per_card: 4  # 减小 batch size

4. 数据裁剪和填充

• 对输入数据进行裁剪或填充，使其满足固定长度要求，从而避免过大输入：

  max_seq_length = 128  # 根据模型要求设定最大长度
  predicts = paddle.nn.functional.pad(predicts, [0, max_seq_length - predicts.shape[0]], mode='constant')

5. 调试显存分配

• 使用 paddle.device.cuda.memory_allocated() 和 paddle.device.cuda.memory_reserved() 检查显存使用情况：

  import paddle
  print("Allocated Memory: ", paddle.device.cuda.memory_allocated())
  print("Reserved Memory: ", paddle.device.cuda.memory_reserved())

6. 检查 GPU 分配

• 确保多 GPU 训练时显存分配均匀，使用 paddle.distributed.launch 或 paddle.DataParallel：

  python -m paddle.distributed.launch --gpus "0,1,2,3" train.py

7. 更新 PaddleOCR

• 升级 PaddleOCR 至最新版本（如 2.8.2 或更高），以利用潜在的 bug 修复和优化：

  pip install --upgrade paddleocr

---

总结

1. 检查过滤操作后的数据形状是否符合 CTC Loss 的输入要求。
2. 确保 batch_size 和输入数据的大小在显存可承受范围内。
3. 调试显存分配和 GPU 使用情况，必要时调整训练配置。

如果问题仍未解决，可以在 PaddleOCR Issues #14087 中提供更多信息，寻求社区帮助！

---

Response generated by feifei-bot | chatgpt-4o-latest