sampler: name: MultiScaleSampler scales: [[320, 32], [320, 48], [320, 64]] 这个64高度会不会是造成爆显存的原因？64改成24之类的高度有什么问题吗？

[nissansz]

sampler: name: MultiScaleSampler scales: [[320, 32], [320, 48], [320, 64]] 这个64高度会不会是造成爆显存的原因？64改成24之类的高度有什么问题吗？

64高度
[2024/12/29 21:06:27] ppocr INFO: epoch: [1/5], global_step: 26600, lr: 0.000002, CTCLoss: 12.595758, NRTRLoss: 2.748089, loss: 15.519665, avg_reader_cost: 0.00189 s, avg_batch_cost: 0.14987 s, avg_samples: 1.32, ips: 8.80787 samples/s, eta: 29 days, 14:40:47, max_mem_reserved: 1952 MB, max_mem_allocated: 1756 MB

64换成24高度
[2025/01/06 08:02:12] ppocr INFO: epoch: [1/50], global_step: 600, lr: 0.000000, CTCLoss: 33.865753, NRTRLoss: 4.422851, loss: 38.640900, avg_reader_cost: 0.00187 s, avg_batch_cost: 0.18453 s, avg_samples: 2.43, ips: 13.16867 samples/s, eta: 204 days, 1:23:32, max_mem_reserved: 2065 MB, max_mem_allocated: 1814 MB

[GreatV]

从提供的日志和问题来看，sampler中的scales配置 [320, 64] 是否导致爆显存，以及将高度改为较小值（如24）可能产生的影响，分析如下：

---

1. 是否因为高度为 64 导致爆显存？

是的，高度设置为 64 的确可能导致显存过高甚至爆显存。

原因：

• 显存占用与图片分辨率直接相关：scales配置中设置的 [320, 64] 意味着输入图片被调整为宽度320、高度64。因为输入图片的尺寸直接影响模型的输入张量大小，进而影响显存占用，高度越大，显存占用越高。
• 模型特性：OCR模型通常对高度变化较为敏感，特别是CTC-based模型（如 CRNN）需要对特征图进行序列展开，图像高度越高，特征图也越大，导致显存占用剧增。

日志分析：

• 高度 64 的显存表现：
  • max_mem_reserved: 1952 MB, max_mem_allocated: 1756 MB
• 高度 24 的显存表现：
  • max_mem_reserved: 2065 MB, max_mem_allocated: 1814 MB

虽然日志中的显存差别并不是特别明显，但在更大批量（batch_size）或更复杂的网络结构下，较高的图像高度会显著增加显存需求。

---

2. 将高度改为 24 是否可行？有什么影响？

将高度改为较小的值（如 24）是可行的，但需要权衡以下影响：

优点：

• 显存占用减少：降低高度直接减少输入张量的大小，显存占用降低，允许更大批量训练或更复杂的模型结构。
• 训练效率提高：由于显存占用降低，训练每个batch的时间可能会缩短。

缺点：

• 识别精度可能下降：
  • 特征丢失：OCR模型对高度较低的图片敏感，尤其是包含细节较多的小字体或复杂字符的图片。高度过低可能导致图像细节丢失，影响模型提取有效特征的能力。
  • 字符高度不足：字符高度不足时，模型可能难以区分相似字符（如中文复杂字形），从而影响精度。

日志分析：

• 在高度 24 的训练日志中，CTCLoss和NRTRLoss都显著增加，表明模型可能难以收敛：
  • CTCLoss: 33.865753（高度24） vs CTCLoss: 12.595758（高度64）
  • NRTRLoss: 4.422851（高度24） vs NRTRLoss: 2.748089（高度64）
• 训练速度提高：
  • 每秒处理的样本数增加：ips: 13.16867 samples/s（高度24） vs ips: 8.80787 samples/s（高度64）。

---

3. 优化建议

• 选择适中的高度：可尝试将高度调整为中间值（如32或48），以平衡显存占用和模型精度。
• 调整batch_size：如果显存爆炸问题严重，可适当减小batch_size，以缓解显存压力。
• 使用混合精度训练 (use_amp=True)：日志中已经启用了混合精度训练，这有助于进一步降低显存占用。
• 模型结构优化：如果问题依然存在，可以考虑使用更轻量化的模型架构（如MobileNetV3）以减少显存需求。

---

结论：

1. 高度设置为 64 会增加显存占用，可能导致爆显存问题。
2. 将高度调整为 24 虽然降低了显存占用，但可能会导致模型难以收敛，识别精度下降。
3. 建议尝试将高度设置为中间值（如32或48），并结合调整batch_size和使用混合精度训练，确保显存稳定的同时保证模型精度。

---

Response generated by feifei-bot | chatgpt-4o-latest

[nissansz]

[[320, 32], [320, 48], [320, 64]]
改成了
[[320, 32], [320, 48], [320, 24]]

原先默认的32，48高度没变，先继续用改后的尺寸试试，看会不会爆