训练demo， 使用ic15_data, cpu 一直接近100%， 显存一直占用，但是GPU一直未使用，一直卡在第一步，有谁知道怎么回事

[AlvinZheng]

[2025/03/24 21:43:01] ppocr INFO: train with paddle 2.6.2 and device Place(gpu:0)
[2025/03/24 21:43:01] ppocr INFO: Initialize indexes of datasets:['./train_data/ic15_data/rec_gt_train.txt']
[2025/03/24 21:43:01] ppocr INFO: Initialize indexes of datasets:['./train_data/ic15_data/rec_gt_test.txt']
W0324 21:43:01.156922 78954 gpu_resources.cc:119] Please NOTE: device: 0, GPU Compute Capability: 6.1, Driver API Version: 12.4, Runtime API Version: 11.8
W0324 21:43:01.157807 78954 gpu_resources.cc:164] device: 0, cuDNN Version: 8.8.
[2025/03/24 21:43:01] ppocr INFO: train dataloader has 34 iters
[2025/03/24 21:43:01] ppocr INFO: valid dataloader has 17 iters
[2025/03/24 21:43:01] ppocr INFO: load pretrain successful from ./pretrain_models/en_PP-OCRv3_rec_train/best_accuracy
[2025/03/24 21:43:01] ppocr INFO: During the training process, after the 0th iteration, an evaluation is run every 2000 iterations

就一直卡这儿。确定use_gpu True

[GreatV]

你的问题描述表明 PaddleOCR 训练时 CPU 占用 100%，但 GPU 未使用，并且卡在第一步。参考相关的讨论（分布式训练卡住），可能的原因和解决方案如下：

可能的原因：

1. CUDA 和 cuDNN 兼容问题：

   • 日志显示 device: 0, cuDNN Version: 8.8.，请确保 PaddlePaddle 2.6.2 版本与 CUDA 11.8 和 cuDNN 8.8 兼容。

2. 数据加载卡住：

   • PaddleOCR 在数据加载（dataloader 初始化）阶段有时会导致 CPU 高占用，可以尝试降低 num_workers 以检查是否为数据加载导致的问题。

3. GPU 是否正确识别：

   • 运行以下命令确认 Paddle 识别了 GPU：

     import paddle
     print(paddle.device.get_device())
     print(paddle.cuda.device_count())

   • 确保 use_gpu: True 并正确指定 CUDA_VISIBLE_DEVICES。

4. 环境变量问题：

   • 有时系统可能默认使用 CPU，而非 GPU，可以强制声明：

     export CUDA_VISIBLE_DEVICES=0  # 确保 GPU 0 被使用

可能的解决方案：

1. 尝试降低 num_workers：

   • 在 configs 配置中，将 num_workers: 4 改为 num_workers: 0 以检查数据加载是否卡死：

     DataLoader:
       num_workers: 0

2. 单独测试 PaddlePaddle 是否能使用 GPU：

   • 运行以下 Python 代码测试 GPU 是否正常工作：

     import paddle
     paddle.set_device('gpu')
     x = paddle.rand([3, 3])
     print(x)

3. 升级或者重新安装 PaddlePaddle：

   • 可能你的 CUDA 版本（11.8）和 Paddle 版本（2.6.2）不匹配，可以尝试重新安装：

     pip uninstall paddlepaddle-gpu
     pip install paddlepaddle-gpu==2.6.2 -f https://www.paddlepaddle.org.cn/whl/linux/gpu.html

如果这些方法都无法解决问题，可以查看 nvidia-smi 确认 GPU 状态，并参考相关讨论 分布式训练卡住 来寻找更多相似的方案。

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.

[AlvinZheng]

在 configs 配置中，将 num_workers: 4 改为 num_workers: 0 以检查数据加载是否卡死：
这样改了，以后cpu还是100%占用，卡住了，有什么方法解决吗？

[GreatV]

换个电脑试试