开始训练报错out of memory on GPU

[SwordyLee]

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem
在训练kie模型中的ser训练时，报错显存不足，batch_size和num_workers均已尝试调整，仍显存不足

• 系统环境/System Environment：
  Ubuntu 18.04.6
• 版本号/Version：Paddle： PaddleOCR： 问题相关组件/Related components：
  paddlepaddle-gpu 2.5.2.post117
  paddlenlp 2.5.2
• 运行指令/Command Code：
  python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml
• 完整报错/Complete Error Message：
  Out of memory error on GPU 0. Cannot allocate 937.335938PB memory on GPU 0, 3.078247GB memory has been allocated and available memory is only 7.823547GB.

Please check whether there is any other process using GPU 0.

1. If yes, please stop them, or start PaddlePaddle on another GPU.
2. If no, please decrease the batch size of your model.
   (at ../paddle/fluid/memory/allocation/cuda_allocator.cc:86)

请尽量不要包含图片在问题中/Please try to not include the image in the issue.

[TingquanGao]

建议尝试Paddle 2.6版本

[SwordyLee]

建议尝试Paddle 2.6版本

换成Paddle 2.6版本会产生另一个报错
No module named 'paddle.fluid'
请问这个应该怎么处理

[TingquanGao]

训练命令是什么？我们排查一下问题。

[TingquanGao]

另外，如果报错：No module named 'paddle.fluid' 问题的话，确认一下paddleocr分支，是否为release/2.7分支或dygraph分支。

[SwordyLee]

训练命令是什么？我们排查一下问题。

感谢回复，训练命令是
python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml
paddleocr分支是2.7.1
No module named 'paddle.fluid'的问题,把paddlenlp升级到了2.7.2解决了，目前执行训练仍有以下问题：
Traceback (most recent call last):
File "tools/train.py", line 227, in
main(config, device, logger, vdl_writer)
File "tools/train.py", line 135, in main
model = build_model(config['Architecture'])
File "/home/lzx/PaddleOCR/ppocr/modeling/architectures/init.py", line 30, in build_model
arch = BaseModel(config)
File "/home/lzx/PaddleOCR/ppocr/modeling/architectures/base_model.py", line 55, in init
self.backbone = build_backbone(config["Backbone"], model_type)
File "/home/lzx/PaddleOCR/ppocr/modeling/backbones/init.py", line 80, in build_backbone
module_class = eval(module_name)(**config)
File "/home/lzx/PaddleOCR/ppocr/modeling/backbones/vqa_layoutlm.py", line 151, in init
super(LayoutXLMForSer, self).init(
File "/home/lzx/PaddleOCR/ppocr/modeling/backbones/vqa_layoutlm.py", line 67, in init
self.model = model_class(
File "/home/lzx/anaconda3/envs/paddle/lib/python3.8/site-packages/paddlenlp/transformers/utils.py", li ne 255, in impl
init_func(self, *args, **kwargs)
TypeError: init() got an unexpected keyword argument 'num_classes'
感觉是导入默认的预训练模型产生的报错

[TingquanGao]

呃，目前paddleocr没有兼容2.7的paddlenlp。想问下，使用paddlepaddle-gpu 2.5.2.post117、paddlenlp 2.5.2时的显存oom报错，我们这边测试发现是偶现的，可以尝试多试几次。

[SwordyLee]

呃，目前paddleocr没有兼容2.7的paddlenlp。想问下，使用paddlepaddle-gpu 2.5.2.post117、paddlenlp 2.5.2时的显存oom报错，我们这边测试发现是偶现的，可以尝试多试几次。

我这边尝试必现，会不会是我的cuda版本是11.8导致的，paddlepaddle-gpu没有cuda11.8对应版本

[TingquanGao]

确实有可能，建议使用paddle官方提供的docker镜像，在docker中训练，可以避免大部分环境问题。

[SwordyLee]

使用docker进行训练仍有问题，拉取的镜像是paddlepaddle/paddle:2.6.1-gpu-cuda11.7-cudnn8.4-trt8.4
训练报错
Traceback (most recent call last):
File "/home/PaddleOCR/tools/train.py", line 208, in
main(config, device, logger, vdl_writer)
File "/home/PaddleOCR/tools/train.py", line 121, in main
model = build_model(config['Architecture'])
File "/home/PaddleOCR/ppocr/modeling/architectures/init.py", line 34, in build_model
arch = getattr(mod, name)(config)
File "/home/PaddleOCR/ppocr/modeling/architectures/distillation_model.py", line 47, in init
model = BaseModel(model_config)
File "/home/PaddleOCR/ppocr/modeling/architectures/base_model.py", line 55, in init
self.backbone = build_backbone(config["Backbone"], model_type)
File "/home/PaddleOCR/ppocr/modeling/backbones/init.py", line 74, in build_backbone
module_class = eval(module_name)(**config)
File "/home/PaddleOCR/ppocr/modeling/backbones/vqa_layoutlm.py", line 149, in init
super(LayoutXLMForSer, self).init(
File "/home/PaddleOCR/ppocr/modeling/backbones/vqa_layoutlm.py", line 65, in init
self.model = model_class(
File "/usr/local/lib/python3.10/dist-packages/paddlenlp/transformers/utils.py", line 255, in impl
init_func(self, *args, **kwargs)
TypeError: LayoutXLMForTokenClassification.init() got an unexpected keyword argument 'num_classes'
官方有提供paddlepaddle-gpu 2.5.2.post117、paddlenlp 2.5.2的docker镜像吗

[SwordyLee]

呃，目前paddleocr没有兼容2.7的paddlenlp。想问下，使用paddlepaddle-gpu 2.5.2.post117、paddlenlp 2.5.2时的显存oom报错，我们这边测试发现是偶现的，可以尝试多试几次。

请问您那边测试用的环境是什么配置？我这边使用docker还是会复现oom的报错