请问tensorRT使用为什么速度没有提升呢

[1259666087]

按照官方的说法是在推理命令的后面加上--use_tensorrt=True，比如

python3 tools/infer/predict_system.py --image_dir=/storage/group/zhanghp/FS_data_1/澳门/0141.闽省晋江梅塘蔡氏迁粤家谱(别名：温陵梅塘蔡氏家谱)/1.闽省晋江梅塘蔡氏迁粤家谱 --rec_model_dir=/public/home/guojzh2023/work/jiapu/PaddleOCR/inference_model/rec_6_19_1 --use_angle_cls=false --drop_score=0 --use_dilation=True --draw_img_save_dir=/storage/group/zhanghp/output/澳门/0141.闽省晋江梅塘蔡氏迁粤家谱(别名：温陵梅塘蔡氏家谱)/1.闽省晋江梅塘蔡氏迁粤家谱 --use_mp=True --total_process_num=8 --rec_char_dict_path=/public/home/guojzh2023/work/jiapu/train_data/new_dict_530.txt --use_tensorrt=True

然后把这条命令运行两次，这样做是否有问题呢

[GreatV]

确保图片尺寸是一致的，不一致会导致trt变慢

[GreatV]

也可以换成其他模型试试，小模型应该加速效果不明显

[1259666087]

也可以换成其他模型试试，小模型应该加速效果不明显
请问我的使用方法是正确的么，因为运行第一次命令就会输出一些结果

[GreatV]

第一次是用来cache图片的动态尺寸的，只运行一次也是可以的。

[1259666087]

第一次是用来cache图片的动态尺寸的，只运行一次也是可以的。

请问一下推理的时候可以使用多卡么，还是只能在单卡上使用，如果在一个有多卡的主机上怎么高效利用多个显卡推理呢