paddle.inference中predictor.run和copy_to_cpu能够并行？

[Moonflynn]

在使用paddle.inference进行推理时，大致过程如下：

predictor = inference.create_predictor(config)
input_names = predictor.get_input_names()
for name in input_names:
    input_tensor = predictor.get_input_handle(name)
    input_tensor.copy_from_cpu(img_batch)

predictor.run()

outputs = []
output_names = predictor.get_output_names()
for output_name in output_names:
    output_tensor = predictor.get_output_handle(output_name)
    output_tensor = output_tensor.copy_to_cpu()
    outputs.append(output_tensor)

我发现predictor.run的时间和copy_to_cpu的时间接近，有大量时间耗在了将结果从gpu复制到cpu的过程中。是否有什么方法，能够在当前batch数据进行copy_to_cpu时，下一个batch的数据进行predictor.run，从而节省推理时间、