增加CPU线程、及模型batch参数以提高转化效率 #320
Description
我已经成功在我的本地部署了这个项目并成功运行，但是我希望加快转换速度，请问后续会有计划增加CPU线程数，模型batch的参数吗？
或者我可以直接修改某些文件实现吗？
我当前使用的I5-11400F+3080 10g，工作时CPU占用25%，显存占用约8g，CUDA利用率约40%。一般来说我使用comfyUI进行图像推理都可以将显存用到14-16g，CUDA用满。
{{ message }}
我已经成功在我的本地部署了这个项目并成功运行，但是我希望加快转换速度，请问后续会有计划增加CPU线程数，模型batch的参数吗？
或者我可以直接修改某些文件实现吗？
我当前使用的I5-11400F+3080 10g，工作时CPU占用25%，显存占用约8g，CUDA利用率约40%。一般来说我使用comfyUI进行图像推理都可以将显存用到14-16g，CUDA用满。