fastapi封装stream_infer会遇到event_loop问题

[Aaron2117]

我这边自己搭的fastapi，流式调用stream_infer接口的时候会遇到问题。因为stream_infer内部是把主线程的event_loop送进子线程再调用generate函数，但是在这之前fastapi已经开始run event_loop了，所以会报一个This event loop is already running的错误

这个时候即使用nest_asyncio的方法，但是两个线程公用一个event_loop也还是会报错。

有什么比较好的解决办法吗？

[lvhan028]

@AllentDan any clue?

[AllentDan]

解决方法就是用 generate 接口，都写协程了为啥还要中间转几道代码。

[Aaron2117]

你们文档里面没有这个接口的使用方法，作为开发者来说是不知道的，建议更新接口文档

[lvhan028]

pipline()接口返回的是AsyncEngine实例。
可以用下这个实例中的API

[Aaron2117]

嗯嗯，再结合你们api_server.py这个里面的示例，问题已经解决了。不过还是建议你们更新下文档哈，推理用lmploy加速，外面再套一个fastapi是业界常用的业务上线流程，所以肯定不少人都会遇到这个问题，完善这部分文档对开发者使用，和你们推广都有极大地好处