让LLM支持被打断功能

[windances]

当提问后，LLM会给出较长的回复，如果用户想终止当前回复，能否发送新的请求来打断LLM的输出？就像人们在聊天的时候，有时候也需要打断/提前终止对话，开启新的话题。

[zRzRzRzRzRzRzR]

当提问后，LLM会给出较长的回复，如果用户想终止当前回复，能否发送新的请求来打断LLM的输出？就像人们在聊天的时候，有时候也需要打断/提前终止对话，开启新的话题。

给个邮箱，这个问题非常好

[zRzRzRzRzRzRzR]

当提问后，LLM会给出较长的回复，如果用户想终止当前回复，能否发送新的请求来打断LLM的输出？就像人们在聊天的时候，有时候也需要打断/提前终止对话，开启新的话题。

直接打断是可以的，但是模型能不能顺利接上新话题，这是一个大问题

[ponponon]

持续关注，我也想知道

[zRzRzRzRzRzRzR]

这个问题已经被标记为未来目标，之后将会探索一些解决方案。