[FEATURE] 一种webui网页切换模型功能逻辑的讨论

[LinTXde]

前面看到开发者谈论起多模型的切换因为涉及到fastchat启停模型服务，因此开发难度提升。

但是否可以选择性启动多个模型呢？ 而不是固定的启动-停止-启动逻辑，不知是否在开发中会减轻难度？

有一个想法，大佬们可以参考一下看看可不可行。试着更换一键启动逻辑，先启动webui，可以设置一个多选页开启和关闭模型（甚至可以手动添加模型，就像添加文件到知识库当中那样的多选&表格界面）。启动不同模型的fastchat serve，对应port不一样，完成多开不冲突（考虑到多模型负载，多选后点“应用‘可以提醒显存等情况来二次确认选择模型后，对应模型启动）。然后对应的多选表可以显示fastapi的port 及对应api的port。

这个思路我的想法是想笔记本启动项目web时，针对不同大模型模型性能，网络环境和隐私需求，方便更换是否使用chatgpt非官方 api or 官方的api or 其他部署在服务器大模型的api。

[liunux4odoo]

在使用fastchat的情况下，多模型不是问题。0.2.1版已经支持服务拆分，只要电脑够多，在不同的电脑上运行python startup.py --model-worker --controller http://xxx ，把模型注册到统一的openai服务器上即可。

现在主要的问题是对于单机用户，大部分一次只能加载一个LLM，要切换模型就只能把当前LLM卸载掉，再重新加载另一个LLM。

我们正在考虑相关实现，有好的想法和建议欢迎提出，新功能开发相关可以到 #1088 一起讨论。

这个issue我先关掉了，转到讨论区。