Merge pull request #9 from Robbings/dev

Fixed：修复了api_config无法传参的bug，丰富了配置文档的内容，添加了两个示例

Author: mimo-x

config/config.py

@@ -8,13 +8,14 @@
 # api 接口封装类
 llm_api_impl = "llm_api.llm_api_default.LLMApiDefault"
 
-# api 配置默使用认UnionLLM，参考：https://github.com/EvalsOne/UnionLLM/tree/main/docs
+# api 配置方式参考 docs/llm_api.md
+# 默认使用认UnionLLM，参考：https://github.com/EvalsOne/UnionLLM/tree/main/docs
 # UnionLLM兼容LiteLLM，参考LiteLLM文档：https://docs.litellm.ai/docs
 api_config = {
-    "OPENAI_API_KEY": "your openai key",
-    "OPENAI_API_BASE": "https://api.openai.com/v1",
-    "MODEL_NAME": model_gpt_4o,
-    "PROVIDER": "openai",
+    "api_key": "your openai key",
+    "api_base": "https://api.openai.com/v1",
+    "model": model_gpt_4o,
+    "provider": "openai",
 }
 
 # Prompt

doc/config.md

@@ -6,10 +6,60 @@
   - 主流模型只需要修改`api_config`即可接入，无需修改该参数
   - 实现默认不支持的大模型接入，可实现`llm_api_interface`接口，并将类名传入该参数。
 - `api_config`: 大模型API配置
-  - 具体配置参见[UnionLLM仓库](https://github.com/EvalsOne/UnionLLM/)和[LiteLLM文档](https://docs.litellm.ai/docs)
-  - `MODEL_NAME` 传入模型名称
-  - `PROVIDER` 传入模型提供商
+  > 除必选参数外，其他参数根据模型需求填写，具体模型对应的参数参见[LiteLLM文档](https://docs.litellm.ai/docs)以及[UnionLLM仓库-DOC目录](https://github.com/EvalsOne/UnionLLM/tree/main/docs)中相应模型部分。具体而言：
+  > 
+  > 国外模型请查找[LiteLLM文档](https://docs.litellm.ai/docs)，并将`LiteLLM`示例中`litellm.completion`内的参数填写到`api_config`中，若示例需要通过环境变量鉴权，也请填写到`api_config`中。
+  >   
+  > 国内模型请查找[UnionLLM仓库-DOC目录](https://github.com/EvalsOne/UnionLLM/tree/main/docs)，并将`UnionLLM`示例中`unionchat`内的参数填写到`api_config`中，若示例需要通过环境变量鉴权，也请填写到`api_config`中。
+  - 必选参数
+      - `model` 传入模型名称
+      - `provider` 传入模型提供商
+  - 常用可选参数
+    - `api_base` 传入API地址
+    - `api_key` 传入API密钥
+  - 其他可选参数
+    - `max_tokens` 设置生成文本的最大长度
+    - `temperature` 控制生成文本的随机性
+    - `top_p` 控制生成文本的多样性
+    - `n` 设置生成的文本数量
+    - `logprobs` 返回生成文本的对数概率
+    - `stream` 是否以流式方式返回生成结果
+    - `stop` 设置生成文本的停止标记
+    - `presence_penalty` 控制生成文本中重复内容的惩罚
+    - `frequency_penalty` 控制生成文本中频繁出现内容的惩罚
+    - `best_of` 从多次生成中选择最佳结果
+    - `logit_bias` 调整生成文本中某些词的概率
+    - `api_url` 传入API地址
+    - `api_version` 传入API版本
+    - `extra_headers` 传入额外的HTTP头信息
+    - 其他参数请参考上述文档
   - 该配置会自动传给`llm_api_impl`的`set_config`方法，用于初始化大模型API。 
+### 示例
+#### ChatGPT
+```python
+# 直接传入
+api_config = {
+    "api_key": "your openai key",
+    "api_base": "https://api.openai.com/v1",
+    "model": "gpt-3.5-turbo",
+    "provider": "openai",
+}
+# 通过环境变量传入
+api_config = {
+    "OPENAI_API_KEY": "your openai key",
+    "OPENAI_API_BASE": "https://api.openai.com/v1",
+    "model": "gpt-3.5-turbo",
+    "provider": "openai",
+}
+```
+#### Ollama
+```python
+api_config = {
+    "api_base": "http://localhost:11434",
+    "model": "llama3.2",
+    "provider": "ollama",
+}
+```
 
 
 ## Gitlab配置

llm_api/llm_api_default.py

@@ -11,24 +11,22 @@
 class LLMApiDefault(LLMApiInterface):
 
     def __init__(self):
-        self.model_name = None
+        self.params = {}
         self.response = None
-        self.provider = None
 
     def set_config(self, api_config: dict) -> bool:
         if api_config is None:
             raise ValueError("api_config is None")
         for key in api_config:
-            if key == "MODEL_NAME":
-                self.model_name = api_config[key]
-            if key == "PROVIDER":
-                self.provider = api_config[key]
-            os.environ[key] = api_config[key]
+            self.params[key] = api_config[key]
+            # 如果为大写，则写入环境变量
+            if key.isupper():
+                os.environ[key] = api_config[key]
         return True
 
     def generate_text(self, messages: list) -> bool:
         try:
-            self.response = unionchat(provider=self.provider, model=self.model_name, messages=messages)
+            self.response = unionchat(messages=messages, **self.params)
         except Exception as e:
             raise e
         return True