v1.6.1

Author: neurogen-dev

modules/models/ChuanhuAgent.py

@@ -60,7 +60,7 @@ class ChuanhuAgent_Client(BaseLLMModel):
     def __init__(self, model_name, openai_api_key, user_name="") -> None:
         super().__init__(model_name=model_name, user=user_name)
         self.text_splitter = TokenTextSplitter(chunk_size=500, chunk_overlap=30)
-        self.api_key = 'sk-lVyIGFN0e4Il91M6VmIVEZbxEpuKoMMfUfRzT8IiKn8XzpMH'
+        self.api_key = openai_api_key
         self.llm: LLM = G4FLLM(temperature=0, model=models.gpt_35_turbo, provider=Provider.NeuroGPT)
         self.cheap_llm: LLM = G4FLLM(temperature=0, model=models.gpt_35_turbo, provider=Provider.NeuroGPT)
         PROMPT = PromptTemplate(template=SUMMARIZE_PROMPT, input_variables=["text"])

modules/models/models.py

@@ -4,6 +4,7 @@
 import json
 import json
 import requests
+import time
 
 import colorama
 
@@ -188,25 +189,37 @@ def _make_request(self, headers, payload, stream):
             timeout = TIMEOUT_STREAMING
         else:
             timeout = TIMEOUT_ALL
-        try: #Заготовочка для переписания системы отправки запросов
-            if any(substring in self.model_name for substring in ["purgpt", "naga", "chatty"]):
-                response = requests.post(
-                    shared.state.completion_url,
-                    headers = headers,
-                    json=payload,
-                    stream=stream,
-                )
-            else:
+    
+        max_retry_attempts = 10  # Общее количество попыток
+        for attempt in range(max_retry_attempts):
+            try: 
                 response = requests.post(
                     shared.state.completion_url,
                     headers=headers,
                     json=payload,
                     stream=stream,
                     timeout=timeout,
                 )
-        except:
-            return None
-        return response
+    
+                # Декодирование ответа и проверка на пустоту
+                response_json = response.json()
+                #print(response.text)
+                #print(response_json)
+    
+                if response and response.status_code == 200 and not response_json['choices'][0]['message']['content']:
+                    print(f'Попытка {attempt + 1} из {max_retry_attempts} получила пустой ответ, повтор...')
+                else:
+                    return response
+    
+            except Exception as e:
+                print(f'Попытка {attempt + 1} из {max_retry_attempts} завершилась сбоем: {e}')
+             
+            if attempt < max_retry_attempts - 1:  # Если текущая попытка не последняя, ждем перед следующей
+                time.sleep(2 ** attempt)  # Таким образом, время ожидания будет увеличиваться после каждой неудачной попытки
+    
+        return None
+
+
 
     def _refresh_header(self):
         self.headers = {

modules/presets.py

@@ -4,7 +4,7 @@
 import requests
 import json
 
-VERSION = "v 1.6.0"
+VERSION = "v 1.6.1"
 
 CHATGLM_MODEL = None
 CHATGLM_TOKENIZER = None
@@ -34,8 +34,8 @@
 NO_INPUT_MSG = "Пожалуйста, введите содержание диалога."# Не введено содержание диалога 
 BILLING_NOT_APPLICABLE_MSG = "Информация о биллинге не применима"# Информация о биллинге, возвращаемая локально запущенной моделью
 
-TIMEOUT_STREAMING = 240 # Время ожидания для потокового диалога 
-TIMEOUT_ALL = 400 # Время ожидания для непотокового диалога 
+TIMEOUT_STREAMING = 90 # Время ожидания для потокового диалога 
+TIMEOUT_ALL = 120 # Время ожидания для непотокового диалога 
 ENABLE_STREAMING_OPTION = True # Включить ли флажок для выбора отображения ответа в режиме реального времени 
 HIDE_MY_KEY = False # Если вы хотите скрыть свой API ключ в UI, установите это значение в True 
 CONCURRENT_COUNT = 500 # Количество пользователей, которые могут использовать одновременно

webui_en.py

@@ -179,7 +179,7 @@ def create_new_model():
                 with gr.Tab(label="Conf"):
                     gr.HTML(get_html("appearance_switcher.html").format(label="Switch to light/dark theme"), elem_classes="insert_block")
                     use_streaming_checkbox = gr.Checkbox(
-                            label="Text streaming", value=True, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
+                            label="Text streaming", value=False, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
                         )
                     checkUpdateBtn = gr.Button("🔄 Check for updates...", visible=check_update)
                     gr.Markdown("# ⚠️ CAUTION ⚠️", elem_id="advanced_warning")
@@ -226,7 +226,7 @@ def create_new_model():
                         max_generation_slider = gr.Slider(
                             minimum=1,
                             maximum=100000,
-                            value=2000,
+                            value=4000,
                             step=1,
                             interactive=True,
                             label="max generations",

webui_ru.py

@@ -180,7 +180,7 @@ def create_new_model():
                 with gr.Tab(label="Настройки"):
                     gr.HTML(get_html("appearance_switcher.html").format(label="Переключить светлую/темную тему"), elem_classes="insert_block")
                     use_streaming_checkbox = gr.Checkbox(
-                            label="Стриминг текста", value=True, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
+                            label="Стриминг текста", value=False, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
                         )
                     checkUpdateBtn = gr.Button("🔄 Проверить обновления...", visible=check_update)
                     gr.Markdown("# ⚠️ ОСТОРОЖНО ⚠️", elem_id="advanced_warning")
@@ -227,7 +227,7 @@ def create_new_model():
                         max_generation_slider = gr.Slider(
                             minimum=1,
                             maximum=100000,
-                            value=2000,
+                            value=4000,
                             step=1,
                             interactive=True,
                             label="max generations",