Skip to content

Commit 118a2cf

Browse files
committed
v1.6.1
1 parent c402592 commit 118a2cf

File tree

5 files changed

+33
-20
lines changed

5 files changed

+33
-20
lines changed

modules/models/ChuanhuAgent.py

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -60,7 +60,7 @@ class ChuanhuAgent_Client(BaseLLMModel):
6060
def __init__(self, model_name, openai_api_key, user_name="") -> None:
6161
super().__init__(model_name=model_name, user=user_name)
6262
self.text_splitter = TokenTextSplitter(chunk_size=500, chunk_overlap=30)
63-
self.api_key = 'sk-lVyIGFN0e4Il91M6VmIVEZbxEpuKoMMfUfRzT8IiKn8XzpMH'
63+
self.api_key = openai_api_key
6464
self.llm: LLM = G4FLLM(temperature=0, model=models.gpt_35_turbo, provider=Provider.NeuroGPT)
6565
self.cheap_llm: LLM = G4FLLM(temperature=0, model=models.gpt_35_turbo, provider=Provider.NeuroGPT)
6666
PROMPT = PromptTemplate(template=SUMMARIZE_PROMPT, input_variables=["text"])

modules/models/models.py

Lines changed: 25 additions & 12 deletions
Original file line numberDiff line numberDiff line change
@@ -4,6 +4,7 @@
44
import json
55
import json
66
import requests
7+
import time
78

89
import colorama
910

@@ -188,25 +189,37 @@ def _make_request(self, headers, payload, stream):
188189
timeout = TIMEOUT_STREAMING
189190
else:
190191
timeout = TIMEOUT_ALL
191-
try: #Заготовочка для переписания системы отправки запросов
192-
if any(substring in self.model_name for substring in ["purgpt", "naga", "chatty"]):
193-
response = requests.post(
194-
shared.state.completion_url,
195-
headers = headers,
196-
json=payload,
197-
stream=stream,
198-
)
199-
else:
192+
193+
max_retry_attempts = 10 # Общее количество попыток
194+
for attempt in range(max_retry_attempts):
195+
try:
200196
response = requests.post(
201197
shared.state.completion_url,
202198
headers=headers,
203199
json=payload,
204200
stream=stream,
205201
timeout=timeout,
206202
)
207-
except:
208-
return None
209-
return response
203+
204+
# Декодирование ответа и проверка на пустоту
205+
response_json = response.json()
206+
#print(response.text)
207+
#print(response_json)
208+
209+
if response and response.status_code == 200 and not response_json['choices'][0]['message']['content']:
210+
print(f'Попытка {attempt + 1} из {max_retry_attempts} получила пустой ответ, повтор...')
211+
else:
212+
return response
213+
214+
except Exception as e:
215+
print(f'Попытка {attempt + 1} из {max_retry_attempts} завершилась сбоем: {e}')
216+
217+
if attempt < max_retry_attempts - 1: # Если текущая попытка не последняя, ждем перед следующей
218+
time.sleep(2 ** attempt) # Таким образом, время ожидания будет увеличиваться после каждой неудачной попытки
219+
220+
return None
221+
222+
210223

211224
def _refresh_header(self):
212225
self.headers = {

modules/presets.py

Lines changed: 3 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -4,7 +4,7 @@
44
import requests
55
import json
66

7-
VERSION = "v 1.6.0"
7+
VERSION = "v 1.6.1"
88

99
CHATGLM_MODEL = None
1010
CHATGLM_TOKENIZER = None
@@ -34,8 +34,8 @@
3434
NO_INPUT_MSG = "Пожалуйста, введите содержание диалога."# Не введено содержание диалога
3535
BILLING_NOT_APPLICABLE_MSG = "Информация о биллинге не применима"# Информация о биллинге, возвращаемая локально запущенной моделью
3636

37-
TIMEOUT_STREAMING = 240 # Время ожидания для потокового диалога
38-
TIMEOUT_ALL = 400 # Время ожидания для непотокового диалога
37+
TIMEOUT_STREAMING = 90 # Время ожидания для потокового диалога
38+
TIMEOUT_ALL = 120 # Время ожидания для непотокового диалога
3939
ENABLE_STREAMING_OPTION = True # Включить ли флажок для выбора отображения ответа в режиме реального времени
4040
HIDE_MY_KEY = False # Если вы хотите скрыть свой API ключ в UI, установите это значение в True
4141
CONCURRENT_COUNT = 500 # Количество пользователей, которые могут использовать одновременно

webui_en.py

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -179,7 +179,7 @@ def create_new_model():
179179
with gr.Tab(label="Conf"):
180180
gr.HTML(get_html("appearance_switcher.html").format(label="Switch to light/dark theme"), elem_classes="insert_block")
181181
use_streaming_checkbox = gr.Checkbox(
182-
label="Text streaming", value=True, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
182+
label="Text streaming", value=False, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
183183
)
184184
checkUpdateBtn = gr.Button("🔄 Check for updates...", visible=check_update)
185185
gr.Markdown("# ⚠️ CAUTION ⚠️", elem_id="advanced_warning")
@@ -226,7 +226,7 @@ def create_new_model():
226226
max_generation_slider = gr.Slider(
227227
minimum=1,
228228
maximum=100000,
229-
value=2000,
229+
value=4000,
230230
step=1,
231231
interactive=True,
232232
label="max generations",

webui_ru.py

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -180,7 +180,7 @@ def create_new_model():
180180
with gr.Tab(label="Настройки"):
181181
gr.HTML(get_html("appearance_switcher.html").format(label="Переключить светлую/темную тему"), elem_classes="insert_block")
182182
use_streaming_checkbox = gr.Checkbox(
183-
label="Стриминг текста", value=True, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
183+
label="Стриминг текста", value=False, visible=ENABLE_STREAMING_OPTION, elem_classes="switch_checkbox"
184184
)
185185
checkUpdateBtn = gr.Button("🔄 Проверить обновления...", visible=check_update)
186186
gr.Markdown("# ⚠️ ОСТОРОЖНО ⚠️", elem_id="advanced_warning")
@@ -227,7 +227,7 @@ def create_new_model():
227227
max_generation_slider = gr.Slider(
228228
minimum=1,
229229
maximum=100000,
230-
value=2000,
230+
value=4000,
231231
step=1,
232232
interactive=True,
233233
label="max generations",

0 commit comments

Comments
 (0)