Merge pull request #27 from zeerayne/upload-timeouts

Add S3 upload timeouts

Author: zeerayne

README.md

@@ -193,6 +193,7 @@ TIP: для работы с путями в шаблонном файле нас
 |`AWS_RETENTION_DAYS`   |Копии старше, чем количество дней в этой настройке будут удалсяться из бакета при работе резервного копирования|
 |`AWS_RETRIES`          |Количество повторных попыток загрузки резервной копии в случае возникновении ошибки. Если установлено значение 0, повторные попытки предприниматься не будут. Полезно, если интернет-соединение нестабильно|
 |`AWS_RETRY_PAUSE`      |Пауза в секундах перед осуществлением следующей попытки. Бывает полезно, если текущая попытка завершилась неудачей из-за сетевых проблем. Иногда имеет смысл подождать устранения проблем, прежде чем предпринимать повторные попытки|
+|`AWS_UPLOAD_TIMEOUT`   |Таймаут загрузки каждой резервной копии в AWS. Значение `None` == таймаут отключен. Полезен т.к. в некоторых случаях скорость загрузки может упасть до нескольких бит/сек|
 
 ### PostgreSQL
 

conf/default_settings.py

@@ -72,6 +72,7 @@
 AWS_RETENTION_DAYS = 90
 AWS_RETRIES = 1
 AWS_RETRY_PAUSE = 600
+AWS_UPLOAD_TIMEOUT = 7200
 
 ## ---------- ##
 ## PostgreSQL ##

core/aws.py

@@ -38,13 +38,17 @@ async def upload_infobase_to_s3(
     ib_name: str, full_backup_path: str, semaphore: asyncio.Semaphore
 ) -> core_models.InfoBaseAWSUploadTaskResult:
     aws_retries = settings.AWS_RETRIES
+    aws_upload_timeout = settings.AWS_UPLOAD_TIMEOUT
     async with semaphore:
         try:
             # Добавляет 1 к количеству повторных попыток, потому что одну попытку всегда нужно делать
             for i in range(0, aws_retries + 1):
                 try:
-                    return await _upload_infobase_to_s3(ib_name, full_backup_path)
-                except EndpointConnectionError as e:
+                    # Changed in version 3.11: Raises TimeoutError instead of asyncio.TimeoutError
+                    return await asyncio.wait_for(
+                        _upload_infobase_to_s3(ib_name, full_backup_path), timeout=aws_upload_timeout
+                    )
+                except (EndpointConnectionError, asyncio.TimeoutError, TimeoutError) as e:
                     # Если количество попыток исчерпано, но ошибка по прежнему присутствует
                     if i == aws_retries:
                         raise e
@@ -55,7 +59,7 @@ async def upload_infobase_to_s3(
                         await asyncio.sleep(aws_retry_pause)
         except Exception:
             log.exception(f"<{ib_name}> Unknown exception occurred in AWS coroutine")
-            return core_models.InfoBaseAWSUploadTaskResult(ib_name, False)
+    return core_models.InfoBaseAWSUploadTaskResult(ib_name, False)
 
 
 async def _upload_infobase_to_s3(ib_name: str, full_backup_path: str) -> core_models.InfoBaseAWSUploadTaskResult:

pyproject.toml

@@ -1,6 +1,6 @@
 [tool.poetry]
 name = "1cv8-mgmt-tool"
-version = "2025.01.14"
+version = "2025.04.05"
 description = ""
 authors = ["Ilya Bogdanov <zeerayne1337@gmail.com>"]