fix: retention and ind deletes (#13)

Author: perhamm

ARCHITECTURE.md

@@ -98,10 +98,16 @@ osctl --action=snapshot
 | Флаг | Переменная окружения | Описание | Значение по умолчанию |
 |------|---------------------|----------|--------------|
 | `--retention-threshold` | `RETENTION_THRESHOLD` | Порог использования диска в процентах | `75` |
+| `--retention-days-count` | `RETENTION_DAYS_COUNT` | Количество дней для хранения индексов | `2` |
+| `--retention-check-snapshots` | `RETENTION_CHECK_SNAPSHOTS` | Проверять наличие валидных снапшотов перед удалением | `true` |
+| `--retention-check-nodes-down` | `RETENTION_CHECK_NODES_DOWN` | Проверять выбывшие ноды из кластера перед запуском retention | `true` |
 | `--dry-run` | `DRY_RUN` | Показать, какие индексы будут удалены, без удаления | `false` |
 
 **Ключи в конфиг файле:**
-- `retention-threshold`
+- `retention_threshold`
+- `retention_days_count`
+- `retention_check_snapshots`
+- `retention_check_nodes_down`
 
 ### `dereplicator`
 
@@ -265,7 +271,13 @@ osctl --action=snapshot
 
 | Флаг | Переменная окружения | Описание | Значение по умолчанию |
 |------|---------------------|----------|--------------|
+| `--indicesdelete-check-snapshots` | `INDICESDELETE_CHECK_SNAPSHOTS` | Проверять наличие валидных снапшотов перед удалением индексов, которые должны иметь снапшоты. Если `true` и не удалось получить информацию о снапшотах или `snap-repo` не настроен, джоба завершается с ошибкой | `true` |
+| `--snap-repo` | `SNAPSHOT_REPOSITORY` | Название репозитория для снапшотов (обязателен если `indicesdelete-check-snapshots=true`) | (пусто) |
 | `--dry-run` | `DRY_RUN` | Показать удаляемые индексы без удаления | `false` |
 
+**Ключи в конфиг файле:**
+- `indicesdelete_check_snapshots`
+- `snapshot_repo`
+
 В режиме multitenancy список тенантов берется из `--kibana-tenants-config` (`KIBANA_TENANTS_CONFIG`), файл обязателен.
 

ENVIRONMENT_VARIABLES_AND_FLAGS.md

@@ -1,52 +1,36 @@
 # osctl - Инструмент управления жизненным циклом индексов и снапшотов OpenSearch
 
-По-умолчанию предполагается использование `config.yaml` в котором описаны параметры запуска. Для автоматического выполнения команд можно использовать параметр `action`.
+Ключевые функции в сравнении с iml - время создания снапшотов и индексов зашивается в конец их названия, сами снапшоты и индексы формируются логстешом. Политика ротации настраивается в одном месте конфигом. В конфиге прописываются для каждого интересующего нас префикса своя политика - сколько дней храним в кластере и сколько дней храним снапшоты каждого дня. Все индексы которые не попали в паттерны - управляются политикой unknown. Все делается кронджобами.
 
-Все, что указано в конфгиах можно переопределять через флаги, а также большинство команд поддерживают `--dry-run`.
+Фактически это замена curator с только нужными нам функциями.
 
-## Быстрый старт
+Также есть ряд команд, которые решают специфичные проблемы - такие как вычисление оптимального числа шардов или автосоздание индекспаттернов.
 
-### Использование с параметром action (рекомендуется)
-```bash
-# Создать config.yaml с нужной командой
-cat > config.yaml << EOF
-action: "snapshots"
-opensearch_url: "https://your-opensearch:9200"
-cert_file: "/path/to/cert.pem"
-key_file: "/path/to/key.pem"
-EOF
+По-умолчанию предполагается использование `config.yaml` в котором описаны параметры запуска и запуск через кронджобы с указанием команды.
 
-# Запустить osctl - команда выполнится автоматически
-osctl
-osctl --dry-run
-```
-
-### Вариант использования через команды и флаги
-```bash
-osctl snapshots --config=custom_config.yaml --osctl-indices-config=custom_osctl_indices_config.yaml
-```
+Все, что указано в конфгиах можно переопределять через флаги и переменные, а также все команды поддерживают `--dry-run`.
 
 ## Доступные команды (action)
 
 | Команда | Назначение |
 |---------|------------|
-| `snapshots` | Создание снапшотов согласно конфигурации |
-| `snapshotsdelete` | Удаление снапшотов согласно конфигурации |
-| `indicesdelete` | Удаление индексов согласно конфигурации |
+| `snapshots` | Создание снапшотов согласно политикам в конфиге |
+| `snapshotsdelete` | Удаление снапшотов согласно политикам в конфиге |
+| `indicesdelete` | Удаление индексов согласно политикам в конфиге |
 | `snapshotschecker` | Нахождение отсутствующих снапшотов |
-| `snapshot-manual` | Создание снапшотов по флагам |
 | `retention` | Удаление индексов со снапшотами при превышении некоторого порога  |
-| `dereplicator` | Уменьшение числа реплик |
-| `coldstorage` | Миграция в холодное хранилище |
+| `dereplicator` | Уменьшение числа реплик у индексов со снапшотами |
+| `coldstorage` | Миграция в холодное хранилище при превышении числа дней |
 | `extracteddelete` | Удаление extracted индексов |
 | `danglingchecker` | Проверка dangling индексов |
 | `sharding` | Автоматическое выставление оптимального числа шардов |
 | `indexpatterns` | Управление index patterns в Kibana |
-| `datasource` | Создание Kibana data-source |
+| `datasource` | Создание Kibana data-source ( рековерер) |
+| `snapshot-manual | Создание только одного снапшота для индексов с определенным паттерном |
 
 ## Конфигурация
 
-### Единая конфигурация (`config.yaml`)
+### Общая конфигурация (`config.yaml`)
 
 Пример в `config.yaml`
 
@@ -60,14 +44,14 @@ osctl snapshots --config=custom_config.yaml --osctl-indices-config=custom_osctl_
 
 ## Приоритет конфигурации
 
-1. **Флаги командной строки** (наивысший приоритет)
+1. **Флаги командной строки** (наибольший приоритет)
 2. **Переменные окружения** 
-3. **Единый конфиг** (`config.yaml`)
+3. **Общий конфиг** (`config.yaml`)
 4. **Значения по умолчанию** (наименьший приоритет)
 
 ## 📚 Документация
 
-- **[ENVIRONMENT_VARIABLES_AND_FLAGS.md](ENVIRONMENT_VARIABLES_AND_FLAGS.md)** - Полный справочник по всем флагам и переменным окружения
-- **[ARCHITECTURE.md](ARCHITECTURE.md)** - Подробные алгоритмы и архитектура системы
-- **[DEVELOPMENT.md](DEVELOPMENT.md)** - Как вносить изменения и вариант тестирования
-- **Встроенная справка**: `osctl [команда] --help`
+- **[ENVIRONMENT_VARIABLES_AND_FLAGS.md](ENVIRONMENT_VARIABLES_AND_FLAGS.md)** - Полный список всех флагов и переменных окружения
+- **[ARCHITECTURE.md](ARCHITECTURE.md)** - Подробные алгоритмы и архитектура приложения
+- **[DEVELOPMENT.md](DEVELOPMENT.md)** - Как вносить изменения и тестировать
+- **Справка**: `osctl [команда] --help`

README.md

@@ -4,6 +4,7 @@ import (
 	"fmt"
 	"osctl/pkg/config"
 	"osctl/pkg/logging"
+	"osctl/pkg/opensearch"
 	"osctl/pkg/utils"
 	"strings"
 	"time"
@@ -32,8 +33,10 @@ func runIndicesDelete(cmd *cobra.Command, args []string) error {
 	}
 
 	unknownConfig := cfg.GetOsctlIndicesUnknownConfig()
+	s3Config := cfg.GetOsctlIndicesS3SnapshotsConfig()
+	checkSnapshots := cfg.GetIndicesDeleteCheckSnapshots()
 
-	logger.Info(fmt.Sprintf("Starting indices deletion indicesCount=%d unknownDays=%d", len(indicesConfig), unknownConfig.DaysCount))
+	logger.Info(fmt.Sprintf("Starting indices deletion indicesCount=%d unknownDays=%d checkSnapshots=%t", len(indicesConfig), unknownConfig.DaysCount, checkSnapshots))
 
 	client, err := utils.NewOSClientWithURL(cfg, cfg.GetOpenSearchURL())
 	if err != nil {
@@ -51,7 +54,8 @@ func runIndicesDelete(cmd *cobra.Command, args []string) error {
 		logger.Info("Found indices none")
 	}
 
-	var indicesToDelete []string
+	var indicesOlderThanRetentionPeriod []string
+	var indicesRequiringSnapshotCheck []string
 	var unknownIndices []string
 	var indicesWithoutDateForLog []string
 
@@ -73,8 +77,21 @@ func runIndicesDelete(cmd *cobra.Command, args []string) error {
 			}
 		} else {
 			if hasDateInName {
-				if utils.IsOlderThanCutoff(indexName, utils.FormatDate(time.Now().AddDate(0, 0, -indexConfig.DaysCount), cfg.GetDateFormat()), cfg.GetDateFormat()) {
-					indicesToDelete = append(indicesToDelete, indexName)
+				cutoffDateDaysCount := utils.FormatDate(time.Now().AddDate(0, 0, -indexConfig.DaysCount), cfg.GetDateFormat())
+				if utils.IsOlderThanCutoff(indexName, cutoffDateDaysCount, cfg.GetDateFormat()) {
+					indicesOlderThanRetentionPeriod = append(indicesOlderThanRetentionPeriod, indexName)
+
+					if indexConfig.Snapshot {
+						s3daysCount := s3Config.UnitCount.All
+						if indexConfig.SnapshotCountS3 > 0 {
+							s3daysCount = indexConfig.SnapshotCountS3
+						}
+						cutoffDateS3 := utils.FormatDate(time.Now().AddDate(0, 0, -s3daysCount), cfg.GetDateFormat())
+
+						if !utils.IsOlderThanCutoff(indexName, cutoffDateS3, cfg.GetDateFormat()) {
+							indicesRequiringSnapshotCheck = append(indicesRequiringSnapshotCheck, indexName)
+						}
+					}
 				}
 			} else {
 				indicesWithoutDateForLog = append(indicesWithoutDateForLog, indexName)
@@ -85,8 +102,17 @@ func runIndicesDelete(cmd *cobra.Command, args []string) error {
 	unknownIndices = utils.FilterUnknownIndices(unknownIndices)
 	if unknownConfig.DaysCount > 0 {
 		for _, indexName := range unknownIndices {
-			if utils.IsOlderThanCutoff(indexName, utils.FormatDate(time.Now().AddDate(0, 0, -unknownConfig.DaysCount), cfg.GetDateFormat()), cfg.GetDateFormat()) {
-				indicesToDelete = append(indicesToDelete, indexName)
+			cutoffDateDaysCount := utils.FormatDate(time.Now().AddDate(0, 0, -unknownConfig.DaysCount), cfg.GetDateFormat())
+			if utils.IsOlderThanCutoff(indexName, cutoffDateDaysCount, cfg.GetDateFormat()) {
+				indicesOlderThanRetentionPeriod = append(indicesOlderThanRetentionPeriod, indexName)
+
+				if unknownConfig.Snapshot {
+					cutoffDateS3 := utils.FormatDate(time.Now().AddDate(0, 0, -s3Config.UnitCount.Unknown), cfg.GetDateFormat())
+
+					if !utils.IsOlderThanCutoff(indexName, cutoffDateS3, cfg.GetDateFormat()) {
+						indicesRequiringSnapshotCheck = append(indicesRequiringSnapshotCheck, indexName)
+					}
+				}
 			}
 		}
 	}
@@ -95,13 +121,89 @@ func runIndicesDelete(cmd *cobra.Command, args []string) error {
 		logger.Info(fmt.Sprintf("Indices skipped (no date in name) count=%d list=%s", len(indicesWithoutDateForLog), strings.Join(indicesWithoutDateForLog, ", ")))
 	}
 
+	if len(indicesOlderThanRetentionPeriod) > 0 {
+		logger.Info(fmt.Sprintf("Indices older than retention period (days_count) count=%d list=%s", len(indicesOlderThanRetentionPeriod), strings.Join(indicesOlderThanRetentionPeriod, ", ")))
+	} else {
+		logger.Info("Indices older than retention period (days_count): none")
+	}
+
+	if len(indicesRequiringSnapshotCheck) > 0 {
+		logger.Info(fmt.Sprintf("Indices requiring snapshot check (older than days_count but not older than snapshot_count_s3) count=%d list=%s", len(indicesRequiringSnapshotCheck), strings.Join(indicesRequiringSnapshotCheck, ", ")))
+	} else {
+		logger.Info("Indices requiring snapshot check: none")
+	}
+
+	var snapshots []opensearch.Snapshot
+	var indicesWithoutSnapshot []string
+	var indicesToDeleteFinal []string
+
+	if len(indicesRequiringSnapshotCheck) > 0 {
+		snapRepo := cfg.GetSnapshotRepo()
+		if checkSnapshots {
+			if snapRepo == "" {
+				return fmt.Errorf("snap-repo is required when indicesdelete-check-snapshots is true")
+			}
+
+			logger.Info(fmt.Sprintf("Getting all snapshots from repository repo=%s", snapRepo))
+			snapshots, err = utils.GetSnapshotsIgnore404(client, snapRepo, "*")
+			if err != nil {
+				return fmt.Errorf("failed to get snapshots: %v", err)
+			}
+			if snapshots == nil {
+				snapshots = []opensearch.Snapshot{}
+			}
+
+			var snapshotNames []string
+			for _, s := range snapshots {
+				if s.State == "SUCCESS" {
+					snapshotNames = append(snapshotNames, s.Snapshot)
+				}
+			}
+			if len(snapshotNames) > 0 {
+				logger.Info(fmt.Sprintf("Found successful snapshots count=%d", len(snapshotNames)))
+			} else {
+				logger.Info("Found snapshots none")
+			}
+
+			for _, indexName := range indicesRequiringSnapshotCheck {
+				hasSnapshot := utils.HasValidSnapshot(indexName, snapshots)
+				if hasSnapshot {
+					logger.Info(fmt.Sprintf("Index has valid snapshot index=%s", indexName))
+					indicesToDeleteFinal = append(indicesToDeleteFinal, indexName)
+				} else {
+					logger.Warn(fmt.Sprintf("Index has no valid snapshot, skipping deletion index=%s", indexName))
+					indicesWithoutSnapshot = append(indicesWithoutSnapshot, indexName)
+				}
+			}
+
+			snapshotCheckSet := make(map[string]bool)
+			for _, idx := range indicesRequiringSnapshotCheck {
+				snapshotCheckSet[idx] = true
+			}
+
+			for _, indexName := range indicesOlderThanRetentionPeriod {
+				if !snapshotCheckSet[indexName] {
+					indicesToDeleteFinal = append(indicesToDeleteFinal, indexName)
+				}
+			}
+		} else {
+			indicesToDeleteFinal = indicesOlderThanRetentionPeriod
+		}
+	} else {
+		indicesToDeleteFinal = indicesOlderThanRetentionPeriod
+	}
+
+	if len(indicesWithoutSnapshot) > 0 {
+		logger.Warn(fmt.Sprintf("Indices skipped (no valid snapshot) count=%d list=%s", len(indicesWithoutSnapshot), strings.Join(indicesWithoutSnapshot, ", ")))
+	}
+
 	var successfulDeletions []string
 	var failedDeletions []string
 
-	if len(indicesToDelete) > 0 {
-		logger.Info(fmt.Sprintf("Indices to delete %s", strings.Join(indicesToDelete, ", ")))
-		logger.Info(fmt.Sprintf("Deleting indices count=%d", len(indicesToDelete)))
-		successful, failed, err := utils.BatchDeleteIndices(client, indicesToDelete, cfg.GetDryRun(), logger)
+	if len(indicesToDeleteFinal) > 0 {
+		logger.Info(fmt.Sprintf("Indices to delete (final list) count=%d list=%s", len(indicesToDeleteFinal), strings.Join(indicesToDeleteFinal, ", ")))
+		logger.Info(fmt.Sprintf("Deleting indices count=%d", len(indicesToDeleteFinal)))
+		successful, failed, err := utils.BatchDeleteIndices(client, indicesToDeleteFinal, cfg.GetDryRun(), logger)
 		if err != nil {
 			logger.Error(fmt.Sprintf("Failed to delete indices error=%v", err))
 		}
@@ -128,7 +230,14 @@ func runIndicesDelete(cmd *cobra.Command, args []string) error {
 				logger.Info(fmt.Sprintf("  ✗ %s", name))
 			}
 		}
-		if len(successfulDeletions) == 0 && len(failedDeletions) == 0 {
+		if len(indicesWithoutSnapshot) > 0 {
+			logger.Info("")
+			logger.Info(fmt.Sprintf("Skipped (no valid snapshot): %d indices", len(indicesWithoutSnapshot)))
+			for _, name := range indicesWithoutSnapshot {
+				logger.Info(fmt.Sprintf("  - %s", name))
+			}
+		}
+		if len(successfulDeletions) == 0 && len(failedDeletions) == 0 && len(indicesWithoutSnapshot) == 0 {
 			logger.Info("No indices were deleted")
 		}
 		logger.Info(strings.Repeat("=", 60))