fix sort for backfill

Author: anton.voskresensky

.gitignore

@@ -1,4 +1,7 @@
 build/
 main
 # Test certificates
-test-certs/
+test-certs/
+osctl
+Makefile
+test.yaml

ARCHITECTURE.md

@@ -398,8 +398,10 @@ osctl/
    - Если дата есть - добавляем в список для обработки
 4. **Проверка снапшотов**: Получаем все снапшоты через `GET /_snapshot/{repo}/*`
 5. **Определение индексов без снапшотов**: Для каждого индекса проверяем наличие валидного снапшота через `HasValidSnapshot`
-6. **Группировка по датам**: Группируем индексы без снапшотов по датам (по убыванию даты)
-7. **Создание снапшотов**: Для каждой группы по датам создаем снапшоты (алгоритм создания ниже)
+6. **Группировка по датам**: Группируем индексы без снапшотов по датам через `GroupIndicesByDate`
+7. **Сортировка дат**: Сортируем даты по возрастанию (от старых к новым) через `sort.Strings`
+8. **Сортировка индексов по размеру**: Для каждой даты получаем индексы с размерами через `GetIndicesWithFields` с сортировкой `ss:asc` (от маленьких к большим) и переупорядочиваем список индексов для даты
+9. **Создание снапшотов**: Для каждой группы по датам создаем снапшоты (алгоритм создания ниже)
 
 **Режим 2: Без параметра `--indices-list`**
 1. **Загрузка конфигурации**: Получаем `osctl-indices-config`, `unknown.snapshot` и S3 конфигурацию
@@ -409,8 +411,10 @@ osctl/
    - Пропускаем индексы без даты в названии
 4. **Проверка снапшотов**: Получаем все снапшоты через `GET /_snapshot/{repo}/*`
 5. **Определение индексов без снапшотов**: Для каждого индекса проверяем наличие валидного снапшота через `HasValidSnapshot`
-6. **Группировка по датам**: Группируем индексы без снапшотов по датам (по убыванию даты)
-7. **Создание снапшотов**: Для каждой группы по датам создаем снапшоты (алгоритм создания ниже)
+6. **Группировка по датам**: Группируем индексы без снапшотов по датам через `GroupIndicesByDate`
+7. **Сортировка дат**: Сортируем даты по возрастанию (от старых к новым) через `sort.Strings`
+8. **Сортировка индексов по размеру**: Для каждой даты получаем индексы с размерами через `GetIndicesWithFields` с сортировкой `ss:asc` (от маленьких к большим) и переупорядочиваем список индексов для даты
+9. **Создание снапшотов**: Для каждой группы по датам создаем снапшоты (алгоритм создания ниже)
 
 **Алгоритм создания снапшотов для группы по дате:**
 1. **Разделение конфигураций**: Разделяем конфигурации на системные и обычные

commands/snapshotsbackfill.go

@@ -173,7 +173,7 @@ func runSnapshotsBackfill(cmd *cobra.Command, args []string) error {
 	for k := range dateGroups {
 		dateKeys = append(dateKeys, k)
 	}
-	sort.Sort(sort.Reverse(sort.StringSlice(dateKeys)))
+	sort.Strings(dateKeys)
 
 	logger.Info(fmt.Sprintf("Grouped indices by date groups=%d", len(dateGroups)))
 	for _, dateKey := range dateKeys {
@@ -190,6 +190,31 @@ func runSnapshotsBackfill(cmd *cobra.Command, args []string) error {
 		indicesForDate := dateGroups[dateKey]
 		logger.Info(fmt.Sprintf("Processing date group date=%s indicesCount=%d", dateKey, len(indicesForDate)))
 
+		indicesSet := make(map[string]bool)
+		for _, idx := range indicesForDate {
+			indicesSet[idx] = true
+		}
+
+		pattern := "*" + dateKey + "*"
+		indicesWithSize, err := client.GetIndicesWithFields(pattern, "index,ss", "ss:asc")
+		if err != nil {
+			logger.Warn(fmt.Sprintf("Failed to get indices with size for date date=%s error=%v, using unsorted list", dateKey, err))
+		} else {
+			var sortedIndices []string
+			for _, idx := range indicesWithSize {
+				if indicesSet[idx.Index] {
+					sortedIndices = append(sortedIndices, idx.Index)
+					delete(indicesSet, idx.Index)
+				}
+			}
+			for idx := range indicesSet {
+				sortedIndices = append(sortedIndices, idx)
+			}
+			if len(sortedIndices) > 0 {
+				indicesForDate = sortedIndices
+			}
+		}
+
 		goFormat := utils.ConvertDateFormat(cfg.GetDateFormat())
 		parsedDate, err := time.Parse(goFormat, dateKey)
 		if err != nil {