Initial commit

Author: anton.voskresensky

.github/workflows/docker.yml

@@ -0,0 +1,52 @@
+name: Docker Image
+
+on:
+  push:
+    tags:
+      - '**'
+
+jobs:
+
+  build:
+    runs-on: ubuntu-latest
+
+    steps:
+    - uses: actions/checkout@v4
+
+    - name: Docker meta
+      id: meta
+      uses: docker/metadata-action@v5
+      with:
+        images: ghcr.io/${{ github.repository }}
+        tags: |
+          type=schedule
+          type=ref,event=branch
+          type=ref,event=pr
+          type=semver,pattern={{version}}
+          type=semver,pattern={{major}}.{{minor}}
+          type=semver,pattern={{major}}
+          type=sha
+
+    - name: Set up Docker Buildx
+      id: buildx
+      uses: docker/setup-buildx-action@v3
+
+    - name: Login to Github Packages
+      uses: docker/login-action@v3
+      with:
+        registry: ghcr.io
+        username: ${{ github.repository_owner }}
+        password: ${{ secrets.GITHUB_TOKEN }}
+
+    - name: Set build date
+      run: echo "BUILD_DATE=$(date +%Y%m%d%H%M)" >> $GITHUB_ENV
+
+    - name: Build and push
+      uses: docker/build-push-action@v5
+      with:
+        context: .
+        build-args: |
+          versionflags=-X 'github.com/flant/osctl/pkg/util.Version=${{ github.ref_name }}' -X 'github.com/flant/osctl/pkg/util.Revision=${{ github.sha }}' -X 'github.com/flant/osctl/pkg/util.Branch=${{ github.ref_name }}' -X 'github.com/flant/osctl/pkg/util.BuildUser=${{ github.actor }}' -X 'github.com/flant/osctl/pkg/util.BuildDate=${{ env.BUILD_DATE }}'
+        push: ${{ github.event_name != 'pull_request' }}
+        tags: ${{ steps.meta.outputs.tags }}
+        labels: ${{ steps.meta.outputs.labels }}

.github/workflows/go.yml

@@ -0,0 +1,38 @@
+name: Go
+
+on:
+  push:
+    tags:
+      - '**'
+
+jobs:
+
+  build:
+    runs-on: ubuntu-latest
+
+    steps:
+    - uses: actions/checkout@v4
+
+    - name: Set up Go
+      uses: actions/setup-go@v5
+      with:
+        go-version: 1.25
+
+    - name: Build
+      run: |
+        versionflags="-X 'github.com/flant/osctl/pkg/util.Version=$GITHUB_REF_NAME' -X 'github.com/flant/osctl/pkg/util.Revision=$GITHUB_SHA' -X 'github.com/flant/osctl/pkg/util.Branch=$GITHUB_REF_NAME' -X 'github.com/flant/osctl/pkg/util.BuildUser=$GITHUB_ACTOR' -X 'github.com/flant/osctl/pkg/util.BuildDate=$(date +%Y%m%d%H%M)'"
+        for GOOS in linux; do
+          for GOARCH in amd64 arm64; do
+            export GOOS GOARCH
+            CGO_ENABLED=0 go build -v -a -tags netgo -ldflags="-extldflags '-static' -s -w $versionflags" -o build/osctl-${GOOS}-${GOARCH} cmd/main.go
+          done
+        done
+        cd build; sha256sum * > sha256sums.txt
+
+    - name: Release
+      uses: softprops/action-gh-release@v1
+      with:
+        generate_release_notes: true
+        token: ${{ secrets.GITHUB_TOKEN }}
+        files: |
+          build/*

.gitignore

@@ -0,0 +1,6 @@
+build/
+main
+osctl
+
+# Test certificates
+test-certs/

ARCHITECTURE.md

@@ -0,0 +1,39 @@
+FROM golang:1.25-bookworm as builder
+
+ARG versionflags
+
+WORKDIR /app
+
+COPY go.mod go.sum ./
+RUN go mod download
+
+COPY . .
+
+RUN CGO_ENABLED=0 go build -v -a -tags netgo -ldflags="-extldflags '-static' -s -w $versionflags" -o osctl cmd/main.go
+
+FROM debian:bookworm-slim
+
+ENV DEBIAN_FRONTEND=noninteractive
+
+RUN apt-get update && apt-get install -y --no-install-recommends \
+        ca-certificates \
+        curl \
+        wget \
+        dnsutils \
+        iputils-ping \
+        vim \
+        nano \
+        jq \
+        lsof \
+        net-tools \
+        procps \
+        tzdata \
+        traceroute \
+        mtr-tiny \
+        && rm -rf /var/lib/apt/lists/*
+
+COPY --from=builder /app/osctl /usr/local/bin/osctl
+
+RUN chmod +x /usr/local/bin/osctl
+
+CMD ["/usr/local/bin/osctl"]

Dockerfile

@@ -0,0 +1,107 @@
+# Переменные окружения и флаги
+
+Этот документ описывает переменные окружения и флаги для osctl.
+
+## Порядок приоритета
+
+Конфигурация загружается в следующем порядке:
+1. **Флаги командной строки**
+2. **Переменные окружения**
+3. **Общий конфиг файл** (`config.yaml`)
+4. **Файл конфигурации индексов** (`osctlindicesconfig.yaml`) - для команд snapshot, indicesdelete, snapshotdelete, snapshotchecker
+5. **Значения по умолчанию** (наименьший приоритет)
+
+## Общие флаги
+
+Эти флаги доступны для всех команд:
+
+| Флаг | Переменная окружения | Описание | Значение по умолчанию |
+|------|---------------------|----------|--------------|
+| `--config` | `OSCTL_CONFIG` | Путь к файлу конфигурации | `config.yaml` |
+| `--os-url` | `OPENSEARCH_URL` | URL OpenSearch | `https://opendistro:9200` |
+| `--os-recoverer-url` | `OPENSEARCH_RECOVERER_URL` | URL OpenSearch Recoverer | `https://opendistro-recoverer:9200` |
+| `--cert-file` | `OPENSEARCH_CERT_FILE` | Путь к сертификату | `/etc/ssl/certs/admin-crt.pem` |
+| `--key-file` | `OPENSEARCH_KEY_FILE` | Путь к приватному ключу | `/etc/ssl/certs/admin-key.pem` |
+| `--ca-file` | `OPENSEARCH_CA_FILE` | Путь к CA | `/etc/ssl/certs/elk-root-ca.pem` |
+| `--timeout` | `OPENSEARCH_TIMEOUT` | Таймаут запросов | `300s` |
+| `--retry-attempts` | `OPENSEARCH_RETRY_ATTEMPTS` | Количество повторных попыток для запросов в апи | `3` |
+| `--date-format` | `OPENSEARCH_DATE_FORMAT` | Формат даты в названиях индексов и снапшотов | `%Y.%m.%d` |
+| `--recoverer-date-format` | `RECOVERER_DATE_FORMAT` | Формат даты для индексов у Recoverer | `%d-%m-%Y` |
+| `--madison-url` | `MADISON_URL` | URL API Madison | `https://madison.flant.com/api/events/custom/` |
+| `--madison-key` | `MADISON_KEY` | Ключ API Madison | (пусто) |
+| `--madison-project` | `MADISON_PROJECT` | Название проекта в Madison | (пусто) |
+| `--osd-url` | `OPENSEARCH_DASHBOARDS_URL` | URL OpenSearch Dashboards | (пусто) |
+| `--osctl-indices-config` | `OSCTL_INDICES_CONFIG` | Путь к конфигу индексов - для snapshot, indicesdelete, snapshotdelete, snapshotchecker | `osctlindicesconfig.yaml` |
+| `--dry-run` | `DRY_RUN` | Показать что будет сделано без выполнения | `false` |
+| `--snap-repo` | `SNAPSHOT_REPOSITORY` | Название репо для снапшотов | (пусто) |
+
+## Флаги команд
+
+### `coldstorage`
+
+Перемещает индексы на узлы cold, если они старше N дней.
+
+| Флаг | Переменная окружения | Описание | Значение по умолчанию |
+|------|---------------------|----------|--------------|
+| `--cold-attribute` | `COLD_ATTRIBUTE` | Атрибут узлов для cold | (пусто) |
+| `--hot-count` | `HOT_COUNT` | Количество дней, которые нужно держать индексы в hot | `3` |
+
+**Ключи в конфиг файле:**
+- `cold_attribute`
+- `hot_count`
+
+### `retention`
+
+Удаляет старые индексы при превышении порога использования диска.
+
+| Флаг | Переменная окружения | Описание | Значение по умолчанию |
+|------|---------------------|----------|--------------|
+| `--retention-threshold` | `RETENTION_THRESHOLD` | Порог использования диска в процентах | `75` |
+
+**Ключи в конфиг файле:**
+- `retention-threshold`
+
+### `dereplicator`
+
+Уменьшает количество реплик до 0 для индексов старше указанного количества дней.
+
+| Флаг | Переменная окружения | Описание | Значение по умолчанию |
+|------|---------------------|----------|--------------|
+| `--dereplicator-days-count` | `DEREPLICATOR_DAYS` | Какое количество дней держать индексы с репликами | `2` |
+| `--dereplicator-use-snapshot` | `DEREPLICATOR_USE_SNAPSHOT` | Проверять снапшоты перед уменьшением реплик | `false` |
+
+**Ключи в конфиг файле:**
+- `dereplicator_days_count`
+- `dereplicator_use_snapshot`
+
+### `extracteddelete`
+
+Удаляет extracted индексы, которые больше не нужны.
+
+| Флаг | Переменная окружения | Описание | Значение по умолчанию |
+|------|---------------------|----------|--------------|
+| `--days` | `EXTRACTED_DAYS` | Какое количество дней держать extracted индексы | `7` |
+| `--extracted-pattern` | `EXTRACTED_PATTERN` | Префикс для extracted индексов | `extracted_` |
+| `--opensearch_recoverer_url` | `OPENSEARCH_RECOVERER_URL` | Url рековерера | `https://opendistro-recoverer:9200` |
+| `--recoverer_date_format` | `RECOVERER_DATE_FORMAT` | Формат даты у extracted индексов | `%d-%m-%Y` |
+
+**Ключи в конфиг файле:**
+- `opensearch_recoverer_url`
+- `extracted_pattern`
+- `extracted_days`
+- `recoverer_date_format`
+
+### `snapshot`, `snapshot-manual`
+
+Создает снапшоты индексов.
+
+**Специальные флаги для snapshot-manual:**
+| Флаг | Переменная окружения | Описание | Значение по умолчанию |
+|------|---------------------|----------|--------------|
+| `--snapshot-manual-kind` | `SNAPSHOT_KIND` | Тип паттерна: prefix или regex | `prefix` |
+| `--snapshot-manual-value` | `SNAPSHOT_VALUE` | Значение паттерна | (пусто) |
+| `--snapshot-manual-name` | `SNAPSHOT_NAME` | Имя снапшота (обязательно для regex) | (пусто) |
+| `--snapshot-manual-system` | `SNAPSHOT_SYSTEM` | Флаг системного индекса (получает индексы с точкой, независимо от даты) | `false` |
+| `--snapshot-manual-days-count` | `SNAPSHOT_DAYS_COUNT` | Какое количество дней держать индекс | `7` |
+| `--snapshot-manual-count-s3` | `SNAPSHOT_COUNT_S3` | Какое количество дней хранить снапшот в S3 | `14` |
+

ENVIRONMENT_VARIABLES_AND_FLAGS.md

@@ -0,0 +1,53 @@
+# osctl - Инструмент управления жизненным циклом индексов и снапшотов OpenSearch
+
+По-умолчанию предполагается использование `config.yaml` в котором описаны параметры запуска, а также указание конкретной команды, которая будет выполнять действие. Для некоторых действий также требуется файлик osctlindicesconfig.yaml ( пример в config-example) с описанием паттернов индексов и числом дней хранения.
+
+```bash
+osctl snapshot
+
+osctl snapshot-manual --snapshot-manual-kind=prefix --snapshot-manual-value=prod --snapshot-manual-days-count=14
+
+osctl retention --retention-threshold=75 --snap-repo=s3-backup
+osctl dereplicator --dereplicator-days-count=7 --dereplicator-use-snapshot
+
+osctl extracteddelete --days=7
+osctl coldstorage --hot-count=7 --cold-attribute=cold
+```
+
+## Команды
+
+| Команда | Назначение |
+|---------|------------|
+| `snapshot` | Создание снапшотов согласно конфигурации |
+| `snapshotdelete` | Удаление снапшотов согласно конфигурации |
+| `indicesdelete` | Удаление индексов согласно конфигурации |
+| `snapshotchecker` | Нахождение отсутствующих снапшотов |
+| `snapshot-manual` | Создание снапшотов по флагам |
+| `retention` | Удаление индексов со снапшотами при превышении некоторого порога  |
+| `dereplicator` | Уменьшение числа реплик |
+| `coldstorage` | Миграция в холодное хранилище |
+| `extracteddelete` | Удаление extracted индексов |
+| `danglingchecker` | Проверка dangling индексов |
+
+## Конфигурация
+
+### Единая конфигурация (`config.yaml`)
+
+Пример в `config.yaml`
+
+### Конфигурация индексов (`osctlindicesconfig.yaml`)
+
+Пример в `osctlindicesconfig.yaml`
+
+## Приоритет конфигурации
+
+1. **Флаги командной строки** (наивысший приоритет)
+2. **Переменные окружения** 
+3. **Единый конфиг** (`config.yaml`)
+4. **Значения по умолчанию** (наименьший приоритет)
+
+## 📚 Документация
+
+- **[ENVIRONMENT_VARIABLES_AND_FLAGS.md](ENVIRONMENT_VARIABLES_AND_FLAGS.md)** - Полный справочник по всем флагам и переменным окружения
+- **[ARCHITECTURE.md](ARCHITECTURE.md)** - Подробные алгоритмы и архитектура системы
+- **Встроенная справка**: `osctl [команда] --help`

README.md

@@ -0,0 +1,19 @@
+package main
+
+import (
+	"fmt"
+	"os"
+
+	"osctl/commands"
+)
+
+var (
+	vBuild string
+)
+
+func main() {
+	if err := commands.Execute(); err != nil {
+		fmt.Fprintf(os.Stderr, "Error: %v\n", err)
+		os.Exit(1)
+	}
+}