Переделка подсчета метрик по логам

Closes #6

Author: r3code

README.md

@@ -1,19 +1,25 @@
 # Преобразование логов http accesslog в метрики с vector.dev
 
-В данном каталоге лежат файлы описывающий подход, позволяющий генерировать метрики из логов без переписывания кода трансформов под каждый сервис.
+В данном каталоге лежат файлы описывающий подход, позволяющий генерировать [метрики из логов](https://vector.dev/docs/reference/configuration/transforms/log_to_metric/) без переписывания кода трансформов [vector.dev](https://vector.dev/) под каждый сервис.
 
-**Внимание!** [Версия v1](https://github.com/vseinstrumentiru/vector.dev-metrics-to-logs-helper/tree/1.0.0) содержала [баг #1](/../../issues/1) который проявлялся, только если вы добавляли разные определения метрик (разные лейблы, разные фильтры). В текущей версии это исправлено (см. [новый граф обработки](docs/vector_topology-separate-metric-fileters.svg)).
+**Описание:**
 
 1. Полагаемся на то, что все сервисы пишут логи в фиксированном формате JSON и имеют одинаковый набор обязательных полей. См. [example_logs]
 2. Для кодогенерации использован Ansible и jinja2 шаблоны. Генерируем toml файлы конфигурации vector.dev и тесты к ним, где нужно.
 3. Метрики определяются в файле [ansible-playbook/vars/metrics-catalog.<env>.yml], после этого запускаем генерацию через ansible. См пример в Makefile. По умолчанию генерируется для `env=testing`, чтобы генерировать для production запускать `VECTOR_ENV=production make <команда>`
-4. Отдельной задачей конфигурации выгружаются на серверы с агрегаторами vector.dev, и для применения новой конфигурации выполняется перезапуск процесса vector
+4. Отдельной задачей конфигурации выгружаются на серверы с агрегаторами vector.dev, и для применения новой конфигурации выполняется перезапуск процесса vector (здесь не приведены).
+
+
+## Как было раньше
+
+Каждый раз под новый источник мы писали новый код VRL, часто делая copy/paste с незначительными правками. Это могло занимать с отладкой и тестами весь рабочий день.
+Потому в 2023 нас это перестало устраивать и мы придумали это подход. Подробно читайте https://habr.com/ru/articles/809801/ и https://habr.com/ru/articles/864614/.
 
 ## Что нам дал рефакторинг
 
 * Мы вместо 5 часов теперь тратим 10-30 минут на добавление/изменение метрик с учетом выкатки на прод
 * Появилась автоматическая валидация по схеме, теперь ошибку при описании метрки допустить сложнее
-* Теперь для добавления новой метрки не нужно знать как это закодировать на языку VRL - достаточно YAML девелопера )
+* Теперь для добавления новой метрки не нужно знать как это закодировать на языке VRL - достаточно YAML девелопера )
 
 
 ## Ограничения
@@ -31,6 +37,13 @@
 4. Выполните сборку и тесты `VECTOR_ENV=<env> make test-vector-transforms`, если не указать VECTOR_ENV, то используется `VECTOR_ENV=testing`
 5. Созданные файлы смотрите в каталоге [.generated/vector_config]
 
+## Граф компонентов vector.dev
+
+В приведенной конфигурации создается следующий граф компонентов:
+
+![Граф компонентов vector.dev](docs/vector_topology-v1.2.svg)
+
+
 ## Контакты
 
 Если вам интересны подробности вы можете писать нам, см. сайт https://vitech.team/ ("По вопросам сотрудничества") или приходите работать к нам.

ansible-playbook/vars/metrics-catalog.testing.yml

@@ -99,6 +99,32 @@ metrics_catalog:
                     cluster_name: "test::dc2-old"
                     container_name: "frontend"
                     service_name: "webshop-canary"
+          - selector: "Все запросы на Webshop Circuit Breaker"
+            filter:
+              http_path:
+                re: ".*"
+                label_override: ":url_path"
+              service_name:
+                eq: "webshop-cb"
+            testdata: # указывать в ключах имена полей на выходе из transforms.http_accesslog-k8s
+              - test:
+                input_values:
+                  http_path: "/brand/abc-123/sub-1234/"
+                  http_method: "GET"
+                  http_status_code: "200"
+                  duration_sec: "2.1"
+                  cluster_name: "any_dc"
+                  container_name: "any_cn"
+                  kubernetes.pod_node_name: "ox2-kub-prod18"
+                  service_name: "webshop-cb"
+                expect:
+                  label_values:
+                    path: ":url_path"
+                    method: "GET"
+                    status: "200"
+                    cluster_name: "any_dc"
+                    container_name: "any_cn"
+                    service_name: "webshop-cb"
       # Метрика vi_http_request_duration_seconds
       request_duration_seconds: # требуется для transforms.metrics-http-accesslog-k8s - бакеты определены там
         metric_type: histogram