Add Logstash 9.2 support

.github/workflows/nightly_integration.yml

@@ -65,7 +65,7 @@ jobs:
       - uses: manticoresoftware/[email protected]
         with:
           test_prefix: test/clt-tests/integrations/filebeat/test-integrations-check-filebeat-versions
-          image: manticoresearch/dind:v1
+          image: ghcr.io/manticoresoftware/manticoresearch:test-kit-latest
           comment_mode: failures
           run_args: --privileged -v $(pwd)/manual:/manual
           ui_host: "https://clt.manticoresearch.com"
@@ -126,7 +126,7 @@ jobs:
           test_prefix: test/clt-tests/integrations/logstash/test-integrations-check-logstash-versions
           image: ghcr.io/manticoresoftware/manticoresearch:test-kit-latest
           comment_mode: failures
-          run_args: --privileged
+          run_args: --privileged -v $(pwd)/manual:/manual
           ui_host: "https://clt.manticoresearch.com"
 
   test_logstash_versions:

.translation-cache/Integration/Filebeat.md.json

@@ -14,5 +14,13 @@
       "russian": "# Интеграция с Filebeat\n\n> ПРИМЕЧАНИЕ: интеграция с Filebeat требует [Manticore Buddy](../Installation/Manticore_Buddy.md). Если она не работает, убедитесь, что Buddy установлен.\n\n[Filebeat](https://www.elastic.co/beats/filebeat) — это легковесный шиппер для пересылки и централизации логов. Установленный как агент, он отслеживает указанные вами файлы логов или директории, собирает события из логов и пересылает их для индексирования, обычно в Elasticsearch или Logstash.\n\nТеперь Manticore также поддерживает использование Filebeat как конвейера обработки. Это позволяет отправлять собранные и преобразованные данные в Manticore так же, как в Elasticsearch. В настоящее время поддерживаются версии 7.17-9.2.\n\n## Конфигурация Filebeat\n\nКонфигурация варьируется в зависимости от версии Filebeat, которую вы используете.\n\n### Конфигурация для Filebeat 7.17, 8.0, 8.1\n\n> **Важно**: версии Filebeat 7.17.0, 8.0.0 и 8.1.0 имеют известную проблему с glibc 2.35+ (используется в Ubuntu 22.04 и новее). Эти версии могут аварийно завершать работу с ошибкой \"Fatal glibc error: rseq registration failed\". Чтобы исправить это, добавьте конфигурацию `seccomp`, как показано ниже.\n\nCODE_BLOCK_0\n\n**Ссылки**: [Issue #30576](https://github.com/elastic/beats/issues/30576), [PR #30620](https://github.com/elastic/beats/pull/30620)\n\n### Конфигурация для Filebeat 8.1 - 8.10\n\nДля версий с 8.1 по 8.10 необходимо добавить опцию `allow_older_versions`:\n\nCODE_BLOCK_1\n\n### Конфигурация для Filebeat 8.11 - 8.19\n\nНачиная с версии 8.11, сжатие вывода включено по умолчанию, поэтому для совместимости с Manticore необходимо явно задать `compression_level: 0`:\n\nCODE_BLOCK_2\n\n### Конфигурация для Filebeat 9.0+\n\nFilebeat 9.0 представляет крупные изменения в архитектуре, заменяя тип входа `log` на `filestream`. Начиная с версии 9.0, также изменился метод идентификации файлов по умолчанию на fingerprint, который требует, чтобы файлы были не менее 1024 байт ([см. issue #44780](https://github.com/elastic/beats/issues/44780)). Для совместимости с Manticore и файлами любого размера необходимо отключить fingerprint.\n\nНиже приведена требуемая конфигурация для Filebeat 9.0 и всех последующих версий:\n\nCODE_BLOCK_3\n\n**Важные заметки по Filebeat 9.0+:**\n\n- Вход `type: filestream` заменяет прежний `type: log`\n\n- Параметр `prospector.scanner.fingerprint.enabled: false` **обязателен** для отключения идентификации файлов по fingerprint, обеспечивая корректную обработку файлов размером меньше 1024 байт\n\n- Поле `id` требуется для filestream входов и должно быть уникальным\n\n## Результаты Filebeat\n\nЗапустив Filebeat с этой конфигурацией, лог-данные будут отправлены в Manticore и корректно проиндексированы. Ниже показана итоговая схема таблицы, созданной Manticore, и пример вставленного документа:\n\nCODE_BLOCK_4\n\nCODE_BLOCK_5"
     },
     "is_code_or_comment": false
+  },
+  "2c027831ac40cee81b357237e9e17b31589987c86c4f7cf76d5f3294d645367b": {
+    "original": "# Integration with Filebeat\n\n> NOTE: The integration with Filebeat requires [Manticore Buddy](../Installation/Manticore_Buddy.md). If it doesn't work, make sure Buddy is installed.\n\n[Filebeat](https://www.elastic.co/beats/filebeat) is a lightweight shipper for forwarding and centralizing log data. Once installed as an agent, it monitors the log files or locations you specify, collects log events, and forwards them for indexing, usually to Elasticsearch or Logstash.\n\nNow, Manticore also supports the use of Filebeat as processing pipelines. This allows the collected and transformed data to be sent to Manticore just like to Elasticsearch. Currently, versions 7.17-9.2 are supported.\n\n## Filebeat configuration\n\nConfiguration varies depending on which version of Filebeat you're using.\n\n### Configuration for Filebeat 7.17, 8.0, 8.1\n\n> **Important**: Filebeat versions 7.17.0, 8.0.0, and 8.1.0 have a known issue with glibc 2.35+ (used in Ubuntu 22.04 and newer distributions). These versions may crash with \"Fatal glibc error: rseq registration failed\". To fix this, add the `seccomp` configuration as shown below.\n\nCODE_BLOCK_0\n\n**References**: [Issue #30576](https://github.com/elastic/beats/issues/30576), [PR #30620](https://github.com/elastic/beats/pull/30620)\n\n### Configuration for Filebeat 8.1 - 8.10\n\nFor versions 8.1 through 8.10, you need to add the `allow_older_versions` option:\n\nCODE_BLOCK_1\n\n### Configuration for Filebeat 8.11 - 8.x\n\nFrom version 8.11, output compression is enabled by default, so you must explicitly set `compression_level: 0` for compatibility with Manticore:\n\nCODE_BLOCK_2\n\n### Configuration for Filebeat 9.0+\n\nFilebeat 9.0 introduces a major architecture change, replacing the `log` input type with `filestream`. Starting from version 9.0, the default file identification method also changed to fingerprint, which requires files to be at least 1024 bytes ([see issue #44780](https://github.com/elastic/beats/issues/44780)). For Manticore compatibility with files of any size, you must disable fingerprinting.\n\nHere's the required configuration for Filebeat 9.0 and all later versions:\n\nCODE_BLOCK_3\n\n**Important notes for Filebeat 9.0+:**\n\n- The `type: filestream` input replaces the older `type: log`\n\n- The `prospector.scanner.fingerprint.enabled: false` setting is **required** to disable fingerprint-based file identification, ensuring reliable processing of files smaller than 1024 bytes\n\n- The `id` field is required for filestream inputs and must be unique\n\n## Filebeat results\n\nOnce you run Filebeat with this configuration, log data will be sent to Manticore and properly indexed. Here is the resulting schema of the table created by Manticore and an example of the inserted document:\n\nCODE_BLOCK_4\n\nCODE_BLOCK_5",
+    "translations": {
+      "chinese": "# 与 Filebeat 的集成\n\n> 注意：与 Filebeat 的集成需要 [Manticore Buddy](../Installation/Manticore_Buddy.md)。如果无法正常工作，请确保已安装 Buddy。\n\n[Filebeat](https://www.elastic.co/beats/filebeat) 是一个轻量级的记录数据转发和集中工具。安装作为代理后，它会监控您指定的日志文件或位置，收集日志事件，并将其转发以供索引，通常是发送到 Elasticsearch 或 Logstash。\n\n现在，Manticore 也支持将 Filebeat 用作处理管道。这允许将收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前支持的版本为 7.17-9.2。\n\n## Filebeat 配置\n\n配置根据您使用的 Filebeat 版本而异。\n\n### Filebeat 7.17、8.0、8.1 的配置\n\n> **重要**：Filebeat 版本 7.17.0、8.0.0 和 8.1.0 在使用 glibc 2.35+（用于 Ubuntu 22.04 及更高版本的发行版）时存在已知问题。这些版本可能会因“Fatal glibc error: rseq registration failed”而崩溃。为解决此问题，请添加如下所示的 `seccomp` 配置。\n\nCODE_BLOCK_0\n\n**参考**：[Issue #30576](https://github.com/elastic/beats/issues/30576)，[PR #30620](https://github.com/elastic/beats/pull/30620)\n\n### Filebeat 8.1 - 8.10 的配置\n\n对于 8.1 到 8.10 版本，需要添加 `allow_older_versions` 选项：\n\nCODE_BLOCK_1\n\n### Filebeat 8.11 - 8.x 的配置\n\n从 8.11 版本起，默认启用输出压缩，因此您必须显式设置 `compression_level: 0` 以保证与 Manticore 的兼容：\n\nCODE_BLOCK_2\n\n### Filebeat 9.0+ 的配置\n\nFilebeat 9.0 引入了重大架构更改，替换了 `log` 输入类型为 `filestream`。从 9.0 版本开始，默认的文件识别方法也更改为指纹识别，要求文件至少为 1024 字节（[参见 issue #44780](https://github.com/elastic/beats/issues/44780)）。为了使 Manticore 兼容任意大小的文件，您必须禁用指纹识别。\n\n以下是 Filebeat 9.0 及之后所有版本所需的配置：\n\nCODE_BLOCK_3\n\n**针对 Filebeat 9.0+ 的重要说明：**\n\n- `type: filestream` 输入替代了旧的 `type: log`\n\n- `prospector.scanner.fingerprint.enabled: false` 设置是**必须的**，用以禁用基于指纹的文件识别，确保对小于 1024 字节的文件可靠处理\n\n- filestream 输入要求有 `id` 字段，且必须唯一\n\n## Filebeat 结果\n\n一旦使用此配置启动 Filebeat，日志数据将被发送到 Manticore 并正确建立索引。以下是 Manticore 创建的表的结果模式及插入文档示例：\n\nCODE_BLOCK_4\n\nCODE_BLOCK_5",
+      "russian": "# Интеграция с Filebeat\n\n> ПРИМЕЧАНИЕ: Для интеграции с Filebeat требуется [Manticore Buddy](../Installation/Manticore_Buddy.md). Если интеграция не работает, убедитесь, что Buddy установлен.\n\n[Filebeat](https://www.elastic.co/beats/filebeat) — это лёгкий агент для пересылки и централизованного сбора логов. Установленный как агент, он отслеживает указанные вами лог-файлы или места, собирает события логов и пересылает их для индексирования, обычно в Elasticsearch или Logstash.\n\nТеперь Manticore также поддерживает использование Filebeat в качестве конвейеров обработки. Это позволяет отправлять собранные и преобразованные данные в Manticore так же, как в Elasticsearch. В настоящее время поддерживаются версии 7.17-9.2.\n\n## Конфигурация Filebeat\n\nКонфигурация зависит от используемой вами версии Filebeat.\n\n### Конфигурация для Filebeat 7.17, 8.0, 8.1\n\n> **Важно**: В версиях Filebeat 7.17.0, 8.0.0 и 8.1.0 известна проблема с glibc 2.35+ (используется в Ubuntu 22.04 и новее). Эти версии могут аварийно завершать работу с ошибкой \"Fatal glibc error: rseq registration failed\". Чтобы исправить это, добавьте конфигурацию `seccomp`, как показано ниже.\n\nCODE_BLOCK_0\n\n**Ссылки**: [Issue #30576](https://github.com/elastic/beats/issues/30576), [PR #30620](https://github.com/elastic/beats/pull/30620)\n\n### Конфигурация для Filebeat 8.1 - 8.10\n\nДля версий с 8.1 по 8.10 необходимо добавить опцию `allow_older_versions`:\n\nCODE_BLOCK_1\n\n### Конфигурация для Filebeat 8.11 - 8.x\n\nНачиная с версии 8.11, сжатие вывода включено по умолчанию, поэтому для совместимости с Manticore нужно явно указать `compression_level: 0`:\n\nCODE_BLOCK_2\n\n### Конфигурация для Filebeat 9.0+\n\nFilebeat 9.0 вводит существенные архитектурные изменения, заменяя тип ввода `log` на `filestream`. Также с версии 9.0 изменён метод идентификации файлов по умолчанию на отпечаток (fingerprint), который требует, чтобы файлы были не менее 1024 байт ([см. issue #44780](https://github.com/elastic/beats/issues/44780)). Для совместимости с Manticore и обработки файлов любого размера необходимо отключить fingerprinting.\n\nВот требуемая конфигурация для Filebeat 9.0 и всех последующих версий:\n\nCODE_BLOCK_3\n\n**Важные замечания для Filebeat 9.0+:**\n\n- Ввод `type: filestream` заменяет устаревший `type: log`\n\n- Настройка `prospector.scanner.fingerprint.enabled: false` **обязательна** для отключения идентификации файлов по отпечатку, что обеспечивает корректную обработку файлов размером меньше 1024 байт\n\n- Поле `id` обязательно для `filestream` и должно быть уникальным\n\n## Результаты Filebeat\n\nПосле запуска Filebeat с данной конфигурацией лог-данные будут отправлены в Manticore и корректно индексированы. Ниже приведена итоговая схема таблицы, созданной Manticore, и пример вставленного документа:\n\nCODE_BLOCK_4\n\nCODE_BLOCK_5"
+    },
+    "is_code_or_comment": false
   }
 }