Merge branch 'master' into fix-s3-zero-copy-test

Author: serxa

base/base/defines.h

@@ -28,6 +28,12 @@
 #define NO_INLINE __attribute__((__noinline__))
 #define MAY_ALIAS __attribute__((__may_alias__))
 
+#if defined(__x86_64__) || defined(__aarch64__)
+#    define PRESERVE_MOST __attribute__((preserve_most))
+#else
+#    define PRESERVE_MOST
+#endif
+
 #if !defined(__x86_64__) && !defined(__aarch64__) && !defined(__PPC__) && !defined(__s390x__) && !(defined(__loongarch64)) && !(defined(__riscv) && (__riscv_xlen == 64))
 #    error "The only supported platforms are x86_64 and AArch64, PowerPC (work in progress), s390x (work in progress), loongarch64 (experimental) and RISC-V 64 (experimental)"
 #endif

ci/defs/job_configs.py

@@ -476,6 +476,7 @@ class JobConfigs:
         digest_config=Job.CacheDigestConfig(
             include_paths=[
                 "./tests/queries/0_stateless/",
+                "./tests/ci/stress.py",
                 "./tests/clickhouse-test",
                 "./tests/config",
                 "./tests/*.txt",

docs/en/engines/table-engines/integrations/s3.md

@@ -174,6 +174,10 @@ Received exception from server (version 23.4.1):
 Code: 48. DB::Exception: Received from localhost:9000. DB::Exception: Reading from a partitioned S3 storage is not implemented yet. (NOT_IMPLEMENTED)
 ```
 
+## Inserting Data {#inserting-data}
+
+Note that rows can only be inserted into new files. There are no merge cycles or file split operations. Once a file is written, subsequent inserts will fail. To avoid this you can use `s3_truncate_on_insert` and `s3_create_new_file_on_insert` settings. See more details [here](/integrations/s3#inserting-data).
+
 ## Virtual columns {#virtual-columns}
 
 - `_path` — Path to the file. Type: `LowCardinality(String)`.
@@ -340,12 +344,12 @@ FROM s3(
 );
 ```
 
-:::note 
+:::note
 ClickHouse supports three archive formats:
 ZIP
 TAR
 7Z
-While ZIP and TAR archives can be accessed from any supported storage location, 7Z archives can only be read from the local filesystem where ClickHouse is installed.  
+While ZIP and TAR archives can be accessed from any supported storage location, 7Z archives can only be read from the local filesystem where ClickHouse is installed.
 :::
 
 
@@ -367,3 +371,4 @@ For details on optimizing the performance of the s3 function see [our detailed g
 ## See also {#see-also}
 
 - [s3 table function](../../../sql-reference/table-functions/s3.md)
+- [Integrating S3 with ClickHouse](/integrations/s3)

docs/en/sql-reference/aggregate-functions/reference/estimateCompressionRatio.md

@@ -21,7 +21,7 @@ estimateCompressionRatio(codec, block_size_bytes)(column)
 
 **Parameters**
 
-- `codec` - [String](../../../sql-reference/data-types/string.md) containing a [compression codec](/sql-reference/statements/create/table#column-compression-codecs).
+- `codec` - [String](../../../sql-reference/data-types/string.md) containing a [compression codec](/sql-reference/statements/create/table#column_compression_codec).
 - `block_size_bytes` - Block size of compressed data. This is similar to setting both [`max_compress_block_size`](../../../operations/settings/merge-tree-settings.md#max_compress_block_size) and [`min_compress_block_size`](../../../operations/settings/merge-tree-settings.md#min_compress_block_size). The default value is 1 MiB (1048576 bytes).
 
 Both parameters are optional.
@@ -64,7 +64,7 @@ Result:
 ```
 
 :::note
-The result above will differ based on the default compression codec of the server. See [Column Compression Codecs](/sql-reference/statements/create/table#column-compression-codecs).
+The result above will differ based on the default compression codec of the server. See [Column Compression Codecs](/sql-reference/statements/create/table#column_compression_codec).
 :::
 
 Query:

docs/en/sql-reference/table-functions/s3.md

@@ -254,7 +254,7 @@ LIMIT 5;
 
 ## Using S3 credentials (ClickHouse Cloud) {#using-s3-credentials-clickhouse-cloud}
 
-For non-public buckets, users can pass an `aws_access_key_id` and `aws_secret_access_key` to the function. For example: 
+For non-public buckets, users can pass an `aws_access_key_id` and `aws_secret_access_key` to the function. For example:
 
 ```sql
 SELECT count() FROM s3('https://datasets-documentation.s3.eu-west-3.amazonaws.com/mta/*.tsv', '<KEY>', '<SECRET>','TSVWithNames')
@@ -289,20 +289,23 @@ FROM s3(
 );
 ```
 
-:::note 
+:::note
 ClickHouse supports three archive formats:
 ZIP
 TAR
 7Z
-While ZIP and TAR archives can be accessed from any supported storage location, 7Z archives can only be read from the local filesystem where ClickHouse is installed.  
+While ZIP and TAR archives can be accessed from any supported storage location, 7Z archives can only be read from the local filesystem where ClickHouse is installed.
 :::
 
+## Inserting Data {#inserting-data}
+
+Note that rows can only be inserted into new files. There are no merge cycles or file split operations. Once a file is written, subsequent inserts will fail. See more details [here](/integrations/s3#inserting-data).
 
 ## Virtual Columns {#virtual-columns}
 
 - `_path` — Path to the file. Type: `LowCardinality(String)`. In case of archive, shows path in a format: `"{path_to_archive}::{path_to_file_inside_archive}"`
 - `_file` — Name of the file. Type: `LowCardinality(String)`. In case of archive shows name of the file inside the archive.
-- `_size` — Size of the file in bytes. Type: `Nullable(UInt64)`. If the file size is unknown, the value is `NULL`. In case of archive shows uncompressed file size of the file inside the archive. 
+- `_size` — Size of the file in bytes. Type: `Nullable(UInt64)`. If the file size is unknown, the value is `NULL`. In case of archive shows uncompressed file size of the file inside the archive.
 - `_time` — Last modified time of the file. Type: `Nullable(DateTime)`. If the time is unknown, the value is `NULL`.
 
 ## Hive-style partitioning {#hive-style-partitioning}
@@ -345,3 +348,5 @@ Peak memory usage: 192.27 KiB.
 **See Also**
 
 - [S3 engine](../../engines/table-engines/integrations/s3.md)
+- [Integrating S3 with ClickHouse](/integrations/s3)
+

docs/ru/engines/table-engines/integrations/s3.md

@@ -26,7 +26,7 @@ CREATE TABLE s3_engine_table (name String, value UInt32)
 **Пример**
 
 ``` sql
-CREATE TABLE s3_engine_table (name String, value UInt32) 
+CREATE TABLE s3_engine_table (name String, value UInt32)
     ENGINE=S3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'gzip')
     SETTINGS input_format_with_names_use_header = 0;
 
@@ -42,6 +42,26 @@ SELECT * FROM s3_engine_table LIMIT 2;
 └──────┴───────┘
 ```
 
+## Вставка данных {#inserting-data}
+
+Внимание!!! Вставка данных осуществляется только в новые файлы. S3 и его клоны не поддерживают APPEND.
+Если файл существует, любая следующая операция вставки будет неуспешной.
+Тем не менее существует два способа изменить это настройками перед выполнением запроса или в конфигурационном файле:
+
+- s3_truncate_on_insert - включает очистку файла перед записью.
+
+Значения:
+
+- 0 — `INSERT` создаёт новый файл или падает, если файл уже есть и настройка s3_create_new_file_on_insert = 0.
+- 1 — `INSERT` пересоздаёт файл, вне зависимости от настройки s3_create_new_file_on_insert.
+
+- s3_create_new_file_on_insert - вставляет данные в новый файл с суффиксом в имени, если основной файл уже есть.
+
+Значения:
+
+- 0 — `INSERT` создаёт новый файл или падает, если файл уже есть и настройка s3_truncate_on_insert = 0.
+- 1 — `INSERT` вставляет данные в новый файл с суффиксом в имени, если настройка s3_truncate_on_insert = 0.
+
 ## Виртуальные столбцы {#virtual-columns}
 
 -   `_path` — путь к файлу.
@@ -93,7 +113,7 @@ CREATE TABLE big_table (name String, value UInt32)
 
 Существует несколько способов создать таблицу, включающую в себя все шесть файлов:
 
-1. Задайте диапазон для суффиксов в названии файла: 
+1. Задайте диапазон для суффиксов в названии файла:
 
 ``` sql
 CREATE TABLE table_with_range (name String, value UInt32)

docs/ru/sql-reference/table-functions/s3.md

@@ -25,6 +25,17 @@ s3(path [,access_key_id, secret_access_key [,session_token]] [,format] [,structu
 
 Таблица с указанной структурой для чтения или записи данных в указанный файл.
 
+**Вставка данных**
+
+Внимание!!! Вставка данных осуществляется только в новые файлы. S3 и его клоны не поддерживают APPEND. Как только файл существует,
+любая следующая операция вставки будет неуспешной.
+Тем не менее существует два способа изменить это настройками перед выполнением запроса или в конфигурационном файле:
+
+- s3_truncate_on_insert
+- s3_create_new_file_on_insert
+
+См. подробнее [тут](../../engines/table-engines/integrations/s3.md#inserting-data).
+
 **Примеры**
 
 Создание таблицы из файла S3 `https://storage.yandexcloud.net/my-test-bucket-768/data.csv` и выбор первых трех столбцов из нее:
@@ -65,6 +76,28 @@ LIMIT 2;
 └─────────┴─────────┴─────────┘
 ```
 
+Создание файла S3 `https://storage.yandexcloud.net/my-test-bucket-777/data.csv` в помощью INSERT:
+
+``` sql
+INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/my-test-bucket-777/data.csv', 'CSV', 'name String, value UInt32') VALUES ('one', 1), ('two', 2), ('three', 3);
+```
+
+``` sql
+SELECT *
+FROM s3('https://storage.yandexcloud.net/my-test-bucket-777/data.csv', 'CSV', 'name String, value UInt32')
+LIMIT 2;
+```
+
+Результат:
+
+``` text
+┌─name──┬─value─┐
+│   one │     1 │
+│   two │     2 │
+│ three │     3 │
+└───────┴───────┘
+```
+
 ## Примеры использования {#usage-examples}
 
 Предположим, у нас есть несколько файлов со следующими URI на S3:

programs/keeper/Keeper.cpp

@@ -365,7 +365,7 @@ try
     std::filesystem::create_directories(path);
 
     /// Check that the process user id matches the owner of the data.
-    assertProcessUserMatchesDataOwner(path, [&](const std::string & message){ LOG_WARNING(log, fmt::runtime(message)); });
+    assertProcessUserMatchesDataOwner(path, [&](const PreformattedMessage & message){ LOG_WARNING(log, fmt::runtime(message.text)); });
 
     DB::ServerUUID::load(path + "/uuid", log);