Skip to content

Commit 55eb99c

Browse files
authored
Partition docs (#14)
This pull request updates the documentation by adding the use of `partition_columns` to the configuration examples and indicating that this parameter can also be used in csv output type.
1 parent 83ef461 commit 55eb99c

File tree

2 files changed

+22
-2
lines changed

2 files changed

+22
-2
lines changed

doc/en/usage.md

Lines changed: 11 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -100,7 +100,7 @@ The `models[*]` structure describes a data generation model and includes:
100100
- `generate_to`: Ending row number for generation. Default is `rows_count`.
101101
- `model_dir`: Directory to store data for this model, relative to `output_dir`. Defaults to model name.
102102
- `columns`: List of columns described by the `models[*].columns` structure.
103-
- `partition_columns`: Columns used for data partitioning. Supported only for `parquet`.
103+
- `partition_columns`: Columns used for data partitioning. Supported for `parquet` and `csv`.
104104

105105
The `models[*].partition_columns` structure specifies data partitioning columns:
106106

@@ -345,6 +345,13 @@ models:
345345
type: uuid
346346
- name: session_id
347347
type: string
348+
- name: last_seen_at
349+
type: datetime
350+
partition_columns:
351+
- name: id
352+
write_to_output: false
353+
- name: session_id
354+
write_to_output: false
348355
```
349356

350357
Example configuration for generating Parquet files:
@@ -368,6 +375,9 @@ models:
368375
parquet:
369376
encoding: RLE_DICTIONARY
370377
distinct_percentage: 1
378+
partition_columns:
379+
- name: id
380+
write_to_output: true
371381
```
372382

373383
Example configuration for sending generated data via HTTP:

doc/ru/usage.md

Lines changed: 11 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -104,7 +104,7 @@ open_ai:
104104
- `model_dir`: Директория для записи сгенерированных данных конкретной модели относительно `output_dir`.
105105
По умолчанию название модели.
106106
- `columns`: Список столбцов модели данных, описанных структурой `models[*].columns`.
107-
- `partition_columns`: Список столбцов, участвующих в партиционировании данных. Поддерживается только для `parquet`.
107+
- `partition_columns`: Список столбцов, участвующих в партиционировании данных. Поддерживается для `parquet` и `csv`.
108108

109109
Структура `models[*].partition_columns` описывает как столбец участвует в партиционировании данных:
110110

@@ -351,6 +351,13 @@ models:
351351
type: uuid
352352
- name: session_id
353353
type: string
354+
- name: last_seen_at
355+
type: datetime
356+
partition_columns:
357+
- name: id
358+
write_to_output: false
359+
- name: session_id
360+
write_to_output: false
354361
```
355362

356363
Пример конфигурации для генерации parquet файлов:
@@ -374,6 +381,9 @@ models:
374381
parquet:
375382
encoding: RLE_DICTIONARY
376383
distinct_percentage: 1
384+
partition_columns:
385+
- name: id
386+
write_to_output: true
377387
```
378388

379389
Пример конфигурации для отправки сгенерированных данных по http:

0 commit comments

Comments
 (0)