File tree Expand file tree Collapse file tree 2 files changed +22
-2
lines changed Expand file tree Collapse file tree 2 files changed +22
-2
lines changed Original file line number Diff line number Diff line change @@ -100,7 +100,7 @@ The `models[*]` structure describes a data generation model and includes:
100100- `generate_to` : Ending row number for generation. Default is `rows_count`.
101101- `model_dir` : Directory to store data for this model, relative to `output_dir`. Defaults to model name.
102102- `columns` : List of columns described by the `models[*].columns` structure.
103- - `partition_columns` : Columns used for data partitioning. Supported only for `parquet`.
103+ - `partition_columns` : Columns used for data partitioning. Supported for `parquet` and `csv `.
104104
105105The `models[*].partition_columns` structure specifies data partitioning columns :
106106
@@ -345,6 +345,13 @@ models:
345345 type: uuid
346346 - name: session_id
347347 type: string
348+ - name: last_seen_at
349+ type: datetime
350+ partition_columns:
351+ - name: id
352+ write_to_output: false
353+ - name: session_id
354+ write_to_output: false
348355` ` `
349356
350357Example configuration for generating Parquet files :
@@ -368,6 +375,9 @@ models:
368375 parquet:
369376 encoding: RLE_DICTIONARY
370377 distinct_percentage: 1
378+ partition_columns:
379+ - name: id
380+ write_to_output: true
371381` ` `
372382
373383Example configuration for sending generated data via HTTP :
Original file line number Diff line number Diff line change @@ -104,7 +104,7 @@ open_ai:
104104- `model_dir` : Директория для записи сгенерированных данных конкретной модели относительно `output_dir`.
105105 По умолчанию название модели.
106106- `columns` : Список столбцов модели данных, описанных структурой `models[*].columns`.
107- - `partition_columns` : Список столбцов, участвующих в партиционировании данных. Поддерживается только для `parquet`.
107+ - `partition_columns` : Список столбцов, участвующих в партиционировании данных. Поддерживается для `parquet` и `csv `.
108108
109109Структура `models[*].partition_columns` описывает как столбец участвует в партиционировании данных :
110110
@@ -351,6 +351,13 @@ models:
351351 type: uuid
352352 - name: session_id
353353 type: string
354+ - name: last_seen_at
355+ type: datetime
356+ partition_columns:
357+ - name: id
358+ write_to_output: false
359+ - name: session_id
360+ write_to_output: false
354361` ` `
355362
356363Пример конфигурации для генерации parquet файлов :
@@ -374,6 +381,9 @@ models:
374381 parquet:
375382 encoding: RLE_DICTIONARY
376383 distinct_percentage: 1
384+ partition_columns:
385+ - name: id
386+ write_to_output: true
377387` ` `
378388
379389Пример конфигурации для отправки сгенерированных данных по http :
You can’t perform that action at this time.
0 commit comments