|
1 | 1 | --- |
2 | | -title: ๆฅ่ฏข Stage ๆไปถ็ๅ
ๆฐๆฎ |
| 2 | +title: ไฝฟ็จๆไปถๅๅๅ
ๆฐๆฎ |
3 | 3 | sidebar_label: ๅ
ๆฐๆฎ |
4 | 4 | --- |
5 | 5 |
|
6 | | -## ไธบไปไน้่ฆๅ
ๆฐๆฎไปฅๅไปไนๆฏๅ
ๆฐๆฎ๏ผ |
| 6 | +ๆฌๆๅ่งฃ้ไบๅฆไฝไปๅทฒๆๅญ็ๆไปถไธญๆฅ่ฏขๅ
ๆฐๆฎใๅ
ๆฐๆฎๅ
ๆฌๆไปถ็บงๅซ็ๅ
ๆฐๆฎ๏ผไพๅฆๆไปถๅๅ่กๅท๏ผๅๅ็บงๅซ็ๅ
ๆฐๆฎ๏ผไพๅฆๅๅใ็ฑปๅๅๅฏ็ฉบๆง๏ผใ |
7 | 7 |
|
8 | | -Databend ๅ
่ฎธๆจไฝฟ็จ [INFER_SCHEMA](/sql/sql-functions/table-functions/infer-schema) ๅฝๆฐไปๆฐๆฎๆไปถไธญๆฃ็ดขๅ
ๆฐๆฎใ่ฟๆๅณ็ๆจๅฏไปฅไปๅญๅจๅจๅ
้จๆๅค้จ Stage ไธญ็ๆฐๆฎๆไปถไธญๆๅๅๅฎไนใ้่ฟ `INFER_SCHEMA` ๅฝๆฐๆฃ็ดขๅ
ๆฐๆฎๅฏไปฅๆดๅฅฝๅฐ็่งฃๆฐๆฎ็ปๆ๏ผ็กฎไฟๆฐๆฎไธ่ดๆง๏ผๅนถๅฎ็ฐ่ชๅจๅ็ๆฐๆฎ้ๆๅๅๆใๆฏๅ็ๅ
ๆฐๆฎๅ
ๆฌไปฅไธไฟกๆฏ๏ผ |
| 8 | +## ่ฎฟ้ฎๆไปถ็บงๅซๅ
ๆฐๆฎ |
9 | 9 |
|
10 | | -- **column_name**: ่กจ็คบๅ็ๅ็งฐใ |
11 | | -- **type**: ่กจ็คบๅ็ๆฐๆฎ็ฑปๅใ |
12 | | -- **nullable**: ่กจ็คบๅๆฏๅฆๅ
่ฎธ็ฉบๅผใ |
13 | | -- **order_id**: ่กจ็คบๅๅจ่กจไธญ็ไฝ็ฝฎใ |
| 10 | +ๅฝ่ฏปๅ CSVใTSVใParquet ๅ NDJSON ๆ ผๅผ็ๅทฒๆๅญๆไปถๆถ๏ผDatabend ๆฏๆ่ฎฟ้ฎไปฅไธๆไปถ็บงๅซ็ๅ
ๆฐๆฎๅญๆฎต๏ผ |
14 | 11 |
|
15 | | -:::note |
16 | | -ๆญคๅ่ฝ็ฎๅไป
้็จไบ Parquet ๆไปถๆ ผๅผใ |
17 | | -::: |
| 12 | +| ๆไปถๅ
ๆฐๆฎ | ็ฑปๅ | ๆ่ฟฐ | |
| 13 | +|----------------------------|---------|---------------------------------------------------| |
| 14 | +| `metadata$filename` | VARCHAR | ่ฏปๅ่ก็ๆไปถๅ | |
| 15 | +| `metadata$file_row_number` | INT | ๆไปถไธญ็่กๅท๏ผไป 0 ๅผๅง๏ผ | |
18 | 16 |
|
19 | | -`INFER_SCHEMA` ็่ฏญๆณๅฆไธใๆๅ
ณๆญคๅฝๆฐ็ๆดๅค่ฏฆ็ปไฟกๆฏ๏ผ่ฏทๅ่ง [INFER_SCHEMA](/sql/sql-functions/table-functions/infer-schema)ใ |
| 17 | +่ฟไบๅ
ๆฐๆฎๅญๆฎตๅจไปฅไธไฝ็ฝฎๅฏ็จ๏ผ |
20 | 18 |
|
21 | | -```sql |
22 | | -INFER_SCHEMA( |
23 | | - LOCATION => '{ internalStage | externalStage }' |
24 | | - [ PATTERN => '<regex_pattern>'] |
25 | | -) |
26 | | -``` |
| 19 | +- ๅบไบ Stage ็ SELECT ๆฅ่ฏข๏ผไพๅฆ๏ผ`SELECT FROM @stage`๏ผ |
| 20 | +- `COPY INTO <table>` ่ฏญๅฅ |
27 | 21 |
|
28 | | -## ๆ็จ๏ผๆฅ่ฏขๅๅฎไน |
| 22 | +### ็คบไพ |
29 | 23 |
|
30 | | -ๅจๆฌๆ็จไธญ๏ผๆไปฌๅฐๆๅฏผๆจๅฎๆๅฐ็คบไพๆไปถไธไผ ๅฐๅ
้จ Stageใๆฅ่ฏขๅๅฎไน๏ผๅนถๆ็ปๅบไบ Stage ๆไปถๅๅปบ่กจ็่ฟ็จใๅจๅผๅงไนๅ๏ผ่ฏทไธ่ฝฝๅนถๅฐ็คบไพๆไปถ [books.parquet](https://datafuse-1253727613.cos.ap-hongkong.myqcloud.com/data/books.parquet) ไฟๅญๅฐๆฌๅฐๆไปถๅคนใ |
| 24 | +1. ๆฅ่ฏขๅ
ๆฐๆฎๅญๆฎต |
31 | 25 |
|
32 | | -1. ๅๅปบไธไธชๅไธบ _my_internal_stage_ ็ๅ
้จ Stage๏ผ |
| 26 | +ไป Stage ่ฏปๅๆถ๏ผๆจๅฏไปฅ็ดๆฅ้ๆฉๅ
ๆฐๆฎๅญๆฎต๏ผ |
33 | 27 |
|
34 | 28 | ```sql |
35 | | -CREATE STAGE my_internal_stage; |
| 29 | +SELECT |
| 30 | + metadata$filename, |
| 31 | + metadata$file_row_number, |
| 32 | + * |
| 33 | +FROM @my_internal_stage/iris.parquet |
| 34 | +LIMIT 5; |
36 | 35 | ``` |
37 | 36 |
|
38 | | -2. ไฝฟ็จ [BendSQL](../../30-sql-clients/00-bendsql/index.md) Stage ็คบไพๆไปถ๏ผ |
39 | | - |
40 | 37 | ```sql |
41 | | -PUT fs:///Users/eric/Documents/books.parquet @my_internal_stage |
| 38 | +โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ |
| 39 | +โ metadata$filename โ metadata$file_row_number โ id โ sepal_length โ sepal_width โ petal_length โ petal_width โ species โ metadata$filename โ metadata$file_row_number โ |
| 40 | +โโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโค |
| 41 | +โ iris.parquet โ 0 โ 1 โ 5.1 โ 3.5 โ 1.4 โ 0.2 โ setosa โ iris.parquet โ 0 โ |
| 42 | +โ iris.parquet โ 1 โ 2 โ 4.9 โ 3 โ 1.4 โ 0.2 โ setosa โ iris.parquet โ 1 โ |
| 43 | +โ iris.parquet โ 2 โ 3 โ 4.7 โ 3.2 โ 1.3 โ 0.2 โ setosa โ iris.parquet โ 2 โ |
| 44 | +โ iris.parquet โ 3 โ 4 โ 4.6 โ 3.1 โ 1.5 โ 0.2 โ setosa โ iris.parquet โ 3 โ |
| 45 | +โ iris.parquet โ 4 โ 5 โ 5 โ 3.6 โ 1.4 โ 0.2 โ setosa โ iris.parquet โ 4 โ |
| 46 | +โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ |
42 | 47 | ``` |
43 | 48 |
|
44 | | -็ปๆ๏ผ |
45 | | - |
46 | | -``` |
47 | | -โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ |
48 | | -โ file โ status โ |
49 | | -โ String โ String โ |
50 | | -โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโค |
51 | | -โ /Users/eric/Documents/books.parquet โ SUCCESS โ |
52 | | -โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ |
53 | | -``` |
| 49 | +2. ๅจ COPY INTO ไธญไฝฟ็จๅ
ๆฐๆฎ |
54 | 50 |
|
55 | | -3. ไป Stage ็็คบไพๆไปถไธญๆฅ่ฏขๅๅฎไน๏ผ |
| 51 | +ๆจๅฏไปฅไฝฟ็จ COPY INTO ๅฐๅ
ๆฐๆฎๅญๆฎตไผ ้ๅฐ็ฎๆ ่กจๅไธญ๏ผ |
56 | 52 |
|
57 | 53 | ```sql |
58 | | -SELECT * FROM INFER_SCHEMA(location => '@my_internal_stage/books.parquet'); |
| 54 | +COPY INTO iris_with_meta |
| 55 | +FROM (SELECT metadata$filename, metadata$file_row_number, $1, $2, $3, $4, $5 FROM @my_internal_stage/iris.parquet) |
| 56 | +FILE_FORMAT=(TYPE=parquet); |
59 | 57 | ``` |
60 | 58 |
|
61 | | -็ปๆ๏ผ |
| 59 | +## ไปๆไปถๆจๆญๅๅ
ๆฐๆฎ |
62 | 60 |
|
63 | | -``` |
64 | | -โโโโโโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโ |
65 | | -โ column_name โ type โ nullableโ order_idโ |
66 | | -โโโโโโโโโโโโโโโผโโโโโโโโโโผโโโโโโโโโโผโโโโโโโโโโค |
67 | | -โ title โ VARCHAR โ 0 โ 0 โ |
68 | | -โ author โ VARCHAR โ 0 โ 1 โ |
69 | | -โ date โ VARCHAR โ 0 โ 2 โ |
70 | | -โโโโโโโโโโโโโโโดโโโโโโโโโโดโโโโโโโโโโดโโโโโโโโโโ |
71 | | -``` |
| 61 | +Databend ๅ
่ฎธๆจไฝฟ็จ [INFER_SCHEMA](/sql/sql-functions/table-functions/infer-schema) ๅฝๆฐไป Parquet ๆ ผๅผ็ๅทฒๆๅญๆไปถไธญๆฃ็ดขไปฅไธๅ็บงๅซ็ๅ
ๆฐๆฎ๏ผ |
72 | 62 |
|
73 | | -4. ๅบไบ Stage ็็คบไพๆไปถๅๅปบไธไธชๅไธบ _mybooks_ ็่กจ๏ผ |
| 63 | +| ๅๅ
ๆฐๆฎ | ็ฑปๅ | ๆ่ฟฐ | |
| 64 | +|-----------------|---------|---------------------------------------------------| |
| 65 | +| `column_name` | String | ๆ็คบๅ็ๅ็งฐใ | |
| 66 | +| `type` | String | ๆ็คบๅ็ๆฐๆฎ็ฑปๅใ | |
| 67 | +| `nullable` | Boolean | ๆ็คบๅๆฏๅฆๅ
่ฎธ็ฉบๅผใ | |
| 68 | +| `order_id` | UInt64 | ่กจ็คบๅๅจ่กจไธญ็ไฝ็ฝฎใ | |
74 | 69 |
|
75 | | -```sql |
76 | | -CREATE TABLE mybooks AS SELECT * FROM @my_internal_stage/books.parquet; |
77 | | -``` |
| 70 | +### ็คบไพ |
78 | 71 |
|
79 | | -ๆฃๆฅๅๅปบ็่กจ๏ผ |
| 72 | +ไปฅไธ็คบไพไป `@my_internal_stage` ไธญๆๅญ็ Parquet ๆไปถไธญๆฃ็ดขๅๅ
ๆฐๆฎ๏ผ |
80 | 73 |
|
81 | 74 | ```sql |
82 | | -DESC mybooks; |
83 | | -``` |
84 | | - |
85 | | -็ปๆ๏ผ |
86 | | - |
87 | | -``` |
88 | | -โโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโฌโโโโโโโโโโฌโโโโโโโโ |
89 | | -โ Field โ Type โ Null โ Default โ Extra โ |
90 | | -โโโโโโโโโโโผโโโโโโโโโโผโโโโโโโผโโโโโโโโโโผโโโโโโโโค |
91 | | -โ title โ VARCHAR โ NO โ '' โ โ |
92 | | -โ author โ VARCHAR โ NO โ '' โ โ |
93 | | -โ date โ VARCHAR โ NO โ '' โ โ |
94 | | -โโโโโโโโโโโดโโโโโโโโโโดโโโโโโโดโโโโโโโโโโดโโโโโโโโ |
| 75 | +SELECT * FROM INFER_SCHEMA(location => '@my_internal_stage/iris.parquet'); |
95 | 76 | ``` |
96 | 77 |
|
97 | 78 | ```sql |
98 | | -SELECT * FROM mybooks; |
| 79 | +โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ |
| 80 | +โ column_name โ type โ nullable โ order_id โ |
| 81 | +โโโโโโโโโโโโโโโโผโโโโโโโโโโผโโโโโโโโโโโผโโโโโโโโโโโค |
| 82 | +โ id โ BIGINT โ true โ 0 โ |
| 83 | +โ sepal_length โ DOUBLE โ true โ 1 โ |
| 84 | +โ sepal_width โ DOUBLE โ true โ 2 โ |
| 85 | +โ petal_length โ DOUBLE โ true โ 3 โ |
| 86 | +โ petal_width โ DOUBLE โ true โ 4 โ |
| 87 | +โ species โ VARCHAR โ true โ 5 โ |
| 88 | +โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ |
99 | 89 | ``` |
100 | 90 |
|
101 | | -็ปๆ๏ผ |
| 91 | +## ๆ็จ |
102 | 92 |
|
103 | | -``` |
104 | | -โโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโฌโโโโโโโ |
105 | | -โ title โ author โ date โ |
106 | | -โโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโผโโโโโโโค |
107 | | -โ Transaction Processing โ Jim Gray โ 1992 โ |
108 | | -โ Readings in Database Systemsโ Michael Stonebrakerโ 2004โ |
109 | | -โโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโดโโโโโโโ |
110 | | -``` |
| 93 | +- [ๆฅ่ฏขๅ
ๆฐๆฎ](/tutorials/load/query-metadata) |
0 commit comments