@@ -5,11 +5,11 @@ import FunctionDescription from '@site/src/components/FunctionDescription';
55
66<FunctionDescription description =" 引入或更新于:v1.2.668 " />
77
8- Databend 支持集成 [ Apache Iceberg] ( https://iceberg.apache.org/ ) 目录,增强了其在数据管理和分析方面的兼容性和多功能性。这通过将 Apache Iceberg 强大的元数据和存储管理能力无缝集成到平台中,扩展了 Databend 的功能 。
8+ Databend 支持集成 [ Apache Iceberg] ( https://iceberg.apache.org/ ) 目录,增强了其在数据管理和分析方面的兼容性与多功能性。这一特性通过无缝整合 Apache Iceberg 强大的元数据及存储管理能力,进一步扩展了 Databend 的平台功能 。
99
1010## 数据类型映射
1111
12- 下表列出了 Apache Iceberg 和 Databend 之间的数据类型映射 。请注意,Databend 目前不支持表中未列出的 Iceberg 数据类型。
12+ 下表展示了 Apache Iceberg 与 Databend 之间的数据类型对应关系 。请注意,Databend 目前不支持表中未列出的 Iceberg 数据类型。
1313
1414| Apache Iceberg | Databend |
1515| ------------------------------- | ----------------------- |
@@ -22,14 +22,14 @@ Databend 支持集成 [Apache Iceberg](https://iceberg.apache.org/) 目录,增
2222| DOUBLE | [ DOUBLE] ( /sql/sql-reference/data-types/numeric#floating-point-data-type ) |
2323| STRING/BINARY | [ STRING] ( /sql/sql-reference/data-types/string ) |
2424| DECIMAL | [ DECIMAL] ( /sql/sql-reference/data-types/decimal ) |
25- | ARRAY< ; TYPE> ; | [ ARRAY] ( /sql/sql-reference/data-types/array ) , 支持嵌套 |
25+ | ARRAY< ; TYPE> ; | [ ARRAY] ( /sql/sql-reference/data-types/array ) , 支持嵌套 |
2626| MAP< ; KEYTYPE, VALUETYPE> ; | [ MAP] ( /sql/sql-reference/data-types/map ) |
2727| STRUCT< ; COL1: TYPE1, COL2: TYPE2, ...> ; | [ TUPLE] ( /sql/sql-reference/data-types/tuple ) |
2828| LIST | [ ARRAY] ( /sql/sql-reference/data-types/array ) |
2929
3030## 管理目录
3131
32- Databend 提供了以下命令来管理目录 :
32+ Databend 提供以下命令用于管理目录 :
3333
3434- [ CREATE CATALOG] ( #create-catalog )
3535- [ SHOW CREATE CATALOG] ( #show-create-catalog )
@@ -55,37 +55,37 @@ CONNECTION=(
5555);
5656```
5757
58- | 参数 | 是否必填 | 描述 |
58+ | 参数 | 是否必填 | 描述 |
5959| ------------------------------| -----------| -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
6060| ` <catalog_name> ` | 是 | 要创建的 catalog 名称。 |
6161| ` TYPE ` | 是 | 指定 catalog 类型。对于 Iceberg,设置为 ` ICEBERG ` 。 |
6262| ` CONNECTION ` | 是 | Iceberg catalog 的连接参数。 |
63- | ` TYPE ` (在 ` CONNECTION ` 内) | 是 | 连接类型。对于 Iceberg,通常设置为 ` rest ` 以进行基于 REST 的连接。 |
64- | ` ADDRESS ` | 是 | Iceberg 服务的地址或 URL(例如, ` http://127.0.0.1:8181 ` )。 |
65- | ` WAREHOUSE ` | 是 | Iceberg 计算集群的位置 ,通常是一个 S3 存储桶或兼容的对象存储系统。 |
66- | ` <connection_parameter> ` | 是 | 用于与外部存储建立连接的参数。所需的参数根据具体的存储服务和认证方法而有所不同。请参阅下表以获取可用参数的完整列表 。 |
67-
68- | 连接参数 | 描述 |
69- | ---------------------------| ---------------------------------------------------------------------------------------------------------------------------------------- |
70- | ` s3.endpoint ` | S3 端点。 |
71- | ` s3.access-key-id ` | S3 访问密钥 ID。 |
72- | ` s3.secret-access-key ` | S3 秘密访问密钥。 |
73- | ` s3.session-token ` | S3 会话令牌,使用临时凭证时需要。 |
74- | ` s3.region ` | S3 区域。 |
75- | ` client.region ` | S3 客户端使用的区域,优先于 ` s3.region ` 。 |
76- | ` s3.path-style-access ` | S3 路径风格访问。 |
77- | ` s3.sse.type ` | S3 服务器端加密 (SSE) 类型。 |
78- | ` s3.sse.key ` | S3 SSE 密钥。如果加密类型为 ` kms ` ,则为 KMS 密钥 ID。如果加密类型为 ` custom ` ,则为 base-64 AES256 对称密钥。 |
79- | ` s3.sse.md5 ` | S3 SSE MD5 校验和。 |
80- | ` client.assume-role.arn ` | 要假设的 IAM 角色的 ARN,而不是使用默认的凭证链。 |
81- | ` client.assume-role.external-id ` | 用于假设 IAM 角色的可选外部 ID。 |
82- | ` client.assume-role.session-name ` | 用于假设 IAM 角色的可选会话名称。 |
83- | ` s3.allow-anonymous ` | 允许匿名访问的选项(例如,用于公共存储桶 /文件夹)。 |
84- | ` s3.disable-ec2-metadata ` | 禁用从 EC2 元数据加载凭证的选项 (通常与 ` s3.allow-anonymous ` 一起使用)。 |
85- | ` s3.disable-config-load ` | 禁用从配置文件和环境变量加载配置的选项。 |
63+ | ` TYPE ` (在 ` CONNECTION ` 内) | 是 | 连接类型。对于 Iceberg,通常设置为 ` rest ` 以使用基于 REST 的连接。 |
64+ | ` ADDRESS ` | 是 | Iceberg 服务的地址或 URL(例如: ` http://127.0.0.1:8181 ` )。 |
65+ | ` WAREHOUSE ` | 是 | Iceberg 数仓的位置 ,通常是一个 S3 存储桶或兼容的对象存储系统。 |
66+ | ` <connection_parameter> ` | 是 | 用于与外部存储建立连接的参数。所需参数因具体存储服务和认证方式而异。完整可用参数列表请参见下表 。 |
67+
68+ | 连接参数 | 描述 |
69+ | ---------------------------| ---------------------------------------------------------------------------------------------------------------------------------|
70+ | ` s3.endpoint ` | S3终端节点。 |
71+ | ` s3.access-key-id ` | S3访问密钥ID。 |
72+ | ` s3.secret-access-key ` | S3秘密访问密钥。 |
73+ | ` s3.session-token ` | S3会话令牌,使用临时凭证时必需。 |
74+ | ` s3.region ` | S3区域。 |
75+ | ` client.region ` | S3客户端使用的区域,优先级高于 ` s3.region ` 。 |
76+ | ` s3.path-style-access ` | S3路径风格访问。 |
77+ | ` s3.sse.type ` | S3服务器端加密 (SSE)类型。 |
78+ | ` s3.sse.key ` | S3 SSE密钥。若加密类型为 ` kms ` ,则为KMS密钥ID;若为 ` custom ` ,则是base-64编码的AES256对称密钥。 |
79+ | ` s3.sse.md5 ` | S3 SSE MD5校验和。 |
80+ | ` client.assume-role.arn ` | 用于替代默认凭证链的IAM角色ARN。 |
81+ | ` client.assume-role.external-id ` | 用于承担IAM角色的可选外部ID。 |
82+ | ` client.assume-role.session-name ` | 用于承担IAM角色的可选会话名称。 |
83+ | ` s3.allow-anonymous ` | 允许匿名访问选项(例如公共存储桶 /文件夹)。 |
84+ | ` s3.disable-ec2-metadata ` | 禁用从EC2元数据加载凭证的选项 (通常与` s3.allow-anonymous ` 配合使用)。 |
85+ | ` s3.disable-config-load ` | 禁用从配置文件和环境变量加载配置的选项。 |
8686
8787::: note
88- 要从 HDFS 读取数据,您需要在启动 Databend 之前设置以下环境变量。这些环境变量确保 Databend 能够访问必要的 Java 和 Hadoop 依赖项,以有效地与 HDFS 交互。请确保将 "/path/to/java" 和 "/path/to/hadoop" 替换为您的 Java 和 Hadoop 安装的实际路径,并调整 CLASSPATH 以包含所有必需的 Hadoop JAR 文件 。
88+ 要从HDFS读取数据,需在启动Databend前设置以下环境变量。这些变量确保Databend能访问必要的Java和Hadoop依赖以有效对接HDFS。请将 "/path/to/java"和 "/path/to/hadoop"替换为实际的Java和Hadoop安装路径,并调整CLASSPATH包含所有必需的Hadoop JAR文件 。
8989``` shell
9090export JAVA_HOME=/path/to/java
9191export LD_LIBRARY_PATH=${JAVA_HOME} /lib/server:${LD_LIBRARY_PATH}
@@ -96,7 +96,7 @@ export CLASSPATH=/all/hadoop/jar/files
9696
9797### SHOW CREATE CATALOG
9898
99- 返回指定 catalog 的详细配置 ,包括其类型和存储参数。
99+ 返回指定目录的详细配置 ,包括其类型和存储参数。
100100
101101#### 语法
102102
@@ -106,7 +106,7 @@ SHOW CREATE CATALOG <catalog_name>;
106106
107107### SHOW CATALOGS
108108
109- 显示所有已创建的 catalog 。
109+ 显示所有已创建的目录 。
110110
111111#### 语法
112112
@@ -116,17 +116,24 @@ SHOW CATALOGS [LIKE '<pattern>']
116116
117117### USE CATALOG
118118
119- 将当前会话切换到指定的 catalog 。
119+ 将当前会话切换至指定目录 。
120120
121121#### 语法
122122
123123``` sql
124124USE CATALOG < catalog_name>
125125```
126126
127+ ## Iceberg表函数
128+
129+ Databend提供以下表函数用于查询Iceberg元数据,使用户能高效检查快照和清单:
130+
131+ - [ ICEBERG_MANIFEST] ( /sql/sql-functions/table-functions/iceberg-manifest )
132+ - [ ICEBERG_SNAPSHOT] ( /sql/sql-functions/table-functions/iceberg-snapshot )
133+
127134## 使用示例
128135
129- 此示例展示了如何使用基于 REST 的连接创建 Iceberg catalog ,指定服务地址、计算集群位置(S3)以及可选参数如 AWS 区域和自定义端点 :
136+ 本示例展示如何通过REST连接创建Iceberg目录 ,指定服务地址、数仓位置(S3)及可选参数如AWS区域和自定义终端节点 :
130137
131138``` sql
132139CREATE CATALOG ctl
0 commit comments