2024 年 11 月 15 日 – Apache Iceberg™ 表：高效批量加载、连续引入和数据流式传输 – *正式发布 *

在此版本中，Snowflake 很高兴地宣布以下功能已正式发布，这些功能支持高效的批量加载、连续引入以及将数据流使传输到 Snowflake 管理的 Iceberg 表中。

您现在可以使用相同的核心 Snowflake 引入功能，例如 COPY INTO <table>、Snowpipe 和 Snowpipe Streaming，将数据加载到标准 Snowflake 表和 Iceberg 表中。

有关更多信息，请参阅 将数据加载到 Apache Iceberg™ 表中。

COPY INTO <table> 和 Snowpipe 连续文件引入

您可以将以下 LOAD_MODE 选项与 COPY INTO <table> 命令和 Snowpipe 自动加载 一起使用，以将数据从文件加载到 Snowflake 管理的 Iceberg 表中：

  • FULL_INGEST：从任何受支持的文件格式加载数据，转换为经验证的与Iceberg 兼容的 Parquet 格式，并允许您在加载之前对数据进行转换或筛选。

  • ADD_FILES_COPY：通过执行将文件复制到表的基本位置的服务器端操作并将文件快速注册到表，从与 Iceberg 兼容的 Parquet 数据文件加载数据。

Snowpipe Streaming

使用 Snowflake Ingest SDK 3.0.0及更高版本，Snowpipe Streaming 可以将行流式传输到 Snowflake 管理的 Iceberg 表中。要启用此功能，请在 profile.json 文件中设置属性 ENABLE_ICEBERG_STREAMING=true。

有关更多信息，请参阅 将数据加载到 Apache Iceberg™ 表中。

语言: 中文