2026 年 04 月 20 日：Snowflake Connector for Kafka 版本 4.0（正式发布）

Snowflake Connector for Kafka 版本 4.0 现已正式发布。版本 4.0 是基于 Snowflake 高性能 Snowpipe Streaming 架构从头重写的，每表吞吐量高达 10 GB/秒，端到端延迟为 5 到 10 秒，并支持“精确一次”和有序传递语义。

GA 版本中的关键能力：

  • 基于吞吐量的统一定价，基于引入的数据量 (GB)。

  • 通过 PIPE 对象实现 服务端验证和模式演化，减少连接器资源使用，并与 COPY 和 Snowpipe 行为保持一致。

  • 在用户定义的 PIPE 对象中使用 COPY 命令语法进行 传输中转换。

  • 当目标表定义了聚簇键时，在引入期间进行 预聚簇。

  • 错误表，用于捕获和检查采用服务端验证的无效记录。

  • 死信队列 (DLQ) 支持转换器和客户端验证错误。

  • Iceberg 表 引入（自动检测，无需特殊配置）。

从版本 3.x 升级的迁移和兼容性功能：

  • 无缝迁移，在正确配置的情况下，可从 Snowpipe 模式和 Snowpipe Streaming 模式进行迁移，不会出现数据缺失或重复。

  • 兼容性验证器 (snowflake.streaming.validate.compatibility.with.classic)，在启动时检查您的配置并指导您完成所需的设置。

  • 偏移量迁移，来自版本 3.x Snowpipe Streaming 通道 (snowflake.streaming.classic.offset.migration)。

  • 兼容性标志，用于表名清理、列标识符规范化和自动格式演化，以便在迁移期间重现版本 3.x 的行为。

  • 将支持降级，可降级回版本 3.x，并使用 RECORD_METADATA 提供去重指导。

有关更多信息，请参阅 Snowflake Connector for Kafka。有关迁移指南，请参阅 从 Kafka Connector v3 迁移到 v4。