2024 年 Snowflake Connector for Kafka 版本说明

本文包含 Snowflake Connector for Kafka 的版本说明,包括以下内容(如果适用):

  • 行为变更

  • 新功能

  • 面向客户的错误修复

Snowflake 对 Snowflake Connector for Kafka 更新使用语义版本控制。

有关文档,请参阅 Snowflake Connector for Kafka

版本 2.5.0(2024 年 10 月 31 日)

新功能和更新

  • 将 Snowflake Ingest Java SDK 升级到 2.3 版。

  • 现在默认启用并行关闭通道功能。这样可以提高连接器重启的速度。

错误修复

  • 修复了日志记录问题。

版本 2.4.1(2024 年 9 月 19 日)

新功能和更新

  • 将 Snowflake Ingest Java SDK 升级到 2.2.2 版。

错误修复

  • 修复了自动格式演化问题。

版本 2.4.0(2024 年 8 月 15 日)

新功能和更新

  • 将 Snowflake Ingest Java SDK 升级到 2.2.0 版,该版本包含一个重要修复程序,可解决流表和动态表启用 change_tracking 时的潜在问题。

  • 将 Snowflake JDBC 驱动程序从 3.14.5 版升级到了 3.18.0 版。

  • 改进了各种组件的日志记录体验,使故障排除体验得以提升。

  • 改进了通道重开逻辑。

备注

对于所有 Snowpipe Streams 用途,Snowflake 建议使用 Kafka Connector 2.4.0 或更高版本。

错误修复

  • 更新了存在已知漏洞的依赖关系。

版本 2.3.0(2024 年 7 月 10 日)

新功能和更新

  • 增加了并行关闭 Snowpipe Streams 通道的支持,从而大大缩短了重新平衡的时间。

  • 在元数据中添加了一个新的 SnowflakeConnectorPushTime 属性,用于表示连接器推送消息的时间。

错误修复

  • 更新了存在已知漏洞的依赖关系。

版本 2.2.2(2024 年 5 月 7 日)

错误修复

  • 修复了暂存文件未正确清理的问题。

版本 2.2.1(2024 年 3 月 15 日)

新功能和更新

  • 添加了偏移验证逻辑,以确保没有丢失或重复的数据。

  • 为 Snowpipe Streaming 添加了客户端提供商覆盖映射。该映射使用逗号分隔的键值对作为输入。

  • 升级到了以下版本:

    • JDBC 版本升级到 3.14.5。

    • kafka connect-api 版本升级到 3.7.0。

    • jackson-core 和 jackson-databind 版本升级到 2.16.1

    • commons-compress 版本升级到 1.26.0

错误修复

  • 清理了调用 SinkTask stop () 时的流式引入线程。

版本 2.2.0(2024 年 2 月 6 日)

BCR (行为变更版本)变更

  • 保留了进入 ARRAY 列的旧数据类型,以便进行自动格式演化。

新功能和更新

  • 添加了对 AVRO 逻辑类型的支持。

  • 实施了变更,以防止由于新的通道名称格式而可能导致的数据重复。

  • 实施了变更,保留进入 ARRAY 列的旧数据类型,以便进行自动格式演化。

  • 实施了变更,使架构演化添加列具有幂等性。

  • 在 Kafka Connector 中启用了 Ingest SDK MAX_CLIENT_LAG 配置。

错误修复

  • 修复了可能导致非精确一次投递的架构演化情况。

  • 修复了生成和构建 Java 库时出现的问题。

  • 修复了 Kafka 偏移未正确重置的问题。

语言: 中文