2024 年 Snowflake Connector for Kafka 版本说明¶
本文包含 Snowflake Connector for Kafka 的版本说明,包括以下内容(如果适用):
行为变更
新功能
面向客户的错误修复
Snowflake 对 Snowflake Connector for Kafka 更新使用语义版本控制。
有关文档,请参阅 Snowflake Connector for Kafka。
版本 2.5.0(2024 年 10 月 31 日)¶
新功能和更新¶
将 Snowflake Ingest Java SDK 升级到 2.3 版。
现在默认启用并行关闭通道功能。这样可以提高连接器重启的速度。
错误修复¶
修复了日志记录问题。
版本 2.4.1(2024 年 9 月 19 日)¶
新功能和更新¶
将 Snowflake Ingest Java SDK 升级到 2.2.2 版。
错误修复¶
修复了自动格式演化问题。
版本 2.4.0(2024 年 8 月 15 日)¶
新功能和更新¶
将 Snowflake Ingest Java SDK 升级到 2.2.0 版,该版本包含一个重要修复程序,可解决流表和动态表启用
change_tracking
时的潜在问题。将 Snowflake JDBC 驱动程序从 3.14.5 版升级到了 3.18.0 版。
改进了各种组件的日志记录体验,使故障排除体验得以提升。
改进了通道重开逻辑。
备注
对于所有 Snowpipe Streams 用途,Snowflake 建议使用 Kafka Connector 2.4.0 或更高版本。
错误修复¶
更新了存在已知漏洞的依赖关系。
版本 2.3.0(2024 年 7 月 10 日)¶
新功能和更新¶
增加了并行关闭 Snowpipe Streams 通道的支持,从而大大缩短了重新平衡的时间。
在元数据中添加了一个新的
SnowflakeConnectorPushTime
属性,用于表示连接器推送消息的时间。
错误修复¶
更新了存在已知漏洞的依赖关系。
版本 2.2.2(2024 年 5 月 7 日)¶
错误修复¶
修复了暂存文件未正确清理的问题。
版本 2.2.1(2024 年 3 月 15 日)¶
新功能和更新¶
添加了偏移验证逻辑,以确保没有丢失或重复的数据。
为 Snowpipe Streaming 添加了客户端提供商覆盖映射。该映射使用逗号分隔的键值对作为输入。
升级到了以下版本:
JDBC 版本升级到 3.14.5。
kafka connect-api 版本升级到 3.7.0。
jackson-core 和 jackson-databind 版本升级到 2.16.1
commons-compress 版本升级到 1.26.0
错误修复¶
清理了调用
SinkTask stop ()
时的流式引入线程。
版本 2.2.0(2024 年 2 月 6 日)¶
BCR (行为变更版本)变更¶
保留了进入 ARRAY 列的旧数据类型,以便进行自动格式演化。
新功能和更新¶
添加了对 AVRO 逻辑类型的支持。
实施了变更,以防止由于新的通道名称格式而可能导致的数据重复。
实施了变更,保留进入 ARRAY 列的旧数据类型,以便进行自动格式演化。
实施了变更,使架构演化添加列具有幂等性。
在 Kafka Connector 中启用了 Ingest SDK
MAX_CLIENT_LAG
配置。
错误修复¶
修复了可能导致非精确一次投递的架构演化情况。
修复了生成和构建 Java 库时出现的问题。
修复了 Kafka 偏移未正确重置的问题。