2023 年 Snowflake Connector for Kafka 版本说明¶

为 Snowpipe Streaming 启用了 Java Management Extensions (JMX) 指标。

为 Snowpipe Streaming 启用了逻辑删除引入。

启用了支持 Snowpipe Streaming 的 Snowflake OAuth for Kafka 连接器。

启用了具有特殊或保留关键字的自动格式演化列。

修复了以下问题：单客户端配置选项默认未启用。现在，单客户端配置选项 enable.streaming.client.optimization 默认为 TRUE。

修复了通道命名问题。

改进了重新平衡时自动格式演化权限检查的性能。

修复了会导致以下问题的错误：表中的数据因重新平衡期间内部缓存清除问题而缺少。

使用 Kafka Connector 的 Snowpipe Streaming 现已正式发布。

无。

单客户端配置：

• 引入了 enable.streaming.client.optimization 选项，该选项默认已启用。

• 使用此客户端优化时，每个 Kafka Connector 仅为多个主题分区创建一个客户端。此功能可以通过创建更大的文件来减少客户端运行时并降低迁移成本。

• 请注意，在高吞吐量场景中（例如，每个连接器为 50 MB/秒），如果您发现延迟或成本增加，我们建议您禁用此属性。

权限和安全性：

• 统一了 Snowpipe Streaming 的 Snowflake 角色和用户，用于创建和插入表。

• 将 Guava 依赖项升级到了 32.0.1。

• 将 Snowpipe Streaming SDK 依赖项升级到了 2.0.1。

修复了以下错误结果问题：启用自动格式演化时跳过偏移。

Snowpipe Streaming 通道不会在重新平衡时关闭。

添加了以下功能：使用一个 Streaming Ingest 客户端（默认为 False）。

开始使用 MDC 上下文记录器。

升级到了以下版本：

• Ingest SDK 版本 1.1.4

• JDBC 版本 3.13.30

修复了关于以下内容的问题：在 GCP 上使用缩小范围的令牌时使用 GET 命令。

修复了基于 Snowpipe 的 KC 提交偏移行为。