2024 年 Ingest Java SDK 版本说明¶
本文包含 Ingest Java SDK 的版本说明,包括以下内容(如果适用):
行为变更
新功能
面向客户的错误修复
Snowflake 对 Ingest Java SDK 更新使用语义版本控制。
版本 3.0.0(2024 年 11 月 12 日)¶
新功能和更新¶
通过该版本,Snowpipe Streaming 可以将数据引入 Snowflake 管理的 Apache Iceberg 表。
错误修复¶
修复了 SDK 中的依赖项问题和错误消息。
版本 2.3.0(2024 年 10 月 11 日)¶
BCR (行为变更版本)变更¶
从 2.3.0 版开始,数值将保留其格式。数值不会转换为科学计数法,也不会从科学计数法转换。
新功能和更新¶
进行了更新,以支持新的表格式。
错误修复¶
修复了易受攻击的依赖项。
升级了 Hadoop 以修复漏洞问题。
移除了不必要的依赖项,以缩减 JAR 大小。
版本 2.2.2(2024 年 9 月 12 日)¶
错误修复¶
通过更新元数据中文件名的位置,修复了一个关键问题。
版本 2.2.1(2024 年 9 月 5 日)¶
新功能和更新¶
添加了
ExternalVolumeManager
,以支持新表格式的多个暂存区。升级了依赖项版本。
更新了参数以支持新的表格式。
版本 2.2.0(2024 年 8 月 9 日)¶
新功能和更新¶
改进了代码逻辑,以支持不同的存储容量。
错误修复¶
修复了可能会在为流和动态表启用
change_tracking
时导致冲突的关键问题。
备注
对于所有 Snowpipe Streams 用途,Snowflake 建议使用 Ingest Java SDK 2.2.0 版或更高版本。
版本 2.1.2(2024 年 7 月 29 日)¶
新功能和更新¶
改进了
InsertRows
性能。添加或改进了各种日志,以提高可观察性。
微调了通道和块大小。
错误修复¶
修复了跨部署故障转移的问题。
版本 2.1.1(2024 年 5 月 9 日)¶
新功能和更新¶
返回了有关
INVALID_CHANNEL
错误的更详细的错误消息。添加了对外部 OAuth 2.0 的支持。
错误修复¶
升级了多个依赖项,包括漏洞修复。
修复了以下问题:因错误响应而导致 HTTP 连接泄露。
放宽了文件大小限制,以处理以下问题:较长的客户端刷新延迟会生成更大文件。
版本 2.1.0(2024 年 2 月 28 日)¶
BCR (行为变更版本)变更¶
将 Zstandard 设置为默认压缩算法。
新功能和更新¶
允许客户删除通道。
将 JDBC 升级到了 3.14.5。
实现了以下更改:为通道发送开始和结束偏移令牌。
实现了以下更改:将列序号数据发送到服务器端以交叉检查表架构更改。
添加了以下支持:在频道创建过程中为用户定义的偏移令牌传递验证逻辑。
错误修复¶
修复了导致静默数据问题的溢出问题。
版本 2.0.5(2024 年 1 月 22 日)¶
新功能和更新¶
为
openChannel
添加了可选的偏移令牌参数。增加了以下支持:指定用于 BDEC Parquet 文件的压缩算法。
更新为支持自定义 URL 并在请求标头中添加了 Snowflake 账户名称。
实现了以下更改:在 blob 注册请求中发送
spansMixedTables
标志。弃用 BUFFER_FLUSH_INTERVAL_IN_MILLIS 参数,改用 MAX_CLIENT_LAG 参数。
实现了缩小范围的 GCS 令牌的刷新。
错误修复¶
恢复了以下更改:针对内部用例更新了公共 API。
修复了端到端 JAR 测试,使其可以在所有云平台上运行。