2024 年 Snowflake Connector for Spark 版本说明¶

BCR （行为变更版本）变更¶

从版本 3.0.0 开始，Snowflake Connector for Spark 推出了以下重大变更：

• 移除了高级查询下推功能。

  该功能有其他替代方案。例如，用户可以直接从 Snowflake SQL 查询加载数据，而不是从 Snowflake 表加载数据。

  在未来的 Snowflake Connector for Spark 版本中，Snowflake 计划推出一款工具，用于在 Spark 和 Snowpark 之间转换 DataFrames。

• 每个版本现在都包含一个工件，而非包含适用于不同 Spark 版本的多个工件。

  单个工件可与多个 Spark 版本配合使用。目前，在 Snowflake Connector for Spark 版本 3.0.0 中，已验证 Snowflake 支持 Spark 3.4 和 3.5。

根据 Snowflake 的支持策略，Snowflake 将继续支持 Spark 2.xx 版本最多两年时间。

新功能¶

• 将 JDBC 升级到了 3.17.0 以支持 LOB。

• 添加了对 Spark 3.5.0 的支持。

错误修复¶

• 移除了使用 OAUTH 时 SFUSER 参数的要求。

新功能¶

• 将 JDBC 升级到了版本 3.16.1。

• 改进了传统的 Spark 流代码。

• 默认情况下，在会话级别禁用了 abort_detached_query 参数。

错误修复¶

• 修复了代理协议中对 S3 协议存在错误影响的问题。

新功能¶

• 引入了新 trim_space 参数，在保存到 Snowflake 表时，您可以使用该参数自动修剪 StringType 列的值。默认：false。

错误修复¶

• 修复了导致“cancelled queries can be restarted in the Spark retries after application closed”消息的问题。