2023 年 Snowflake Connector for Spark 版本说明

本文包含 Snowflake Connector for Spark 的版本说明，包括以下内容（如果适用）：

  • 行为变更

  • 新功能

  • 面向客户的错误修复

Snowflake 对 Snowflake Connector for Spark 更新使用语义版本控制。

版本 2.12.0（2023 年 5 月 23 日）

备注

从此版本 (2.12.0) 开始，Snowflake Connector for Spark 不再支持 Spark 3.1，但继续支持版本 3.2、3.3 和 3.4。以前版本的连接器继续支持 Spark 3.1。

新功能

  • 添加了对 Spark 3.4 的支持。

  • 使用 Snowflake JDBC 驱动程序版本 3.13.30 进行了构建和测试。

错误修复

  • 无。

版本 2.11.3（2023 年 4 月 21 日）

新功能

  • 更新了在 GCP 上向账户写入 DataFrames 的机制。2023 年 12 月之后，由于 GCP 中的变更，之前版本的 Spark Connector 将不再能够写入 DataFrames。

  • 添加了用于禁用会话共享的 preactions 和 postactions 验证的选项。

    要禁用验证，请将选项 FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION 设置为 true。默认为 false。

    重要

    在设置此选项之前，请确保 preactions 和 postactions 中的查询不会影响会话设置。否则，结果可能会出现问题。

错误修复

  • 修复了在两个 DataFrames 进行访问的情况下，在不同的架构之间执行联接或合并时出现的问题

  • 包含不同 sfSchema 的表和 sfSchema 中的同名表位于左侧 DataFrame 中。

版本 2.11.2（2023 年 3 月 21 日）

新功能

  • 添加了对共享 JDBC 连接的支持。

    当客户端使用相同的连接选项访问 Snowflake 时，Snowflake Connector for Spark 现在可以对不同的作业和操作使用相同的 JDBC 连接。此前，Spark Connector 为每个作业或操作创建了新的 JDBC 连接。

    Spark Connector 支持通过以下选项和 API 方法启用和禁用此功能：

    • 要指定连接器不应使用相同的 JDBC 连接，请将 support_share_connection 连接器选项设置为 false。（默认值为 true，这意味着该功能已启用。）

    • 要以编程方式启用或禁用该功能，请调用以下全局静态函数之一： SparkConnectorContext.disableSharedConnection() 和 SparkConnectorContext.enableSharingJDBCConnection()。

    备注

    在以下特殊情况下，Spark Connector 不会使用共享连接：

    • 如果设置了 preactions 或 postactions，并且这些 preactions 或 postactions 不是 CREATE TABLE、DROP TABLE 或 MERGE INTO，则 Spark Connector 将不会使用共享连接。

    • Utils 中的效用函数（例如 Utils.runQuery() 和 Utils.getJDBCConnection()）不会使用共享连接。

  • 更新了连接器以使用 Snowflake JDBC 驱动程序 3.13.29。

错误修复

  • 无。

语言: 中文