2026 年 Snowpark Connect for Spark 版本说明

Snowflake 对 Snowpark Connect for Spark 更新使用语义版本控制。

有关文档,请参阅 Run Apache Spark™ workloads on Snowflake with Snowpark Connect for Spark使用 Snowpark Submit 运行 Spark 批处理工作负载

1.10.0(2026 年 1 月 22 日)

Snowpark Connect for Spark

错误修复

  • 修复会话配置的配置取消设置错误。

  • 使用 copy into 并行加载 CSV 文件。

  • 使用外部联接修复 DataFrames 写入。

  • 在 Scala UDFs 中处理 null 值。

  • 优化 CTE 查询生成并进行参数保护。

  • 避免对 DATEDIFF 的实参进行类型转换。

  • 修复了追加分区文件和读取 null 分区的问题。

  • 使用 SQL 将 10 进制和 16 进制之间的转换性能提高了 10 倍。

新功能

  • 仅覆盖 Parquet 文件的已修改分区。

其他更新

  • 更新了逻辑以检测 Snowpark Connect for Spark 是否在 XP 上运行。

  • 支持在 Snowflake 中写入具有变体数据类型的表。

  • 移除不必要的信息日志。

  • 将 Java 测试从 Scala 测试作业中移至单独的作业。

  • 更新 gcsfs 的依赖项版本。

Snowpark Submit

无。

1.9.0(2026 年 1 月 14 日)

Snowpark Connect for Spark

错误修复

  • 修复 Scala 元组序列化问题。

  • 修复加载大型 JSON 文件时的问题。

  • 针对客户问题实施小修复。

  • 针对结构体比较实施修复。

  • 添加对 0 列 DataFrames 的处理。

  • 正确的文件上传路径。

  • 修复 Upload_files_if_needed 无法并行运行的问题。

  • 改进未在 proto 中定义 UDF 输入类型时的输入类型推理。

  • 修复 NA 边缘情况。

新功能

  • 支持读取单个 JSON BZ2 文件。

  • 在服务器端 Snowpark Connect for Spark 支持 Scala UDFs。

  • 实现字符串和 daytime 之间的类型转换。

  • group_map 中添加对 Scala UDFs 的支持。

Snowpark Submit

错误修复

  • 减少生成的工作负载名称。

1.8.0(2026 年 1 月 7 日)

Snowpark Connect for Spark

错误修复

  • 针对 Windows 修复了 JAVA_HOME 处理问题。

新功能

  • 通过 JDBC 支持 neo4j 数据源。

Snowpark Submit

无。

语言: 中文