2026 年 Snowpark Connect for Spark 版本说明¶
Snowflake 对 Snowpark Connect for Spark 更新使用语义版本控制。
有关文档,请参阅 Run Apache Spark™ workloads on Snowflake with Snowpark Connect for Spark 和 使用 Snowpark Submit 运行 Spark 批处理工作负载。
1.10.0(2026 年 1 月 22 日)¶
Snowpark Connect for Spark¶
错误修复¶
修复会话配置的配置取消设置错误。
使用 copy into 并行加载 CSV 文件。
使用外部联接修复 DataFrames 写入。
在 Scala UDFs 中处理 null 值。
优化 CTE 查询生成并进行参数保护。
避免对
DATEDIFF的实参进行类型转换。修复了追加分区文件和读取 null 分区的问题。
使用 SQL 将 10 进制和 16 进制之间的转换性能提高了 10 倍。
新功能¶
仅覆盖 Parquet 文件的已修改分区。
其他更新¶
更新了逻辑以检测 Snowpark Connect for Spark 是否在 XP 上运行。
支持在 Snowflake 中写入具有变体数据类型的表。
移除不必要的信息日志。
将 Java 测试从 Scala 测试作业中移至单独的作业。
更新 gcsfs 的依赖项版本。
Snowpark Submit¶
无。
1.9.0(2026 年 1 月 14 日)¶
Snowpark Connect for Spark¶
错误修复¶
修复 Scala 元组序列化问题。
修复加载大型 JSON 文件时的问题。
针对客户问题实施小修复。
针对结构体比较实施修复。
添加对 0 列 DataFrames 的处理。
正确的文件上传路径。
修复
Upload_files_if_needed无法并行运行的问题。改进未在 proto 中定义 UDF 输入类型时的输入类型推理。
修复 NA 边缘情况。
新功能¶
支持读取单个 JSON BZ2 文件。
在服务器端 Snowpark Connect for Spark 支持 Scala UDFs。
实现字符串和
daytime之间的类型转换。在
group_map中添加对 Scala UDFs 的支持。
Snowpark Submit¶
错误修复¶
减少生成的工作负载名称。
1.8.0(2026 年 1 月 7 日)¶
Snowpark Connect for Spark¶
错误修复¶
针对 Windows 修复了 JAVA_HOME 处理问题。
新功能¶
通过 JDBC 支持
neo4j数据源。
Snowpark Submit¶
无。