2025 年 Snowpark Library for Python 版本说明¶

新功能¶

• 引入 relaxed_ordering 参数，从而添加了对:code:Dataframe.to_snowpark_pandas 中放宽的一致性和排序保证的支持。

• DataFrameReader.dbapi`（预览版）现在可接受:code:`session_init_statement 参数的字符串列表，允许在会话初始化期间执行多个 SQL 语句。

改进¶

• 相较于为 fractions 中的每个关键字创建 UNION ALL 子查询的旧方法，改进了:code:Dataframe.stat.sample_by 的查询生成，可生成单个平面查询，并能很好地通过大型 fractions 字典进行扩展。设置 session.conf.set("use_simplified_query_generation", True) 以启用此功能。

• 在将 Parquet 文件复制到表中时启用矢量化选项，从而提高 DataFrameReader.dbapi 的性能。

• 通过以下方式改进了 DataFrame.random_split 的查询生成。可以通过设置 session.conf.set("use_simplified_query_generation", True) 来启用它们：

  • 无需在输入数据帧的内部实现中使用 cache_result，从而实现了纯粹的惰性数据帧操作。

  • seed 实参现在可在多次调用和会话中重复表现出预期行为。

• 在 include_decimal 设置为 True 的情况下，DataFrame.fillna 和:code:DataFrame.replace 现在均支持将 int 和 float 纳入 Decimal 列。

• 在 files.py 中添加了以下 UDF 和存储过程函数的文档，因为它们已经正式发布。

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• 对于 SnowflakeFile 和 SnowflakeFile.open() 的文档进行了细微修改。

错误修复¶

• 修复了以下函数的一个会引发错误的错误。.cast() 应用于其输出：

  • from_json

  • size

Snowpark 本地测试更新¶

Snowpark pandas API 更新¶

Snowpark 本地测试更新¶

错误修复¶

• 修复了 :code:`DataFrameReader.dbapi`（非公开预览版）中一个导致无法在存储过程和 Snowbooks 中使用的错误。

新功能¶

• 在 :file:`functions.py`（非公开预览版）中添加了对以下 AI 功能的支持：

  • ai_filter

  • ai_agg

  • summarize_agg

• 在 :file:`functions.py`（非公开预览版）中添加了对新的 FILE SQL 类型的支持，以及以下相关函数：

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• 添加了使用工件库（非公开预览版）从 PyPi 导入第三方包的支持：

  • 在注册存储过程或用户定义的函数时，使用关键字实参 artifact_repository 和 artifact_repository_packages 分别指定工件存储库和包。

  • 支持的 APIs 如下：

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

改进¶

• 改进了注册存储过程时的版本验证警告，以确保 snowflake-snowpark-python 包的兼容性。现在，只有当主要版本或次要版本不匹配时才会触发警告，错误修复版本差异不会再生成警告。

• 升级了 cloudpickle 的依赖项，使其除了支持以前的版本外，还支持 cloudpickle==3.0.0。

错误修复¶

• 修复了以下错误：在禁用线程安全会话的情况下，创建包含大量值的数据帧时会引发 Unsupported feature 'SCOPED_TEMPORARY'. 错误。

• 修复了以下错误：如果通过读取暂存文件创建了 DataFrame，且 CTE 优化已启用，则 df.describe 会引发内部 SQL 执行错误。

• 修复了以下错误：使用 session.conf.set("use_simplified_query_generation", True) 启用简化查询生成时，df.order_by(A).select(B).distinct() 会生成无效的 SQL。

  • 默认禁用简化查询生成。

Snowpark pandas API 更新¶

Snowpark 本地测试更新¶

新功能¶

• 在 functions.py 中添加了对以下函数的支持

  • normal

  • randn

• 向 Dataframe.union_by_name 和 Dataframe.union_all_by_name 添加了对 allow_missing_columns 参数的支持。

改进¶

• 改进了随机对象名称的生成，以避免冲突。

• 改进了 Dataframe.distinct 的查询生成，以生成 SELECT DISTINCT，而不必在执行 SELECT 时对所有列进行 GROUP BY。要禁用此功能，请设置 session.conf.set("use_simplified_query_generation", False)。

弃用¶

• 已弃用 Snowpark Python 函数 snowflake_cortex_summarize。用户可以安装 snowflake-ml-python 并改为使用:code:snowflake.cortex.summarize 函数。

• 已弃用 Snowpark Python 函数 snowflake_cortex_sentiment。用户可以安装 snowflake-ml-python 并改为使用:code:snowflake.cortex.sentiment 函数。

错误修复¶

• 修复了以下错误：对于生成多个查询的 DataFrames，会话级查询标签会被堆栈跟踪覆盖。现在，只有在 session.conf.set("collect_stacktrace_in_query_tag", True) 的情况下，才会将查询标签设置为堆栈跟踪。

• 修复了 Session._write_pandas 中的以下错误：在写入 Snowpark pandas 对象时，错误地将 use_logical_type 参数传递给 Session._write_modin_pandas_helper。

• 修复了选项 SQL 生成中的一个错误，该错误可能导致多个值的格式不正确。

• 修复了 Session.catalog 中的一个错误，该错误导致无法正确处理数据库或架构的空字符串，并生成错误的 SQL 语句。

实验功能¶

• 添加了将 pyarrow 表写入 Snowflake 表的支持。

Snowpark pandas API 更新¶

错误修复¶

• 修复了 apply 中的一个错误，该错误会导致 kwargs 无法正确传入应用的函数。

Snowpark 本地测试更新¶

错误修复¶

• 修复了 DataFrame.join 中的一个错误，该错误会导致列的类型设置不正确。

• 修复了 when 语句中的一个错误，该错误会在 otherwise 子句中导致不正确的结果。

新功能¶

在 functions.py 中添加了对以下函数的支持：

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• 添加了在调用 DataFrame.create_dataframe 时，对指定架构字符串（包括隐式结构语法）的支持。

• 添加了对 DataFrameWriter.insert_into/insertInto 的支持。此方法还支持本地测试模式。

• 添加了对 DataFrame.create_temp_view 的支持，以创建临时视图。如果视图已经存在，则操作将会失败。

• 在函数 map_cat 和 map_concat 中添加了对多列的支持。

• 添加了一个 keep_column_order 选项，用于在 DataFrame.with_column 和 DataFrame.with_columns 中保持原始列顺序。

• 添加了列类型转换选项，允许在 StructType 列中重命名或添加字段。

• 为 ArrayType 添加了对 contains_null parameter 的支持。

• 添加了以下支持：对通过从暂存区中读取文件创建的 DataFrame 执行:code:DataFrame.create_or_replace_temp_view，从而创建临时视图。

• 向 MapType 添加了对 value_contains_null 参数的支持。

• 为遥测添加了交互能力，可指示当前环境是否为交互式环境。

• 允许原生应用程序中的 session.file.get 从当前版本读取以 / 开头的文件路径

• 添加了在 DataFrame.pivot 之后使用多个聚合函数的支持。

实验功能¶

• 添加了 Session.catalog 类，用于管理 Snowflake 对象。可通过 Session.catalog 访问。

  • snowflake.core 是该功能需要的依赖项。

• 在读取暂存区中的 JSON 文件时，允许一个或多个用户输入架构。

• 添加了在调用 DataFrame.create_dataframe 时，对指定架构字符串（包括隐式结构语法）的支持。

改进¶

• 已更新 README.md，以包括有关如何使用 cosign 验证包签名的说明。

错误修复¶

• 修复了本地测试模式下的一个错误，该错误会导致列中应包含 0 时却包含 None。

• 修复了 StructField.from_json 中的一个错误，该错误导致无法正确解析带有 tzinfo 的 TimestampTypes。

• 修复了 function date_format 中的一个错误，该错误会在输入列为日期类型或时间戳类型时导致错误。

• 修复了 DataFrame 中的一个错误，该错误允许在不可为 null 的列中插入 null 值。

• 修复了函数 replace 和 lit 中的一个错误，该错误会在传递列表达式对象时引发类型提示断言错误。

• 修复了 pandas_udf 和 pandas_udtf 中会话参数被错误地忽略的错误。

• 修复了一个错误，在通过 session.call 调用系统函数时，该错误会引发错误的类型转换。

Snowpark pandas API 更新¶