2025 年 Snowpark Library for Python 版本说明¶

新功能¶

• Added a new function service in snowflake.snowpark.functions that allows users to create a callable representing a Snowpark Container Services (SPCS) service.

• Added a new function group_by_all() to the DataFrame class.

• Added connection_parameters parameter to DataFrameReader.dbapi() (Public Preview) method to allow passing keyword arguments to the create_connection callable.

• Added support for Session.begin_transaction, Session.commit, and Session.rollback.

• 在 functions.py 中添加了对以下函数的支持：

  • Geospatial functions:

    • st_interpolate

    • st_intersection

    • st_intersection_agg

    • st_intersects

    • st_isvalid

    • st_length

    • st_makegeompoint

    • st_makeline

    • st_makepolygon

    • st_makepolygonoriented

    • st_disjoint

    • st_distance

    • st_dwithin

    • st_endpoint

    • st_envelope

    • st_geohash

    • st_geomfromgeohash

    • st_geompointfromgeohash

    • st_hausdorffdistance

    • st_makepoint

    • st_npoints

    • st_perimeter

    • st_pointn

    • st_setsrid

    • st_simplify

    • st_srid

    • st_startpoint

    • st_symdifference

    • st_transform

    • st_union

    • st_union_agg

    • st_within

    • st_x

    • st_xmax

    • st_xmin

    • st_y

    • st_ymax

    • st_ymin

    • st_geogfromgeohash

    • st_geogpointfromgeohash

    • st_geographyfromwkb

    • st_geographyfromwkt

    • st_geometryfromwkb

    • st_geometryfromwkt

    • try_to_geography

    • try_to_geometry

• Added a parameter to enable and disable automatic column name aliasing for interval_day_time_from_parts and interval_year_month_from_parts functions.

错误修复¶

• Fixed a bug that DataFrameReader.xml fails to parse XML files with undeclared namespaces when ignoreNamespace is True.

• Added a fix for floating point precision discrepancies in interval_day_time_from_parts.

• Fixed a bug where writing Snowpark pandas DataFrames on the pandas backend with a column multiindex to Snowflake with to_snowflake would raise KeyError.

• Fixed a bug that DataFrameReader.dbapi (Public Preview) is not compatible with oracledb 3.4.0.

• Fixed a bug where modin would unintentionally be imported during session initialization in some scenarios.

• Fixed a bug where session.udf|udtf|udaf|sproc.register failed when an extra session argument was passed. These methods do not expect a session argument; please remove it if provided.

改进¶

• The default maximum length for inferred StringType columns during schema inference in DataFrameReader.dbapi is now increased from 16 MB to 128 MB in parquet file--based ingestion.

依赖项更新¶

• Updated dependency of snowflake-connector-python>=3.17,<5.0.0.

Snowpark pandas API 更新¶

新功能¶

• Added a new module snowflake.snowpark.secrets that provides Python wrappers for accessing Snowflake Secrets within Python UDFs and stored procedures that execute inside Snowflake.

  • get_generic_secret_string

  • get_oauth_access_token

  • get_secret_type

  • get_username_password

  • get_cloud_provider_token

• Added support for the following scalar functions in functions.py:

  • Conditional expression functions:

    • booland

    • boolnot

    • boolor

    • boolxor

    • boolor_agg

    • decode

    • greatest_ignore_nulls

    • least_ignore_nulls

    • nullif

    • nvl2

    • regr_valx

  • Semi-structured and structured date functions:

    • array_remove_at

    • as_boolean

    • map_delete

    • map_insert

    • map_pick

    • map_size

  • String & binary functions:

    • chr

    • hex_decode_binary

  • Numeric functions:

    • div0null

  • Differential privacy functions:

    • dp_interval_high

    • dp_interval_low

  • Context functions:

    • last_query_id

    • last_transaction

  • Geospatial functions:

    • h3_cell_to_boundary

    • h3_cell_to_children

    • h3_cell_to_children_string

    • h3_cell_to_parent

    • h3_cell_to_point

    • h3_compact_cells

    • h3_compact_cells_strings

    • h3_coverage

    • h3_coverage_strings

    • h3_get_resolution

    • h3_grid_disk

    • h3_grid_distance

    • h3_int_to_string

    • h3_polygon_to_cells

    • h3_polygon_to_cells_strings

    • h3_string_to_int

    • h3_try_grid_path

    • h3_try_polygon_to_cells

    • h3_try_polygon_to_cells_strings

    • h3_uncompact_cells

    • h3_uncompact_cells_strings

    • haversine

    • h3_grid_path

    • h3_is_pentagon

    • h3_is_valid_cell

    • h3_latlng_to_cell

    • h3_latlng_to_cell_string

    • h3_point_to_cell

    • h3_point_to_cell_string

    • h3_try_coverage

    • h3_try_coverage_strings

    • h3_try_grid_distance

    • st_area

    • st_asewkb

    • st_asewkt

    • st_asgeojson

    • st_aswkb

    • st_aswkt

    • st_azimuth

    • st_buffer

    • st_centroid

    • st_collect

    • st_contains

    • st_coveredby

    • st_covers

    • st_difference

    • st_dimension

错误修复¶

• Fixed a bug that caused DataFrame.limit() to fail if the executed SQL contained parameter binding when used in non-stored-procedure/udxf environments.

• Added an experimental fix for a bug in schema query generation that could cause invalid sql to be generated when using nested structured types.

• Fixed multiple bugs in DataFrameReader.dbapi (Public Preview):

  • Fixed UDTF ingestion failure with pyodbc driver caused by unprocessed row data.

  • Fixed SQL Server query input failure due to incorrect select query generation.

  • Fixed UDTF ingestion not preserving column nullability in the output schema.

  • Fixed an issue that caused the program to hang during multithreaded Parquet based ingestion when a data fetching error occurred.

  • Fixed a bug in schema parsing when custom schema strings used upper-cased data type names (NUMERIC, NUMBER, DECIMAL, VARCHAR, STRING, TEXT).

• Fixed a bug in Session.create_dataframe where schema string parsing failed when using upper-cased data type names (e.g., NUMERIC, NUMBER, DECIMAL, VARCHAR, STRING, TEXT).

改进¶

• Improved DataFrameReader.dbapi (Public Preview) so it doesn't retry on non-retryable errors, such as SQL syntax error on external data source query.

• Removed unnecessary warnings about local package version mismatch when using session.read.option('rowTag', <tag_name>).xml(<stage_file_path>) or xpath functions.

• Improved DataFrameReader.dbapi (Public Preview) reading performance by setting the default fetch_size parameter value to 100000.

• Improved error message for XSD validation failure when reading XML files using session.read.option('rowValidationXSDPath', <xsd_path>).xml(<stage_file_path>).

Snowpark pandas API 更新¶

错误修复¶

• Added an experimental fix for a bug in schema query generation that could cause invalid SQL to be genrated when using nested structured types.

新功能¶

• Downgraded to level logging.DEBUG - 1 the log message saying that the Snowpark DataFrame reference of an internal DataFrameReference object has changed.

• Eliminate duplicate parameter check queries for casing status when retrieving the session.

• Retrieve DataFrame row counts through object metadata to avoid a COUNT(*) query (performance)

• Added support for applying the Snowflake Cortex function Complete.

• Introduce faster pandas: Improved performance by deferring row position computation.

  • The following operations are currently supported and can benefit from the optimization: read_snowflake, repr, loc, reset_index, merge, and binary operations.

  • If a lazy object (e.g., DataFrame or Series) depends on a mix of supported and unsupported operations, the optimization will not be used.

• Updated the error message for when Snowpark pandas is referenced within apply.

• Added a session parameter dummy_row_pos_optimization_enabled to enable/disable dummy row position optimization in faster pandas.

依赖项更新¶

• Updated the supported modin versions to >=0.35.0 and <0.37.0 (was previously >= 0.34.0 and <0.36.0).

错误修复¶

• Fixed an issue with drop_duplicates where the same data source could be read multiple times in the same query but in a different order each time, resulting in missing rows in the final result. The fix ensures that the data source is read only once.

• Fixed a bug with hybrid execution mode where an AssertionError was unexpectedly raised by certain indexing operations.

Snowpark 本地测试更新¶

新功能¶

• 在 functions.py 中添加了对以下 AI 驱动的功能的支持：

  • ai_extract

  • ai_parse_document

  • ai_transcribe

• Added time travel support for querying historical data:

  • Session.table() now supports time travel parameters:

    • time_travel_mode

    • statement

    • offset

    • timestamp

    • timestamp_type

    • stream

  • DataFrameReader.table() supports the same time travel parameters as direct arguments.

  • DataFrameReader supports time travel via option chaining (e.g., session.read.option("time_travel_mode", "at").option("offset", -60).table("my_table")).

• Added support for specifying the following parameters to DataFrameWriter.copy_into_location for validation and writing data to external locations:

  • validation_mode

  • storage_integration

  • credentials

  • encryption

• Added support for Session.directory and Session.read.directory to retrieve the list of all files on a stage with metadata.

• Added support for DataFrameReader.jdbc(Private Preview) that allows the JDBC driver to ingest external data sources.

• Added support for FileOperation.copy_files to copy files from a source location to an output stage.

• Added support for the following scalar functions in functions.py:

  • all_user_names

  • bitand

  • bitand_agg

  • bitor

  • bitor_agg

  • bitxor

  • bitxor_agg

  • current_account_name

  • current_client

  • current_ip_address

  • current_role_type

  • current_organization_name

  • current_organization_user

  • current_secondary_roles

  • current_transaction

  • getbit

错误修复¶

• Fixed the _repr_ of TimestampType to match the actual subtype it represents.

• Fixed a bug in DataFrameReader.dbapi that UDTF ingestion does not work in stored procedures.

• Fixed a bug in schema inference that caused incorrect stage prefixes to be used.

改进¶

• Enhanced error handling in DataFrameReader.dbapi thread-based ingestion to prevent unnecessary operations, which improves resource efficiency.

• Bumped cloudpickle dependency to also support cloudpickle==3.1.1 in addition to previous versions.

• Improved DataFrameReader.dbapi (Public Preview) ingestion performance for PostgreSQL and MySQL by using a server-side cursor to fetch data.

Snowpark Pandas API 更新¶

新功能¶

• Completed support for the following functions on the "Pandas" and "Ray" backends:

  • pd.read_snowflake()

  • pd.to_iceberg()

  • pd.to_pandas()

  • pd.to_snowpark()

  • pd.to_snowflake()

  • DataFrame.to_iceberg()

  • DataFrame.to_pandas()

  • DataFrame.to_snowpark()

  • DataFrame.to_snowflake()

  • Series.to_iceberg()

  • Series.to_pandas()

  • Series.to_snowpark()

  • Series.to_snowflake()

    on the "Pandas" and "Ray" backends. Previously, only some of these functions and methods were supported on the Pandas backend.

• Added support for Index.get_level_values().

改进¶

• Set the default transfer limit in hybrid execution for data leaving Snowflake to 100k, which can be overridden with the SnowflakePandasTransferThreshold environment variable. This configuration is appropriate for scenarios with two available engines, "pandas" and "Snowflake," on relational workloads.

• Improved the import error message by adding --upgrade to pip install "snowflake-snowpark-python[modin]" in the message.

• Reduced the telemetry messages from the modin client by pre-aggregating into five-second windows and only keeping a narrow band of metrics that are useful for tracking hybrid execution and native pandas performance.

• Set the initial row count only when hybrid execution is enabled, which reduces the number of queries issued for many workloads.

• Added a new test parameter for integration tests to enable hybrid execution.

错误修复¶

• Raised NotImplementedError instead of AttributeError on attempting to call Snowflake extension functions/methods to_dynamic_table(), cache_result(), to_view(), create_or_replace_dynamic_table(), and create_or_replace_view() on DataFrames or series using the pandas or ray backends.

新功能¶

• Added support for the following xpath functions in functions.py:

  • xpath

  • xpath_string

  • xpath_boolean

  • xpath_int

  • xpath_float

  • xpath_double

  • xpath_long

  • xpath_short

• Added support for the use_vectorized_scanner parameter in the Session.write_arrow() function.

• DataFrame profiler adds the following information about each query: describe query time, execution time, and sql query text. To view this information, call session.dataframe_profiler.enable() and call get_execution_profile on a DataFrame.

• Added support for DataFrame.col_ilike.

• Added support for non-blocking stored procedure calls that return AsyncJob objects.

  • Added the block: bool = True parameter to Session.call(). When block=False, returns an AsyncJob instead of blocking until completion.

  • Added the block: bool = True parameter to StoredProcedure.__call__() for async support across both named and anonymous stored procedures.

  • Added Session.call_nowait() that is equivalent to Session.call(block=False).

错误修复¶

• Fixed a bug in CTE optimization stage where deepcopy of internal plans would cause a memory spike when a DataFrame is created locally using session.create_dataframe() using large input data.

• Fixed a bug in DataFrameReader.parquet where the ignore_case option in the infer_schema_options was not respected.

• Fixed a bug where to_pandas() had a different format of column name when the query result format is set to JSON and ARROW.

弃用¶

• Deprecated pkg_resources.

依赖项更新¶

• Added a dependency on protobuf<6.32

Snowpark Pandas API 更新¶

新功能¶

• Added support for efficient transfer of data between Snowflake and <Ray (https://www.ray.io/) with the DataFrame.set_backend method. The installed version of modin must be at least 0.35.0, and ray must be installed.

依赖项更新¶

• Updated the supported modin versions to >=0.34.0 and <0.36.0 (was previously >= 0.33.0 and <0.35.0).

• Added support for pandas 2.3 when the installed modin version is 0.35.0 or greater.

错误修复¶

• Fixed an issue in hybrid execution mode (Private Preview) where pd.to_datetime and pd.to_timedelta would unexpectedly raise IndexError.

• Fixed a bug where pd.explain_switch would raise IndexError or return None if called before any potential switch operations were performed.

新功能¶

• Session.create_dataframe now accepts keyword arguments that are forwarded in the internal call to Session.write_pandas or Session.write_arrow when creating a DataFrame from a pandas DataFrame or a pyarrow table.

• Added new APIs for AsyncJob:

  • AsyncJob.is_failed() returns a bool indicating whether a job has failed. Can be used in combination with AsyncJob.is_done() to determine if a job is finished and erred.

  • AsyncJob.status() returns a string representing the current query status (such as, "RUNNING", "SUCCESS", "FAILED_WITH_ERROR") for detailed monitoring without calling result().

• Added a DataFrame profiler. To use, you can call get_execution_profile() on your desired DataFrame. This profiler reports the queries executed to evaluate a DataFrame and statistics about each of the query operators. Currently an experimental feature.

• 在 functions.py 中添加了对以下函数的支持：

  • ai_sentiment

• Updated the interface for the context.configure_development_features experimental feature. All development features are disabled by default unless explicitly enabled by the user.

改进¶

• Hybrid execution row estimate improvements and a reduction of eager calls.

• Added a new configuration variable to control transfer costs out of Snowflake when using hybrid execution.

• Added support for creating permanent and immutable UDFs/UDTFs with DataFrame/Series/GroupBy.apply, map, and transform by passing the snowflake_udf_params keyword argument.

• Added support for mapping np.unique to DataFrame and Series inputs using pd.unique.

错误修复¶

• Fixed an issue where the Snowpark pandas plugin would unconditionally disable AutoSwitchBackend even when users have explicitly configured it programmatically or with environment variables.

新功能¶

• 在 functions.py 中添加了对以下函数的支持：

  • ai_embed

  • try_parse_json

改进¶

• 改进了 DataFrameReader.dbapi`（非公开预览版）中的 :code:`query 参数，因此无需在查询前后加括号。

• 改进了在 :code:`DataFrameReader.dbapi`（非公开预览版）中推理目标数据源架构时引发异常的错误体验。

错误修复¶

• 修复了 DataFrameReader.dbapi`（非公开预览版）中的以下错误：在 Python 存储过程中会导致 :code:`dbapi 失败，并显示进程退出代码 1。

• 修复了 DataFrameReader.dbapi`（非公开预览版）中 :code:`custom_schema 接受非法架构的错误。

• 修复了 DataFrameReader.dbapi`（非公开预览版）中的一个错误，即:code:`custom_schema 在连接到 Postgres 和 MySQL 时无法正常工作。

• 修复了架构推理中导致外部暂存区失败的错误。

Snowpark 本地测试更新¶

新功能¶

• 向 DataFrameReader 添加了新选项 TRY_CAST。如果 TRY_CAST 为 True，在加载数据时列会封装在 TRY_CAST 语句中，而非执行硬性转换。

• 在 DataFrameReader 的 INFER_SCHEMA_OPTIONS 中添加了一个新选项 USE_RELAXED_TYPES。当设置为 True 时，该选项会将所有字符串转换为最大长度字符串，并将所有数值类型转换为 DoubleType。

• 新增了可调试性改进，以主动验证 DataFrame 模式元数据。可通过 snowflake.snowpark.context.configure_development_features() 启用。

• 添加了一个新函数:code:snowflake.snowpark.dataframe.map_in_pandas，允许用户在数据帧上映射函数。映射函数以 Pandas DataFrames 的迭代器作为输入，并提供一个 pandas DataFrame 作为输出。

• 添加了 ttl cache 来描述查询。在 15 秒间隔内重复的查询会使用缓存值，而非重新向 Snowflake 发出查询。

• 向 DataFrameReader.dbapi (PrPr) 添加了一个 fetch_with_process 参数，用于启用多重处理，以支持本地引入中的数据提取。默认情况下，本地引入使用多线程。多重处理可以提高 Parquet 文件生成等受 CPU 限制的任务的性能。

• 添加了新函数 snowflake.snowpark.functions.model，允许用户调用模型的方法。

改进¶

• 添加了对使用 XSD 架构进行行验证的支持，在使用 rowTag 选项读取带行标签的 XML 文件时，可利用 rowValidationXSDPath 选项实现。

• 改进了 session.table().sample() 的 SQL 生成，以生成扁平化的 SQL 语句。

• 添加了支持，functions.explode 现可将复杂列表达式作为输入。

• 添加了可调试性改进，以显示 SQL 编译错误对应于哪些 Python 行。使用 snowflake.snowpark.context.configure_development_features() 启用。此功能还依赖于在会话中启用的 AST 集合，可以使用 session.ast_enabled = True 来实现。

• 从包含 DML/DDL 查询的 Snowpark DataFrame 调用 to_snowpark_pandas():code: 时，设置 enforce_ordering=True，而非抛出 NotImplementedError。

错误修复¶

• 修复了创建 Iceberg 表时因冗余验证导致的错误。

• 修复了 :code:`DataFrameReader.dbapi`（非公开预览版）中的一个错误，即关闭游标或连接可能会意外引发错误并终止程序。

• 修复了在 DataFrame.select() 中使用表函数时，输出列与输入 DataFrame 的列匹配导致列名歧义的错误。当 DataFrame 列作为 Column 对象提供时，此项改进会发挥作用。

• 修复了 DecimalTypes 列中存在 NULL 时，会将该列转换为 FloatTypes 并导致精度损失的错误。

Snowpark 本地测试更新¶

• 修复了处理窗口函数时导致结果索引不正确的错误。

• 将标量数字传递给 fillna 时，Snowflake 将忽略非数字列，而非产生错误。

Snowpark Pandas API 更新¶

新功能¶

• 在 :code:`DataFrameWriter.dbapi`（非公开预览版）中添加了对 MySQL 的支持，用于 Parquet 和基于 UDTF 的引入。

• 在 :code:`DataFrameReader.dbapi`（非公开预览版）中添加了对 PostgreSQL 的支持，用于 Parquet 和基于 UDTF 的引入。

• 在 :code:`DataFrameWriter.dbapi`（非公开预览版）中添加了对 Databricks 的支持，用于基于 UDTF 的引入，同时与其他对 Databricks 支持的提及进行了整合。

• 添加了对 DataFrameReader 的支持，支持在启用 INFER_SCHEMA 的情况下读取文件时使用 PATTERN。

• 在 functions.py 中添加了对以下 AI 驱动的功能的支持：

  • ai_complete

  • ai_similarity

  • ai_summarize_agg`（原为 :code:`summarize_agg）

  • ai_classify 的不同配置选项

• 添加了使用 rowTag 选项读取带有行标签的 XML 文件时对更多选项的支持：

  • 添加了对使用 ignoreNamespace 选项从列名中移除命名空间前缀的支持。

  • 添加了对使用 attributePrefix 选项在结果表中为属性列指定前缀的支持。

  • 添加了对使用 excludeAttributes 选项从 XML 元素中排除属性的支持。

  • 添加了当一个没有子元素的元素中包含属性时，使用 valueTag 选项为其值指定列名的支持。

  • 添加了使用 nullValue 选项，指定要视为 null 的值的支持。

  • 添加了对使用 charset 选项指定 XML 文件的字符编码的支持。

  • 添加了对使用 ignoreSurroundingWhitespace 选项忽略 XML 元素中周围空白的支持。

• 在 Session.call 中添加了对参数 return_dataframe 的支持，可用于将函数的返回类型设置为 DataFrame 对象。

• 向 Dataframe.describe 添加了一个名为 strings_include_math_stats 的新实参，它会触发 stddev 和 mean 来计算字符串列。

• 在 DataFrame.lineage.trace 中添加了对于从 DGQL 检索沿袭时检索 Edge.properties 的支持。

• 向 DataFrameWriter.save_as_table 中添加了一个 table_exists 参数，允许指定表是否已经存在。这允许跳过可能很昂贵的表查找。

错误修复¶

• 修复了 DataFrameReader.dbapi`（非公开预览版）中 :code:`create_connection 定义为与多重处理不兼容的本地函数的错误。

• 修复了 DataFrameReader.dbapi`（非公开预览版）中的一个错误，即 Databricks :code:`TIMESTAMP 类型被转换为 Snowflake TIMESTAMP_NTZ 类型，但本应是 TIMESTAMP_LTZ 类型。

• 修复了 DataFrameReader.json 中的一个错误，该错误使用同一读取器对象重复读取，导致生成错误引用的列。

• 修复了 DataFrame.to_pandas() 中的一个错误，该错误在转换并非源自 select 语句的 DataFrame 时会删除列名。

• 修复了一个错误，即当 DataFrame 包含 UDTF 且 UDTF 中的 SELECT * 未被正确解析时，DataFrame.create_or_replace_dynamic_table 会引发错误。

• 修复了无法在函数的 values 子句中使用强制类型转换列的错误。

改进¶

• 改进了输入 Pandas DataFrame 没有列时，Session.create_dataframe() 和 Session.write_pandas() 的错误消息。

• 改进了 DataFrame.select，使其能更好地处理实参包含一个表函数时，其输出列与当前 DataFrame 的列发生冲突的情况。通过这项改进，如果用户在 df.select("col1", "col2", table_func(...)) 中提供非冲突列作为字符串实参，Snowpark 客户端生成的查询不会引发不明确的列错误。

• 改进了 :code:`DataFrameReader.dbapi`（非公开预览版），支持使用基于内存中的 Parquet 引入，以提高性能和安全性。

• 改进了 DataFrameReader.dbapi`（非公开预览版），支持在复制到表的操作中使用 :code:`MATCH_BY_COLUMN_NAME=CASE_SENSITIVE。

Snowpark 本地测试更新¶

Snowpark Pandas API 更新¶

改进¶

• 调用 Snowflake 系统过程不会执行额外的 describe procedure 调用来检查该过程的返回类型。

• 增加了对 Session.create_dataframe()`（使用暂存区 URL 和 :code:`FILE 数据类型）的支持。

• 增加了在使用 session.read.option('mode', <mode>), option('rowTag', <tag_name>).xml(<stage_file_path>) 读取 XML 文件时，通过不同模式处理损坏的 XML 记录的支持。目前支持 PERMISSIVE、DROPMALFORMED 和 FAILFAST。

• 改进了在文件中找不到指定 ROWTAG 内容时，XML 读取器的错误消息。

• 改进了查询生成，使 Dataframe.drop 使用 SELECT * EXCLUDE () 排除已删除列。设置 session.conf.set("use_simplified_query_generation", True) 以启用此功能。

• 为 StructType.from_json 添加了对 VariantType 的支持。

错误修复¶

• 修复了 :code:`DataFrameWriter.dbapi`（非公开预览版）中的一个错误，该错误导致外部数据库中的 unicode 或置于双引号之间的列名因引号不正确而导致错误。

• 修复了嵌套 OBJECT 数据中的命名字段在包含空格时可能导致错误的错误。

Snowpark 本地测试更新¶

Snowpark Pandas API 更新¶

新功能¶

• 添加了对 StoredProcedure.register():code: 中 execute_as 实参的 restricted caller 权限的支持。

• 添加了对 DataFrame.to_pandas() 中非 select 语句的支持。

• 为 Session.add_packages、Session.add_requirements、Session.get_packages、Session.remove_package 和 Session.clear_packages 添加了对 artifact_repository 参数的支持。

• 添加了通过 :code:`session.read.option('rowTag', <tag_name>).xml(<stage_file_path>)`（实验性）使用行标记读取 XML 文件的支持。

  • 每条 XML 记录都作为单独的行提取。

  • 该记录中的每个字段都成为一个单独的 VARIANT 类型列，可以使用点表示法进一步查询，例如 col(a.b.c)。

• 添加了对 DataFrameReader.dbapi (PrPr) 的更新：

  • 添加了通过将多个提取的数据合并到单个 Parquet 文件中来优化性能的 fetch_merge_count 参数。

  • 添加了对 Databricks 的支持。

  • 添加了对使用 Snowflake UDTF 进行引入的支持。

• 在 :code:`functions.py`（非公开预览版）中添加了对以下 AI 功能的支持：

  • prompt

  • ai_filter`（添加了对 :code:`prompt() 函数和镜像文件的支持，并将第二个实参名称从 expr 更改为 file）

  • ai_classify

Snowpark 本地测试更新¶

Snowpark pandas API 更新¶

新功能¶

• 引入 relaxed_ordering 参数，从而添加了对:code:Dataframe.to_snowpark_pandas 中放宽的一致性和排序保证的支持。

• DataFrameReader.dbapi`（预览版）现在可接受:code:`session_init_statement 参数的字符串列表，允许在会话初始化期间执行多个 SQL 语句。

改进¶

• 相较于为 fractions 中的每个关键字创建 UNION ALL 子查询的旧方法，改进了:code:Dataframe.stat.sample_by 的查询生成，可生成单个平面查询，并能很好地通过大型 fractions 字典进行扩展。设置 session.conf.set("use_simplified_query_generation", True) 以启用此功能。

• 在将 Parquet 文件复制到表中时启用矢量化选项，从而提高 DataFrameReader.dbapi 的性能。

• 通过以下方式改进了 DataFrame.random_split 的查询生成。可以通过设置 session.conf.set("use_simplified_query_generation", True) 来启用它们：

  • 无需在输入数据帧的内部实现中使用 cache_result，从而实现了纯粹的惰性数据帧操作。

  • seed 实参现在可在多次调用和会话中重复表现出预期行为。

• 在 include_decimal 设置为 True 的情况下，DataFrame.fillna 和:code:DataFrame.replace 现在均支持将 int 和 float 纳入 Decimal 列。

• 在 files.py 中添加了以下 UDF 和存储过程函数的文档，因为它们已经正式发布。

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• 对于 SnowflakeFile 和 SnowflakeFile.open() 的文档进行了细微修改。

错误修复¶

• 修复了以下函数的一个会引发错误的错误。.cast() 应用于其输出：

  • from_json

  • size

Snowpark 本地测试更新¶

Snowpark pandas API 更新¶

Snowpark 本地测试更新¶

错误修复¶

• 修复了 :code:`DataFrameReader.dbapi`（非公开预览版）中一个导致无法在存储过程和 Snowbooks 中使用的错误。

新功能¶

• 在 :file:`functions.py`（非公开预览版）中添加了对以下 AI 功能的支持：

  • ai_filter

  • ai_agg

  • summarize_agg

• 在 :file:`functions.py`（非公开预览版）中添加了对新的 FILE SQL 类型的支持，以及以下相关函数：

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• 添加了使用工件库（非公开预览版）从 PyPi 导入第三方包的支持：

  • 在注册存储过程或用户定义的函数时，使用关键字实参 artifact_repository 和 packages 分别指定工件存储库和包。

  • 支持的 APIs 如下：

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

改进¶

• 改进了注册存储过程时的版本验证警告，以确保 snowflake-snowpark-python 包的兼容性。现在，只有当主要版本或次要版本不匹配时才会触发警告，错误修复版本差异不会再生成警告。

• 升级了 cloudpickle 的依赖项，使其除了支持以前的版本外，还支持 cloudpickle==3.0.0。

错误修复¶

• 修复了以下错误：在禁用线程安全会话的情况下，创建包含大量值的数据帧时会引发 Unsupported feature 'SCOPED_TEMPORARY'. 错误。

• 修复了以下错误：如果通过读取暂存文件创建了 DataFrame，且 CTE 优化已启用，则 df.describe 会引发内部 SQL 执行错误。

• 修复了以下错误：使用 session.conf.set("use_simplified_query_generation", True) 启用简化查询生成时，df.order_by(A).select(B).distinct() 会生成无效的 SQL。

  • 默认禁用简化查询生成。

Snowpark pandas API 更新¶

Snowpark 本地测试更新¶

新功能¶

• 在 functions.py 中添加了对以下函数的支持

  • normal

  • randn

• 向 Dataframe.union_by_name 和 Dataframe.union_all_by_name 添加了对 allow_missing_columns 参数的支持。

改进¶

• 改进了随机对象名称的生成，以避免冲突。

• 改进了 Dataframe.distinct 的查询生成，以生成 SELECT DISTINCT，而不必在执行 SELECT 时对所有列进行 GROUP BY。要禁用此功能，请设置 session.conf.set("use_simplified_query_generation", False)。

弃用¶

• 已弃用 Snowpark Python 函数 snowflake_cortex_summarize。用户可以安装 snowflake-ml-python 并改为使用:code:snowflake.cortex.summarize 函数。

• 已弃用 Snowpark Python 函数 snowflake_cortex_sentiment。用户可以安装 snowflake-ml-python 并改为使用:code:snowflake.cortex.sentiment 函数。

错误修复¶

• 修复了以下错误：对于生成多个查询的 DataFrames，会话级查询标签会被堆栈跟踪覆盖。现在，只有在 session.conf.set("collect_stacktrace_in_query_tag", True) 的情况下，才会将查询标签设置为堆栈跟踪。

• 修复了 Session._write_pandas 中的以下错误：在写入 Snowpark pandas 对象时，错误地将 use_logical_type 参数传递给 Session._write_modin_pandas_helper。

• 修复了选项 SQL 生成中的一个错误，该错误可能导致多个值的格式不正确。

• 修复了 Session.catalog 中的一个错误，该错误导致无法正确处理数据库或架构的空字符串，并生成错误的 SQL 语句。

实验功能¶

• 添加了将 pyarrow 表写入 Snowflake 表的支持。

Snowpark pandas API 更新¶

错误修复¶

• 修复了 apply 中的一个错误，该错误会导致 kwargs 无法正确传入应用的函数。

Snowpark 本地测试更新¶

错误修复¶

• 修复了 DataFrame.join 中的一个错误，该错误会导致列的类型设置不正确。

• 修复了 when 语句中的一个错误，该错误会在 otherwise 子句中导致不正确的结果。

新功能¶

在 functions.py 中添加了对以下函数的支持：

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• 添加了在调用 DataFrame.create_dataframe 时，对指定架构字符串（包括隐式结构语法）的支持。

• 添加了对 DataFrameWriter.insert_into/insertInto 的支持。此方法还支持本地测试模式。

• 添加了对 DataFrame.create_temp_view 的支持，以创建临时视图。如果视图已经存在，则操作将会失败。

• 在函数 map_cat 和 map_concat 中添加了对多列的支持。

• 添加了一个 keep_column_order 选项，用于在 DataFrame.with_column 和 DataFrame.with_columns 中保持原始列顺序。

• 添加了列类型转换选项，允许在 StructType 列中重命名或添加字段。

• 为 ArrayType 添加了对 contains_null parameter 的支持。

• 添加了以下支持：对通过从暂存区中读取文件创建的 DataFrame 执行:code:DataFrame.create_or_replace_temp_view，从而创建临时视图。

• 向 MapType 添加了对 value_contains_null 参数的支持。

• 为遥测添加了交互能力，可指示当前环境是否为交互式环境。

• 允许原生应用程序中的 session.file.get 从当前版本读取以 / 开头的文件路径

• 添加了在 DataFrame.pivot 之后使用多个聚合函数的支持。

实验功能¶

• 添加了 Session.catalog 类，用于管理 Snowflake 对象。可通过 Session.catalog 访问。

  • snowflake.core 是该功能需要的依赖项。

• 在读取暂存区中的 JSON 文件时，允许一个或多个用户输入架构。

• 添加了在调用 DataFrame.create_dataframe 时，对指定架构字符串（包括隐式结构语法）的支持。

改进¶

• 已更新 README.md，以包括有关如何使用 cosign 验证包签名的说明。

错误修复¶

• 修复了本地测试模式下的一个错误，该错误会导致列中应包含 0 时却包含 None。

• 修复了 StructField.from_json 中的一个错误，该错误导致无法正确解析带有 tzinfo 的 TimestampTypes。

• 修复了 function date_format 中的一个错误，该错误会在输入列为日期类型或时间戳类型时导致错误。

• 修复了 DataFrame 中的一个错误，该错误允许在不可为 null 的列中插入 null 值。

• 修复了函数 replace 和 lit 中的一个错误，该错误会在传递列表达式对象时引发类型提示断言错误。

• 修复了 pandas_udf 和 pandas_udtf 中会话参数被错误地忽略的错误。

• 修复了一个错误，在通过 session.call 调用系统函数时，该错误会引发错误的类型转换。

Snowpark pandas API 更新¶