2024 年 7 月 29 日至 8 月 1 日 – 8.28 版本说明¶
SQL 更新¶
新 SQL 函数¶
此版本现在提供以下函数:
函数类别 |
新函数 |
描述 |
---|---|---|
半结构化和结构化 |
返回对象的一个数组,每个对象都包含输入数组中第 n 个元素的键值对。 |
Account Usage:新 SEARCH_OPTIMIZATION_BENEFITS 视图¶
在此版本中,我们很高兴地宣布在 ACCOUNT_USAGE 架构中推出新的 SEARCH_OPTIMIZATION_BENEFITS 视图。
此视图提供有关由于搜索优化而专门修剪的分区数量的信息。此视图类似于 TABLE_PRUNING_HISTORY 视图,但提供有关由于搜索优化而进行修剪的信息。
有关更多信息,请参阅 SEARCH_OPTIMIZATION_BENEFITS 视图。
数据治理更新¶
Object Tagging:添加了对复制和故障转移组的支持¶
在此版本中,Snowflake 很高兴地宣布,您可以针对复制组和故障转移组设置标签了。
有关更多信息,请参阅 用于复制组和故障转移组的 CREATE 和 ALTER 命令:添加了对标签的支持 (本主题内容)。
数据质量和数据指标函数 (DMFs) – 正式发布¶
在此版本中,Snowflake 很高兴地宣布带有数据指标函数 (DMFs) 的 Data Quality Monitoring 现已正式发布。Data Quality Monitoring 使用 DMFs 持续监控数据质量指标,例如完整性、准确性、唯一性和有效性。您可以使用 Snowflake 提供的系统 DMFs 用于常见指标,例如行计数、重复项和新鲜度。或者,您可以创建自己的自定义 DMFs,定义特定于您自己的数据的指标。
您可以在查询中使用 DMF 测试管道中的数据质量或将 DMF 关联到所需表以持续监控其质量。持续监控既可以基于时间表进行定期测量,也可以基于触发器仅在基础表被修改时进行测量。
自从 3 月 发布预览版以来,我们进行了以下更新:
新增架构权限:CREATE DATA METRIC FUNCTION。此项与预览版不同,在预览版中需要使用 CREATE FUNCTION 权限。
现在,您的角色必须具有 CREATE DATA METRIC FUNCTION 权限才能创建 DMF。
新表函数的访问控制。
添加了对新类型表的支持:动态表、物化视图、Apache Iceberg™ 表、外部表、事件表、临时表和瞬态表。
每个账户的 DMF 关联数增加到 10,000 个。
针对统计数据的系统 DMFs,这些在 6 月 中宣布推出。
有关更多信息,请参阅 数据质量和数据指标函数简介。
数据加载/卸载更新¶
Snowpipe:在 SYSTEM$PIPE_STATUS 中新增输出¶
在此版本中,PIPE_STATUS 系统函数的输出包括一个新字段 loadHistoryRemainingEntriesToSync
。当管道发生故障转移时,负载历史条目可能会继续被复制到该管道,以确保来自最后一次刷新操作的更改是最新的。此新字段可以帮助您监控管道的负载历史记录复制进度。
有关更多信息,请参阅 SYSTEM$PIPE_STATUS。
数据管道更新¶
动态表:支持增量横向展平¶
在此版本中,您现在可以通过将刷新模式设置为 INCREMENTAL 来使用横向展平和增量刷新。不支持从横向展平连接中选择展平 SEQ 列进行增量刷新。
有关更多信息,请参阅 增量刷新中支持的查询。
数据湖更新¶
Apache Iceberg™ 表:对 Snowflake Open Catalog 的支持 - 预览版¶
在此版本中,Snowflake 很高兴地宣布推出对将 Snowflake 中的 Apache Iceberg™ 表与 Snowflake Open Catalog 集成的支持的预览版。
通过使用 Open Catalog 的目录集成配置,您可以执行以下操作:
使用 Snowflake 查询 Open Catalog 中的表。
将 Snowflake 管理的 Iceberg 表与 Open Catalog 同步。
有关更多信息,请参阅 在 Snowflake 中将 Apache Iceberg™ 表与 Snowflake Open Catalog 结合使用。
版本说明变更日志¶
公告 |
更新 |
日期 |
---|---|---|
版本说明 |
初次发布(预览版) |
2024 年 7 月 27 日 |
Snowpipe:在 SYSTEM$PIPE_STATUS 中新增输出 |
已添加 到 数据加载/卸载更新 部分 |
2024 年 7 月 30 日 |
Iceberg 表:支持 Snowflake Open Catalog |
已添加 至 数据湖更新 部分 |
2023 年 7 月 31 日 |