使用复制历史记录监控数据加载活动¶
您可以使用 Snowsight 或 SQL 监控账户中所有表或特定表的数据加载活动。
使用复制历史记录监控账户的数据加载情况¶
使用 Snowsight 中的 Copy History 页面或 SNOWFLAKE 数据库 ACCOUNT_USAGE 架构中的 COPY_HISTORY 视图 可查看过去 365 天内账户中所有表的数据加载活动。
账户级数据加载活动的延迟时间最多 2 小时,其中包括使用 COPY INTO 语句执行的批量数据加载、使用管道执行的连续数据加载,以及通过 Web 界面加载的文件。
先决条件¶
您必须使用可访问 SNOWFLAKE 数据库的角色。请参阅 为其他角色启用 SNOWFLAKE 数据库使用。
在 Snowsight 中查看 Copy History 页面或查询 SNOWFLAKE 数据库需要一个仓库。如果为用户简介设置了默认仓库,Snowsight 将使用该仓库。您可以随时切换仓库。
查看账户级复制历史记录¶
备注
您必须使用可访问 SNOWFLAKE 数据库的角色。请参阅 为其他角色启用 SNOWFLAKE 数据库使用。
登录 Snowsight。
选择 Monitoring » Copy History。
该 Copies Over Time 图表提供了给定时间段内数据加载的可视化效果。默认情况下,图表显示 7 天的历史记录,图表上的每一条代表一天。
在图表上选择一个条形图,按该日期筛选 Copies 表。
有关数据加载活动的更多详情,可查看 Copies 表。该表包括以下信息:
File Name 显示已加载文件的名称。
Loaded 显示加载数据时的本地时区时间戳。
Status 显示数据加载的状态。您可以将鼠标悬停在状态为 Failed 的数据加载上,查看错误详情。
Database 显示已将数据加载到的数据库。
Schema 显示已将数据加载到的架构。
Table 显示已将数据加载到的表。
Pipe 显示用于加载数据的管道(如适用)。
Size 显示已加载数据的大小,舍入到最接近的小数点,单位为 KB、MB、GB 或 TB。例如,如果加载 45800 字节,其大小将显示为 45.8KB。
Rows 显示已加载的行数,舍入到最接近的小数点,单位为千、百万等。例如,如果加载 2000 行数据,则行数显示为 2K。
Location 显示加载数据的位置链接。例如,添加为外部暂存区的 AWS S3 桶的链接,或内部命名暂存区的链接。将鼠标悬停在链接上可查看暂存区名称,或选择链接以复制暂存区路径。
要更轻松地识别特定数据加载活动,可以在 Copy History 页面中进行搜索和筛选。
您可以按以下内容进行筛选:
时间范围,最长 365 天(1 年)
数据加载活动的状态,如 All (默认)、In progress、Loaded、Failed、Partially loaded 和 Skipped。
数据的位置:
数据库
架构
管道
您还可以搜索 Copies 表中的列值,以了解特定的数据加载活动。
选择 (Open underlying SQL query in worksheet) 打开一个工作表,其中包含用于填充表格的 SQL 查询。查询 SQL 基于您选择的筛选器。
在 Copies 表中选择特定数据加载活动时,Snowsight 会打开表级 Copy History。请参阅 使用复制历史记录监控表的数据加载情况。由于延迟降低,您可能会在该表中看到较新的结果,但您只能查看 14 天的活动。
使用复制历史记录监控表的数据加载情况¶
使用 Snowsight 中表的 Copy History 详情或 COPY_HISTORY 表函数,可查看数据库中特定表在过去 14 天内的数据加载活动。
表级数据加载活动的延迟非常低,其中包括使用 COPY INTO 语句执行的批量数据加载、使用管道执行的连续数据加载,以及通过 Web 界面加载的文件。
先决条件¶
您必须使用具备以下条件之一的角色:
对您的 Snowflake 账户具有 MONITOR 权限。
对包含表的数据库和架构具有 USAGE 权限,且对表具有任何权限。
如果使用的角色对管道没有 MONITOR 权限,则管道详细信息将被掩盖,显示为 NULL。
在 Snowsight 中查看数据库的 Copy History 详情或运行表函数需要一个仓库。如果为用户简介设置了默认仓库,Snowsight 将使用该仓库。您可以随时切换仓库。
查看表级复制历史记录¶
要查看表的复制历史记录,请找到并打开要查看活动的表:
登录 Snowsight。
选择 Data » Databases。
找到并选择带有要查看其活动的表的数据库。
选择带有要查看其活动的表的架构。
选择 Tables,然后选择相应表。
在表详情中,选择 Copy History 选项卡。
该 Copies Over Time 图表提供了给定时间段内数据加载的可视化效果。默认情况下,图表显示 7 天的历史记录,图表上的每一条代表一天。
在图表上选择一个条形图,按该日期筛选 Copies 表。
您可以按以下内容进行筛选:
时间范围,最长 14 天。
数据加载活动的状态,如 All (默认)、In progress、Loaded、Failed、Partially loaded 和 Skipped。
用于加载数据的管道。
您还可以搜索 Copies 表中的列值,以了解特定的数据加载活动。
选择 (Open underlying SQL query in worksheet) 打开一个工作表,其中包含用于填充表格的 SQL 查询。查询 SQL 基于您选择的筛选器。