使用复制历史记录监控数据加载活动

您可以使用 Snowsight 或 SQL 监控账户中所有表或特定表的数据加载活动。

使用复制历史记录监控账户的数据加载情况

使用 Snowsight 中的 Copy History 页面或 SNOWFLAKE 数据库 ACCOUNT_USAGE 架构中的 COPY_HISTORY 视图 可查看过去 365 天内账户中所有表的数据加载活动。

账户级数据加载活动的延迟时间最多 2 小时,其中包括使用 COPY INTO 语句执行的批量数据加载、使用管道执行的连续数据加载,以及通过 Web 界面加载的文件。

先决条件

  • 您必须使用可访问 SNOWFLAKE 数据库的角色。请参阅 为其他角色启用 SNOWFLAKE 数据库使用

  • 在 Snowsight 中查看 Copy History 页面或查询 SNOWFLAKE 数据库需要一个仓库。如果为用户简介设置了默认仓库,Snowsight 将使用该仓库。您可以随时切换仓库。

查看账户级复制历史记录

备注

您必须使用可访问 SNOWFLAKE 数据库的角色。请参阅 为其他角色启用 SNOWFLAKE 数据库使用

  1. 登录 Snowsight。

  2. 选择 Monitoring » Copy History

Copies Over Time 图表提供了给定时间段内数据加载的可视化效果。默认情况下,图表显示 7 天的历史记录,图表上的每一条代表一天。

在图表上选择一个条形图,按该日期筛选 Copies 表。

有关数据加载活动的更多详情,可查看 Copies 表。该表包括以下信息:

  • File Name 显示已加载文件的名称。

  • Loaded 显示加载数据时的本地时区时间戳。

  • Status 显示数据加载的状态。您可以将鼠标悬停在状态为 Failed 的数据加载上,查看错误详情。

  • Database 显示已将数据加载到的数据库。

  • Schema 显示已将数据加载到的架构。

  • Table 显示已将数据加载到的表。

  • Pipe 显示用于加载数据的管道(如适用)。

  • Size 显示已加载数据的大小,舍入到最接近的小数点,单位为 KB、MB、GB 或 TB。例如,如果加载 45800 字节,其大小将显示为 45.8KB。

  • Rows 显示已加载的行数,舍入到最接近的小数点,单位为千、百万等。例如,如果加载 2000 行数据,则行数显示为 2K。

  • Location 显示加载数据的位置链接。例如,添加为外部暂存区的 AWS S3 桶的链接,或内部命名暂存区的链接。将鼠标悬停在链接上可查看暂存区名称,或选择链接以复制暂存区路径。

要更轻松地识别特定数据加载活动,可以在 Copy History 页面中进行搜索和筛选。

您可以按以下内容进行筛选:

  • 时间范围,最长 365 天(1 年)

  • 数据加载活动的状态,如 All (默认)、In progressLoadedFailedPartially loadedSkipped

  • 数据的位置:

    • 数据库

    • 架构

    • 管道

您还可以搜索 Copies 表中的列值,以了解特定的数据加载活动。

选择 在工作表中打开基础 SQL 查询 (Open underlying SQL query in worksheet) 打开一个工作表,其中包含用于填充表格的 SQL 查询。查询 SQL 基于您选择的筛选器。

Copies 表中选择特定数据加载活动时,Snowsight 会打开表级 Copy History。请参阅 使用复制历史记录监控表的数据加载情况。由于延迟降低,您可能会在该表中看到较新的结果,但您只能查看 14 天的活动。

使用复制历史记录监控表的数据加载情况

使用 Snowsight 中表的 Copy History 详情或 COPY_HISTORY 表函数,可查看数据库中特定表在过去 14 天内的数据加载活动。

表级数据加载活动的延迟非常低,其中包括使用 COPY INTO 语句执行的批量数据加载、使用管道执行的连续数据加载,以及通过 Web 界面加载的文件。

先决条件

您必须使用具备以下条件之一的角色:

  • 对您的 Snowflake 账户具有 MONITOR 权限。

  • 对包含表的数据库和架构具有 USAGE 权限,且对表具有任何权限。

如果使用的角色对管道没有 MONITOR 权限,则管道详细信息将被掩盖,显示为 NULL。

在 Snowsight 中查看数据库的 Copy History 详情或运行表函数需要一个仓库。如果为用户简介设置了默认仓库,Snowsight 将使用该仓库。您可以随时切换仓库。

查看表级复制历史记录

要查看表的复制历史记录,请找到并打开要查看活动的表:

  1. 登录 Snowsight。

  2. 选择 Data » Databases

  3. 找到并选择带有要查看其活动的表的数据库。

  4. 选择带有要查看其活动的表的架构。

  5. 选择 Tables,然后选择相应表。

  6. 在表详情中,选择 Copy History 选项卡。

Copies Over Time 图表提供了给定时间段内数据加载的可视化效果。默认情况下,图表显示 7 天的历史记录,图表上的每一条代表一天。

在图表上选择一个条形图,按该日期筛选 Copies 表。

您可以按以下内容进行筛选:

  • 时间范围,最长 14 天。

  • 数据加载活动的状态,如 All (默认)、In progressLoadedFailedPartially loadedSkipped

  • 用于加载数据的管道。

您还可以搜索 Copies 表中的列值,以了解特定的数据加载活动。

选择 在工作表中打开基础 SQL 查询 (Open underlying SQL query in worksheet) 打开一个工作表,其中包含用于填充表格的 SQL 查询。查询 SQL 基于您选择的筛选器。

语言: 中文