自动刷新 Azure Blob 存储的外部表¶

第 1 步：在 Snowflake 中创建云存储集成¶

使用 CREATE STORAGE INTEGRATION 命令创建存储集成。存储集成是一个 Snowflake 对象，它存储为 Azure 云存储生成的服务主体，以及一组可选的允许或阻止的存储位置（即容器）。组织中的云提供商管理员会将存储位置的权限授予生成的服务主体。此选项可让用户在创建暂存区或加载数据时无需提供凭据。

单个存储集成可以支持多个外部（如 Azure）暂存区。暂存区定义中的 URL 必须与为 STORAGE_ALLOWED_LOCATIONS 参数指定的 Azure 容器（和可选路径）一致。

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

其中：

• integration_name 是新集成的名称。

• tenant_id 是允许和阻止的存储账户所属的 Office 365 租户的 ID。存储集成只能对一个租户进行身份验证，因此允许和阻止的存储位置必须引用同属于此租户的存储账户。

  要查找租户 ID，请登录 Azure 门户并点击 Azure Active Directory » Properties。租户 ID 将显示在 Tenant ID 字段中。

• container 是存储数据文件的 Azure 容器的名称（例如 mycontainer）。STORAGE_ALLOWED_LOCATIONS 和 STORAGE_BLOCKED_LOCATIONS 参数分别允许或阻止在创建或修改引用此集成的暂存区时访问这些容器。

• path 是一个可选路径，可用于提供对容器中逻辑目录的精细控制。

以下示例创建一个集成，该集成明确限制使用该集成的外部暂存区只能引用两个容器和路径中的任意一个。在后面的步骤中，我们将创建一个外部暂存区，并引用这些容器和路径之一。使用此集成的多个外部暂存区可以引用受允许的容器和路径：

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

第 2 步：授予 Snowflake 对存储位置的访问权限¶

1. 执行 DESCRIBE INTEGRATION 命令以检索许可 URL：

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   其中：

   • integration_name 是您在 第 1 步：在 Snowflake 中创建云存储集成 中创建的集成的名称。

请注意以下列中的值：

AZURE_CONSENT_URL:

Microsoft 权限请求页面的 URL。

AZURE_MULTI_TENANT_APP_NAME:

为账户创建的 Snowflake 客户端应用程序的名称。在本部分后面的步骤中，需要授予此应用程序所需的权限，使其在受允许的存储位置上获取访问令牌。

1. 在 Web 浏览器中，导航到 AZURE_CONSENT_URL 列中的 URL。该页面显示 Microsoft 权限请求页面。

2. 点击 Accept 按钮。此操作允许向为 Snowflake 账户创建的 Azure 服务主体授予对租户内指定资源的访问令牌。仅当您授予服务主体对容器的适当权限时，才能成功获取访问令牌（请参阅下一步）。

   Microsoft 权限请求页面会重定向到 Snowflake 公司站点 (snowflake.com)。

3. 登录 Microsoft Azure 门户。

4. 导航到 Azure Services » Storage Accounts。点击要授予 Snowflake 服务主体访问权限的存储账户的名称。

5. 点击 Access Control (IAM) » Add role assignment。

6. 选择要授予 Snowflake 服务主体的所需角色：

   • Storage Blob Data Reader 仅授予读取访问权限。此权限允许从存储账户中暂存的文件加载数据。

   • Storage Blob Data Contributor 授予读取和写入访问权限。此权限允许加载存储账户中暂存的文件内的数据，或是将数据卸载到存储账户中暂存的文件。该角色还允许执行 REMOVE 命令来移除存储账户中暂存的文件。

7. 搜索 Snowflake 服务主体。这是 DESC STORAGE INTEGRATION 输出（第 1 步中）中 AZURE_MULTI_TENANT_APP_NAME 属性的身份。在 AZURE_MULTI_TENANT_APP_NAME 属性中搜索下划线 之前 的字符串。

   重要

   • Azure 可能需要一个小时或更长时间才能创建通过此部分中的 Microsoft 请求页面请求的 Snowflake 服务主体。如果服务主体不能立即使用，我们建议等待一两个小时，然后再次搜索。

   • 如果删除服务主体，存储集成将停止工作。

   

8. 点击 Review + assign 按钮。

   备注

   • 根据 Microsoft Azure 文档，角色分配传播至多可能需要五分钟。

   • Snowflake 会将临时凭据缓存一段时间，但不能超过 60 分钟的过期时间。如果您撤消 Snowflake 的访问权限，用户或许也能够从云存储位置列出文件并加载数据，直到缓存过期。

第 1 步：配置事件网格订阅¶

本部分介绍如何使用 Azure CLI 为 Azure 存储事件设置事件网格订阅。有关本部分中描述的步骤的更多信息，请参阅 Azure 文档中的以下文章：

• https://docs.microsoft.com/en-us/azure/event-grid/custom-event-to-queue-storage (https://docs.microsoft.com/en-us/azure/event-grid/custom-event-to-queue-storage)

• https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blob-event-quickstart (https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blob-event-quickstart)

az group create --name <resource_group_name> --location <location>

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

az extension add --name eventgrid

第 2 步：创建通知集成¶

通知集成是一个 Snowflake 对象，在 Snowflake 和第三方云消息队列服务（如 Azure 事件网格）之间提供一个接口。

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

第 3 步：创建暂存区（如果需要）¶

使用 CREATE STAGE 命令创建引用 Azure 容器的外部暂存区。Snowflake 将暂存数据文件读入外部表元数据。或者，您可以使用现有的外部暂存区。

以下示例会在活动架构中为用户会话创建一个名为 mystage 的暂存区。云存储 URL 包括路径 files。该暂存区引用名为 my_storage_int 的存储集成。

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/files/'
  STORAGE_INTEGRATION = my_storage_int;

Copy

第 4 步：创建外部表¶

使用 CREATE EXTERNAL TABLE 命令创建外部表。

例如，在 mydb.public 架构中创建一个外部表，该表从 mystage 暂存区（具有 path1/ 路径）中暂存的文件读取 JSON 数据。

INTEGRATION 参数引用您在 第 2 步：创建通知集成 中创建的 my_notification_int 通知集成。集成名称必须全部大写。

请注意，提供通知集成时，默认情况下 AUTO_REFRESH 参数为 TRUE。如果没有通知集成，则 AUTO_REFRESH 始终为 FALSE。

CREATE OR REPLACE EXTERNAL TABLE ext_table
 INTEGRATION = 'MY_NOTIFICATION_INT'
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON);

具有自动刷新功能的外部暂存区现已配置完毕！

将新的或更新的数据文件添加到 Azure 容器时，事件通知会通知 Snowflake 将它们扫描到外部表元数据中。

第 5 步：手动刷新外部表元数据¶

使用带有 REFRESH 参数的 ALTER EXTERNAL TABLE 手动刷新一次外部表元数据，例如：

ALTER EXTERNAL TABLE ext_table REFRESH;

+---------------------------------------------+----------------+-------------------------------+
| file                                        | status         | description                   |
|---------------------------------------------+----------------+-------------------------------|
| files/path1/file1.json                      | REGISTERED_NEW | File registered successfully. |
| files/path1/file2.json                      | REGISTERED_NEW | File registered successfully. |
| files/path1/file3.json                      | REGISTERED_NEW | File registered successfully. |
+---------------------------------------------+----------------+-------------------------------+

Copy

此步骤将元数据与暂存区中的文件列表和外部表定义中的路径进行同步。此外，此步骤确保外部表可以读取指定暂存区和路径中的数据文件，并且外部表定义中没有缺失任何文件。

如果 file 列中的文件列表不符合您的期望，请验证外部表定义和外部暂存区定义中的路径。外部表定义中的任何路径都会追加到暂存区定义中指定的任何路径。有关更多信息，请参阅 CREATE EXTERNAL TABLE。

此步骤确保元数据与自第 4 步以来发生的文件列表的任何变更同步。此后，事件网格通知会自动触发元数据刷新。

第 6 步：配置安全性¶

对于将用于查询外部表的每个附加角色，请使用 GRANT <privileges> 授予对各种对象（即数据库、架构、暂存区和表）的足够的访问控制权限：