配置 Azure 容器以加载数据¶

第 1 步：在 Snowflake 中创建云存储集成¶

使用 CREATE STORAGE INTEGRATION 命令创建存储集成。存储集成是一个 Snowflake 对象，它存储为 Azure 云存储生成的服务主体，以及一组可选的允许或阻止的存储位置（即容器）。组织中的云提供商管理员会将存储位置的权限授予生成的服务主体。此选项可让用户在创建暂存区或加载数据时无需提供凭据。

单个存储集成可以支持多个外部（如 Azure）暂存区。暂存区定义中的 URL 必须与为 STORAGE_ALLOWED_LOCATIONS 参数指定的 Azure 容器（和可选路径）一致。

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

其中：

• integration_name 是新集成的名称。

• tenant_id 是允许和阻止的存储账户所属的 Office 365 租户的 ID。存储集成只能对一个租户进行身份验证，因此允许和阻止的存储位置必须引用同属于此租户的存储账户。

  To find your tenant ID, sign in to the Azure portal and click Azure Active Directory » Properties. The tenant ID is displayed in the Tenant ID field.

• container 是存储数据文件的 Azure 容器的名称（例如，mycontainer）。STORAGE_ALLOWED_LOCATIONS 和 STORAGE_BLOCKED_LOCATIONS 参数分别允许或阻止在创建或修改引用此集成的暂存区时访问这些容器。

• path 是一个可选路径，可用于提供对容器中逻辑目录的精细控制。

以下示例创建一个集成，该集成明确限制使用该集成的外部暂存区只能引用两个容器和路径中的任意一个。在后面的步骤中，我们将创建一个外部暂存区，并引用这些容器和路径之一。使用此集成的多个外部暂存区可以引用受允许的容器和路径：

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

第 2 步：授予 Snowflake 对存储位置的访问权限¶

1. 执行 DESCRIBE INTEGRATION 命令以检索许可 URL：

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   其中：

   • integration_name 是您在 第 1 步：在 Snowflake 中创建云存储集成 中创建的集成的名称。

   请注意以下列中的值：

   AZURE_CONSENT_URL:

   Microsoft 权限请求页面的 URL。

   AZURE_MULTI_TENANT_APP_NAME:

   为账户创建的 Snowflake 客户端应用程序的名称。在本部分后面的步骤中，需要授予此应用程序所需的权限，使其在受允许的存储位置上获取访问令牌。

2. 在 Web 浏览器中，导航到 AZURE_CONSENT_URL 列中的 URL。该页面显示 Microsoft 权限请求页面。

3. 点击 Accept 按钮。此操作允许向为 Snowflake 账户创建的 Azure 服务主体授予对租户内指定资源的访问令牌。仅当您授予服务主体对容器的适当权限时，才能成功获取访问令牌（请参阅下一步）。

   Microsoft 权限请求页面会重定向到 Snowflake 公司站点 (snowflake.com)。

4. 登录 Microsoft Azure 门户。

5. Navigate to Azure Services » Storage Accounts. Click the name of the storage account you are granting the Snowflake service principal access to.

6. Click Access Control (IAM) » Add role assignment.

7. 选择要授予 Snowflake 服务主体的所需角色：

   • Storage Blob Data Reader 仅授予读取访问权限。此权限允许从存储账户中暂存的文件加载数据。

   • Storage Blob Data Contributor 授予读取和写入访问权限。此权限允许加载存储账户中暂存的文件内的数据，或是将数据卸载到存储账户中暂存的文件。该角色还允许执行 REMOVE 命令来移除存储账户中暂存的文件。

8. 搜索 Snowflake 服务主体。这是 DESC STORAGE INTEGRATION 输出（第 1 步中）中 AZURE_MULTI_TENANT_APP_NAME 属性的身份。在 AZURE_MULTI_TENANT_APP_NAME 属性中搜索下划线 之前 的字符串。

   重要

   • Azure 可能需要一个小时或更长时间才能创建通过此部分中的 Microsoft 请求页面请求的 Snowflake 服务主体。如果服务主体不能立即使用，我们建议等待一两个小时，然后再次搜索。

   • 如果删除服务主体，存储集成将停止工作。

   

9. 点击 Review + assign 按钮。

   备注

   • 根据 Microsoft Azure 文档，角色分配传播至多可能需要五分钟。

   • Snowflake 会将临时凭据缓存一段时间，但不能超过 60 分钟的过期时间。如果您撤消 Snowflake 的访问权限，用户或许也能够从云存储位置列出文件并加载数据，直到缓存过期。

第 3 步：创建外部暂存区¶

创建外部 (Azure) 暂存区，该暂存区引用您在 第 1 步：在 Snowflake 中创建云存储集成 （本主题内容）中创建的存储集成。

使用 CREATE STAGE 命令创建暂存区。

例如，设置 mydb.public 作为用户会话的当前数据库和架构，然后创建一个名为 my_azure_stage 的暂存区。在此示例中，暂存区引用由集成提供支持的 Azure 容器和路径 mycontainer1/path1。暂存区还引用名为 my_csv_format 的指定文件格式对象：

USE SCHEMA mydb.public;

CREATE STAGE my_azure_stage
  STORAGE_INTEGRATION = azure_int
  URL = 'azure://myaccount.blob.core.windows.net/container1/path1'
  FILE_FORMAT = my_csv_format;

Copy

第 1 步：生成 SAS 令牌¶

以下分步说明介绍如何生成 SAS 令牌，以授予 Snowflake 对存储账户中对象的受限访问权限：

1. 登录 Azure 门户。

2. From the home dashboard, choose Storage Accounts » <storage_account>. Under Security + networking, choose Shared access signature.

   

3. 选择以下 允许的服务：

   • Blob

4. 选择以下 允许的资源类型：

   • Container （列出存储账户中的对象时需要）

   • Object （从存储账户读取对象/向存储账户写入对象时需要）

5. 选择以下允许的权限，以从 Azure 资源加载数据文件：

   • 读取

   • 列表

   如果计划将文件卸载到容器，则还需要 Write、 Add 和 Create 权限。此外，要使用 PURGE = TRUE 选项，需要 Permanent Delete 权限。

6. 指定 SAS 令牌的开始和到期日期/时间。可在常规安全计划中安排定期生成不同的 SAS 令牌。

7. 将 Allowed IP addresses 字段留空，并在 Allowed protocols 下指定 HTTPS only 或 HTTPS and HTTP。

   

8. 点击 Generate SAS and connection string 按钮。在 SAS token 字段记录完整值，以 ? 开头，并包含此字符。这是您的 SAS 令牌。您将在创建外部暂存区时指定此令牌。

第 2 步：创建外部暂存区¶

创建一个外部 (Azure) 暂存区，引用 第 1 步：生成 SAS 令牌 （本主题内容）中生成的 SAS 令牌。

以下示例试用 SQL 创建名为 my_azure_stage 的外部暂存区，其中包含 Azure 凭据和 主加密密钥 (https://csrc.nist.gov/glossary/term/master_key)。暂存区 URL 引用 Azure myaccount 账户。数据文件存储在 /load/files 容器和 mycontainer 路径中。该暂存区引用名为 my_csv_format 的指定文件格式对象：请注意，该示例截断了 MASTER_KEY 值：

CREATE OR REPLACE STAGE my_azure_stage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/load/files'
  CREDENTIALS=(AZURE_SAS_TOKEN='?sv=2016-05-31&ss=b&srt=sco&sp=rwdl&se=2018-06-27T10:05:50Z&st=2017-06-27T02:05:50Z&spr=https,http&sig=bgqQwoXwxzuD2GJfagRg7VOS8hzNr3QLT7rhS8OFRLQ%3D')
  ENCRYPTION=(TYPE='AZURE_CSE' MASTER_KEY = 'kPx...')
  FILE_FORMAT = my_csv_format;

Copy

请注意，本示例中使用的 AZURE_SAS_TOKEN 和 MASTER_KEY 的值仅用于说明目的。