从云存储加载数据：GCS¶

简介¶

本教程向您展示如何使用 SQL 将数据从云存储加载到 Snowflake 中。您将在 Snowsight 中使用模板工作表以完成这些任务。您可以选择要使用的云提供商：AWS S3、Microsoft Azure 或 Google Cloud Storage (GCS)。该工作表包含自定义的 SQL 命令，用于与每种存储类型兼容。

先决条件¶

本教程假定满足以下条件：

• 您拥有 支持的浏览器。

• 您拥有试用账户。如果您还没有试用账户，可以注册一个 免费试用账户 (https://signup.snowflake.com/)。您可以选择任意 Snowflake 云区域。

• 您有一个账户，可用来从以下云提供商之一批量加载数据：

  • AWS S3。请参阅 从 Amazon S3 批量加载。

  • Microsoft Azure。请参阅 从 Microsoft Azure 批量加载。

  • Google Cloud Storage。请参阅 从 Google Cloud Storage 批量加载。

第 1 步：使用 Snowsight 登录¶

要通过公共互联网访问 Snowsight，请执行以下操作：

1. 在支持的 Web 浏览器中，导航至 https://app.snowflake.cn。

2. 提供 账户标识符 或账户 URL。如果您之前登录过 Snowsight，可能会看到一个可以选择的账户名称。

3. 使用 Snowflake 账户凭据登录。

第 2 步：打开 Load data from cloud storage 工作表¶

您可以使用工作表来编写和运行数据库上的 SQL 命令。您的试用账户有权访问本教程的模板工作表。该工作表具有 SQL 命令，可运行以创建数据库对象、加载数据和查询数据。因为它是一个模板工作表，所以系统将邀请您为特定的 SQL 参数输入自己的值。有关工作表的更多信息，请参阅 工作表入门。

本教程的工作表未预加载到试用账户中。要打开本教程的工作表，请执行以下操作：

1. 如果您是首次登录到 Snowsight 试用账户，请在 Where do you want to start? 屏幕上的 Load data into Snowflake 下选择 Start。

   如果您已离开 Where do you want to start? 屏幕，请转到 Worksheets 选项卡，然后选择横幅中的 Continue。

2. 在中间名为 Load data from cloud storage 的面板上点击任意位置。

   [Template] Load data from cloud storage worksheet 会打开，您的浏览器显示的内容与下图类似。

第 3 步：设置要使用的角色和仓库¶

您使用的角色决定了您拥有的权限。在本教程中，使用 ACCOUNTADMIN 系统角色，以便您查看和管理账户中的对象。有关更多信息，请参阅 使用 ACCOUNTADMIN 角色。

仓库提供创建和管理对象以及运行 SQL 命令所需的资源。这些资源包括 CPU、内存和临时存储。您的试用账户拥有一个虚拟仓库 (compute_wh)，可用于本教程。有关更多信息，请参阅 虚拟仓库。

要设置要使用的角色和仓库，请执行以下操作：

1. 在打开的工作表中，将光标置于 USE ROLE 行。

   USE ROLE accountadmin;
   

   Copy

2. 在工作表的右上角，选择 Run。

   备注

   在本教程中，每次运行一个 SQL 语句。不要选择 Run All。

3. 将光标置于 USE WAREHOUSE 行，然后选择 Run。

   USE WAREHOUSE compute_wh;
   

   Copy

第 4 步：创建数据库、架构和表¶

数据库是数据的存储库。数据存储在您可以管理和查询的表中。架构是数据库对象（如表和视图）的逻辑分组。例如，架构可能包含特定应用程序所需的数据库对象。有关更多信息，请参阅 数据库、表和视图 – 概览。

要创建数据库、架构和表，请执行以下操作：

1. 在打开的工作表中，将光标置于 CREATE OR REPLACE DATABASE 行，输入数据库的名称和可选的注释，然后选择 Run。例如：

   CREATE OR REPLACE DATABASE cloud_data_db
     COMMENT = 'Database for loading cloud data';
   

   Copy

2. 将光标置于 CREATE OR REPLACE SCHEMA 行，输入架构的名称和可选的注释，然后选择 Run。例如：

   CREATE OR REPLACE SCHEMA cloud_data_db.gcs_data
     COMMENT = 'Schema for tables loaded from GCS';
   

   Copy

3. 将光标置于 CREATE OR REPLACE TABLE 行，完成表定义，添加可选注释，然后选择 Run。例如，下表包含六个列：

   CREATE OR REPLACE TABLE cloud_data_db.gcs_data.calendar
     (
     full_date DATE,
     day_name VARCHAR(10),
     month_name VARCHAR(10),
     day_number VARCHAR(2),
     full_year VARCHAR(4),
     holiday BOOLEAN
     )
     COMMENT = 'Table to be loaded from GCS calendar data file';
   

   Copy

4. 要确认表已成功创建，请将光标置于 SELECT 行，然后选择 Run。

   SELECT * FROM cloud_data_db.gcs_data.calendar;
   

   Copy

   输出将显示您创建的表的列。目前，该表中没有任何行。

第 5 步：创建存储集成¶

在您可以从云存储加载数据之前，您必须配置特定于您的云提供商的存储集成。以下示例特定于 GCS。

存储集成是命名的一类 Snowflake 对象，无需传递显式云提供商凭据，例如密钥或访问令牌；相反，集成对象会引用 GCS 服务账户。

要为 GCS 创建存储集成，请执行以下操作：

1. 在打开的工作表中，将光标置于 CREATE OR REPLACE STORAGE INTEGRATION 行，定义所需的参数，然后选择 Run。例如：

   CREATE OR REPLACE STORAGE INTEGRATION gcs_data_integration
     TYPE = EXTERNAL_STAGE
     STORAGE_PROVIDER = 'GCS'
     ENABLED = TRUE
     STORAGE_ALLOWED_LOCATIONS = ('gcs://tutorial24bucket/gcsdata/');
   

   Copy

2. 将光标置于 DESCRIBE INTEGRATION 行，指定您创建的存储集成的名称，然后选择 Run。此命令会返回有关您创建的存储集成的信息，包括为您的 Snowflake 账户自动创建的服务账户 ID (STORAGE_GCP_SERVICE_ACCOUNT)。您将使用此值在 GCS 控制台中中配置 Snowflake 的权限。

   DESCRIBE INTEGRATION gcs_data_integration;
   

   Copy

   此命令的输出类似于以下内容：

   

3. 将光标置于 SHOW INTEGRATIONS 行并选择 Run。

   SHOW INTEGRATIONS;
   

   Copy

   此命令的输出类似于以下内容：

   

4. 使用 GCS 控制台，用于配置通过您的 Cloud Storage Service 账户访问存储桶的权限。遵照 配置 Google Cloud Storage 集成 下的第 3 步操作。

第 6 步：创建暂存区¶

暂存区是保存要加载到 Snowflake 数据库的数据文件的位置。本教程会创建一个暂存区，该暂存区可以从特定类型的云存储（例如 GCS 桶）加载数据。

要创建暂存区，请执行以下操作：

1. 在打开的工作表中，将光标置于 CREATE OR REPLACE STAGE 行，指定名称、您创建的存储集成、桶 URL、正确的文件格式，然后选择 Run。例如：

   CREATE OR REPLACE STAGE cloud_data_db.gcs_data.gcsdata_stage
     STORAGE_INTEGRATION = gcs_data_integration
     URL = 'gcs://tutorial24bucket/gcsdata/'
     FILE_FORMAT = (TYPE = CSV);
   

   Copy

2. 返回有关您创建的暂存区的信息：

   SHOW STAGES;
   

   Copy

   此命令的输出类似于以下内容：

   

第 7 步：从暂存区加载数据¶

使用 COPY INTO <table> 命令从您创建的暂存区加载表。有关从 GCS 桶加载的详细信息，请参阅 从 Google Cloud Storage 暂存区复制数据。

要将数据加载到表中，请将光标放在 COPY INTO 行，指定表名称、创建的阶段以及要加载的文件（或文件）的名称，然后选择 Run。例如：

COPY INTO cloud_data_db.gcs_data.calendar
  FROM @cloud_data_db.gcs_data.gcsdata_stage
    FILES = ('calendar.txt');

Copy

您的输出看起来类似于下图。

第 8 步：查询表¶

现在数据已加载，您可以在 calendar 表上运行查询了。

要在打开的工作表中运行查询，请选择 SELECT 命令的一行或多行，然后选择 Run。例如，运行以下查询：

SELECT * FROM cloud_data_db.gcs_data.calendar;

您的输出看起来类似于下图。

第 9 步：清理、总结和其他资源¶

恭喜！您已成功完成此试用账户教程。

请花几分钟时间查看简短的总结和教程中涵盖的要点。您可能还需要考虑删除在教程中创建的任何对象进行清理。通过查看 Snowflake 文档中的其他主题了解更多信息。