从 Amazon S3 批量加载

如果您已经拥有 Amazon Web Services (AWS) 账户,并且使用 S3 桶来存储和管理数据文件,则可以使用现有的桶和文件夹路径将数据批量加载到 Snowflake 中。这组主题介绍如何使用 COPY 命令将 S3 桶中的数据批量加载到表中。

如下图所示,要从 S3 桶中加载数据,分两步执行:

第 1 步:

Snowflake 假定数据文件已暂存在 S3 桶中。如果尚未暂存,请使用 AWS 提供的上传界面/实用程序来暂存文件。

第 2 步:

使用 COPY INTO <table> 命令将暂存文件的内容加载到 Snowflake 数据库表中。您可以直接从桶中加载,但 Snowflake 建议创建一个引用该桶的外部暂存区,然后使用外部暂存区。

无论您使用哪种方法,如果您手动或在脚本中执行命令,此步骤都需要运行一个当前虚拟仓库的会话。仓库提供计算资源,以执行将行实际插入到表中的操作。

数据加载概述

备注

Snowflake 在其每个 Amazon Virtual Private Cloud 中使用 Amazon S3 网关端点。

如果外部暂存区引用的 S3 桶与 Snowflake 账户位于同一区域,则网络流量不会穿过公共互联网。Amazon S3 网关端点可确保区域流量留在 AWS 网络内。

小技巧

这组主题中的说明假设您已阅读 准备加载数据,并已按需创建命名的文件格式。

在开始之前,您可能还需要阅读 数据加载注意事项 获取最佳实践、提示和其他指导。

后续主题:

语言: 中文