设置 Openflow Connector for Google Sheets¶

先决条件¶

1. 确保您已查看 关于 Openflow Connector for Google Sheets。

2. 确保您已 设置 Openflow。

获取凭据¶

作为 Google Cloud 管理员，请执行以下任务：

1. 确保您具备以下条件：

   • 拥有 超级管理员权限 (https://support.google.com/a/answer/2405986?hl) 的 Google 用户

   • Google Cloud 项目 (https://developers.google.com/workspace/guides/create-project)，并授予以下角色权限：

     • 组织策略管理员 (https://cloud.google.com/iam/docs/understanding-roles#orgpolicy.policyAdmin)

     • 组织管理员 (https://cloud.google.com/iam/docs/understanding-roles#resourcemanager.organizationAdmin)

2. 启用服务账户密钥创建。默认情况下，Google 会禁用服务账户密钥的创建。要让 Snowflake Openflow 使用服务账户 JSON，必须关闭该密钥创建策略。要启用服务账户密钥创建，请执行以下任务：

   1. 使用具有组织策略管理员角色的超级管理员账户登录 Google Cloud Console (https://console.cloud.google.com/)。

   2. 确保您所在的项目是与您的组织关联的项目，而不是组织中的项目。

   3. 选择 Organization Policies。

   4. 选择 Disable service account key creation 策略。

   5. 选择 Manage Policy 并关闭强制执行。

   6. 选择 Set Policy。

3. 创建服务账户和密钥 (https://developers.google.com/workspace/guides/create-credentials#service-account)。

4. 将 Google Sheets 表格共享给服务账户电子邮件地址。该电子邮件地址可在服务账户 JSON 文件的 client_email 字段下找到。将共享权限设置为 Viewer。

设置 Snowflake 账户¶

作为 Snowflake 账户管理员，请执行以下任务：

1. 创建新角色或使用现有角色并授予 数据库权限。

2. 创建类型为 SERVICE 的新 Snowflake 服务用户。

3. 向该 Snowflake 服务用户授予您在前面步骤中创建的角色。

4. 为第 2 步中创建的 Snowflake SERVICE 用户配置 密钥对身份验证。

5. Snowflake 强烈建议执行此步骤。配置 Openflow 支持的密钥管理器（例如 AWS、Azure 和 Hashicorp），并将公钥和私钥存储在密钥存储库中。

   备注

   如果您出于任何原因不希望使用密钥管理器，则您有责任根据组织的安全策略保护用于密钥对身份验证的公钥和私钥文件。

   1. 配置密钥管理器后，确定如何对其进行身份验证。在 AWS 中，建议您使用与 Openflow 关联的 EC2 实例角色，因为这样就无需保留其他密钥。

   2. 在 Openflow 中，从右上角的汉堡菜单中配置与此密钥管理器关联的参数提供商。导航到 Controller Settings » Parameter Provider，然后提取您的参数值。

   3. 此时，可以使用关联的参数路径引用所有凭据，无需在 Openflow 中保留敏感值。

6. 如果任何其他 Snowflake 用户需要访问连接器引入的原始文档和表（例如，在 Snowflake 中进行自定义处理），则授予这些用户在步骤 1 中创建的角色。

7. 指定一个仓库供连接器使用。从最小的仓库规模开始，然后根据要复制的表数量和传输的数据量来测试规模。相较于扩大仓库规模，采用 多集群仓库 通常能更有效地应对海量表数量的扩展需求。

设置连接器¶

作为数据工程师，执行以下任务以安装和配置连接器：

运行流¶

1. 右键点击“飞机”图标并选择 Enable all Controller Services。

2. 右键点击导入的进程组并选择 Start。连接器开始数据引入。