设置 Openflow Connector for Snowflake to Kafka¶

先决条件¶

1. 确保您已查看 关于 Openflow Connector for Snowflake to Kafka。

2. Ensure that you have 设置 Openflow - BYOC or 设置 Openflow - Snowflake 部署 - 任务概述.

3. 创建 Snowflake 流，用于查询变更信息。

4. 创建 Kafka 主题，用于接收来自 Snowflake 流的 CDC 消息。

设置 Snowflake 账户¶

作为 Snowflake 账户管理员，请执行以下任务：

1. 创建连接器用于读取 CDC 事件的数据库、源表和流对象。例如：

   create database stream_db;
   use database stream_db;
   create table stream_source (user_id varchar, data varchar);
   create stream stream_on_table on table stream_source;
   

   Copy

2. 创建新角色或使用现有角色，并为流和流的源对象授予 SELECT 权限。连接器还需要对包含流和流的源对象的数据库和架构具有 USAGE 权限。例如：

   create role stream_reader;
   grant usage on database stream_db to role stream_reader;
   grant usage on schema stream_db.public to role stream_reader;
   grant select on stream_source to role stream_reader;
   grant select on stream_on_table to role stream_reader;
   

   Copy

3. 创建类型为 SERVICE 的新 Snowflake 服务用户。例如：

   create user stream_user type = service;
   

   Copy

4. 向该 Snowflake 服务用户授予您在前面步骤中创建的角色。例如：

   grant role stream_reader to user stream_user;
   

   Copy

5. 为第 3 步中的 Snowflake SERVICE 用户配置 密钥对认证。

6. Snowflake 强烈建议执行此步骤。配置 Openflow 支持的密钥管理器（例如 AWS、Azure 和 Hashicorp），并将公钥和私钥存储在密钥存储库中。但是，请注意，第 4 步中生成的私钥可以直接用作连接器配置的配置参数。在这种情况下，私钥存储在 Openflow 运行时配置中。

   备注

   如果您出于任何原因不希望使用密钥管理器，则您有责任根据组织的安全策略保护用于密钥对身份验证的公钥和私钥文件。

   1. 配置密钥管理器后，确定如何对其进行身份验证。在 AWS 中，建议您使用与 Openflow 关联的 EC2 实例角色，因为这样就无需保留其他密钥。

   2. In Openflow, configure a Parameter Provider associated with this Secrets Manager, from the hamburger menu in the upper right. Navigate to Controller Settings » Parameter Provider and then fetch your parameter values.

   3. 此时，可以使用关联的参数路径引用所有凭据，无需在 Openflow 中保留敏感值。

7. 指定一个仓库供连接器使用。一个连接器可以将单个表复制到单个 Kafka 主题。对于这种处理，您可以选择最小的仓库。

设置连接器¶

作为数据工程师，执行以下任务以安装和配置连接器：

1. 导航到 Openflow“Overview”页面。在 Featured connectors 部分中，选择 View more connectors。

2. 在 Openflow 连接器页面上，根据连接器应与哪种 Kafka 代理实例进行通信，查找并选择连接器。

   • mTLS 版本：如果您在使用 SSL（相互 TLS）安全协议，或者如果您在使用 SASL_SSL 协议并连接到使用自签名证书的代理，请选择此连接器。

   • SASL 版本：如果您在使用任何其他安全协议，请选择此连接器

3. 选择 Add to runtime。

4. 在 Select runtime 对话框中，从 Available runtimes 下拉列表中选择您的运行时。

5. 选择 Add。

6. 使用您的 Snowflake 账户凭据对部署进行身份验证，并在系统提示时选择 Allow，以允许运行时应用程序访问您的 Snowflake 账户。连接器安装过程需要几分钟才能完成。

7. 使用您的 Snowflake 账户凭据进行运行时身份验证。

   此时将显示 Openflow 画布，其中添加了连接器进程组。

8. 右键点击导入的进程组并选择 Parameters。

9. 按照 流参数 中所述填充所需的参数值。

运行流¶

1. 右键点击“飞机”图标并选择 Enable all Controller Services。

2. 右键点击导入的进程组并选择 Start。连接器开始数据引入。