关于 Openflow Connector for Snowflake to Kafka

备注

使用该连接器需遵守 连接器条款。

本主题介绍 Openflow Connector for Snowflake to Kafka 的基本概念和限制。

连接器使用 Snowflake 流并将使用的 CDC 记录发送到 Kafka 主题。Snowflake 流对象记录对表所做的数据操作语言 (DML) 变更，包括插入、更新和删除，以及有关每项变更的元数据，以便可以使用变更的数据采取操作。此过程称为变更数据获取 (CDC)。

如果您希望实现以下功能，可以使用此连接器：

  • 使用 CDC 将 Snowflake 表复制到 Apache Kafka，用于实时洞察分发及事件驱动架构

工作流程

根据将要接收 CDC 数据的 Kafka 代理的配置，工作流可能会略有不同。

  1. Snowflake 账户管理员执行以下任务：

    1. 创建或识别将成为 CDC 数据源的 Snowflake 流。

    2. 指定连接器使用的仓库。

    3. 配置或识别连接器使用的 Snowflake 用户及该用户的角色。用户必须对源 Snowflake 流具有相应的权限。用户至少需要对包含 Snowflake 流的数据库和架构具有 USAGE 权限，以及对该流和流的基础表或视图对象具有 SELECT 权限。

  2. Kafka 管理员执行以下任务。

    1. 创建或识别一个 Kafka 代理和主题，该代理和主题将成为从 Snowflake 流中捕获的 CDC 的目的地。

    2. 为 Kafka 代理设置身份验证机制，连接器将使用该机制。

  3. 数据工程师执行以下任务：

    1. 安装和配置连接器。

    2. 提供 Snowflake 凭据和配置。

    3. 提供 Kafka 凭据和配置。

    4. 提供连接器参数。

流元数据列

流元数据列 METADATA$ROW_ID、METADATA$ISUPDATE 和 METADATA$ACTION 将发送到 Kafka 主题。这些列的名称在发送到 Kafka 之前会被修改。在发送的 JSON 消息负载中，它们会变成 METADATA_ROW_ID、METADATA_ISUPDATE 和 METADATA_ACTION。

有关更多信息，请参阅 流列。

限制

  • 单个连接器只能从一个 Snowflake 流中捕获 CDCs。

  • 消息在没有架构的情况下发送。

  • 不支持架构演化。

后续步骤

设置 Openflow Connector for Snowflake to Kafka

语言: 中文