关于 Openflow Connector for Kinesis Data Streams

备注

This connector is subject to the Snowflake Connector Terms.

本主题介绍 Openflow Connector for Kinesis Data Streams 的基本概念、工作流程和限制。

您可以使用 Amazon Kinesis Data Streams (https://docs.aws.amazon.com/streams/latest/dev/introduction.html) 实时收集和处理大量数据流记录。制作者持续不断地将数据推送到 Kinesis Data Streams，而使用者则实时处理这些数据。

Kinesis 数据流由一组 分片 (https://docs.aws.amazon.com/streams/latest/dev/key-concepts.html#shard) 组成。每个分片都有一系列数据记录。数据记录是存储在 Kinesis 数据流中的数据单位。数据记录由序列号、分区键和数据 blob 组成，数据 blob 是一段不可变的字节序列。

The Openflow Connector for Kinesis Data Streams reads data from a Kinesis data stream and writes it to a Snowflake table using Snowpipe Streaming.

如果您希望实现以下功能，可以使用此连接器：

  • 将来自 Amazon Kinesis Data Streams 的实时事件引入 Snowflake，实现近实时分析

工作流程

  1. AWS 管理员 执行以下任务：

    1. 为连接器创建凭证，以连接 Kinesis Stream 及其关联的 DynamoDB。

    2. 设置包含 KCL 使用者应用程序 <https://docs.aws.amazon.com/streams/latest/dev/kcl-iam-permissions.html (https://docs.aws.amazon.com/streams/latest/dev/kcl-iam-permissions.html)>`_ 所需的 `IAM 权限中所列权限的 IAM 策略。

    3. 记录流名称和应用程序名称，并将其提供给您的 Snowflake 账户管理员。在运行时中设置连接器时，这些是必需的。

  2. Snowflake 账户管理员 执行以下任务：

    1. 安装连接器。

    2. 按如下方式配置连接器：

      1. 提供 AWS 和 Snowflake 凭据和设置。

      2. 提供 Kinesis 流名称。

      3. 在 Snowflake 账户中设置数据库和架构名称。

      4. 自定义其他参数。

    3. 在 Openflow 画布中运行连接器。执行后，连接器将执行以下操作：

      1. 创建用于存储 Kinesis Stream 检查点的 DynamoDB 表。

      2. 提取流数据。

      3. 如果至少从流中接收到一条记录，则在 Snowflake 数据库中创建已配置的目标表。

      4. 将处理后的数据加载到指定的 Snowflake 表中。

  3. 业务用户 可以对从 Kinesis 下载到目标表的数据执行操作。

限制

  • 仅支持单个流。

  • Enhanced fan-out mode is always enabled.

  • If a manually created table is used:

    • A table name must precisely match the stream of the data it holds.

    • A table name must be in uppercase format.

  • Only JSON message format is supported.

  • Only Amazon Access Key IAM authentication is supported.

  • Failed messages are logged to the Snowflake logs and not routed to a DLQ stream.

后续步骤

Set up Openflow Connector for Kinesis Data Streams for JSON data format

语言: 中文