Openflow Connector for Kafka¶
备注
使用该连接器需遵守 连接器条款。
本主题介绍 Openflow Connector for Kafka 的基本概念和限制。
Apache Kafka 软件使用发布和订阅模型来写入和读取记录流，类似于消息队列或企业消息传递系统。Kafka 允许进程异步读取和写入消息。订阅者不需要直接连接到发布者；发布者可以在 Kafka 中对消息进行排队，以便订阅者稍后接收。
应用程序将消息发布到主题，并且应用程序订阅主题以接收这些消息。Kafka 可以处理和传输消息；然而，这超出了本文档的范围。可将主题划分为分区以提高可扩展性。
Openflow Connector for Kafka 从 Kafka 主题中读取数据，并使用 Snowpipe Streaming 机制将其写入到 Snowflake 表中。
如果您希望实现以下功能，可以使用此连接器：
将来自 Apache Kafka 的实时事件引入 Snowflake 以进行近乎实时的分析
限制¶
如果未设置
Topic To Table Map参数：表名称必须与其保存的数据主题精确匹配。
表名称必须采用大写格式。
如果设置了
Topic To Table Map参数：表名称必须与映射中指定的表名称相匹配。表名称必须是有效的 Snowflake 无引号标识符。有关有效表名称的信息，请参阅 标识符要求。
仅支持 JSON 和 AVRO 格式。
仅支持 Confluent 架构注册表。
支持 PLAINTEXT、SASL_PLAIN、SSL 和 SASL_SSL 安全协议。
支持 PLAIN、SCRAM-SHA-256、SCRAM-SHA-512 和 AWS_MSK_IAM SASL 机制。
mTLS 和 AWS MSK IAM 身份验证方法需要通过服务进行额外配置。有关更多详细信息，请参阅 为 Openflow Connector for Kafka 配置其他身份验证方法。
如果向表中插入数据失败，连接器将继续无限重试。