ConsumeGCPubSub 2025.5.31.15

捆绑包

org.apache.nifi | nifi-gcp-nar

描述

使用来自已配置的 Google Cloud PubSub 订阅的消息。“批处理大小”属性指定了在单个请求中从订阅中提取的最大消息数。“处理策略”属性指定每条消息是否应为其自己的 FlowFile 还是应将消息分组为单个 FlowFile。如果格式允许,使用分隔符策略将提供最佳吞吐量。使用记录可以转换数据格式以及执行架构。使用该 FlowFile 策略将为每条消息生成一个 FlowFile,并将消息的属性作为 FlowFile 属性。

标签

consume、gcp、google、google-cloud、message、pubsub

输入要求

FORBIDDEN

支持敏感的动态属性

false

属性

属性

描述

GCP 凭据提供商服务

用于获取 Google Cloud Platform 凭据的控制器服务。

消息分隔符

由于 PubSub 客户端批量接收消息,因此该处理器可以选择在单个批次中输出包含所有消息的 FlowFileswhich。此属性允许您提供一个字符串(解释为 UTF–8),用于划分多条消息。要输入特殊字符,例如“new line”,请使用“CTRL+Enter”或“Shift+Enter”,具体视 OS 而定。

输出策略

用于将 Kafka 记录输出到 FlowFile 记录的格式。

处理策略

处理 PubSub 记录和将序列化输出写入 FlowFiles 的策略

记录读取器

用于传入消息的记录读取器

记录写入器

用于序列化传出 FlowFiles 的记录写入器

api-endpoint

以 [host:port] 的形式替换 gRPC 端点

gcp-project-id

Google Cloud 项目 ID

gcp-pubsub-publish-batch-size

表示云服务应批量捆绑在一起的消息数量。如果未设置且留空,则一批只使用一条消息

gcp-pubsub-subscription

Google Cloud Pub/Sub 订阅的名称

proxy-configuration-service

指定代理配置控制器服务来代理网络请求。

关系

名称

描述

success

Google Cloud Pub/Sub 操作成功后,将 FlowFiles 路由到此关系。

写入属性

名称

描述

gcp.pubsub.ackId

所用的 Google Cloud PubSub 消息的确认 ID

gcp.pubsub.messageSize

所用的 Google Cloud PubSub 消息的序列化大小

gcp.pubsub.attributesCount

所用的 PubSub 消息具有的属性数量(如有)

gcp.pubsub.publishTime

发布消息时的时间戳值

gcp.pubsub.subscription

PubSub 订阅的名称

动态属性

除了列出的属性外,如果原始 Google Cloud Publisher 客户端在发送消息时向消息添加了任何属性,则该处理器可能会写入零个或多个属性

另请参阅

语言: 中文