PutSnowpipeStreaming 2025.5.31.15¶

捆绑包¶

com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar

描述¶

将记录流式传输到 Snowflake 表中。必须事先在 Snowflake 账户中创建该表。

标签¶

connection、database、experimental、jdbc、openflow、snowflake、snowpipe streaming

输入要求¶

REQUIRED

支持敏感的动态属性¶

false

属性¶

属性	描述
账户	Snowflake 账户标识，包含组织名称和账户名称，格式为 [organization-name]-[account-name]
身份验证策略	Snowflake 连接的身份验证策略
客户端延迟	客户端在将记录刷新到 Snowflake 之前等待的最大时间。值越大，发送到 Snowflake 时的延迟就越长，但对于不经常更新的表，它可提升查询速度和成本效率。
并发组	允许指定给定 FlowFile 所属的“并发组”，以限制写入给定组中表的并发任务的数量。
连接策略	连接到 Snowflake Snowpipe Streaming 服务的策略
数据库	已处理记录的 Snowflake 目标数据库
投递保证	指定发送给 Snowflake 的记录的投递保证方式。
已启用 Iceberg	指定处理器是否将数据引入 Iceberg 表。如果此属性与实际表类型不匹配，则处理器将失败。
最大批处理大小	单次调用引入的最大记录数。如果记录数超过最大批量大小，将进行多次引入调用。当前建议批次大小小于 16MB。可以根据平均记录大小调整最大批次大小，使批次通常小于 16MB。
每组的最大任务数	为给定的 Snowpipe Channel 前缀创建的最大通道数。这用于限制可以写入给定的 Snowflake 表的并发任务的数量。
私钥服务	用于验证连接的 RSA 私钥服务
记录偏移量	用于确定 FlowFile 中第一个记录偏移量的表达式语言表达式。
记录偏移路径	用于确定 FlowFile 中第一个记录偏移量的记录路径表达式。
记录偏移策略	指定确定每条记录偏移量的策略。
记录读取器	用于读取输入的记录读取器
角色	用户在验证连接时将扮演的 Snowflake 角色
架构	已处理记录的 Snowflake 目标架构
Snowpipe 通道索引	用于 Snowpipe 通道名称的索引。完整的通道名称格式为 openflow.[prefix].[index]。这一步是实现向 Snowflake 精确一次投递所必需的，因为任何重试都必须使用与之前使用的相同的通道进行尝试。
Snowpipe 通道前缀	用于 Snowpipe 通道名称的前缀。完整的通道名称格式为 openflow.[prefix].[index]。默认值为 ${hostname(false)}，它通过将 NiFi 实例的主机名合并到通道名称中来确保集群中的每个 NiFi 节点写入唯一通道。
表	已处理记录的 Snowflake 目标表
用户	用于验证连接的 Snowflake 用户

关系¶

名称	描述
failure	针对无法上传到 Snowflake 的 FlowFiles
success	针对成功上传到 Snowflake 的 FlowFiles

用例¶

尽可能快地将面向记录的数据写入 Snowflake 表，允许偶尔产生重复数据。