PutSnowpipeStreaming2 2025.10.2.19¶

捆绑包¶

com.snowflake.openflow.runtime | runtime-snowpipe-streaming-2-processors-nar

描述¶

使用 Snowpipe Streaming 版本 2，将格式为换行分隔 JSON 的记录发送到 Snowflake 数据库管道。

标签¶

NDJSON、Preview、Snowflake、Snowpipe Streaming

输入要求¶

REQUIRED

支持敏感的动态属性¶

false

属性¶

属性	描述
账户	Snowflake 账户标识，包含组织名称和账户名称，格式为 [organization-name]-[account-name]
身份验证策略	Snowflake 连接的身份验证策略
通道组	用于管理具有分区的不同 Snowpipe Streaming 通道的分组
通道插入超时	在失败前重试插入记录的最长时间，上限为 5 分钟
数据库	已处理记录的 Snowflake 目标数据库
文件片段数	用于从输入 FlowFiles 通过 Snowpipe Streaming 引入到对象存储的最大文件片段数量。必须介于 1 到 100 之间。
文件片段大小	发送到对象存储以供 Snowpipe Streaming 引入的每个文件片段的最大大小（以字节为单位）。必须介于 1 KB 和 256 MB 之间
偏移令牌结束表达式	表达式语言定义，用于生成 FlowFile 的最大偏移令牌，作为单调递增的数字
偏移令牌记录指针	每条记录中偏移令牌的 JSON 指针，当最后提交的偏移令牌位于起始和结束边界之间时需要使用
偏移令牌起始表达式	表达式语言定义，用于生成 FlowFile 的最小偏移令牌，值为单调递增的数字
偏移跟踪超时	轮询通道状态以获取已提交偏移令牌的最长时间
管道	已处理记录的 Snowflake 管道目标
私钥服务	用于验证连接的 RSA 私钥服务
架构	已处理记录的 Snowflake 目标架构
传输策略	将记录传输到 Snowpipe Streaming 的策略
用户	用于验证连接的 Snowflake 用户
Web 客户端服务提供商	支持 HTTP 请求和响应处理的 Web 客户端服务提供商

关系¶

名称	描述
failure	无法上传到 Snowflake 的 FlowFiles
invalid	Snowflake 识别为包含一个或多个导致部分传输的无效行的 FlowFiles
success	已成功上传到 Snowflake 的 FlowFiles