SplitAvro 2025.5.31.15¶
捆绑包¶
org.apache.nifi | nifi-avro-nar
描述¶
根据配置的输出大小，将二进制编码的 Avro 数据文件拆分为较小的文件。输出策略决定较小的文件是 Avro 数据文件，还是 FlowFile 属性中包含元数据的 Avro 裸记录。输出将始终采用二进制编码。
输入要求¶
REQUIRED
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
|---|---|
输出大小 |
每个拆分文件要包含的 Avro 记录数。如果传入文件的记录数少于输出大小，或者记录总数未平均除以输出大小，则可能会得到记录较少的拆分文件。 |
输出策略 |
确定输出的格式。要么是 Avro 数据文件，要么是裸记录。裸记录输出仅适用于已经需要此类输出的系统，不应将其用于正常用途。 |
拆分策略 |
拆分传入数据文件的策略。记录策略将通过反序列化每条记录来读取传入的数据文件。 |
传输元数据 |
是否将元数据从父数据文件传输到子数据文件。如果输出策略为裸记录，则元数据将作为 FlowFile 属性存储，否则将存储在数据文件标头中。 |
关系¶
名称 |
描述 |
|---|---|
failure |
如果 FlowFile 在处理过程中由于任何原因而失败（例如，FlowFile 不是有效的 Avro），将路由到此关系 |
original |
拆分的原始 FlowFile。如果 FlowFile 处理失败，则不会向该关系发送任何内容 |
split |
所有从原始 FlowFile 中拆分出来的新文件都将路由到此关系 |
写入属性¶
名称 |
描述 |
|---|---|
fragment.identifier |
由同一个父 FlowFile 生成的所有拆分 FlowFiles 都将带有为此属性添加的随机生成的相同 UUID |
fragment.index |
表示从单个父 FlowFile 创建的拆分 FlowFiles 的顺序的递增编号 |
fragment.count |
从父 FlowFile 生成的拆分 FlowFiles 数量 |
segment.original.filename |
父 FlowFile 的文件名 |