DetectDuplicate 2025.10.2.19¶
捆绑包¶
org.apache.nifi | nifi-standard-nar
描述¶
Caches a value, computed from FlowFile attributes, for each incoming FlowFile and determines if the cached value has already been seen. If so, routes the FlowFile to 'duplicate' with an attribute named 'original.identifier' that specifies the original FlowFile 's "description", which is specified in the <FlowFile Description> property. If the FlowFile is not determined to be a duplicate, the Processor routes the FlowFile to' non-duplicate'
输入要求¶
REQUIRED
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
|---|---|
Age Off Duration |
缓存 FlowFiles 过期的时间间隔 |
缓存条目标识符 |
FlowFile 属性或属性表达式语言语句的结果，将根据 FlowFile 进行评估，以确定用于识别重复项的值；缓存的正是这个值 |
Cache The Entry Identifier |
如果为 true，则会导致处理器检查重复项并缓存条目标识符。如果为 false，则处理器将仅检查重复项而不缓存条目标识符，需要另一个处理器向分布式缓存中添加标识符。 |
分布式缓存服务 |
控制器服务，用于缓存唯一标识符，用于确定重复项 |
FlowFile 描述 |
将 FlowFile 添加到缓存中时，该值会与之一起存储，这样一来，如果找到重复项，则原始 FlowFile 的此描述将添加到重复项的“original.flowfile.description”属性中 |
关系¶
名称 |
描述 |
|---|---|
duplicate |
如果检测到 FlowFile 是重复项，则会将其路由到此关系 |
failure |
如果无法与缓存通信，则 FlowFile 会受到惩罚并路由到此关系 |
non-duplicate |
如果在缓存中找不到 FlowFile 的缓存条目标识符，则会将其路由到此关系 |
写入属性¶
名称 |
描述 |
|---|---|
original.flowfile.description |
所有路由到重复关系的 FlowFiles 都将添加一个名为 original.flowfile.description 的属性。该属性的值由数据原始副本的属性和 FlowFile 描述属性决定。 |