DetectDuplicate 2025.5.31.15¶
捆绑包¶
org.apache.nifi | nifi-standard-nar
描述¶
为每个传入 FlowFile 缓存一个根据 FlowFile 属性计算得出的值，并确定缓存的值是否已经被看到。如果是，则使用名为“original.identifier”的属性将 FlowFile 路由到“duplicate”，该属性在 <FlowFile Description> 属性中指定了原始 FlowFile 的“description”。如果未确定 FlowFile 为 duplicate，则处理器会将 FlowFile 路由到“non-duplicate”
输入要求¶
REQUIRED
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
|---|---|
Age Off Duration |
缓存 FlowFiles 过期的时间间隔 |
缓存条目标识符 |
FlowFile 属性或属性表达式语言语句的结果，将根据 FlowFile 进行评估，以确定用于识别重复项的值；缓存的正是这个值 |
Cache The Entry Identifier |
如果为 true，则会导致处理器检查重复项并缓存条目标识符。如果为 false，则处理器将仅检查重复项而不缓存条目标识符，需要另一个处理器向分布式缓存中添加标识符。 |
分布式缓存服务 |
控制器服务，用于缓存唯一标识符，用于确定重复项 |
FlowFile 描述 |
将 FlowFile 添加到缓存中时，该值会与之一起存储，这样一来，如果找到重复项，则原始 FlowFile 的此描述将添加到重复项的“original.flowfile.description”属性中 |
关系¶
名称 |
描述 |
|---|---|
duplicate |
如果检测到 FlowFile 是重复项，则会将其路由到此关系 |
failure |
如果无法与缓存通信，则 FlowFile 会受到惩罚并路由到此关系 |
non-duplicate |
如果在缓存中找不到 FlowFile 的缓存条目标识符，则会将其路由到此关系 |
写入属性¶
名称 |
描述 |
|---|---|
original.flowfile.description |
所有路由到重复关系的 FlowFiles 都将添加一个名为 original.flowfile.description 的属性。该属性的值由数据原始副本的属性和 FlowFile 描述属性决定。 |