UpsertMilvus 2025.5.31.15

捆绑包

com.snowflake.openflow.runtime | runtime-milvus-processors-nar

描述

将给定集合的向量更新插入到 Milvus 数据库中

标签

chatbot、embeddings、gen ai、genai、generative ai、insert、llm、metadata、milvus、openflow、publish、text、upsert、vector

输入要求

REQUIRED

支持敏感的动态属性

false

属性

属性

描述

集合名称

要使用的 Milvus 集合名称的名称

ID 字段名称

Milvus 中用于存储向量 IDs 的字段的名称。如果没有提供记录路径和字段名称,则会根据文件名以字符串格式生成 IDs。

ID 记录路径

记录中 ID 字段的路径

最大批处理大小

如果 FlowFile 中的记录数很大,则创建对 Milvus 的单个请求可能会消耗大量的 NiFi 堆空间。为了避免这种情况,“最大批处理大小”可以限制在单个请求中发送的记录数量。

元数据字段名称

用于存储与向量相关联的其他元数据的字段的名称。此数据必须采用有效 json 的格式。

元数据记录路径

记录中元数据字段的路径

Milvus 连接服务

用于访问 Milvus 数据库的连接服务

分区

要在其中执行操作的向量数据库的分区。如果数据库只有一个分区,则留空。

记录读取器

用于读取 FlowFile 的记录读取器

稀疏向量字段名称

用于存储稀疏向量的字段的名称。

稀疏向量索引路径

如果要提供稀疏向量,则 RecordPath 指向要使用的稀疏数据的索引。

稀疏向量值路径

如果要提供稀疏向量,则 RecordPath 指向要使用的稀疏数据的值。

文本字段名称

Milvus 中用于存储与向量相关的文本的字段名称。

文本记录路径

记录中包含与向量相关联的文本的字段路径。如果指定,则文本将插入到 Milvus 的文本字段下方。如果未指定,则不会将文本发送到 Milvus 数据库。

向量字段名称

Milvus 中用于存储向量的字段的名称。

向量记录路径

记录中向量字段的路径

关系

名称

描述

failure

无法发送到 Milvus 且预计重试不会成功的 FlowFiles 将路由到此关系

retry

无法发送到 Milvus,但重试可能会有所帮助的 FlowFiles 将路由到此关系

success

成功发送到 Milvus 的 FlowFiles 将路由到此关系

另请参阅

语言: 中文