EvaluateRagRetrieval 2025.5.31.15¶

捆绑包¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

描述¶

计算使用 LLM 作为判断的 RAG 系统的检索指标（Precision@N、Recall@N、FScore@N、MAP@N、MRR）。对于每条记录，它使用“精度”和“查全率”提示来评估响应，并将指标作为属性添加到 FlowFile。

标签¶

evaluation、fscore、llm、metrics、mrr、openai、openflow、precision、rag、recall、retrieval

输入要求¶

REQUIRED

支持敏感的动态属性¶

false

属性¶

属性	描述
上下文标识符记录路径	记录中的 RecordPath 上下文数组的 IDs。
上下文记录路径	记录中上下文数组的 RecordPath。
评估结果记录路径	用于写入评估结果的 RecordPath。
标准答案记录路径	记录中的标准答案字段的 RecordPath。
LLM 提供商服务	用于向 LLM 发送评估提示的提供商服务
问题记录路径	记录中问题字段的 RecordPath。
记录读取器	用于读取 FlowFile 的记录读取器。
记录写入器	用于写入结果的记录写入器。

关系¶

名称	描述
failure	无法处理的 FlowFiles 将路由到此关系
success	成功处理的 FlowFiles 将路由到此关系

写入属性¶

名称	描述
n	每次查询检索到的文档的平均数量。
precision.at.n	所有查询的平均精度为 N。
recall.at.n	所有查询的平均查全率为 N。
fscore.at.n	所有查询的平均 F 分数为 N。
mrr	平均倒数排名。
retrieval.eval.failures	无法计算评估值的记录数。
json.parse.failures	遇到的 JSON 解析失败次数。