EvaluateRagFaithfulness 2025.5.31.15¶

捆绑包¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

通过使用 LLM（例如 OpenAI 的 GPT）分析响应来评估在检索增强生成 (RAG) 系统中生成的答案的可信度。处理器通过忠诚度指标和详细分析丰富每条 FlowFile 记录。

ai、evaluation、faithfulness、llm、nlp、openai、openflow、rag

REQUIRED

false

属性	描述
上下文标识符记录路径	记录中的 RecordPath 上下文数组的 IDs。
上下文记录路径	记录中上下文数组的 RecordPath。
评估结果记录路径	用于写入评估结果的 RecordPath。
Generated Answer Record Path	记录中答案字段的路径
LLM 提供商服务	用于向 LLM 发送评估提示的提供商服务
问题记录路径	记录中问题字段的 RecordPath。
记录读取器	用于读取 FlowFile 的记录读取器。
记录写入器	用于写入结果的记录写入器。

名称	描述
failure	无法处理的 FlowFiles 将路由到此关系
success	成功处理的 FlowFiles 将路由到此关系

名称	描述
average.answer.faithfulness	根据所有记录计算的平均忠诚度分数。
json.parse.failures	遇到的 JSON 解析失败次数。

使用此处理器来评估 LLM 生成的答案相较于提供的上下文的真实性。它提供了可用于监控和改善 RAG 系统性能的指标。