Ragas (Retrieval-Augmented Generation Assessment)提供了一套评估指标可用于衡量您的 LLM 应用程序的性能。这些指标旨在帮助您客观地衡量应用程序的性能。指标适用于不同的应用程序和任务例如 RAG 和智能体工作流。Ragas框架构建了一个由三个核心质量维度组成的评估体系忠实度Faithfulness、答案相关性Answer Relevance和上下文相关性Context Relevance。这三个维度共同确保了对RAG系统性能的全面审视。忠实度 (Faithfulness)就是准确性也是最核心的需要拿生成答案和准备的准确答案对比这是评估“幻觉”的关键指标。Context Precision (上下文精确度)生成的内容和引用的文档的关系有多大如果答非所问再准确也没用Context Recall上下文召回率衡量所有相关的文档中有多少比例被成功检索出来了。高召回率意味着系统没有漏掉重要的信息。高精确度意味着提供给LLM的“信噪比”高。其它指标…评测RAG杜绝“我认为”的个人主观脱离碰巧和玄学而是通过数据来分析评测第一层看查得准不准在检索阶段有没有把近似度最近的文章捞出来用专业的指标叫命中率Hit Rate和平均倒数排名MRR第二层看有没有编就是看大模型有没有脱离文档瞎发挥评判指标叫忠实度Faithfulness很多模型看到上下文没有答案就开始自己脑补也叫幻觉需要在没有检索到答案时给个默认提示比如我不知道请联系管理员…第三层看答得对不对用Rouge-L这类指标跟标准答案做相似度对比但是在正常迭代中单单靠人工根本无法规模化迭代跟测通常是要让自动化测试用开源的Ragas框架来做自动的评估只有把在线评估和离线指标挂上钩这个检索增强生成才能持续优化达到系统迭代上线闭环。实践效果进阶篇-LangChain篇-12–RAG评估体系——如何知道你的RAG好不好