【LLM之RAG】Adaptive-RAG论文阅读笔记

研究背景

文章介绍了大型语言模型（LLMs）在处理各种复杂查询时的挑战，特别是在不同复杂性的查询处理上可能导致不必要的计算开销或处理不足的问题。为了解决这一问题，文章提出了一种自适应的查询处理框架，动态选择最合适的策略，从而提高整体效率和准确性。

研究目标

目标是开发一种自适应框架，该框架能够根据查询的复杂性动态选择最适合的检索增强语言模型策略，从简单到复杂的策略不等。

方法论

数据处理

定义复杂性标签：首先，需要定义问题的复杂性等级。在Adaptive-RAG中，通常有三个类别：简单（A）、中等（B）和复杂（C）。简单问题可以直接由LLM回答，中等复杂度问题需要单步检索，而复杂问题则需要多步检索和推理。
自动收集训练数据：由于没有现成的带有复杂性标签的查询数据集，Adaptive-RAG通过两种策略自动构建训练数据集：

从不同Retrieval-Augmented LLM策略的预测结果中标注查询的复杂性。
如果非检索方法能够正确生成答案，则对应问题的标签为简单（A）；
如果单步检索方法和多步检索方法都能正确回答，而非检索方法失败，则对应问题的标签为中等（B）；
如果只有多步检索方法能够正确回答，则对应问题的标签为复杂（C）。
利用基准数据集中的固有偏差来标注未标记的查询。
例如，如果一个查询在单步数据集中未被标记，则自动分配标签为中等（B）；
如果在多步数据集中未被标记，则自动分配标签为复杂（C）。

解决方案

Adaptive Retrieval-Augmented Generation (Adaptive-RAG) 是一种新颖的问答框架，它能够根据问题的复杂性动态选择最适合的策略来处理Retrieval-Augmented LLM。这三种策略包括：

非检索方法（No Retrieval）：这是最简单的策略，直接使用LLM本身的知识库来生成答案。这种方法适用于那些模型已经知道答案的简单问题，不需要额外的外部信息。
单步检索方法（Single-step Approach）：当问题需要额外的信息时，这种方法会先从外部知识源检索相关信息，然后将检索到的文档作为上下文信息输入到LLM中，帮助模型生成更准确的答案。这种方法适用于需要一次额外信息检索的中等复杂度问题。
多步检索方法（Multi-step Approach）：对于最复杂的问题，需要从多个文档中综合信息并进行多步推理。这种方法通过迭代地访问检索器和LLM，逐步构建起解决问题所需的信息链。这种方法适用于需要多步逻辑推理的复杂问题。
Adaptive-RAG的核心在于它能够通过分类器来评估问题的复杂性，然后根据评估结果选择最合适的处理策略。分类器是一个较小的语言模型，它被训练用来预测query的复杂度。通过这种方式，Adaptive-RAG能够灵活地在不同的Retrieval-Augmented LLM策略之间进行切换，从而在处理各种复杂性的问题时，实现更高的效率和准确性。