SFT使模型能够遵循输入指令并根据预定义模板进行思考和响应。如上图，、 和 是用于通知模型在推理过程中响应角色的角色标签。 后面的内容表示模型需要遵循的指令，而 后面的内容传达了当前用户对模型的需求。 后面的内容代表模型的预期输出，也可以定义为模型预测的标签。在监督微调期间，模型根据 和 中的内容预测 后面的内容，然后将其与标签进行比较以计算损失函数。 标记作为结束标记，以防止模型在后续推理阶段偏离思路，从而减少推理时间。通过定义监督微调模板，模型可以在推理时根据模板唤起微调知识，用户可以从预先建立的响应模板中提取答案。

text2sql一些研究涵盖两个基本任务：schema_linking和SQL生成。

• Schema Linking: 主要目的是识别和提取与问题相关的表，并通过分步推理和链式思维方法在有限内存下处理大规模数据库。
• SQL 生成: 主要目的是根据模式链接任务的结果生成准确的SQL查询语句，同时通过减少输入表的数量来降低内存消耗。

方法

提出了LR-SQL方法，解决低资源场景下的Text2SQL任务，具体如下：

1.schema_link模型：首先，LR-SQL方法包含两个监督微调模型：schema_link模型和SQL生成模型。schema_link模型的主要作用是简化整个流程，通过将完整的数据库分解为灵活的表组合，使模型能够从这些分散的切片中学习数据库内关系。

2.数据分解：在schema_link模型的微调过程中，LR-SQL将数据库分解为多个切片，每个切片具有可调节的表数量。这种方法允许模型根据GPU内存限制灵活地覆盖不同数量的表。

将数据库中的表分解成多个片段，每个片段包含一定数量的表和其列的描述。

3.思维链：为了增强模型在推理过程中感知各个离散切片之间关系的能力，LR-SQL训练了模型的链式思维能力。COT能力使模型能够逐步引导自己生成最终结果。

4.SQL生成模型：在schema_link模型微调完成后，预测的目标表和问题被发送到SQL生成模型以生成最终的SQL查询。该模型仅使用包含目标表的少量表进行微调，从而显著减少了所需的内存。

在推理阶段，与训练相比，模型处理长文本所需的内存需求大幅减少。

实验

参考文献

• LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks under Low-Resource Scenarios，https://arxiv.org/pdf/2410.11457