思维链理解汇总

思维链（CoT）

《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》

本文的三个突破：常识推理能力超越人类、数学逻辑推理能力大幅提升、LLM具有可解释性。

在实现中CoT 修改了每个示例的target，而source则保持不变。原本的答案A已被替换为理由R加上答案A，这样在右侧看到的内容，完全由模型自动生成，不再是单一的答案A，而是理由R与答案A的组合。语言模型在将复杂的语义直接转化为方程时面临挑战，因为这需要更为复杂的思考过程。但有了CoT，模型可以通过一系列中间步骤，逐步推理问题的每个部分，让答案更加准确。

CoT 能够将一个复杂的多步骤推理问题，分解成多个中间步骤。这不仅为模型分配了更多的计算量，生成了更多的token，使得求解过程更加可解释和准确。通过将答案拼接在一起，模型能够更全面、更系统地解决问题。CoT的诸多优势中最为突出的是能够将多步推理问题分解出多个中间步骤，并使得LLM的输出更加可解释。

零样本思维链（Zero-shot-CoT）

对传统CoT prompting的进阶研究。只需在问题末尾加上“Let’s think step by step”这几个字，大语言模型便能像人类一样，逐步展开思考，生成一个完整的思维链来解答问题。

Zero-shot-CoT 是一个完整的流程（pipeline），通过一个提示（prompt）——“Let’s think step by step”——让LLM尽量展现其思考过程。模型会生成一系列的“rationale”（理由），这些理由是对问题的详细思考和分析。这些生成的“rationale”和原始问题会被巧妙地拼接在一起，形成一个新的输入。最后为了得到答案，再配合一个指向答案的提示，如“The answer is ”，从而激励模型基于之前的思考和分析，生成最终的答案。完整的零样本思维链（Zero-shot-CoT）过程涉及两个独立的提示/补全步骤，每一步都紧密相连，共同构成了这个高效的解决方案。

Self-consistency

论文：[2203.11171] Self-Consistency Improves Chain of Thought Reasoning in Language Models

沿用了CoT完全相同的数据集和设置，主要改进在于引入了多数投票（majority vote）机制，显著提升了思维链方法的性能。通过生成多个思路链，并通过多数投票的方式，选取最受欢迎的答案作为最终答案。

CoT问题

1. 思维链需要在大规模模型中才能显现其潜力。当PaLM模型扩展到540B参数时，与思维链结合才展现出卓越性能。而对于小型模型，思维链的效果并不显著。谷歌大脑的研究人员认为，策略问题需要深厚的世界知识，而小型模型因参数不足难以记忆这些知识，所以难以产生准确的推理步骤。实际产业中应用的模型规模往往受限，拆解更多步骤、消耗更多计算资源，使得很多研究机构和企业难以承担175B参数以上的大模型。因此，探索如何在较小模型中应用思维链，降低实际应用的成本，成为了一个重要课题。

2. 思维链的应用领域有限。目前主要在数学问题以及一些常识推理基准上表现出色。

3. 即使有思维链提示，LLM在数学问题上仍可能出现错误，这说明大语言模型虽然能通过思维链进行更精细的推理，但并未真正理解数学逻辑。对于有精确要求的任务，仍需探索新的技术。

参考：

一文读懂AI大模型思维链-CSDN博客

【LLM 论文】Self-Consistency — 一种在 LLM 中提升 CoT 表现的解码策略_self-consistency cot-CSDN博客