论文 | Reframing Instructional Prompts to GPTk’s Language

作者：Swaroop Mishra, Daniel Khashabi, Chitta Baral, Yejin Choi, Hannaneh Hajishirzi

论文摘要：语言模型 (LM) 更容易遵循哪些类型的指令提示？我们通过进行广泛的实证分析来研究这个问题，这些分析阐明了成功指令提示的重要特征。具体而言，我们研究了将提示手动重新构建为更有效形式的几种重构技术。一些例子包括将复杂的任务指令分解为多个更简单的任务，或将指令细化为一系列步骤。我们的实验比较了在 12 个 NLP 任务上使用重构指令提示的 LM 的零样本和少样本学习性能。与原始指令相比，我们的重构指令在具有不同规模的 LM 中都取得了显著的改进。例如，相同的重构提示平均提高了 GPT3 系列和 GPT2 系列的少样本学习性能 12.5% 和 6.7%。此外，重构指令减少了在少样本学习设置中提示 LM 所需的示例数量。我们希望这些以经验为驱动的技术将为更有效的未来提示算法铺平道路。

五种重构技术：

1. 模式重构 (Pattern Reframing):

问题: LM 往往忽略抽象描述，难以理解需要背景知识的内容。

方法: 找到目标任务的低级模式，并在指令中添加这些模式。

示例: 将“生成一个需要常识来回答的问题”重构为“使用 ‘可能会发生什么’、‘将会…?’、‘为什么可能会’、‘什么可能导致了’、‘关于什么可能是真的’、‘什么可能是真的’、‘什么必须’ 以及类似的短语来提问”。

2. 项目化重构 (Itemizing Reframing):

问题: LM 难以遵循包含多个要求的长段落指令，并且对否定陈述的处理效果不佳。

方法: 将长段落分解为包含多个要求的子弹点列表，并将否定陈述转换为肯定陈述。

示例: 将“根据给定的上下文单词生成输出。做 < >。做 < >。不要 < >”重构为“根据给定的上下文单词生成输出。- 做 < >- 做 < >- 做 < >”。

3. 分解重构 (Decomposition Reframing):

问题: LM 难以处理需要多步推理的复杂任务。

方法: 将复杂的任务分解为多个不同的子任务，这些子任务可以按顺序或并行执行。

示例: 将“根据给定的上下文单词，你需要创建一个包含空格 (_) 及其对应答案的句子对。句子对应该看起来相似，并且应该关于两个相关但不同的对象；例如 ‘奖杯’ 和 ‘手提箱’。此外，句子必须在触发词（例如 ‘小’ 和 ‘大’）方面有所不同，这些触发词表达了两个对象之间对比属性。”重构为五个子任务：1) 基于给定的上下文单词写两个对象；2) 写一个连接对象的句子；3) 从句子中创建一个填空题；4) 修改问题，使答案翻转；5) 生成问题和答案。