Forget-Me-Not: 建议采用一种简单的提示技术，防止在长时间的提示中遗忘信息

概述

虽然 LLM 在复杂推理和问题解答中表现出了卓越的性能，但一种被称为 "上下文遗忘 "的现象却是一个挑战。这是指模型在长时间的语境中会逐渐遗忘提示中给出的信息，这会对准确生成回答产生负面影响。本研究重点研究了这种语境遗忘现象，并详细探讨了当前 LLM 在什么条件下会 "遗忘 "信息。

此外，作者还提出了一种简单的提示设计工具，称为 “忘我”（FMN）。该工具是一种通过插入上下文的单句指示来提醒模型注意重要信息的机制。值得注意的是，它并不改变 LLM 的结构，也不涉及任何训练，却能显著提高模型的上下文记忆能力。实验结果表明，即使是最先进的模型（如 GPT-4），插入 FMN 也能将准确率提高 40 分或更多。

建议的方法

本研究的核心建议是一种基于提示的辅助句插入方法，称为 “勿忘我”（FMN）。

FMN 是简短的自然语言句子，用于再次 "提醒 "模型注意通常被埋没在较长上下文中的重要信息。例如，可以在原始指令后立即添加一句话，如 “这条指令非常重要：您对问题的回答应完全基于这句话”，以达到预期效果。

FMN 旨在强调模型中的特定信息，同时尽量减少词块数量的增加。其特点是，它不会对模型的内部结构或参数做任何改动，而只是调整提示中的措辞以提高成绩。FMN 还能弥补模型对上下文理解的模糊性，因为它能用自然语言明确指出 “哪些信息是重要的”。

此外，FMN 还可与其他上下文记忆支持方法结合使用，如少点学习（few-shot learning），是一种多功能方法。因此，与传统方法相比，它能更简单、更有效地缓解语境遗忘。

实验

作者在几种 LLM（如 GPT-3.5、GPT-4、Claude 2、Gemini Pro）上设计并执行了共 10 项语境遗忘任务，以评估语境遗忘并测试 FMN 的有效性。每项任务都详细测量了模型是否能在上下文中保留特定信息，以及插入 FMN 对准确性的提高程度。

实验结果表明，GPT-4 的成绩提高了 43 分，Claude 2 的成绩提高了 37 分。此外，还观察到与模型记忆特征一致的趋势，如 FMN "信息位置越靠后越有效 "和 “离问题越远越有效”。

此外，为了评估 FMN 对整个提示信息的影响，我们还测试了 FMN 对提示信息中其他信息的干扰和误导风险，但在大多数情况下都没有发现负面影响，反而报告了成绩的稳定提高。特别是在 GPT-4 中，明确指出调频网络几乎总是有积极作用。

从这些结果中可以得出结论：FMN 是一种实用的方法，可以轻松有效地缓解情境遗忘。