提示词结构

这部分要介绍酒馆发给 AI 的提示词顺序。

现在，大多数预设的提示词结构都可以用这张图表示：

再介绍一个大部分 LLM 上都会出现的现象，所谓的 “U 形注意力”：模型对提示词首尾的内容更敏感，对首尾部分的指令，模型遵循得比中间部分的效果更好。

所以如果想让提示词效果更好，可以把它放到首尾部分，但是在世界书里我们并不能碰到整段提示词的首尾，因为那里被预设占了。D0 通常比角色定义前更靠近尾部，而且把很多重要指令放在提示词最开始也不合逻辑；这就是世界书教程让把重要指令放到 D0 的原因。

以上到底想表达什么

• 因为原理，大模型没法做到很多对人类来说非常容易的事，比如数学计算，或者准确地知道一段话里有多少个字。
• 大模型有无状态性。这个词听起来很高级，但其实就是没有记忆的意思。大模型的所谓记忆依赖于上下文里的聊天记录部分，它本身不会保存任何进来，或者出去的东西。
• 大模型没有真正的思考能力，现在常见的推理或思维链都是经过特殊的后训练，让模型先“计划”，再输出正文。当然感情之类的就更不会有了。
• 大模型无法像人类一样，知道哪些东西更重要，哪些东西不重要。虽然注意力机制可以在较短上下文内解决少量干扰，但如果“其实不重要”的东西占比太大，影响也是很大的。
• 你可能注意到某些词、标点符号或者外语在模型的逐次回复中越来越多，AI 没法靠注意力让内容变回正常的样子，最终整段回复都几乎没法看。我们形象地称之为“脱靶”或者“增殖”。这些异常内容一旦出现，塞进模型的上下文里，就会产生影响，让 AI 更容易生成这些异常内容，最后越来越多。
• 提示词应该让模型看着舒服。至于人类读提示词的效果如何，其实没那么重要。模型理解文本的方式和人类很像，但还是不一样的。

总之让我们时刻记住，大模型就是个不停预测“哪个词放这最好”的程序，它的很多特性都是原理引起的。虽然实际写卡可能用不到以上东西，不过知其所以然还是更好。