W
AI-Wiki
CONCEPT

上下文预算

定义

上下文预算 是指:在与 AI 或 LLM 协作时,对要放进模型上下文窗口的资料进行有意识的取舍、压缩、分层和组织。

它的核心不是窗口容量本身,也不是单纯讨论“最多能塞多少 token”,而是讨论:在一次任务里,哪些信息今天必须出现,哪些只需摘要,哪些会制造冲突,哪些必须保留原文不能被改写。

因此,上下文预算本质上是一种上下文管理方法,而不是一句更花哨的 Prompt 写法。它解决的不是“怎么把一句指令写漂亮”,而是“怎么把模型工作所需的资料桌摆干净”。

在本文中的语境

该概念出现在 GPT-5.6 发布的讨论中,但原文强调的重点不是模型参数或入口资格,而是一个更长期的趋势:强模型时代,普通用户需要从“会写一句 Prompt”升级到“会管理上下文”。

原文先明确边界:GPT-5.6 当时仍处于 limited preview,这篇讨论不是教用户去哪里打开模型,也不是复述模型档位,而是借发布时一并被讲清楚的 token 价格与 Prompt caching,提醒用户理解 AI 工作的基本成本结构。

这里的关键信号是:AI 每次工作,都要先读取你给它的上下文。课程要求、论文草稿、面试 JD、项目背景、写作限制,都会进入 input tokens;模型产出的总结、建议、改写稿,则会形成 output tokens。

所以,上下文预算在本文中不是开发者 API 优化技巧,而是普通用户在日常学习、写作、求职、研究中都需要掌握的协作能力。

为什么它叫“预算”

“预算”这个词强调的不是穷,而是有限资源下的配置。进入上下文窗口的内容越多,并不自动代表结果越好;如果内容重复、冗长、混乱,反而会同时带来三类代价:

  • token 成本上升:同一段背景反复粘贴,系统就要反复处理重复内容。
  • 等待时间上升:模型需要读更长的输入,整体响应更慢。
  • 误解空间上升:当旧要求、新要求、无关材料、不确定来源混在一起时,模型更容易抓错重点,或把不该算数的东西当成当前约束。

因此,上下文预算并不是“为了省 token 而省 token”,而是在成本、稳定性和理解准确度之间做内容治理。

“书桌”类比:好上下文与坏上下文

原文把上下文比作一张书桌:你这次把什么资料摆上桌,AI 就看着什么资料做事。

一张清楚的书桌,至少应当包含以下结构:

  • 目标:这次到底要完成什么。
  • 背景:完成任务必须知道的固定前提。
  • 资料来源:哪些信息来自原文、规范、老师反馈、岗位描述或既有材料。
  • 禁止事项:什么不能做,什么不能编,什么不能越界。
  • 输出标准:结果要写成什么样,多长,按什么格式,是否要标出依据与不确定点。

这种上下文的特点是:模型不需要猜用户是谁,也不需要从一堆历史要求里推断到底哪个要求现在仍然有效。

相反,一张混乱的书桌会把下面这些东西堆在一起:

  • 旧要求
  • 新要求
  • 无关材料
  • 来源不确定的信息

在这种情况下,即使强模型表面上“写得很顺”,也不代表方向没有偏。语言流畅不等于任务约束被正确执行,这正是上下文预算要解决的问题。

四类信息的处理判断

原文把上下文预算的关键操作,落在对不同信息类别的区分上。至少要把以下四类内容分开处理:

1. 必须保留的信息

这类信息一旦拿掉,任务就会失真或无法执行。例如:

  • 当前任务目标
  • 当前适用的最新要求
  • 必须遵守的边界条件
  • 直接影响答案方向的背景事实

这部分不应因为“想省篇幅”而删除,否则模型只能靠猜。

2. 可压缩的信息

这类内容重要,但不一定要逐字保留原长文本。它们可以被概括成更短的背景说明、要点列表或结构化摘要。例如:

  • 较长的项目背景
  • 重复出现的课程说明
  • 多轮交流里已经稳定、不再变化的共识

可压缩不等于可忽略,而是可以把长材料整理成更省 token、却仍可执行的版本。

3. 纯干扰信息

这类内容会增加长度,却不帮助模型完成当前任务,甚至制造噪声。例如:

  • 已失效的旧要求
  • 与本次任务无关的材料
  • 暂无根据的猜测性内容
  • 不知道是否可信、又未标明状态的来源

这类信息应尽量移出当前上下文,否则就会抬高成本并扩大误解空间。

4. 必须保留原文的信息

有些信息不能只给模型“意思差不多”的摘要,而要保留原句或原段。原文点明的典型情况包括:

  • 课程要求
  • 老师反馈
  • 不能乱改的段落
  • 岗位 JD 中关键表述
  • 资料中必须基于原文作答的部分

原因在于,这些内容一旦被二次改写,可能丢失约束、改变语气或误伤细节。上下文预算不只关心长度,也关心保真要求。

与 Prompt caching 的关系与边界

Prompt caching 在本文中被拿来帮助用户理解上下文预算,但两者不是一回事。

原文特别强调,Prompt caching 最容易被误解成“模型终于长期记住我了”,这是不准确的。更合适的理解是:如果你刚把一份常用资料放在桌上,并在接下来一段时间继续使用它,系统可以更便宜、更稳定地复用这部分重复内容。

文中提到官方材料给出的工程边界包括:

  • 更可预测的 prompt caching
  • explicit cache breakpoints
  • 30-minute minimum cache life
  • cache writes billed at 1.25x uncached input rate
  • cached-input reads 继续享受 90% discount

这些细节说明缓存是一种工程复用机制,而不是人格记忆、长期记忆或永久免重复提供资料的承诺。

也正因如此,上下文预算 不是被缓存替代的:即使有缓存,你仍然要决定什么值得反复复用,什么不该继续带着走,什么已经过期,什么必须换成当前版本。

面向普通用户,而不只是开发者

原文明确反对把上下文管理理解成“只有程序员才需要关心的 API 小字”。即使不写代码,普通用户也在不断给 AI 喂上下文。

文中列出的非编程场景包括:

  • 论文修改:需要提供课程要求、论文主题、老师反馈,以及不能乱改的段落。
  • 面试准备:需要提供岗位 JD、个人经历、项目细节和回答边界。
  • 读书笔记整理:需要区分哪些是原文、哪些是自己的理解、哪些地方仍不确定。

如果这些信息总是想到哪发到哪,模型就会反复猜背景,并出现典型错误,例如:

  • 把参考资料当成事实
  • 把用户猜测当成结论