W
AI-Wiki
CONCEPT

上下文压缩策略

定义

上下文压缩策略 是指在 RAG 流程里,完成检索之后、生成答案之前,对召回上下文进行“保留什么、删掉什么、是否改写、保留到什么粒度”的方法选择。

它要解决的问题不是“能不能检索到文档”,而是“检索到的内容太多、噪声太大时,最终送进大模型的上下文应该如何瘦身”。原文对它的概括是:在检索后用大模型把无关内容剪掉,只留下和问题最相关的部分。

这一策略直接影响三件事:

  • 上下文里保留多少原文证据;
  • 压缩后的信息密度有多高;
  • 对原始召回内容的覆盖是否完整。

在本文语境中的含义

在本文语境里,上下文压缩策略RAG 的一个中间环节,位置处于“向量检索 Top-K chunk 之后、最终答案生成之前”。

原文给出的完整流程是:

  1. 先对文档做文本提取;
  2. 再把长文本切块,例如每 1000 字一个 chunk,并保留 200 字重叠;
  3. 对 chunk 做向量化并建立检索;
  4. 用户提问后,检索出相似的 Top-K 个 chunk;
  5. 对每个召回 chunk 按指定压缩方式进行处理;
  6. 将压缩后的结果拼成新上下文,再交给大模型生成答案;
  7. 如果压缩后内容过少,可以回退使用原始 chunk。

因此,这里的“策略”不是单指某个模型提示词,而是一个带有明确取舍目标的压缩范式选择:你究竟更在意覆盖面、信息密度,还是原文证据可追溯性。

三类核心策略

Selective:选择性保留

Selective 的定义是:只保留和问题直接相关的句子或段落,但不改写原文。

它的特点是“像删减原文”,不是重新组织答案,而是从原始 chunk 中把无关部分去掉,把相关片段按原有表达留下来。因此它通常比摘要更忠于原文,也比只摘关键句保留更多上下文。

适合它的典型目标是:

  • 希望尽量完整保留相关信息;
  • 不想让模型过度改写;
  • 更关注知识梳理与全面覆盖。

文中的 AI 伦理案例中,Selective 压缩后的风格就是删去与问题无关的内容,只留下与透明性、可解释性、伦理框架、隐私数据处理、自动化就业影响、自主性与问责相关的原文段落。它仍然保留原句表达,因此读起来像“瘦身后的原文”。

Summary:摘要压缩

Summary 的定义是:把相关内容浓缩成简明扼要的摘要。

它不要求逐句保留原文,而是把检索结果重新整理成更高信息密度的表述。原文明确指出,它的特点是“信息密度高”,在三类方法中通常压缩率最高。

它的输出风格更像“整理后的答案提纲”,也就是先吸收多个相关片段中的信息,再把内容改写、归纳、压缩成更适合生成阶段消费的结构化内容。

适合它的典型目标是:

  • 希望单位 token 里承载更多有效信息;
  • 追求更短上下文、更低成本;
  • 做问答、摘要类场景,重点是答案聚焦而不是逐句举证。

在 AI 伦理案例里,Summary 压缩后会直接整理出一个列表,概括为:缺乏透明性和可解释性、隐私与数据安全问题、工作替代风险、自主系统带来的控制和问责问题,以及需要明确伦理框架。这种结果明显不是原文删减,而是归纳后的答案框架。

Extraction:句子抽取

Extraction 的定义是:只摘取最关键的原文句子。

它与 Selective 的差别在于:Selective 可能保留多个相关句子或段落,强调相关内容尽量完整;Extraction 则进一步收缩,只拿最核心、最能作为证据的原文句子,通常逐句列出。

它的输出风格更像“证据摘录”。这意味着它不追求像 Summary 那样做归纳,也不追求像 Selective 那样尽量保留全部相关上下文,而是优先保留可以直接引用、可回溯到原文的关键句。

适合它的典型目标是:

  • 需要保留原文证据;
  • 希望后续答案能直接基于原句引用;
  • 法律、学术等对可追溯性要求较高的场景。

在案例中,Extraction 压缩后仅保留最能支撑回答的关键句,例如关于“黑箱模型导致难以理解决策过程,因此需要透明性与可解释性”的句子,以及“需要建立明确指南和伦理框架”的句子。相较于 Selective,它更短、更像证据条目。

三类策略的核心取舍

原文给出的核心比较可以整理为以下四个维度。

1. 是否保留原文

  • Selective:保留原文,不改写;
  • Summary:会改写并归纳;
  • Extraction:保留原文,但只保留关键句。

如果你的业务必须看到原话,Summary 通常不是首选;如果只要求内容更精炼,Summary 则往往最合适。

2. 信息密度

从原文结论看,Summary 的信息密度通常最高,因为它会把多个相关片段压缩成更短的归纳表达。原文也明确给出选型规则:需要信息密度时选 Summary。

3. 覆盖范围

Selective 通常覆盖更完整。因为它会保留所有直接相关的句子或段落,而不是只留最关键几句,也不是把信息重新压缩到更短提纲中。

因此,在知识梳理、全景浏览、希望尽量不遗漏相关点时,Selective 往往更稳妥。

4. 证据可追溯性

Extraction 更适合保留原文证据。这是因为它直接抽取原始句子,天然更利于引用、核对和溯源。原文据此建议:法律、学术等需要原文证据的场景优先使用 Extraction。

文中的实测数据

原文以“AI 在决策中的伦理问题有哪些?”这一问题做案例,对不同压缩方式给出了同一批检索结果上的实测数据。原始上下文长度为 10018。

策略平均压缩比压缩后上下文长度原始长度
Selective39.93%602510018
Summary63.87%363110018
Extraction54.41%457710018

这组数字体现了文中的主要结论:

  • Summary 的压缩率最高,约 63.87%;
  • Extraction 次之,约 54.41%;
  • Selective 压缩率最低,约 39.93%,但通常保留的信息更完整。