AI-Wiki

文档概览

原文围绕 RAG文档切分策略 展开，核心判断是：在构建高效的 RAG（检索增强生成）系统时，文档切分不是边缘性的预处理步骤，而是“决定信息检索质量的核心环节”。

文章整体结构较清晰，分为三层：

先解释切分为何重要，并指出切分质量直接影响检索与生成效果。
再按五种主流策略逐一展开：固定大小切分、语义切分、结构感知切分、LLM智能切分、混合策略。
最后给出一张“策略选择指南”表，并补充企业实践建议与演进路线。

原文不是只给概念定义，而是同时给出了参数范围、适用文档类型、典型问题、行业案例以及量化效果，因此更像一篇面向落地实施的策略综述。

关键事实

切分被视为RAG效果的核心变量

原文开宗明义指出：文档切分策略决定信息检索质量。
它把切分放在 RAG 系统的基础环节，而不是简单的数据预处理。
文章的写法隐含一个前提：如果分块不合理，后续 embedding、召回、重排与生成都会被连带拖累。

五种策略的展开顺序

第一类：固定大小切分。
第二类：语义切分。
第三类：结构感知切分。
第四类：LLM智能切分。
第五类：混合策略。

文末给出策略选择表与演进建议

按文档类型和业务场景给推荐策略。
结尾强调不要一开始就追求最复杂方案，而是建议从简单策略起步，再逐步演进到混合架构。

重要细节

一、固定大小切分：简单高效的入门方案

原文对固定大小切分的定义非常直接：按预设字符数或 Token 数量均匀分割文本，例如“500字符/段”。

其具体做法包括：

以统一长度切块，可以按字符数，也可以按 Token 数。
为防止相邻块之间出现信息断层，保留 10%-20% 的重叠区域。

原文强调的优点有两点：

实现简单。
易于批处理。

它尤其适合处理格式较松散、结构不稳定的文本，例如：

新闻。
论坛帖子。

原文同时明确指出这类方法的主要问题：

它可能在错误位置切断语义单元。
专业术语可能被截断，例如“神经...网络”被拆开。
语义片段被切碎后，召回时可能只能命中半段信息，影响问答完整性。

因此，原文给出的边界与补救思路是：

固定切分虽然适合作为入门方案，但并不天然保证语义完整。
建议配合后处理算法，修复被切坏的语义碎片。

这部分内容可与 RAG切分策略选型原则 关联理解：固定大小切分优先解决的是工程稳定性与吞吐量，而不是语义保真度。

二、语义切分：围绕语义边界动态分块

原文把语义切分定位为“保持思想完整性的进阶方案”。与固定长度不同，它不是先定块长再硬切，而是先识别语义边界，再决定块在哪里结束。

其核心做法包括：

基于 NLP 技术识别句子边界或段落边界。
计算相邻内容之间的余弦相似度。
根据相似度变化动态合并相邻内容。
当相似度下降超过阈值时开启新分块。

文中给出的阈值建议非常具体：

建议把“相似度下降阈值”设在 0.2-0.3。

这里的含义不是一个抽象概念，而是实际分块规则：当上下文连续性明显下降，且下降幅度超过 0.2-0.3 时，就判定为话题或语义段落发生切换，从而新开一个 chunk。

原文强调这种方法的核心价值是：

尽量保留完整的语义链。
避免把本应连在一起的论述拆散。

文章给出的典型案例是医疗问诊：

在医疗问诊场景中，这种方法能更完整保留“症状-诊断-治疗”的医学逻辑链。
结果是生成的医嘱连贯性提升 40% 以上。

这组数字说明原文关注的不只是检索命中率，也包括生成阶段的连贯性和专业逻辑完整度。换句话说，语义切分的收益常体现在“检索块本身更像一个可直接消费的知识单元”。

三、结构感知切分：利用文档已有组织结构

原文把结构感知切分称为专业文档的“黄金搭档”。这意味着它并不是对所有文本都最优，而是在文档天然具有层级结构时尤其有效。

其基本做法是：

利用标题、章节等文档固有结构进行切分。
先尊重文档本身的组织方式，而不是完全依赖长度或相似度。

原文给出的落地强化手段是递归切分：

先按章节划分。
如果某个章节过长，再对该章节做二次分割。

这背后的约束条件也写得很明确：

一方面要保留结构完整性。
另一方面又要满足嵌入模型的长度限制。

因此，结构感知切分并不是“只按标题切一次”那么简单，而是“按结构优先、必要时递归细化”的组合策略。

原文给出的行业案例是法律合同解析：

某律所采用该策略后，条款检索准确率从 67% 提升到 92%。

这一案例说明其适用前提很明确：

文档本身章节清晰。
条款、标题、节、款、项等结构与业务语义强相关。

也就是说，当用户查询往往对应“某章某条某款”的局部结构时，结构感知切分会比固定切分更自然，也更容易保证检索结果可解释。

四、LLM智能切分：让模型按任务目标重组文档

原文把这一类方法描述为“未来已来的黑科技”，核心不是按固定规则切，而是通过提示词让大模型根据任务目标主动决定如何切。

其代表性做法是：

给大模型明确的切分要求。
让模型按任务相关的语义组织方式生成分块。

原文给出的提示词示例很具体：

请将以下科研论文按研究方法、实验结果、结论三部分切分

这说明 LLM 智能切分的关键特征在于：

它不只看语言表面相似度。
它会根据任务目标重构知识组织方式。
同一篇文档在不同任务下，可能得到不同的切分结果。

原文给出的应用案例是学术平台：

某学术平台测试显示，该方法使跨文献综述生成质量提升 35%。

同时原文没有忽略代价，明确提醒：

需要警惕计算成本激增问题。
因此推荐用于高价值场景。

这里的边界很重要：文章并没有把 LLM 智能切分写成通用默认方案，而是承认它有效，但成本高、适配复杂，因此更适合高价值、高准确性要求、且能承担额外推理成本的业务。

这一部分也与 Qwen 有关联，因为后文混合策略案例中明确出现了基于 Qwen 的关键事实提取步骤。

五、混合策略：企业级系统的多粒度组合

原文把混合策略称为企业级应用的“终极答案”，重点不在某一种切法最好，而在于把多种切分与知识组织方式拼装成分层流程。

文中给出的代表案例是阿里云的“多粒度组合切分”，流程分三步：

第一步：先用固定长度做粗切。
第二步：再基于 Qwen 大模型提取关键事实。
第三步：最后通过知识图谱链接相关片段。

原文借这个案例强调的是“多粒度”而不是“单一最优粒度”：

粗切负责规模化处理与基础召回。
大模型抽取负责把块中的关键信息提纯出来。
知识图谱链接负责把分散但相关的片段重新建立连接。

最终效果体现在电商场景中：

商品参数检索响应速度提升 3 倍。
同时保证功能描述的完整性。

这个案例体现的不是单点优化，而是系统级平衡：既提升速度，又不牺牲描述完整度。原文因此把混合策略放在企业级应用位置，意味着它更适合复杂文档、复杂查询和较高业务规模。

策略选择指南

原文在结尾给出一张按“文档类型—推荐策略—典型场景”组织的选择表，内容如下：

文档类型	推荐策略	典型场景
非结构化文本	语义切分+滑动窗口	社交媒体分析
专业领域文档	结构感知+递归切分	法律条款检索
多模态内容	LLM切分+模式特定分块	研报图表解析
实时性要求高	固定切分+动态防护栏	舆情监控系统

这张表透露出原文的几个选型原则，可归纳到 RAG切分策略选型原则：