Karpathy 发现了一种节省 90% Token 的方法：LLM Wiki 层 - 今日头条.md7.6 KBit/ai/Karpathy 发现了一种节省 90% Token 的方法：LLM Wiki 层 - 今日头条.md
--- title: "Karpathy 发现了一种节省 90% Token 的方法：LLM Wiki 层 - 今日头条" source_url: "https://www.toutiao.com/article/7651469460305379875/?log_from=48752700404f18_1782971308460&wid=1782971314811" source_site: "www.toutiao.com" clipped_at: "2026-07-02T05:48:51.331321+00:00" clipper: "aiwiki-url-ingest" extractor: "toutiao_rendered" --- # Karpathy 发现了一种节省 90% Token 的方法：LLM Wiki 层 - 今日头条 为什么你的大模型在浪费 Token？以及如何构建一个持续进化的 AI 知识库 ## 01 大模型的隐形浪费 如果你经常用 ChatGPT、Claude 或 Gemini 处理文档，你可能没意识到一个问题： **你一直在重复上传同样的文件。** 每次提问，模型都要重新读取、重新理解、重新处理这些文档。同样的 PDF、同样的笔记、同样的资料，一遍又一遍。 这带来了几个严重问题： - **Token 疯狂消耗**：每次都要为重复读取付费 - **上下文丢失**：模型无法在多个文件之间建立持久联系 - **答案质量下降**：重复处理导致信息碎片化，重要关系被忽略 - **效率极低**：同样的问题，每次都要从头推理 **这不是你的错，这是 RAG（检索增强生成）架构的根本缺陷。** ## 02 Karpathy 的解决方案：Wiki 层 前特斯拉 AI 总监、OpenAI 创始成员 Andrej Karpathy 提出了一个优雅的解决方案： **不要每次让模型读原始文件，而是让它读一个持续维护的、结构化的知识库。** 这就是**LLM Wiki Layer（LLM Wiki 层）**的核心思想。 ## 工作原理 1. **一次性处理**：LLM 读取所有原始文件，清理、结构化、建立链接 2. **生成 Wiki**：输出干净、结构化的 Markdown 文件，形成知识库 3. **持续维护**：后续所有交互都基于这个 Wiki，不再碰原始文件 4. **自动更新**：当有新资料时，增量更新 Wiki 层，而非重建 **结果：Token 消耗减少 70\-90%，答案质量显著提升。** ## 03 Wiki 层的三大核心组件 ## 1\. raw/ —— 原始文件库（不可变） 存放所有原始资料： - HTML 网页 - PDF 文档 - 文本笔记 - 截图图片 - 电子表格 - 任何原始数据 **规则**：这个文件夹只作为"单一真相源"，永不手动编辑。 ## 2\. wiki/ —— 知识库（核心工作区） 由 LLM 自动生成和维护的 Markdown 文件： - 清理后的结构化内容 - 内部链接（\[\[页面名称]]） - 元数据（日期、作者、标签） - 文档间的关系图谱 **这是模型后续交互的主要工作空间。** ## 3\. 指令与模板（规则定义） 独立的配置文件，定义所有规则： - 数据清理标准（去除广告、格式垃圾） - 模板使用规则 - 链接创建逻辑 - 元数据字段要求 - 知识库更新策略 ## 04 实操：四步搭建你的 Wiki 层 ## 第一步：创建项目结构 ``` my-wiki-project/ ├── raw/ # 原始文件（你放进去，永不手动改） ├── wiki/ # LLM 生成的知识库 ├── instructions/ # 规则和模板 └── .claude/ # Agent 配置 ``` 把所有现有资料丢进`raw/`文件夹。 ## 第二步：启动结构化 Agent 在 Claude（或任何支持文件操作的强 LLM）中，配置专门的系统提示词： **Agent 会自动完成：** - ✅ 清理文件中的技术垃圾、广告、无用格式 - ✅ 将所有内容转换为干净的 Markdown - ✅ 应用预定义模板 - ✅ 创建内部 Wiki 链接（\[\[页面名称]]） - ✅ 添加元数据，建立文档间关系 ## 第三步：在 Obsidian 中打开知识库 直接用 Obsidian 打开项目文件夹，立即获得： - **可视化知识图谱**：自动显示文档间链接 - **强大的全文搜索**：秒级检索任何内容 - **快速跳转**：在关联笔记间无缝切换 **你的 Wiki 层现在是一个可视化的"第二大脑"。** ## 第四步：使用完成的知识库 现在，你不再需要每次上传几十个文件。只需告诉模型： > 使用 wiki/ 文件夹中的 Wiki 数据库 模型可以立即从干净、结构化、相互关联的知识系统中检索信息。 ## 05 Wiki 层的五大优势  | 优势 | 说明 | | --- | --- | | **Token 效率** | 模型不再需要每次重新读取原始文件 | | **更高准确性** | 信息已清理、结构化、相互关联 | | **可扩展性** | 知识库可轻松扩展到数百甚至数千文档 | | **更好工作流** | Obsidian 将整个系统变成可视化"第二大脑" | | **隐私保护** | 所有数据留在本地，无需上传云端 | ## 06 什么时候需要 Wiki 层？ **Wiki 层特别适合以下场景：** - ✅ 你有 10\-20 个以上同一主题的文档 - ✅ 你的数据在不断更新或扩展 - ✅ 你经常生成内容、报告、研究或创意 - ✅ 你处理个人、商业或机密信息 **简单说：当你发现自己在反复处理同一批资料时，就是该建 Wiki 层的时候。** ## 07 进阶：自定义你的 Agent Agent 提示词完全可定制。在指令文件中，你可以定义： - **模板规则**：不同类型文档使用什么模板 - **元数据字段**：必填字段（日期、作者、标签、摘要等） - **链接规则**：笔记间如何创建链接 - **更新策略**：Agent 如何处理更新和冲突 **这让 Wiki 层适用于几乎所有领域**：营销、软件开发、学习、健康、商业分析等等。 ## 08 写在最后 Karpathy 的 Wiki Layer 将混乱的文件集合转化为真正的 AI 知识库。 一旦花时间搭建好，你就获得了一个强大的、持续进化的系统，能显著提升与任何 LLM 协作的质量和速度。 **这不是一个工具，而是一种新的工作方式。** 从"每次从头开始"到"站在积累的知识上"，这是 AI 时代知识管理的范式转变。 想搭建自己的 Wiki 层？核心步骤： 1\. 创建项目文件夹和 raw/ 子文件夹 2\. 放入所有原始资料 3\. 配置 Claude Agent 进行结构化处理 4\. 在 Obsidian 中打开生成的 wiki/ 文件夹 5\. 开始与干净、结构化的知识库交互 **从混乱到秩序，从重复到积累。**