CONCEPT
Hermes LLM Wiki构建实操流程
基本定义
Hermes LLM Wiki构建实操流程是llm-wiki技能的落地操作规范,基于Nous Research开发的Hermes Agent框架,实现Andrej Karpathy提出的Karpathy LLM Wiki架构三层知识管理逻辑,可快速搭建可自主进化的结构化知识库,替代传统人工整理或关键词检索的知识管理方案,是**Hermes与Karpathy LLM Wiki知识库构建实践指南(简化版)**的核心实操部分。 其底层支撑的llm-wiki技能核心功能包括:知识摄入、自然语言知识查询、知识巡检、知识更新、Markdown格式知识导出。
前置准备
操作前需满足以下条件:
- 运行环境为Linux、macOS或WSL2系统
- 已完成Hermes Agent安装与基础配置,可通过
hermes update更新至最新版本 - 已完成大模型API配置,模型连接正常
- 已启用llm-wiki技能,可通过
hermes skills list命令或Hermes交互界面输入/skills验证技能状态
核心实操流程
1. 知识库目录初始化规范
需严格遵循Karpathy LLM Wiki架构的三层架构创建根目录,按资料类型、知识分类设置子目录,初始化命令如下:
# 创建项目根目录与三个核心根目录
mkdir -p ~/my-wiki/{raw,wiki,schema}
cd ~/my-wiki
# 创建原始资料层子目录,按资料类型划分
mkdir -p raw/documents raw/web raw/notes
# 创建维基层子目录,按知识分类划分
mkdir -p wiki/topics wiki/people wiki/projects
# 模式层无需默认子目录,存储配置文件即可
各目录功能定义:
raw/:原始资料层,存储不可修改的原始数据,包括PDF、Word文档、网页快照、笔记片段等,所有摄入操作仅读取该目录内容,不会修改原始文件wiki/:维基层,存储LLM生成的结构化知识单元,全部为带双链的Markdown文件,是用户访问知识的核心界面schema/:模式层,存储工作流定义、格式规范、角色定义等配置文件,约束LLM的知识处理行为
2. Hermes知识库绑定配置
需配置四个核心参数,将Hermes与创建的知识库目录绑定,支持两种配置方式:
方式一:命令行配置
# 设置知识库根目录
hermes config set wiki.root ~/my-wiki
# 设置原始资料层目录
hermes config set wiki.raw_dir ~/my-wiki/raw
# 设置维基层目录
hermes config set wiki.wiki_dir ~/my-wiki/wiki
# 设置模式层目录
hermes config set wiki.schema_dir ~/my-wiki/schema
方式二:Hermes交互界面配置
在Hermes对话界面输入以下指令:
/config set wiki.root ~/my-wiki
/config set wiki.raw_dir ~/my-wiki/raw
/config set wiki.wiki_dir ~/my-wiki/wiki
/config set wiki.schema_dir ~/my-wiki/schema
配置完成后可通过hermes config show验证参数是否正确。
3. 多类型资料摄入操作
3.1 本地文档摄入
支持PDF、Word、Markdown、TXT等格式的单个本地文档摄入:
- 准备原始资料:将文档复制到对应子目录,例如
cp ~/Downloads/research_paper.pdf ~/my-wiki/raw/documents/ - 触发摄入:在Hermes交互界面输入指令:
请摄入文档 ~/my-wiki/raw/documents/research_paper.pdf - 处理逻辑:Hermes自动完成文档读取、文字提取、结构与关键点分析、知识单元生成、双链关联、索引更新全流程
- 结果验证:可通过
ls -la ~/my-wiki/wiki/topics/查看生成的知识单元,默认生成的文件名为{文档名}_summary.md
3.2 批量文档摄入
支持一次性处理指定目录下的所有文档:
- 触发指令:
请批量摄入 /workspace/hermes-wiki/raw/documents/ 目录下的所有文档 - 处理逻辑:Hermes按顺序处理每个文档,实时返回进度反馈,所有生成的知识单元自动归类到对应分类目录
3.3 网页内容摄入
支持公开网页内容的自动抓取与结构化处理:
- 触发指令:
请摄入网页 https://example.com/article - 处理逻辑:Hermes自动完成网页内容获取、广告/导航栏等非核心元素过滤、图片与链接规范化处理、知识单元生成、索引更新
3.4 笔记片段摄入
支持短内容、临时想法的快速录入:
- 触发指令:
请记录以下笔记:
今天学习了LLM Wiki的概念,它是一种利用LLM构建个人知识库的新方法。核心思想是让LLM作为知识库管理员,持续编译和维护知识。
标签:知识管理, LLM, 学习笔记
- 处理逻辑:Hermes自动生成对应知识单元,根据输入标签自动归类到对应子目录,同时自动关联知识库中相关的知识条目添加双链
细节与边界
- 原始资料层文件为不可修改状态,所有知识修正需通过维基层更新实现,避免原始数据丢失
- 单文档大小不可超过配置的
max_doc_size阈值,默认阈值为100MB,超过的文档会自动分块处理 - 自动知识巡检默认频率为每周1次,可在schema目录下的配置文件中调整巡检频率与校验规则
- 生成的知识单元默认存储在
wiki/topics目录,可通过添加自定义标签实现自动归类到wiki/people、wiki/projects等子目录
相关条目
- Karpathy LLM Wiki架构
- Hermes Agent
- llm-wiki技能
- Hermes与Karpathy LLM Wiki知识库构建实践指南(简化版)
- Nous Research
- Andrej Karpathy