W
AI-Wiki
CONCEPT

Hermes LLM Wiki构建实操流程

基本定义

Hermes LLM Wiki构建实操流程是llm-wiki技能的落地操作规范,基于Nous Research开发的Hermes Agent框架,实现Andrej Karpathy提出的Karpathy LLM Wiki架构三层知识管理逻辑,可快速搭建可自主进化的结构化知识库,替代传统人工整理或关键词检索的知识管理方案,是**Hermes与Karpathy LLM Wiki知识库构建实践指南(简化版)**的核心实操部分。 其底层支撑的llm-wiki技能核心功能包括:知识摄入、自然语言知识查询、知识巡检、知识更新、Markdown格式知识导出。

前置准备

操作前需满足以下条件:

  1. 运行环境为Linux、macOS或WSL2系统
  2. 已完成Hermes Agent安装与基础配置,可通过hermes update更新至最新版本
  3. 已完成大模型API配置,模型连接正常
  4. 已启用llm-wiki技能,可通过hermes skills list命令或Hermes交互界面输入/skills验证技能状态

核心实操流程

1. 知识库目录初始化规范

需严格遵循Karpathy LLM Wiki架构的三层架构创建根目录,按资料类型、知识分类设置子目录,初始化命令如下:

# 创建项目根目录与三个核心根目录
mkdir -p ~/my-wiki/{raw,wiki,schema}
cd ~/my-wiki
# 创建原始资料层子目录,按资料类型划分
mkdir -p raw/documents raw/web raw/notes
# 创建维基层子目录,按知识分类划分
mkdir -p wiki/topics wiki/people wiki/projects
# 模式层无需默认子目录,存储配置文件即可

各目录功能定义:

  • raw/:原始资料层,存储不可修改的原始数据,包括PDF、Word文档、网页快照、笔记片段等,所有摄入操作仅读取该目录内容,不会修改原始文件
  • wiki/:维基层,存储LLM生成的结构化知识单元,全部为带双链的Markdown文件,是用户访问知识的核心界面
  • schema/:模式层,存储工作流定义、格式规范、角色定义等配置文件,约束LLM的知识处理行为

2. Hermes知识库绑定配置

需配置四个核心参数,将Hermes与创建的知识库目录绑定,支持两种配置方式:

方式一:命令行配置

# 设置知识库根目录
hermes config set wiki.root ~/my-wiki
# 设置原始资料层目录
hermes config set wiki.raw_dir ~/my-wiki/raw
# 设置维基层目录
hermes config set wiki.wiki_dir ~/my-wiki/wiki
# 设置模式层目录
hermes config set wiki.schema_dir ~/my-wiki/schema

方式二:Hermes交互界面配置

在Hermes对话界面输入以下指令:

/config set wiki.root ~/my-wiki
/config set wiki.raw_dir ~/my-wiki/raw
/config set wiki.wiki_dir ~/my-wiki/wiki
/config set wiki.schema_dir ~/my-wiki/schema

配置完成后可通过hermes config show验证参数是否正确。

3. 多类型资料摄入操作

3.1 本地文档摄入

支持PDF、Word、Markdown、TXT等格式的单个本地文档摄入:

  1. 准备原始资料:将文档复制到对应子目录,例如cp ~/Downloads/research_paper.pdf ~/my-wiki/raw/documents/
  2. 触发摄入:在Hermes交互界面输入指令:请摄入文档 ~/my-wiki/raw/documents/research_paper.pdf
  3. 处理逻辑:Hermes自动完成文档读取、文字提取、结构与关键点分析、知识单元生成、双链关联、索引更新全流程
  4. 结果验证:可通过ls -la ~/my-wiki/wiki/topics/查看生成的知识单元,默认生成的文件名为{文档名}_summary.md

3.2 批量文档摄入

支持一次性处理指定目录下的所有文档:

  1. 触发指令:请批量摄入 /workspace/hermes-wiki/raw/documents/ 目录下的所有文档
  2. 处理逻辑:Hermes按顺序处理每个文档,实时返回进度反馈,所有生成的知识单元自动归类到对应分类目录

3.3 网页内容摄入

支持公开网页内容的自动抓取与结构化处理:

  1. 触发指令:请摄入网页 https://example.com/article
  2. 处理逻辑:Hermes自动完成网页内容获取、广告/导航栏等非核心元素过滤、图片与链接规范化处理、知识单元生成、索引更新

3.4 笔记片段摄入

支持短内容、临时想法的快速录入:

  1. 触发指令:
请记录以下笔记:
今天学习了LLM Wiki的概念,它是一种利用LLM构建个人知识库的新方法。核心思想是让LLM作为知识库管理员,持续编译和维护知识。
标签:知识管理, LLM, 学习笔记
  1. 处理逻辑:Hermes自动生成对应知识单元,根据输入标签自动归类到对应子目录,同时自动关联知识库中相关的知识条目添加双链

细节与边界

  1. 原始资料层文件为不可修改状态,所有知识修正需通过维基层更新实现,避免原始数据丢失
  2. 单文档大小不可超过配置的max_doc_size阈值,默认阈值为100MB,超过的文档会自动分块处理
  3. 自动知识巡检默认频率为每周1次,可在schema目录下的配置文件中调整巡检频率与校验规则
  4. 生成的知识单元默认存储在wiki/topics目录,可通过添加自定义标签实现自动归类到wiki/peoplewiki/projects等子目录

相关条目