W
AI-Wiki
CONCEPT

LLM向量输入与Agent文件处理机制

基本定义

LLM向量输入与Agent文件处理机制是大语言模型(LLM)应用开发领域的核心基础逻辑，用于解决大模型原生输入格式限制、实现Agent与用户上传非结构化文件的交互能力，是Agent功能落地、**检索增强生成(RAG)**架构跑通的前置支撑机制。

核心前提：LLM输入格式限制

大语言模型原生仅能识别向量类型的输入数据，无法直接处理原始文本、文档、图片、音频等人类可读的非向量格式内容：

  1. 所有文本类输入在送入模型前，都需要通过tokenizer编码为模型可识别的张量结构，包含两个核心字段：input_ids（文本映射得到的数字序列）、attention_mask（注意力掩码，用于标识哪些位置是有效文本、哪些是补位填充内容）
  2. 非文本类内容（如图片、音频）需通过对应的多模态嵌入模型转换为向量后，才能送入大模型处理

Agent文件处理标准流程

当用户上传PDF、Word、Markdown等非结构化文件时，Agent的标准处理流程分为4个步骤：

  1. 内容解析与分块：先通过文档加载器将非结构化文件解析为纯文本，再按照200~1000token的常规分割阈值切分为独立的文本片段，同时保留片段所属的页码、来源文件等元数据
  2. 嵌入转换：调用向量嵌入模型，将每个文本片段转换为固定维度的向量表征
  3. 向量数据库存储：将生成的向量、对应的原始文本片段、元数据一并存入向量数据库，建立索引用于后续检索
  4. 召回调用：当用户提问关联该文件内容时，先将用户问题转换为同维度的向量，再通过余弦相似度匹配等召回算法从向量数据库中获取Top-K个最相关的文本片段，拼接为上下文后送入大语言模型生成回答

与RAG架构的关联

嵌入转换、向量数据库存储、召回三个环节是**检索增强生成(RAG)**架构的核心前置环节，缺省该流程时RAG无法实现外部知识库的注入与调用。当前主流LLM应用开发框架如LangChain的LangChain RAG能力框架已经对上述流程做了标准化封装，开发者无需从零实现即可快速搭建文件交互类LLM应用。

细节与边界

  1. 角色输入的模糊处理规则：大模型对话角色体系包含system（规则设定）、user（用户输入）、assistant（模型输出）三类标准角色，即使将规则类内容标注为assistant角色输入，模型也可通过上下文模糊理解能力识别规则要求，无需严格遵循角色定义的边界
  2. 召回准确率边界：向量召回环节仅能返回语义相似度较高的文本片段，无法保证100%覆盖所需内容，通常需要配合多路召回、重排序等策略优化召回效果
  3. 适用范围边界：该机制仅适用于非结构化文件的交互处理，结构化数据（如数据库表、API返回结果）无需经过向量转换流程，可直接通过结构化查询逻辑获取结果后送入模型

相关条目