港大新作：多模态RAG，支持图、文、表、公式等8种文档格式 - 今日头条.md3.4 KBit/ai/港大新作：多模态RAG，支持图、文、表、公式等8种文档格式 - 今日头条.md
--- title: "港大新作：多模态RAG，支持图、文、表、公式等8种文档格式 - 今日头条" source_url: "https://www.toutiao.com/article/7519873498773520907/?wid=1782275637837" source_site: "www.toutiao.com" clipped_at: "2026-06-24T04:34:05.720888+00:00" clipper: "aiwiki-url-ingest" extractor: "toutiao_rendered" --- # 港大新作：多模态RAG，支持图、文、表、公式等8种文档格式 - 今日头条 RAG\-Anything能处理和查询包含文本、图像、表格、公式等多模态内容的复杂文档的图RAG。 是在LightRAG基础上扩展的，LightRAG也真是火爆17\.8K星了。 RAG\-Anything继承了LightRAG架构，整体如下： - 文档解析阶段 - 集成 MinerU 文档解析框架 - 自动识别并提取文档中的文本块、图像、表格、公式等异构元素，保持元素间的语义关联关系。 - 支持PDF、Office文档系列（DOC/DOCX/PPT/PPTX/XLS/XLSX）、图像等主流格式的统一处理与标准化输出。 - 多模态内容理解与处理 - 通过自主分类路由机制实现异构内容的智能识别与优化分发。 - 自动识别、分类并将不同内容类型路由至优化的执行通道。 - 通过专用处理流水线实现文本和多模态内容的并发执行。这种方法在保持内容完整性的同时最大化吞吐效率。 - 多模态分析 - 为自定义和新兴内容类型提供可配置的处理框架 - 通过插件架构实现新模态处理器的动态集成 - 支持专用场景下处理流水线的运行时配置 - 高精度解析复杂数学表达式和公式 - 提供原生LaTeX格式支持以实现与学术工作流的无缝集成 - 建立数学方程与领域特定知识库间的概念映射 - 对表格和结构化数据格式进行系统性解释 - 实现数据趋势分析的统计模式识别算法 - 识别多个表格数据集间的语义关系和依赖性 - 图像分析和内容识别 - 视觉语义生成上下文感知的描述性标题 - 提取视觉元素间的空间关系和层次结构 - 视觉内容分析,包括： - 结构化数据分析 - 数学表达式解析 - 可扩展模态 - 创建多模态知识图谱 - 多模态实体提取：将重要的多模态元素转换为结构化知识图谱实体。该过程包括语义标注和元数据保存。 - 跨模态关系映射：在文本实体和多模态组件之间建立语义连接和依赖关系。通过自动化关系推理算法实现这一功能。 - 层次结构保持：通过"归属于"关系链维护原始文档组织结构。这些关系链保持逻辑内容层次和章节依赖关系。 - 加权关系评分：为关系类型分配定量相关性分数。评分基于语义邻近性和文档结构内的上下文重要性。 - 多模态检索 - 向量\-图谱融合：集成向量相似性搜索与图遍历算法。该方法同时利用语义嵌入和结构关系实现全面的内容检索。 - 模态感知排序：实现基于内容类型相关性的自适应评分机制。系统根据查询特定的模态偏好调整排序结果。 - 关系一致性维护：维护检索元素间的语义和结构关系。确保信息传递的连贯性和上下文完整性。 > https://github.com/HKUDS/RAG\-Anything/tree/main