GraphRAG:知识图谱赋能生成式AI,突破传统检索局限,实现精准多跳推理与可解释生成!
1 引言
随着大语言模型(LLM)的快速迭代,生成式AI在自然语言理解、问答系统、知识管理等领域的应用日益广泛,但模型自身存在的固有缺陷严重制约其在知识密集型场景的落地:
一是知识时效性滞后,模型训练依赖静态数据集,无法实时更新最新知识;
二是幻觉问题突出,易生成与事实不符的内容,缺乏可解释性;
三是多跳推理能力薄弱,难以处理涉及复杂实体关联的查询任务。
检索增强生成(RAG)技术通过在生成过程中动态检索外部知识库的相关信息,为模型生成提供事实支撑,成为解决上述痛点的主流技术方案。
传统RAG技术以文档分块(Chunking)为核心,采用向量相似性搜索实现相关文本片段的召回,但其本质仍是基于非结构化数据的检索模式,无法有效捕捉实体之间的复杂语义关联,导致在多跳推理、长文本全局理解、精准知识定位等场景中表现不佳。
例如,在回答“某疾病的治疗药物可能引发的并发症”这类问题时,传统RAG难以建立“疾病-治疗药物-并发症”的实体关系链,易出现检索偏差或信息遗漏。
知识图谱(Knowledge Graph, KG)作为一种结构化知识表示方法,通过节点(实体)与边(关系)的形式清晰刻画实体间的语义关联,具备强大的实体建模、关系推理与全局知识整合能力。
GraphRAG技术将知识图谱与传统RAG深度融合,以知识图谱的结构化优势弥补传统RAG的检索缺陷,实现“结构化知识建模-精准检索-可控生成”的闭环,成为近年来自然语言处理领域的研究热点。
本文聚焦GraphRAG技术,从理论框架、核心原理、对比分析、应用价值等维度展开系统研究,旨在揭示GraphRAG的技术创新逻辑与应用潜力,推动相关领域的学术研究与工程落地。
2 GraphRAG的理论基础与核心定义
2.1 核心概念界定
明确GraphRAG的核心概念与相关技术边界,是开展后续研究的基础,本文结合现有研究成果,对关键概念进行界定:
(1)检索增强生成(RAG):一种融合外部知识库与大语言模型的生成式技术,核心流程包括“检索-整合-生成”三步,通过检索外部知识为模型生成提供事实依据,缓解模型幻觉与知识滞后问题,核心优势在于无需重新训练模型即可实现知识更新。
(2)知识图谱(KG):以结构化形式表示客观世界的实体、属性及相互关系的知识库,由节点(实体,如“糖尿病”“胰岛素”)、边(关系,如“治疗”“引发”)和属性(如“药物类型”“发病机制”)组成,具备结构化、可解释、可推理的核心特征,能够有效捕捉实体间的复杂语义关联。
(3)GraphRAG:全称知识图谱增强的检索生成技术,是一种将知识图谱的结构化知识建模能力与传统RAG技术深度融合的新型范式,核心目标是通过知识图谱优化检索策略、增强生成逻辑,实现“检索更精准、推理更高效、生成更可靠”,其核心区别于传统RAG的关键的是“以结构化知识替代非结构化文档分块,以图遍历检索替代向量相似性检索”。
2.2 理论基础
GraphRAG的技术实现依赖三大核心理论基础,三者相互支撑,构成GraphRAG的理论体系:
第一,知识表示理论:知识图谱采用一阶谓词逻辑、语义网络等形式实现知识的结构化表示,能够将非结构化文本中的实体、关系转化为可计算、可推理的结构化数据,为GraphRAG的检索优化与推理增强提供基础,解决传统RAG知识表示模糊、关联不清晰的问题。
第二,信息检索理论:GraphRAG突破传统RAG的向量相似性检索局限,融合图检索理论,通过图遍历算法(如BFS、DFS、个性化PageRank)实现实体间的多跳关联检索,提升检索的精准度与效率,尤其适用于复杂多跳查询场景。
第三,生成式AI理论:以大语言模型为核心,结合知识图谱提供的结构化知识与检索到的相关信息,通过提示工程(Prompt Engineering)引导模型生成符合事实、逻辑连贯的内容,同时利用知识图谱的约束作用,降低模型幻觉概率,提升生成内容的可解释性。
3 GraphRAG的核心学术框架与逻辑体系
基于GraphRAG的技术特征与理论基础,本文构建“知识建模层-检索优化层-生成增强层”的三层学术框架(如图1所示),各层职责清晰、协同联动,形成“知识输入-检索匹配-内容生成”的完整逻辑链路,实现知识图谱对检索生成过程的全流程增强。该框架既体现了GraphRAG的核心技术逻辑,又兼顾了学术研究的系统性与工程实践的可操作性。
3.1 框架整体逻辑
GraphRAG的三层框架遵循“结构化知识建模→精准化检索匹配→可控化内容生成”的核心逻辑:首先,知识建模层将非结构化文本转化为结构化知识图谱,构建统一的知识表示体系;其次,检索优化层基于知识图谱的实体关系,通过图检索算法实现查询与知识的精准匹配,解决传统RAG检索偏差问题;最后,生成增强层将检索到的结构化知识与大语言模型融合,通过知识约束与推理引导,生成可靠、可解释的内容。三个层面层层递进、相互支撑,共同实现GraphRAG的技术优势。
3.2 各层详细解析
3.2.1 知识建模层:结构化知识的构建与优化
知识建模层是GraphRAG的基础,核心职责是将非结构化文本(如学术文献、企业文档、行业报告)转化为结构化知识图谱,为后续检索与生成提供高质量的知识支撑,其核心流程分为三个步骤:
第一步,文本预处理与实体抽取:首先对原始非结构化文本进行清洗、分词、去重等预处理,去除冗余信息;随后利用大语言模型(LLM)或开放信息抽取(OpenIE)技术,从文本中提取实体(如人物、机构、概念、产品)、关系(如因果、从属、合作)及协变量,例如从“糖尿病患者使用胰岛素可能引发低血糖”中,抽取实体“糖尿病”“胰岛素”“低血糖”,关系“糖尿病→治疗→胰岛素”“胰岛素→引发→低血糖”。
第二步,知识图谱构建:将抽取的实体、关系进行标准化处理(如同义词归一化,将“苹果公司”与“Apple Inc.”统一为同一实体),构建无模式知识图谱(Unstructured Knowledge Graph),节点表示实体,边表示实体间的关系,同时为节点与边添加属性信息(如实体类型、关系置信度),形成初步的结构化知识体系。
第三步,知识图谱优化:通过Leiden算法对初步构建的知识图谱进行多层社区划分,形成“主题→子主题→具体实体”的层次化结构,实现知识的分层聚合;同时,通过自底向上的方式生成各层社区摘要,低层摘要聚焦具体细节,高层摘要整合主题共性,既压缩文本量以提升后续检索效率,又实现全局知识的结构化整合。此外,还需通过去噪、补全等操作,修复知识图谱中的错误关系、补充缺失关联,提升知识图谱的准确性与完整性。
3.2.2 检索优化层:图引导的精准检索机制
检索优化层是GraphRAG的核心创新点,核心职责是基于知识建模层构建的知识图谱,实现查询与知识的精准匹配,突破传统RAG向量相似性检索的局限,其核心逻辑是“图遍历检索+多粒度匹配”,具体流程如下:
第一步,查询解析与实体映射:将用户查询(如自然语言问题)输入大语言模型,解析查询意图,提取核心关键词与实体,将其映射到知识图谱中的对应节点,确定检索的起始节点与核心方向。例如,针对查询“苹果公司创始人的教育背景”,提取核心实体“苹果公司”“创始人”,映射到知识图谱中的对应节点,确定检索方向为“苹果公司→创始人→教育背景”。
第二步,图遍历与多跳检索:采用图遍历算法(如BFS、DFS、个性化PageRank),从起始节点出发,遍历知识图谱中的相关节点与关系,实现多跳关联检索。与传统RAG的单跳检索不同,GraphRAG能够通过图遍历捕捉实体间的多跳关系,例如通过“苹果公司→创始人→乔布斯→毕业院校→里德学院”的多跳路径,精准获取查询所需的知识,避免检索偏差。其中,个性化PageRank算法可实现单步多跳检索,一次性召回与查询相关的多跳实体,提升检索效率。
第三步,检索结果排序与筛选:基于检索路径的置信度、实体关联强度、社区相关性等指标,对检索到的知识进行排序与筛选,优先保留与查询意图最相关的结构化知识(如实体关系、社区摘要),剔除冗余、无关信息,为后续生成过程提供高质量的知识输入,同时减少大语言模型的上下文token消耗。
3.2.3 生成增强层:知识约束的可控生成
生成增强层是GraphRAG的最终输出环节,核心职责是将检索优化层获取的结构化知识与大语言模型深度融合,通过知识约束与推理引导,生成可靠、可解释、逻辑连贯的内容,其核心优势在于“知识可控、幻觉可控、推理可控”,具体实现逻辑如下:
第一步,知识整合与提示构建:将检索到的结构化知识(实体关系、社区摘要、多跳路径)进行整合,转化为大语言模型可理解的提示(Prompt)格式,明确引导模型基于结构化知识进行生成,避免模型脱离事实进行自由生成。例如,将“糖尿病→治疗→胰岛素”“胰岛素→引发→低血糖”的关系链整合到提示中,引导模型生成关于糖尿病治疗药物副作用的准确内容。
第二步,知识约束与推理引导:利用知识图谱的结构化特征,对模型生成过程进行约束,确保生成内容与知识图谱中的实体关系一致,降低幻觉概率;同时,引导模型基于检索到的多跳关系进行逻辑推理,提升生成内容的逻辑性与完整性。例如,在回答复杂问题时,模型可基于知识图谱中的多跳路径,逐步推导得出结论,形成可追溯的推理过程。
第三步,生成结果优化与验证:对模型生成的内容进行优化,修正语法错误、逻辑漏洞,确保内容连贯、准确;同时,通过知识图谱对生成结果进行验证,检查生成内容中的实体、关系是否与知识图谱一致,若存在偏差则重新检索知识并优化生成,形成“生成-验证-优化”的闭环。此外,可结合社区摘要的多粒度特征,实现多维度、多层次的内容生成,既满足全局主题需求,又能补充具体细节。
4 GraphRAG的核心技术原理深度剖析
GraphRAG的核心优势源于知识图谱与检索生成技术的深度融合,其底层技术原理围绕“结构化知识建模、图引导检索、知识增强生成”三大核心展开,结合相关算法与技术实现,具体剖析如下:
4.1 知识图谱构建原理
GraphRAG的知识图谱构建采用“LLM驱动+算法优化”的模式,核心解决“实体抽取准确性、关系挖掘完整性、知识结构层次性”三大问题:
(1)实体与关系抽取原理:借助大语言模型的语义理解能力,实现实体、关系的精准抽取,相比传统的规则式、机器学习式抽取方法,LLM能够更好地处理歧义性、复杂性文本,提升抽取准确性;对于模糊关系,通过上下文语义分析与置信度计算,筛选高可信度的关系,剔除噪声关系,确保知识图谱的准确性。
(2)层次化社区划分原理:采用Leiden算法对知识图谱进行社区划分,该算法基于模块化优化策略,能够快速实现大规模知识图谱的分层聚类,将语义关联紧密的实体划分为同一社区,形成“主题-子主题-实体”的层次结构,既实现知识的聚合,又提升后续检索的效率。
(3)知识补全原理:针对知识图谱中的缺失关系,采用基于嵌入的知识补全算法(如TransE、TransR),通过将实体与关系映射到低维向量空间,计算实体间的关联概率,补充缺失的关系,提升知识图谱的完整性。
4.2 图引导检索原理
GraphRAG的检索机制突破传统RAG的向量相似性检索局限,核心依赖图遍历算法与多粒度匹配策略,其核心原理如下:
(1)图遍历算法原理:采用BFS(广度优先搜索)、DFS(深度优先搜索)与个性化PageRank算法相结合的方式,实现多跳检索。BFS用于快速遍历与起始节点直接关联的实体,适用于浅层多跳查询;DFS用于深入遍历实体间的深层关联,适用于复杂多跳查询;个性化PageRank算法通过向核心实体分配更高的初始概率,实现单步多跳检索,一次性召回所有相关实体,减少迭代次数,提升检索效率。
(2)多粒度匹配原理:结合知识图谱的层次化结构,实现“全局-局部”的多粒度检索匹配——高层社区摘要用于快速匹配查询的全局主题,低层实体关系用于补充具体细节,既提升检索效率,又确保检索结果的全面性。例如,在回答“某行业的发展趋势”这类全局问题时,优先匹配高层社区摘要;在回答“某企业的核心产品”这类具体问题时,检索低层实体关系细节。
4.3 知识增强生成原理
GraphRAG的生成过程以“知识约束”为核心,通过提示工程与推理引导,实现生成内容的可靠性与可解释性,其核心原理包括:
(1)提示工程原理:将结构化知识(实体关系、多跳路径)转化为结构化提示,明确告知模型生成的知识依据,引导模型基于给定知识进行生成,避免自由发挥导致的幻觉。例如,采用“基于知识图谱中的关系:A→B→C,生成关于A与C关联的内容”的提示格式,约束模型的生成逻辑。
(2)知识约束原理:通过将知识图谱中的实体、关系作为约束条件,嵌入到模型生成过程中,确保生成内容中的实体、关系与知识图谱一致。例如,若知识图谱中存在“胰岛素用于治疗糖尿病”的关系,模型生成的内容不得出现“胰岛素用于治疗高血压”的错误表述。
(3)可解释性生成原理:基于知识图谱的多跳路径,引导模型生成可追溯的推理过程,例如在回答复杂问题时,模型不仅输出最终答案,还需输出“基于知识图谱中A→B→C的关系,推导得出……”的推理过程,提升生成内容的可解释性。
5 GraphRAG与相关技术的对比分析
为进一步凸显GraphRAG的核心优势,明确其技术定位,本文将GraphRAG与传统RAG、其他图增强RAG方法(GraphReader、HippoRAG)进行对比分析,从知识表示、检索方式、推理能力、可解释性等核心维度展开,清晰呈现GraphRAG的差异化特征。
5.1 GraphRAG与传统RAG的对比
传统RAG与GraphRAG的核心差异在于“知识表示形式”与“检索机制”,具体对比如下:
(1)知识表示:传统RAG采用非结构化文档分块作为知识载体,无法捕捉实体间的语义关联,知识呈现碎片化特征;GraphRAG采用结构化知识图谱,以节点-边形式清晰刻画实体关系,实现知识的结构化、体系化表示。
(2)检索方式:传统RAG采用向量相似性搜索,基于文本片段的语义相似性进行检索,易出现检索偏差,难以处理多跳查询;GraphRAG采用图遍历算法,基于实体关系进行多跳检索,检索精度更高,更适用于复杂查询场景。
(3)推理能力:传统RAG仅能实现单跳检索与简单推理,无法处理涉及多实体关联的复杂推理任务;GraphRAG通过多跳图遍历,能够捕捉实体间的深层关联,实现复杂多跳推理。
(4)可解释性:传统RAG的生成过程为“黑箱”模式,无法追溯答案的知识来源,可解释性差;GraphRAG基于知识图谱的实体关系与推理路径,能够提供可追溯的推理过程,可解释性显著提升。
(5)幻觉控制:传统RAG依赖文本片段的匹配,易出现信息误读或遗漏,幻觉概率较高;GraphRAG通过知识图谱的约束作用,确保生成内容与事实一致,有效降低幻觉概率。
5.2 GraphRAG与其他图增强RAG方法的对比
当前图增强RAG方法还包括GraphReader、HippoRAG等,与GraphRAG相比,各方法的核心差异在于技术侧重点与适用场景,具体对比如下:
(1)GraphReader:由阿里、上海AI Lab等提出,核心聚焦长文本处理与智能体自主探索,通过构建基于图的智能体系统,自主探索图结构、收集关键信息并完成推理,优势在于长文本处理能力强、自主推理灵活性高,但计算成本高、初始化依赖人工领域知识,适用于法律卷宗审阅、科学论文综述等超长文档分析场景。
(2)HippoRAG:受神经生物学启发,模拟人类海马体的记忆机制,采用“模式分离”与“模式完成”实现知识整合,核心优势在于单步多跳检索效率高、生物可解释性强,但依赖高质量知识图谱,难以处理需要数值计算或层次推理的复杂任务,适用于实体关联清晰、逻辑推理需求较低的事实问答场景。
(3)GraphRAG:由微软提出,核心聚焦全局知识整合与多粒度生成,通过层次化社区划分实现知识的分层聚合,优势在于全局理解能力强、检索效率高、领域无关性强,能够适配多种文本类型,但存在高层摘要细节丢失、调参复杂等问题,适用于大规模文本摘要、多数据源整合、跨章节知识点总结等场景。
6 GraphRAG的学术价值与工程实践应用
6.1 学术研究价值
GraphRAG作为传统RAG技术的重要创新方向,在自然语言处理、知识管理等领域具有重要的学术研究价值,主要体现在三个方面:
第一,丰富了检索增强生成技术的理论体系。GraphRAG创新性地将知识图谱与RAG深度融合,提出“结构化知识增强检索生成”的新范式,突破传统RAG的技术局限,为RAG技术的优化提供了新的思路与方法,推动检索生成技术从“非结构化检索”向“结构化检索”转型。
第二,推动了知识图谱与大语言模型的融合研究。GraphRAG并非简单的技术叠加,而是实现了知识图谱的结构化优势与大语言模型的生成优势的深度协同,为两者的融合提供了可参考的实践范式,推动相关领域对“结构化知识如何赋能生成式AI”的深入研究。
第三,为复杂推理与可解释性生成提供了新路径。GraphRAG通过图引导检索与知识约束生成,有效提升了模型的多跳推理能力与生成内容的可解释性,解决了传统生成式AI“推理弱、不可解释”的核心痛点,为可解释AI的研究提供了新的技术路径。
6.2 工程实践应用
GraphRAG的结构化、高可靠、可推理特性,使其在知识密集型场景中具有广泛的工程实践应用前景,结合现有研究与落地案例,主要集中在以下四个核心领域:
(1)企业知识管理:帮助企业构建统一的结构化知识管理平台,将分散在各部门的非结构化文档(如项目报告、技术文档、客户案例)转化为知识图谱,通过GraphRAG实现跨部门知识的精准检索与整合,解决传统知识库“信息孤岛、检索低效”的问题,同时减少因人员流动导致的知识流失。
(2)学术研究与文献分析:在学术领域,GraphRAG可将海量学术文献转化为结构化知识图谱,挖掘文献中的研究成果、实验数据、作者关联等隐含关系,帮助研究者快速定位相关研究、发现研究热点、避免重复研究,同时生成跨文献的综述报告,提升研究效率。
(3)智能客服与问答系统:在智能客服场景中,GraphRAG通过知识图谱约束生成答案,确保回答符合企业政策与事实,例如当用户询问“如何处理发票丢失”时,系统可通过“发票→税务规定→补救措施”的关系路径,生成详细、准确的解答,减少模糊表述带来的用户困惑;在智能问答场景中,可处理复杂多跳问题,提升问答的精准度与逻辑性。
(4)医疗与金融领域:在医疗领域,GraphRAG可构建医疗知识图谱(如疾病-药物-并发症-症状),实现医疗知识的精准检索与多跳推理,为医生提供诊断辅助与治疗建议;在金融领域,可构建金融知识图谱(如企业-行业-政策-风险),实现风险预警、政策解读等功能,提升决策的科学性。
7 技术瓶颈与未来展望
7.1 当前技术瓶颈
尽管GraphRAG具有显著的技术优势,但目前仍面临一些亟待解决的技术瓶颈,制约其规模化落地:
第一,知识图谱构建成本高、效率低。当前GraphRAG的知识图谱构建依赖LLM进行实体、关系抽取,对于大规模文本数据,抽取效率较低,且需要人工进行去噪、补全,人力成本较高;同时,不同领域的知识图谱构建缺乏通用策略,适配性较差。
第二,细节丢失与调参复杂问题。GraphRAG的层次化社区摘要在压缩文本量的同时,可能丢失关键细节,影响生成内容的准确性;此外,社区层级选择、文本块大小等参数需根据数据集进行优化,缺乏通用的调参策略,增加了工程落地的难度。
第三,大规模知识图谱的处理效率不足。当知识图谱的实体与关系规模达到亿级以上时,图遍历检索的效率会显著下降,难以满足实时检索与生成的需求。
第四,复杂查询的歧义性处理能力薄弱。对于存在歧义的查询(如多义词实体),GraphRAG难以准确判断查询意图,易出现检索偏差,影响生成质量。
7.2 未来发展展望
针对当前技术瓶颈,结合AI技术的发展趋势,GraphRAG的未来发展可聚焦四个方向:
第一,自动化知识图谱构建技术优化。结合小样本学习、 Few-Shot 抽取等技术,提升实体、关系抽取的自动化程度,减少人工干预;开发通用的领域适配策略,降低不同领域知识图谱的构建成本与难度。
第二,细节保留与参数自适应优化。优化层次化社区划分算法,在压缩文本量的同时保留关键细节;开发参数自适应机制,根据数据集特征自动调整社区层级、文本块大小等参数,提升技术的通用性与易用性。
第三,大规模知识图谱的高效处理技术研发。结合图神经网络(GNN)、分布式存储等技术,优化图遍历检索算法,提升大规模知识图谱的检索效率,满足实时应用场景的需求。
第四,多模态与多场景融合拓展。将GraphRAG与多模态技术(如文本、图像、语音)融合,构建多模态知识图谱,拓展应用场景;同时,针对不同领域的需求,开发定制化的GraphRAG解决方案,提升技术的场景适配性。
此外,未来还需加强GraphRAG的标准化研究,制定统一的技术规范与评价指标,推动GraphRAG技术的规范化发展;同时,探索GraphRAG与AI Agent、具身智能等前沿技术的融合,拓展技术的应用边界。
最后
对于正在迷茫择业、想转行提升,或是刚入门的程序员、编程小白来说,有一个问题几乎人人都在问:未来10年,什么领域的职业发展潜力最大?
答案只有一个:人工智能(尤其是大模型方向)
当下,人工智能行业正处于爆发式增长期,其中大模型相关岗位更是供不应求,薪资待遇直接拉满——字节跳动作为AI领域的头部玩家,给硕士毕业的优质AI人才(含大模型相关方向)开出的月基础工资高达5万—6万元;即便是非“人才计划”的普通应聘者,月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂,非“人才计划”的AI相关岗位应聘者,月基础工资也约有3万元,远超其他行业同资历岗位的薪资水平,对于程序员、小白来说,无疑是绝佳的转型和提升赛道。
如果你还不知道从何开始,我自己整理一套全网最全最细的大模型零基础教程,我也是一路自学走过来的,很清楚小白前期学习的痛楚,你要是没有方向还没有好的资源,根本学不到东西!
下面是我整理的大模型学习资源,希望能帮到你。
👇👇扫码免费领取全部内容👇👇
最后
1、大模型学习路线
2、从0到进阶大模型学习视频教程
从入门到进阶这里都有,跟着老师学习事半功倍。
3、 入门必看大模型学习书籍&文档.pdf(书面上的技术书籍确实太多了,这些是我精选出来的,还有很多不在图里)
4、AI大模型最新行业报告
2026最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
5、面试试题/经验
【大厂 AI 岗位面经分享(107 道)】
【AI 大模型面试真题(102 道)】
【LLMs 面试真题(97 道)】
6、大模型项目实战&配套源码
适用人群
四阶段学习规划(共90天,可落地执行)
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身:基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例:如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
