E-BOOK 大模型RAG实战：RAG原理、应用与系统构建汪鹏谷清水卞龙鹏大模型RAG实战：RAG原理、应用与系统构建汪鹏谷清水卞龙鹏

大模型RAG实战：RAG原理、应用与系统构建汪鹏谷清水卞龙鹏

中文暂无

出版社: 机械工业出版社
出版日期: 2024-09-08
页数: 390 页
评分: 8.9 / 10

下载本书

立即获取 PDF

填写邮箱后继续，文件将发送至该邮箱。

产品特色

编辑推荐

（1）作者经验丰富：3位作者在一线互联网大厂和上市公司又多年的AI技术经验和算法经验，是RAG领域的实践者和布道者。（2）理论全面深入：系统梳理与大模型和RAG相关核心技术和优化方法，全面总结RAG的范式演变。（3）内容实战导向：不仅讲解了各种RAG系统的训练方法，而且还讲解了如何从零搭建一个RAG系统以及RAG系统在大模型应用开发中的使用。

内容简介

内容简介这是一本全面讲解RAG技术原理、实战应用与系统构建的著作。作者结合自身丰富的实战经验，详细阐述了RAG的基础原理、核心组件、优缺点以及使用场景，同时探讨了RAG在大模型应用开发中的变革与潜力。书中不仅揭示了RAG技术背后的数学原理，还通过丰富的案例与代码实现，引导读者从理论走向实践，轻松掌握RAG系统的构建与优化。无论你是深度学习初学者，还是希望提升RAG应用技能的开发者，本书都将为你提供宝贵的参考与指导。通过阅读本书，你将掌握以下知识：?透彻理解RAG的召回和生成模块算法?高级RAG系统的技巧?RAG系统的各种训练方式方法?深入了解RAG的范式变迁?实战0基础搭建RAG系统?实战高级RAG系统微调与流程搭建

作者简介

汪鹏
资深NLP技术专家和AI技术专家，拥有多年NLP落地经验。擅长结合用户场景，针对性地设计图谱、问答、检索、多模态、AIGC等相关的算法和落地方案。在Kaggle获得多枚奖牌，等级master。拥有公众号“NLP前沿”。
谷清水
毕业于清华大学，有国内多家大厂工作经历，7年深度学习项目开发经验。在KDD-CUP等机器学习竞赛中多次获奖，持有多项发明专利。知乎ID：“战士金”。
卞龙鹏
某上市公司资深AI算法工程师，多年互联网一线工作经验，10年机器学习与数据挖掘经验。持多项发明专利，发表多篇SCI文章，主攻机器视觉、模式识别、自然语言处理。

目　　录

目　　录 Contents
前　言
第一部分　基础
第1章　RAG与大模型应用　2
1.1　大模型应用的方向：RAG　　2
1.1.1 　什么是RAG　　2
1.1.2　RAG与模型微调的对比　　5
1.1.3　RAG带来的范式改变　　5
1.2　为什么需要RAG　　6
1.2.1　大模型的知识更新问题　　6
1.2.2　大模型生成结果的不可解释性问题　　8
1.2.3　大模型的数据泄露问题　　8
1.2.4　大模型的训练成本问题　　9
1.3　RAG的工作流程　　9

目　　录 Contents 前　言 第一部分　基础 第1章　RAG与大模型应用　2 1.1　大模型应用的方向：RAG　　2 1.1.1 　什么是RAG　　2 1.1.2　RAG与模型微调的对比　　5 1.1.3　RAG带来的范式改变　　5 1.2　为什么需要RAG　　6 1.2.1　大模型的知识更新问题　　6 1.2.2　大模型生成结果的不可解释性问题　　8 1.2.3　大模型的数据泄露问题　　8 1.2.4　大模型的训练成本问题　　9 1.3　RAG的工作流程　　9 1.3.1　数据准备　　10 1.3.2　数据召回　　11 1.3.3　答案生成　　12 1.4　RAG的优缺点　　12 1.4.1　RAG的优点　　12 1.4.2　RAG的缺点　　13 1.5　RAG的使用场景　　14 1.6　RAG面临的挑战　　16 1.6.1　LLM的伸缩法则与知识库大小的关系　　16 1.6.2　相似度搜索的性能问题　　17 1.7　本章小结　　19 第2章　语言模型基础　20 2.1　Transformer　　20 2.1.1　词嵌入　　24 2.1.2　编码器　　35 2.1.3　解码器　　39 2.1.4　解码头　　41 2.2　自动编码器　　41 2.2.1　ELMo　　42 2.2.2　BERT　　43 2.3　自回归模型　　47 2.3.1　GPT　　48 2.3.2　LLaMA　　53 2.4　本章小结　　56 第3章　文本召回模型　58 3.1　文本召回模型基础　　58 3.2　稠密向量检索模型　　61 3.2.1　SimCSE　　61 3.2.2　SBERT　　63 3.2.3　CoSENT　　64 3.2.4　WhiteBERT　　65 3.2.5　SGPT　　66 3.3　稀疏向量检索模型　　67 3.3.1　朴素词袋模型　　67 3.3.2　TF-IDF　　68 3.3.3　BM25　　70 3.4　重排序模型　　71 3.5　本章小结　　72 第二部分　原理 第4章　RAG核心技术与优化方法　74 4.1　提示词工程　　74 4.1.1　提示词工程基础　　74 4.1.2　RAG场景下的提示词设计　　81 4.2　文本切块　　83 4.2.1　固定大小文本切块　　84 4.2.2　基于NLTK的文本切块　　85 4.2.3　特殊格式文本切块　　85 4.2.4　基于深度学习模型的文本切块　　86 4.3　向量数据库　　87 4.3.1　Faiss　　88 4.3.2　Milvus　　92 4.3.3　Weaviate　　93 4.3.4　Chroma　　93 4.3.5　Qdrant　　93 4.4　召回环节优化　　94 4.4.1　短文本全局信息增强　　94 4.4.2　召回内容上下文扩充　　95 4.4.3　文本多向量表示　　96 4.4.4　查询内容优化　　98 4.4.5　召回文本重排序　　101 4.4.6 　多检索器融合　　102 4.4.7　结合元数据召回　　104 4.5　效果评估　　107 4.5.1　召回环节评估　　107 4.5.2　模型回答评估　　109 4.6　LLM能力优化　　115 4.6.1　LLM微调　　115 4.6.2　FLARE　　117 4.6.3　Self-RAG　　119 4.7　本章小结　　120 第5章　RAG范式演变　121 5.1　基础RAG系统　　121 5.1.1　基础流程　　121 5.1.2　存在的问题　　122 5.2　先进RAG系统　　125 5.3　大模型主导的RAG系统　　127 5.4　多模态RAG系统　　131 5.5　本章小结　　135 第6章　RAG系统训练　 136 6.1　RAG系统的训练难点　　136 6.2　训练方法　　138 6.3　独立训练　　138 6.4　序贯训练　　139 6.4.1　冻结召回模块　　140 6.4.2　冻结生成模块　　141 6.5　联合训练　　143 6.5.1　异步更新索引　　143 6.5.2　批近似　　147 6.6　本章小结　　149 第三部分　实战 第7章　基于LangChain实现RAG应用　 152 7.1　LangChain基础模块　　152 7.2　基于LangChain实现RAG　　156 7.3　基于Streamlit搭建一个ChatPDF可视化应用　　158 7.4　本章小结　　161 第8章　RAG系统构建与微调实战　 162 8.1　向量模型构建　　162 8.1.1　模型选型　　162 8.1.2　训练数据构造　　163 8.1.3　向量模型训练　　166 8.1.4　向量模型联合训练　　167 8.2　大模型指令微调　　175 8.3　复杂问题处理　　179 8.3.1　微调数据构造　　180 8.3.2　微调数据处理　　194 8.3.3　复杂问题推理处理　　200 8.4　本章小结　　203

显示全部信息

前　　言

Preface?前　　言
为什么要写这本书
OpenAI于2022年11月30日发布的ChatGPT几乎颠覆了现有的NLP范式，使NLP算法的日常工作和技术栈都发生了一定的改变。最受关注的两个落地方向分别为RAG（Retrieval-Augmented Generation，检索增强生成）和Agent。RAG的产品落地要先于Agent，且RAG的研究已经有多年了。RAG可以拆解成多个模块，如果将每个模块理解成一个小工具，那么RAG实际上是一个特定任务的Agent。因此，本书以RAG为主题。写作本书的时候，我还在金山办公软件有限公司任职，现成的文档、知识库业务促使我在2023年初就开始尝试大模型的落地。最先落地的应用就是基于金山知识库的RAG，后续推出了基于云文档的ChatFile，以及基于金山协作的搜索助手等，它们均是以RAG为核心的落地应用。

Preface?前　　言 为什么要写这本书 OpenAI于2022年11月30日发布的ChatGPT几乎颠覆了现有的NLP范式，使NLP算法的日常工作和技术栈都发生了一定的改变。最受关注的两个落地方向分别为RAG（Retrieval-Augmented Generation，检索增强生成）和Agent。RAG的产品落地要先于Agent，且RAG的研究已经有多年了。RAG可以拆解成多个模块，如果将每个模块理解成一个小工具，那么RAG实际上是一个特定任务的Agent。因此，本书以RAG为主题。写作本书的时候，我还在金山办公软件有限公司任职，现成的文档、知识库业务促使我在2023年初就开始尝试大模型的落地。最先落地的应用就是基于金山知识库的RAG，后续推出了基于云文档的ChatFile，以及基于金山协作的搜索助手等，它们均是以RAG为核心的落地应用。 目前，虽然闭源的大模型上下文窗口已经可以将大部分的书籍、资料放入大模型的输入提示词中，但即使是一个小型企业，企业内的知识库文档量也是非常庞大的，我们不可能全部都放入大模型的提示词中。另外，大模型在无损推理时，为了保证推理效率，需要缓存每个时间步的KV，随着长度的增加，显存消耗是非常庞大的，所以单张推理卡的推理长度有限。因此，我们无须担心大模型的上下文窗口长度变长，RAG就没用了。随着大模型的上下文窗口的长度不断变长，对RAG的落地越来越友好，比如我们可以通过召回大量候选来提高系统的召回率，也可以通过提高切块的大小或者不切块来保证召回文本的完整性等。 本书比较全面地囊括了过去一年内大模型RAG系统的使用技巧和范式变迁。通过这本书，读者不仅能了解到RAG的基本原理，也能了解到RAG的各种进阶技巧，从而构建出一个可靠的RAG系统。 读者对象 大模型应用落地者 RAG 零基础人员 期望了解RAG高级技巧的人员 本书内容 本书共8章，分为三大部分。 在第一部分（第1～3章）中，我们首先介绍了RAG的定义，为什么需要RAG，以及RAG的工作流程、优缺点以及使用场景。然后，我们介绍了Transformer、自动编码器和自回归模型等语言模型。最后，我们讨论了文本召回模型，涵盖文本召回模型基础、稠密向量检索模型、稀疏向量检索模型以及重排序模型等。 在第二部分（第4～６章）中，我们深入剖析了RAG的核心技术与优化方法，包括提示词工程、文本切块、向量数据库、召回环节优化、效果评估以及LLM能力优化等方面。此外，我们还介绍了RAG范式的演变，从基础RAG系统到先进RAG系统，再到大模型主导的RAG系统以及多模态RAG系统。最后，我们讨论了RAG系统的训练方法，包括独立训练、序贯训练和联合训练等。 在第三部分（第7章和第8章）中，我们首先以一个基于LangChain实现的RAG应用为例，详细介绍了如何搭建一个RAG系统。接着，我们通过案例展示了RAG系统在向量模型构建、大模型指令微调以及复杂问题处理等方面的实战应用。 本书由多个作者合作完成，其中第1、6、8章由汪鹏撰写，第2、5章由卞龙鹏撰写，第3、4、7章由谷清水撰写。 由于作者的水平有限，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果读者发现了书中的错误或者遇到任何问题，可以提交到https://github.com/Nipi64310/RAG-Book.git，也欢迎发送邮件至邮箱by_nipi@163.com，或者私信至微信公众号“NLP前沿”，期待得到读者的真挚反馈。 谨以此书献给我最亲爱的家人，以及众多热爱AI的朋友们！ 汪鹏 2024年4月

显示全部信息