精美公司网站源码网站首页模块

精美公司网站源码,网站首页模块,网站做多少层级,广告推广平台有哪些1. RAG的定义 大模型#xff08;Large Language Models#xff0c;LLM#xff09; 的发展经历了从小规模模型到如今大规模、深度学习技术不断突破的过程。最早的语言模型主要依赖规则和手工特征#xff0c;虽然能够进行一定的语言理解和生成#xff0c;但缺乏足够的灵活性…1.RAG的定义大模型Large Language ModelsLLM的发展经历了从小规模模型到如今大规模、深度学习技术不断突破的过程。最早的语言模型主要依赖规则和手工特征虽然能够进行一定的语言理解和生成但缺乏足够的灵活性和准确性。随着深度学习的兴起尤其是深度神经网络的应用大规模语言模型开始崭露头角。从最初的GPTGenerative Pre-trained Transformer到BERTBidirectional Encoder Representations from Transformers再到如今的GPT-4、DeepSeek-R1等语言模型的规模和能力迅速提升。大模型通常包含数十亿到数百亿个参数通过海量数据进行预训练能够捕捉到语言中的复杂关系和语境信息。大模型的预训练使其具备了强大的迁移学习能力能够在多个任务上取得优秀的性能无论是文本生成、问答、翻译还是推理任务。大模型的发展不仅在技术层面突破了许多原有的限制还在应用上带来了巨大的变革。比如基于大模型的自然语言处理技术已经广泛应用于智能助手、自动翻译、内容生成等领域极大地提高了人机交互的效率和质量。从自然语言处理的发展历程来看LLM已经是近期最热门的研究方向之一。同时大模型的研究方向是非常宽泛的包括但不限于LLM本身还包括提示词工程检索增强生成及其各种变形Agent LLMLLM 应用框架等方向。检索增强生成Retrieval-augmented generationRAG是指对大型语言模型输出进行优化使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型LLM用海量数据进行训练使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上RAG 将其扩展为能访问特定领域或组织的内部知识库所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法让它在各种情境下都能保持相关性、准确性和实用性。下图展示了有RAG和没有RAG的两种完全不同的答案。2.RAG的重要性LLM 是一项关键的人工智能AI技术为智能聊天机器人和其他自然语言处理Natural Language ProcessingNLP应用程序提供支持。目标是通过交叉引用权威知识来源创建能够在各种环境中回答用户问题的机器人。不幸的是LLM 技术的本质在 LLM 响应中引入了不可预测性。此外LLM 训练数据是静态的并引入了其所掌握知识的截止日期。LLM 面临的已知挑战包括在没有答案的情况下提供虚假信息。当用户需要特定的当前响应时提供过时或通用的信息。从非权威来源创建响应。由于术语混淆不同的培训来源使用相同的术语来谈论不同的事情因此会产生不准确的响应。可以将大语言模型看作是一个过于热情的新员工他拒绝随时了解时事但总是会绝对自信地回答每一个问题。不幸的是这种态度会对用户的信任产生负面影响这是您不希望聊天机器人效仿的RAG 是解决其中一些挑战的一种方法它会重定向 LLM从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出并且用户可以深入了解 LLM 如何生成响应。上图呈现了一个简单的RA-LLMs框架。3.RAG的优势3.1 经济高效聊天机器人开发通常从基础的大模型开始。基础模型是在广泛的广义和未标记数据上训练的 API 可访问 LLM。针对组织或领域特定信息重新训练的计算和财务成本很高。RAG 是一种将新数据引入 LLM 的更加经济高效的方法。它使生成式人工智能技术更广泛地获得和使用。3.2 信息的及时性即使 LLM 的原始训练数据来源适合您的需求但保持相关性也具有挑战性。RAG 允许开发人员为生成模型提供最新的研究、统计数据或新闻。他们可以使用 RAG 将 LLM 直接连接到实时社交媒体提要、新闻网站或其他经常更新的信息来源。然后LLM 可以向用户提供最新信息。3.3 增强信任度RAG 允许 LLM 通过来源归属来呈现准确的信息。输出可以包括对来源的引文或引用。如果需要进一步说明或更详细的信息用户也可以自己查找源文档。这可以增加对您的生成式人工智能解决方案的信任和信心。3.4 增加控制权借助 RAG开发人员可以更高效地测试和改进他们的聊天应用程序。他们可以控制和更改 LLM 的信息来源以适应不断变化的需求或跨职能使用。开发人员还可以将敏感信息的检索限制在不同的授权级别内并确保 LLM 生成适当的响应。此外如果 LLM 针对特定问题引用了错误的信息来源他们还可以进行故障排除并进行修复。组织可以更自信地为更广泛的应用程序实施生成式人工智能技术。4.RAG的工作原理如果没有 RAGLLM 会接受用户输入并根据它所接受训练的信息或它已经知道的信息创建响应。RAG 引入了一个信息检索组件该组件利用用户输入首先从新数据源提取信息。用户查询和相关信息都提供给 LLM。LLM 使用新知识及其训练数据来创建更好的响应。下图显示了将 RAG 与 LLM 配合使用的概念流程。4.1 创建外部数据LLM 原始训练数据集之外的新数据称为外部数据。它可以来自多个数据来源例如 API、数据库或文档存储库。数据可能以各种格式存在例如文件、数据库记录或长篇文本。另一种称为嵌入语言模型的 AI 技术将数据转换为数字表示形式并将其存储在向量数据库中。这个过程会创建一个生成式人工智能模型可以理解的知识库。4.2 检索相关信息下一步是执行相关性搜索。用户查询将转换为向量表示形式并与向量数据库匹配。例如考虑一个可以回答组织的人力资源问题的智能聊天机器人。如果员工搜索“我有多少年假”系统将检索年假政策文件以及员工个人过去的休假记录。这些特定文件将被退回因为它们与员工输入的内容高度相关。相关性是使用数学向量计算和表示法计算和建立的。4.3 增强LLM提示接下来RAG 模型通过在上下文中添加检索到的相关数据来增强用户输入或提示。此步骤使用提示工程技术与 LLM 进行有效沟通。增强提示允许大型语言模型为用户查询生成准确的答案。4.4 更新外部数据下一个问题可能是——如果外部数据过时了怎么办 要维护当前信息以供检索请异步更新文档并更新文档的嵌入表示形式。您可以通过自动化实时流程或定期批处理来执行此操作。这是数据分析中常见的挑战——可以使用不同的数据科学方法进行变更管理。5.检索增强生成和语义搜索5.1 两者的定义RAGRetrieval-Augmented GenerationRAG的核心目标是通过检索外部知识通常是文档、数据库、或其他文本资源来增强生成式模型的回答能力。RAG结合了信息检索retrieval和生成模型generation它首先从大规模的文本库中检索相关内容再利用生成模型例如大型语言模型结合这些内容生成最终的回答。这种方法特别适合用于生成需要依赖大量背景知识的文本像是问答、文档摘要等任务。语义搜索Semantic Search语义搜索的核心任务是通过理解查询的语义信息来找到与查询最相关的文档或片段。与传统的基于关键词的搜索方法不同语义搜索基于向量表示和深度学习技术能够理解查询和文档之间的深层语义关系从而提供更相关的搜索结果。它通常用于搜索引擎中目的是提高搜索结果的准确性和相关性。5.2 两者的相关性语义搜索可以提高 RAG 结果适用于想要在其 LLM 应用程序中添加大量外部知识源的组织。现代企业在各种系统中存储大量信息例如手册、常见问题、研究报告、客户服务指南和人力资源文档存储库等。上下文检索在规模上具有挑战性因此会降低生成输出质量。语义搜索技术可以扫描包含不同信息的大型数据库并更准确地检索数据。例如他们可以回答诸如 “去年在机械维修上花了多少钱”之类的问题方法是将问题映射到相关文档并返回特定文本而不是搜索结果。然后开发人员可以使用该答案为 LLM 提供更多上下文。RAG 中的传统或关键字搜索解决方案对知识密集型任务产生的结果有限。开发人员在手动准备数据时还必须处理单词嵌入、文档分块和其他复杂问题。相比之下语义搜索技术可以完成知识库准备的所有工作因此开发人员不必这样做。它们还生成语义相关的段落和按相关性排序的标记词以最大限度地提高 RAG 有效载荷的质量。6.RAG的发展历程6.1 RAG的成长树大模型涉及的主要阶段包括预训练、微调和推理。随着大型语言模型LLMs的出现RAG的研究最初集中于利用LLMs强大的上下文学习能力主要集中在推理阶段。随后研究逐渐深入逐步与LLMs的微调过程结合。研究人员还在探索通过检索增强技术在预训练阶段提升语言模型的能力。下图是RAG检索增强生成研究的技术发展路线图。RAG过程在问答任务中的一个典型实例。它主要包括三个步骤索引将文档分成若干块编码成向量并存储在向量数据库中。检索根据语义相似性检索与问题最相关的前k个文档块。生成将原始问题和检索到的文档块一起输入到大型语言模型LLM中生成最终答案。6.2 RAG的三种形式RAG可以分成三种形式下图是RAG三种形式的比较左朴素RAG主要包括三个部分索引、检索和生成。中先进RAG提出了围绕预检索和后检索的多种优化策略其过程类似于简单RAG仍然遵循链式结构。右模块化RAG继承并发展自前述范式整体展示出更大的灵活性。其特点在于引入了多个具体的功能模块并可以替换现有模块。整体过程不再局限于顺序的检索和生成还包括迭代式和自适应检索等方法。6.2.1 朴素的RAGNaive RAG朴素的检索增强生成模型是最早的研究范式之一它在ChatGPT被广泛采用后迅速获得了关注。Naive RAG 采用传统的检索-生成Retrieve-Generate流程主要包括三个步骤索引、检索和生成。这一流程也被称为“检索-阅读”Retrieve-Read框架。1索引Indexing索引阶段首先是清洗和提取原始数据这些数据通常来自不同的格式如 PDF、HTML、Word 或 Markdown 文件然后将其转换为统一的纯文本格式。为了适应语言模型的上下文限制文本会被分割成较小的块chunk。这些文本块会使用嵌入模型embedding model转化为向量表示并存储在向量数据库中。这一步对于后续检索阶段的高效相似度搜索至关重要。2检索Retrieval当用户提出查询时RAG 系统使用在索引阶段相同的编码模型将查询转换为向量表示。然后它计算查询向量与索引中每个文本块的向量之间的相似度分数。系统会优先检索与查询最相关的Top K个文本块这些文本块会作为扩展上下文供后续生成阶段使用。3生成Generation在生成阶段用户提出的查询和检索到的相关文档会被组合成一个一致的提示prompt输入到一个大语言模型LLM中任务是生成一个回应。模型生成回应的方式可以根据具体任务的要求而变化模型可能会利用其内在的参数知识也可以限制其回答只基于提供的文档内容。如果是多轮对话现有的对话历史也可以被整合到提示中以便模型能够进行多轮对话交互。Naive RAG 的挑战和缺点尽管 Naive RAG 有其优势但它也存在一些显著的缺点和挑战1检索挑战检索阶段通常面临精确度和召回率的挑战可能会导致选择到与查询不相关或不对齐的文本块或者无法检索到关键的有用信息。2生成困难在生成回答时模型可能会面临 幻觉Hallucination 的问题即生成的内容与检索到的上下文无关甚至会出现生成的内容完全不准确的情况。生成的回答可能会出现无关、毒性或偏见的问题影响回答的质量和可靠性。3增强问题将检索到的信息与不同任务进行整合时可能会遇到困难有时会导致输出内容不连贯或不一致。检索到的信息可能存在冗余例如从多个来源检索到类似的信息从而导致重复的响应。此外确定不同段落的意义和相关性并确保输出的风格和语气一致也是一个难点。4复杂问题的处理在面对复杂问题时单次检索可能不足以获得足够的上下文信息。生成模型可能过于依赖检索到的增强信息导致输出的内容仅仅是检索内容的重复而缺乏深入的分析或综合信息。6.2.2 增强的RAGAdvanced RAG高级检索增强生成模型通过引入特定的改进旨在克服 Naive RAG 的局限性重点提升检索质量。与朴素的 RAG 方法不同Advanced RAG 采用了预检索Pre-Retrieval和后检索Post-Retrieval策略来优化检索过程进一步改善了索引和检索的效率。1. 预检索过程Pre-Retrieval在预检索阶段重点是优化索引结构和原始查询。通过提升索引的质量和优化查询提升检索的精度和相关性。优化索引增强数据粒度提高数据分割的细致程度使得每个数据块Chuck更具针对性便于后续的精确检索。优化索引结构调整数据存储和索引的方式使其更加高效支持快速检索。添加元数据在索引中加入额外的信息如时间戳、来源等元数据提高检索时的上下文理解能力。对齐优化确保数据之间的一致性和对齐使得索引的构建更加精确。混合检索结合不同的检索方法进一步提高检索的多样性和精准性。优化查询查询重写Query Rewriting通过重写用户的查询使其更简洁、清晰便于检索模型理解。查询转换Query Routing将用户的查询转换成更加结构化或易于理解的格式以提高检索效果。查询扩展Query Expansion通过扩展查询的关键词涵盖更多可能的相关信息提高检索的全面性。2. 后检索过程Post-Retrieval在检索到相关内容后后检索阶段的任务是将检索到的内容有效整合与用户的查询进行融合从而生成准确的响应。重排Re-ranking对检索到的内容进行重排序将最相关的文本块移至提示的边缘以增强模型对关键内容的关注度。这个策略已经在一些框架中得到了应用如LlamaIndex、LangChain和HayStack。摘要Summary与上下文压缩Context Compression提炼出关键的信息直接将所有相关文档输入到大语言模型LLM中可能会导致信息过载使得模型难以集中注意力在关键信息上。因此后检索阶段的重点是选择最重要的信息强调关键部分并压缩上下文去除不必要的冗余内容。融合Fusion将各种信息融合到一起。3. 优化策略Advanced RAG 采用了多种优化方法旨在提升整个检索过程的效果特别是在检索的精确性和生成的相关性方面增强检索质量通过预检索和后检索策略Advanced RAG 可以显著提高检索到的信息质量使得生成的答案更加准确和相关。减少信息过载后检索阶段通过重排和压缩上下文减少了不相关信息的干扰使得生成过程更加高效。6.2.3 模块化的RAGModular RAG模块化检索增强生成模型在之前的Naive RAG和Advanced RAG基础上进一步发展提供了更高的适应性和灵活性。它通过引入不同的模块来改进模型的各个部分从而提高检索和处理能力。与传统的顺序处理方式不同模块化 RAG 支持更加灵活的模块替换与配置适应不同的任务需求。1. 新模块New ModulesModular RAG 框架引入了一些额外的专用组件以增强其检索和处理能力。以下是一些关键的新模块Search 模块适应特定场景支持跨多个数据源如搜索引擎、数据库和知识图谱的直接检索。通过大语言模型LLM生成的代码和查询语言实现对各种信息源的访问。RAG Fusion 模块解决传统检索的局限性采用多查询策略将用户的查询扩展为多种视角。通过并行的向量搜索和智能重排序挖掘显式和转化性知识。Memory 模块利用 LLM 的记忆功能引导检索创建一个无限制的记忆池。通过迭代自我增强使文本与数据分布更加对齐从而提高检索的准确性。Routing 模块在 RAG 系统中引导不同数据源的检索选择最优的路径进行查询。无论是总结、特定数据库检索还是合并多个信息流Routing 模块都能进行灵活处理。Predict 模块通过生成上下文来减少冗余和噪音直接通过 LLM 生成相关且准确的内容从而提升信息的相关性和质量。Task Adapter 模块为不同的下游任务定制 RAG。通过少量示例生成任务特定的检索器自动进行零-shot 输入的提示检索支持更广泛的应用场景。这些模块不仅使检索过程更加流畅而且显著提升了检索信息的质量和相关性适应了各种任务和查询提供了更高的精度和灵活性。2. 新模式New PatternsModular RAG 提供了极大的适应性允许根据特定的挑战替换或重新配置模块。这使得 Modular RAG 超越了 Naive 和 Advanced RAG 固定结构的限制能够根据任务需求灵活调整模块的交互流程。Rewrite-Retrieve-Read 模型利用 LLM 的能力通过重写模块和语言模型反馈机制优化查询提升任务性能。Generate-Read 模型替代传统的检索过程使用 LLM 生成的内容作为上下文减少对传统检索的依赖。Recite-Read 模型强调从模型权重中检索知识提升模型处理知识密集型任务的能力。混合检索策略Hybrid Retrieval综合关键字检索、语义检索和向量检索适应多样化的查询需求。通过子查询和假设文档嵌入HyDE提高检索的相关性专注于生成答案与实际文档之间的嵌入相似性。模块化模块流Modular RAG Flow通过 FLARE 和 Self-RAG 等技术支持适应性检索依据不同场景评估检索的必要性。这种灵活的架构不仅可以提高检索效率还可以更容易地与其他技术如微调或强化学习进行集成。3. 模块化 RAG 的优势Modular RAG 提供了比 Naive 和 Advanced RAG 更加灵活的架构能够动态调整模块交互和流向。其优点包括灵活的模块替换可以根据具体任务需求替换或重构模块适应不同的应用场景。增强的信息检索能力通过多种检索策略如混合检索、并行检索等提高了信息检索的精确性和全面性。自我增强和记忆功能通过 Memory 模块LLM 可以不断优化检索过程提供更为精准的上下文信息。跨任务适应性通过 Task Adapter 模块RAG 可以根据不同的下游任务自动调整以满足多种任务需求。6.3 RAG与微调Fine-TuningRAG与其他模型优化方法在“是否需要外部知识”和“是否需要模型适应”方面的比较。提示工程Prompt Engineering对模型和外部知识的修改要求较低主要侧重于利用大型语言模型LLMs本身的能力。而微调则涉及对模型的进一步训练。在RAG的早期阶段简单RAG对模型修改的需求较低。随着研究的进展模块化RAG与微调技术的结合变得更加紧密。6.4 检索RetrievalRAG检索增强生成模型依赖外部知识来增强大语言模型LLM的能力而检索源的类型和检索单元的粒度都会影响最终的生成结果。1. 数据结构Data Structure1检索源的演变最初文本是主要的检索来源随后扩展到半结构化数据如PDF和结构化数据如知识图谱, KG。除了从外部源进行检索外近期的研究趋势还包括利用LLM自身生成的内容进行检索和增强。2检索单元的粒度检索单元的粒度也会影响检索的效果。粗粒度的检索单元如文档或句子理论上可以提供更相关的信息但也可能包含冗余内容干扰下游任务。而细粒度的检索单元如词语或短语增加了检索的负担且不能保证语义的完整性。选择合适的检索粒度是一种简单有效的策略可以提升密集检索器的性能。3文本中的粒度从细粒度到粗粒度粒度包括词语、短语、句子、命题、段落、文档等。DenseX 提出了使用命题作为检索单元的概念命题被定义为文本中的原子表达每个命题都封装了一个独特的事实信息形式简洁、独立旨在提高检索的精度和相关性。4知识图谱中的粒度在知识图谱中检索粒度包括实体、三元组和子图等。粒度的选择也可以根据下游任务调整如在推荐任务中检索物品ID或者在问答任务中检索句子对等。2. 索引优化Indexing Optimization在索引阶段文档会被处理、分段并转化为嵌入向量存储在向量数据库中。索引的质量决定了检索阶段是否能获取到正确的上下文。1分段策略Chunking Strategy最常见的做法是将文档按照固定的令牌数进行分段例如 100、256、512 等。较大的分段能够捕捉更多上下文但也会产生更多噪音需要更长的处理时间和更高的成本。较小的分段可能无法完整传达必要的上下文但噪音较少。为了解决这一问题采用递归分割和滑动窗口的方法进行优化使得不同的检索过程能够跨多个分段获取全局相关信息。2元数据附加Metadata Attachments分段可以通过附加元数据如页码、文件名、作者、时间戳等来丰富从而在检索时基于元数据进行过滤限制检索范围。元数据的不同权重可以在检索过程中实现时间感知 RAG确保所用知识的时效性。3结构化索引Structural Index建立文档的层级结构可以有效提高检索效率。通过构建层级索引RAG 系统可以快速检索和处理相关数据。知识图谱索引能够帮助保持一致性并减少检索时的误差。此外知识图谱还能将信息检索过程转化为 LLM 能够理解的指令增强知识检索的精度和生成的上下文连贯性。3. 查询优化Query Optimization传统的 Naive RAG 依赖于用户原始查询进行检索然而用户提问不够精确或清晰时检索效果会受到影响。特别是当查询本身很复杂或者语言不够规范时RAG 系统容易出现问题。查询扩展Query Expansion多查询Multi-Query通过 LLM 进行查询扩展将一个查询转化为多个并行查询提供更丰富的上下文确保生成答案的相关性。子查询Sub-Query将复杂的查询分解为一系列更简单的子问题通过组合这些子查询来完整回答原始问题。这种方法类似于查询扩展能提供更好的上下文。验证链Chain-of-VerificationCoVe扩展后的查询通过 LLM 进行验证从而减少幻觉现象提高检索结果的可靠性。查询转化Query Transformation查询重写Query RewriteLLM 可以重写查询帮助生成更符合检索需求的问题。在实际应用中像 BEQUE 就利用查询重写增强了对于长尾查询的召回效果。假设文档生成HyDE通过 LLM 生成假设性文档即假设答案在检索过程中计算查询和假设问题之间的相似度从而缩小查询和答案之间的语义差距。退后提示Step-back Prompting将原始查询抽象成高层次概念问题用于生成更有针对性的检索结果。查询路由Query Routing基于查询的不同特点路由到不同的 RAG 管道中适应多样化的场景需求。元数据路由Metadata Router从查询中提取关键词如实体然后基于元数据进行过滤缩小搜索范围。语义路由Semantic Router利用查询的语义信息进行路由结合元数据和语义的混合路由方法以提升查询路由效果。4. 嵌入Embedding在 RAG 系统中通过计算查询和文档段落嵌入的相似度例如余弦相似度来实现检索。嵌入模型的语义表示能力在其中起着关键作用。混合检索Mix/Hybrid Retrieval稀疏检索模型和密集检索模型可以互补通过结合两者的优势提升检索的多样性和准确性。例如可以使用稀疏模型提供初步的搜索结果再通过密集检索模型进行精细化检索。微调嵌入模型Fine-tuning Embedding Model在某些领域特别是在专业领域如医疗、法律等中微调嵌入模型是必需的以减少与预训练语料库的差异。通过使用 LLM 的结果作为监督信号进行微调可以提高模型的性能。5. 适配器Adapter在微调模型时可能会遇到一些问题例如 API 集成或计算资源限制。因此某些方法采用外部适配器来帮助对齐。轻量级适配器UPRISE通过训练一个轻量级的提示检索器自动从预构建的提示池中检索适合给定零-shot 任务输入的提示从而优化 LLM 的多任务能力。增强适配器AAR设计了一种通用适配器能够适应多个下游任务并提高在特定任务上的性能。6.5 增强生成Augmented Generation在RAG检索增强生成领域标准的做法通常是先进行一次性检索然后进行生成。这种方式可能导致效率低下尤其对于需要多步推理的复杂问题它提供的信息范围有限。为了解决这一问题许多研究对检索过程进行了优化。除了最常见的单次检索RAG还包括三种类型的检索增强过程。左 迭代检索涉及在检索和生成之间交替进行使每一步都能从知识库中获得更丰富、更有针对性的上下文。中递归检索则通过逐步细化用户查询将问题分解为子问题然后通过检索和生成不断解决复杂问题。右自适应检索侧重于使RAG系统能够自主判断是否需要外部知识检索并决定何时停止检索和生成通常使用LLM生成的特殊标记进行控制。6.5.1 迭代检索Iterative Retrieval迭代检索是一种基于初始查询和迄今为止生成的文本反复检索知识库的方法为LLM大语言模型提供更全面的知识基础。这种方法已被证明能够增强后续生成答案的鲁棒性通过多次检索迭代提供更多的上下文信息。然而迭代检索可能会受到语义不连续性和冗余信息累积的影响。ITER-RETGEN提出了一种协同方法将“检索增强生成”与“生成增强检索”结合起来用于需要复现特定信息的任务。该模型利用生成的内容作为检索相关知识的上下文基础从而在后续的迭代中生成更为精准的答案。6.5.2 递归检索Recursive Retrieval递归检索在信息检索和自然语言处理NLP中常用于提高搜索结果的深度和相关性。这个过程涉及基于先前搜索结果不断优化查询。递归检索旨在通过反馈循环逐渐接近最相关的信息从而改善搜索体验。IRCoT使用了思维链chain-of-thought来指导检索过程并基于获得的检索结果优化思维链。ToC则创建了一个澄清树系统地优化查询中模糊的部分。递归检索尤其适用于复杂的搜索场景其中用户需求从一开始就不完全明确或者所需信息非常专业或细致。递归过程允许系统不断学习和适应用户需求从而通常能提高搜索结果的满意度。为了应对特定的数据场景递归检索与多跳检索技术可以结合使用。递归检索涉及结构化索引以分层方式处理和检索数据这可能包括在执行检索之前对文档或长PDF进行总结。随后基于这些摘要进行二次检索体现了递归过程的特点。与此相对多跳检索则旨在深入挖掘图结构数据源提取相互关联的信息。6.5.3 自适应检索Adaptive Retrieval自适应检索方法通过允许LLM主动决定最佳的检索时机和内容优化了RAG框架从而提高了信息来源的效率和相关性。例如Flare和Self-RAG就是通过这种方法来优化检索过程。随着这一趋势的发展越来越多的LLM开始在其操作中主动做出判断例如在模型代理如AutoGPT、Toolformer和Graph-Toolformer中也能看到这种趋势。Graph-Toolformer 就是将检索过程分为多个步骤LLM主动使用检索器、应用Self-Ask技术并采用少样本提示来发起搜索查询。这种主动的策略使得LLM能够决定何时需要检索信息类似于代理在使用工具时的判断。WebGPT引入了强化学习框架训练GPT-3模型在文本生成过程中自主使用搜索引擎。它通过特殊的标记来导航这一过程包括搜索引擎查询、浏览结果和引用参考文献从而通过外部搜索引擎扩展GPT-3的能力。Flare则通过监控生成过程的置信度如生成词汇的概率来自动化检索时机当概率低于某个阈值时激活检索系统收集相关信息从而优化检索周期。Self-RAG引入了“反思标记”让模型能够自我反思其输出。这些标记有两种类型“检索”和“批评”。模型可以自主决定何时启动检索或者通过预设阈值触发检索过程。在检索过程中生成器通过在多个段落中进行碎片级束搜索得出最连贯的序列。批评分数用于更新细分分数并且可以在推理过程中调整这些权重从而量身定制模型的行为。Self-RAG的设计避免了额外分类器或依赖自然语言推理NLI模型从而简化了何时启用检索机制的决策过程提高了模型在生成准确回答时的自主判断能力。下图是Self-RAG的整体架构图。6.6 RAG生态系统综上所述RAG生态系统如下图所示RAG的评价指标如下其中包含了一些基准线benchmark和工具tool。6.7 RAG的未来发展方向RAG的未来发展方向包括RAG与长文本长文本往往超出了传统模型能够处理的上下文长度。许多模型有输入长度的限制当文本长度过长时可能会出现截断现象。这会影响模型对全文的理解尤其是当重要信息被截断时系统可能无法提供完整的答案。长文本中的不同部分可能涉及不同的主题、背景或情节如何确保检索到的信息与当前生成的内容保持一致性至关重要。RAG的健壮性RAG可能会面临检索过程中引入的噪声例如与查询无关的文档或片段或是检索到的文本含有误导性信息。噪声数据会影响生成结果的准确性和相关性。有时需要处理用户提出的模糊、含糊不清的查询这些查询可能没有明确的意图或是包含多重意思。在这种情况下RAG系统需要有效地推理和生成相关答案。RAG的扩展规律Scaling Law随着数据集的增大检索过程的复杂度会显著提升。需要优化检索算法和数据结构以保持检索效率。通常扩大检索规模可以提高生成结果的质量但同时也可能增加不相关信息的干扰。生产级RAG指已经优化并可以在实际环境中稳定运行的RAG系统。这类系统不仅要求具有高效的检索和生成能力还需要具备可扩展性、低延迟和高可靠性等特点。混合方法混合方法是指将多种不同的技术或模型结合起来以优化RAG系统的性能。常见的混合方法包括将稀疏检索例如BM25与密集检索例如BERT架构结合或者将规则驱动的系统与深度学习模型结合使用。多模态的RAG图片、音频、视频、代码等作为知识库和信息输入也是存在着一定的挑战。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌02适学人群应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。vx扫描下方二维码即可本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发