精品购物网站外贸电子商务网站

精品购物网站,外贸电子商务网站,扬中网站建设哪家好,自己如何做简单网站Github项目上有一个大语言模型学习路线笔记#xff0c;它全面涵盖了大语言模型的所需的基础知识学习#xff0c;LLM前沿算法和架构#xff0c;以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份…Github项目上有一个大语言模型学习路线笔记它全面涵盖了大语言模型的所需的基础知识学习LLM前沿算法和架构以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份资料重点介绍了我们应该掌握哪些核心知识并推荐了一系列优质的学习视频和博客旨在帮助大家系统性地掌握大型语言模型的相关技术。前排提示文末有大模型AGI-CSDN独家资料包哦大语言模型Large Language ModelLLM入门学习路线包括了三个方面大语言模型基础: 这涵盖了学习LLM所需的基本知识包括数学、Python编程语言以及神经网络的原理。大语言模型前沿算法和框架: 在这一部分重点是利用最新的技术构建LLM。这包括研究和应用先进的算法和模型架构以提高模型的性能和效率。大语言模型工程化: 这一部分专注于创建基于LLM的应用程序并将这些应用部署到实际环境中。这包括学习如何将LLM集成到各种平台和系统中以及如何确保这些系统的稳定性和可扩展性。1. 大语言模型基础包括了数学基础知识、python基础、神经网络和NLP自然语言四个方面的学习。1.1 机器学习的数学线性代数理解算法的关键。主要概念包括向量、矩阵、行列式、特征值和特征向量、向量空间和线性变换。微积分许多机器学习算法涉及连续函数的优化这需要理解导数、积分、极限和级数。多变量微积分和梯度的概念也很重要。概率与统计对于理解模型如何从数据中学习也同样重要。主要概念包括概率论、随机变量、概率分布、期望、方差、协方差、相关性、假设检验、置信区间、最大似然估计和贝叶斯推断。 资源可能需要科学上网国内可访问版本在这里也给出一些链接3Blue1Brown - 线性代数的本质教学视频以生动直观的方式介绍了线性代数的相关概念。B站一个已经翻译配音的版本StatQuest with Josh Starmer - 统计基础为许多统计概念提供简单清晰的解释。只找到B站生肉AP Statistics Intuition by Ms Aerin博文比较详细和基础它是Medium文章需要科学上网才能访问。沉浸式线性代数线性代数的另一种视觉解释。Khan Academy - 线性代数可汗学院的线性代数课程适合初学者B站有中文字幕版Khan Academy - 微积分涵盖了所有的基础的微积分知识。B站Khan Academy - 概率与统计以易于理解的方式讲授。B站1.2 机器学习的PythonPython一直是机器学习和深度学习的首选语言这得益于其可读性、一致性和鲁棒的数据科学库生态系统。Python基础理解基本语法、数据类型、错误处理和面向对象编程。数据科学库包括熟悉NumPy进行数值操作Pandas进行数据操作和分析Matplotlib和Seaborn进行数据可视化。数据预处理涉及特征缩放和规范化、处理缺失数据、异常值检测、分类数据编码以及将数据分割成训练、验证和测试集。机器学习库熟练掌握Scikit-learn这是一个提供了许多监督和非监督学习算法的库。重点需要了解如何实现线性回归、逻辑回归、决策树、随机森林、最近邻(K-NN)和K均值聚类等算法。 资源Real Pythonpython学习网站freeCodeCamp - 学习PythonPython中所有核心概念的详细介绍视频。该官网的可以访问但是视频资源需要通过科学上网观看。Python数据科学手册学习pandas、NumPy、Matplotlib和Seaborn的免费书籍。freeCodeCamp - 机器学习入门机器学习算法学习。Udacity - 机器学习入门免费课程涵盖了PCA和其他几个机器学习概念。1.3. 神经网络基础知识这包括理解神经网络的结构如层、权重、偏置和激活函数sigmoid、tanh、ReLU等。训练和优化熟悉反向传播和不同类型的损失函数如均方误差MSE和交叉熵。理解各种优化算法如梯度下降、随机梯度下降、RMSprop和Adam。过拟合理解过拟合的概念模型在训练数据上表现良好但在未见数据上表现差并学习各种正则化技术dropout、L1/L2正则化、早停、数据增强以防止它。实现多层感知器MLP使用PyTorch构建一个MLP也称为全连接网络。 资源3Blue1Brown - 但什么是神经网络直观地解释了神经网络及其内部工作原理。B站配音版本吴恩达深度学习lfreeCodeCamp - 深度学习速成课深度学习中所有最重要的概念的视频Fast.ai - 实用深度学习为想学习深度学习的有编程经验的人设计的免费课程推荐书籍《一起动手学习深度学习》李宏毅深度学习更适合中国宝宝的深度学习视频1.4. 自然语言处理NLPNLP在许多应用中扮演着关键角色如翻译、情感分析、聊天机器人等。文本预处理学习各种文本预处理步骤如分词将文本分割成单词或句子、词干提取将单词还原为其根形式、词形还原类似于词干提取但考虑上下文、停用词去除等。特征提取技术熟悉将文本数据转换为机器学习算法能理解的格式的技术。关键方法包括词袋模型BoW、词频-逆文档频率TF-IDF和n-gram。词嵌入词嵌入是一种单词表示允许具有相似含义的单词具有相似的表示。关键方法包括Word2Vec、GloVe和FastText。循环神经网络RNNs理解RNNs的工作原理这是一种为序列数据设计的神经网络类型。探索LSTMs和GRUs两种RNN变体它们能够学习长期依赖关系。 资源RealPython - 使用spaCy进行Python自然语言处理关于在Python中使用spaCy库进行NLP任务的详尽指南。Kaggle - NLP指南一些notebook和资源用于手把手解释Python中的NLP。Jay Alammar - Word2Vec的插图解释理解著名的Word2Vec架构的好参考。Jake Tae - 从头开始的PyTorch RNN在PyTorch中实现RNN、LSTM和GRU模型的实际和简单操作。colah的博客 - 理解LSTM网络关于LSTM网络的理论性文章。可能大家都想学习AI大模型技术也_想通过这项技能真正达到升职加薪就业或是副业的目的但是不知道该如何开始学习因为网上的资料太多太杂乱了如果不能系统的学习就相当于是白学。为了让大家少走弯路少碰壁这里我直接把都打包整理好希望能够真正帮助到大家_。2.大语言模型前沿算法和框架2.1. 大语言模型LLM架构需要清楚地了解模型的输入token和输出logits而原始的注意力机制 attention mechanism是另一个必须掌握的关键部分因为它是很多改进算法的基础具体来说需要包括以下技术。高层视角High-level view:编码器encoder-解码器decoder的Transformer架构特别是仅有解码器的GPT架构几乎所有流行LLM都应用了该架构。令牌化Tokenization如何将原始文本数据转换成模型能理解的格式这包括将文本拆分成Token通常是单词或子词。注意力机制Attention mechanisms掌握注意力机制的理论包括自注意力和缩放点积注意力这使得模型能够在产生输出时关注输入的不同部分。文本生成Text generation模型生成输出序列的多种方式。常见方法包括了贪婪解码greedy decoding、束搜索beam search、top-k采样top-k sampling,和核心采样nucleus sampling。 资源Jay Alammar《揭秘Transformer》对Transformer模型进行了直观和形象的解释。Jay Alammar《揭秘GPT-2》重点讨论了与Llama非常相似的GPT架构。Brendan Bycroft《LLM可视化》对LLM内部发生情况的进行3D可视化。Andrej Karpathy《nanoGPT》一个2小时长的YouTube视频从头开始重新实现GPT面向程序员。B站中文字幕版Lilian Weng《注意力注意力》以更正式的方式介绍注意力机制的需求。《LLM中的解码策略》提供代码和对生成文本不同解码策略的视觉介绍。2.2. 构建指令数据集虽然从维基百科和其他网站可以轻松地找到原始数据但何如将数据转换为问题和答案的配对配对却很难。而数据集的质量将直接影响模型的质量它们是大模型微调finetune过程中最重要的组成部分。Alpaca-样式数据集使用OpenAI APIGPT从头开始生成合成数据。你可以指定种子和系统提示以创建多样化的数据集。高级技术学习如何通过Evol-Instruct改进现有数据集如何像在Orca和phi-1论文中那样生成高质量的合成数据。数据过滤使用正则表达式、移除近似重复项、关注令牌数较多的答案等传统技术。提示模板在没有真正标准的问题和答案的情况下了解不同的聊天模板很重要比如ChatML、Alpaca等。参考资料:由Thomas Capelle撰写的《为指令调优准备数据集》探索Alpaca和Alpaca-GPT4数据集及其格式化方法。由Solano Todeschini撰写的《生成葡萄牙语临床指令数据集》教程介绍如何使用GPT-4创建合成指令数据集。由Kshitiz Sahay撰写的《使用GPT 3.5为新闻分类创建指令数据集》使用GPT 3.5创建指令数据集以微调Llama 2进行新闻分类。《为LLM微调创建数据集》包含一些过滤数据集和上传结果的技术的笔记本。由Matthew Carrigan撰写的《聊天模板》Hugging Face关于提示模板的页面。2.3. 模型预训练是指从大量的无监督数据集中进行模型预训练模型预训练是一个非常漫长和消费资源的过程因此它不是本学习路线教程的重点。但是我们可以了解它以方便后续的学习。它主要包括以下几个部分数据管道预训练需要巨大的数据集例如Llama 2是在2万亿令牌上训练的这些数据集需要被过滤、令牌化并与预定义的词汇表进行整合。因果语言模型了解因果和掩码语言模型的区别以及在这种情况下使用的损失函数。为了有效的预训练了解更多关于Megatron-LM或gpt-neox。规模化定律规模化定律描述了基于模型大小、数据集大小和用于训练的计算量的预期模型性能。高性能计算这里不讨论但如果你计划从头开始创建自己的LLM硬件、分布式工作负载等则需要更多关于HPC的知识是基础。参考资料:Junhao Zhao《LLMDataHub》为预训练、微调和RLHF策划的数据集列表。Hugging Face《从头开始训练因果语言模型》使用transformers库从头开始预训练GPT-2模型。Zhang等人创建的《TinyLlama》检查此项目以了解如何从头开始训练Llama模型。Hugging Face提供的《因果语言模型》解释因果和掩码语言模型的区别以及如何快速微调DistilGPT-2模型。nostalgebraist撰写的《Chinchilla的狂野含义》讨论规模化定律并解释它们对LLM通常意味着什么。BigScience提供的《BLOOM》Notion页面描述了如何构建BLOOM模型包括大量有关工程部分和遇到的问题的有用信息。Meta提供的《OPT-175日志》研究日志显示了什么出了问题什么做得对。如果你计划预训练一个非常大的语言模型在这种情况下是175B参数这将非常有用。《LLM 360》一个开源LLM框架提供训练和数据准备代码、数据、指标和模型。2.4. 监督式微调Supervised Fine-Tuning监督式微调就是让我们在已经标注的数据集上对已经预训练好的模型进行再次训练以符合任务需求它是一个非常重要的过程。完全微调Full fine-tuning完全微调指的是训练模型中的所有参数。这不是一种高效的技术但它产生稍好的结果。LoRA一种基于低秩适配器的参数高效技术PEFT。我们只训练这些适配器而不是所有参数。QLoRA另一种基于LoRA的PEFT它还将模型的权重量化为4位并引入分页优化器来管理内存峰值。将其与Unsloth结合使用可以在免费的Colab笔记本上有效运行。Axolotl一个用户友好且强大的微调工具被用于许多最先进的开源模型。DeepSpeed高效的预训练和微调LLM适用于多GPU和多节点设置在Axolotl中实现。参考资料:由Alpin撰写的《LLM训练新手指南》概述微调LLM时要考虑的主要概念和参数。由Sebastian Raschka提供的《LoRA洞察》关于LoRA的实际洞察和如何选择最佳参数。《自己微调Llama 2模型》关于如何使用Hugging Face库微调Llama 2模型的动手教程。由Benjamin Marie撰写的《为因果LLM填充训练示例》因果LLM填充训练示例的最佳实践。《LLM微调初学者指南》关于如何使用Axolotl微调CodeLlama模型的教程。2.5. 通过人类反馈进行强化学习Reinforcement Learning from Human Feedback在监督式微调之后RLHF是一个用来将LLM产生的答案达到和人类回答差不多的重要步骤。其思想是从人工反馈中学习偏好。它比SFT更复杂但是该步骤通常被视为可选的。偏好数据集Preference datasets这些数据集通常包含几个答案并有某种排名但是这种数据集更难产生。近端策略优化Proximal Policy Optimization这个算法利用一个奖励模型来预测给定文本是否被人类高度评价。然后使用这个预测来优化SFT模型一般使用基于KL散度加上惩罚的方式来执行。直接偏好优化Direct Preference OptimizationDPO简化将其重新构架为一个分类问题。它使用参考模型而不是奖励模型无需训练只需要一个超参数使其更稳定和高效。参考资料:由Ayush Thakur撰写的《使用RLHF训练LLM简介》解释为什么使用RLHF减少偏见并提高LLM性能是可取的。由Hugging Face提供的《RLHF插图》介绍了奖励模型训练和通过强化学习进行微调的RLHF。由Hugging Face提供的《StackLLaMA》使用transformers库高效对齐LLaMA模型与RLHF的教程。由Sebastian Rashcka撰写的《LLM训练RLHF及其替代方案》概述RLHF过程和替代方案如RLAIF。《使用DPO微调Mistral-7b》使用DPO微调Mistral-7b模型的教程并复现NeuralHermes-2.5。2.6. 评估Evaluation评估LLM是一个被低估的部分它既耗时但是又相对可靠。你的下游任务应该决定你想评估什么但始终记住Goodhart法则“当一个指标成为目标时它就不再是一个好的指标。”传统指标困惑度和BLEU分数这样的指标不再像以前那样受欢迎因为在大多数情况下它们是有缺陷的。了解它们以及何时可以应用它们很重要。通用基准基于语言模型评估工具Open LLM排行榜是通用LLM如ChatGPT的主要基准。还有其他流行的基准如BigBench、MT-Bench等。特定任务基准如摘要、翻译和问答等任务有专门的基准、指标甚至子领域医疗、金融等如PubMedQA用于生物医学问答。人类评估最可靠的评估是用户的接受率或人类做出的比较。如果你想知道模型是否表现良好最简单但最可靠的方式是自己使用它。参考资料:由Hugging Face提供的《固定长度模型的困惑度》困惑度概述包括用transformers库实现它的代码。由Rachael Tatman撰写的《自担风险使用BLEU》BLEU分数及其许多问题的概述附有示例。由Chang等人撰写的《评估LLM的调查》关于评估什么、在哪里评估以及如何评估的综合论文。由lmsys提供的《聊天机器人竞技场排行榜》基于人类比较的通用LLM的Elo评分。2.7. 量化量化是将模型的权重和激活使用更低精度进行转换的过程。例如使用16位存储的权重可以转换为4位表示。这项技术已经越来越重要因为它可以减少与LLM相关的计算和内存成本以使其在计算资源更低的设备上运行。基础技术了解不同的精度水平FP32, FP16, INT8等以及如何使用absmax和零点技术进行朴素量化。GGUF和llama.cpp最初设计用于在CPU上运行llama.cpp和GGUF格式已成为在消费级硬件上运行LLM的最受欢迎的工具。GPTQ和EXL2GPTQ特别是EXL2格式提供了惊人的速度但只能在GPU上运行。模型也需要很长时间才能被量化。AWQ这种新格式比GPTQ更准确困惑度更低但使用的VRAM更多不一定更快。参考资料:《量化简介》量化概述absmax和零点量化以及LLM.int8()的代码。《使用llama.cpp量化Llama模型》关于如何使用llama.cpp和GGUF格式量化Llama 2模型的教程。《使用GPTQ进行LLM的4位量化》使用GPTQ算法量化LLM的教程附有AutoGPTQ。[《ExLlamaV2运行LLM的最快库》](https://mlabonne.github.io/blog/posts/ExLlamaV2_The_Fastest_Library_to_Run LLMs.html)关于如何使用EXL2格式量化Mistral模型并使用ExLlamaV2库运行它的指南。《理解激活感知权重量化》由FriendliAI提供AWQ技术及其优势的概述。2.8. 新趋势位置嵌入Positional embeddings了解LLM如何编码位置尤其是RoPE这样的相对位置编码方案。实现YaRN通过温度因子乘以注意力矩阵或ALiBi基于token距离的注意力惩罚以延长上下文长度。模型合并Model merging合并训练好的模型已成为创建性能模型而无需任何微调的流行方式。流行的mergekit库实现了最受欢迎的合并方法如SLERP、DARE和TIES。专家混合Mixtral因其出色的性能而重新流行化MoE架构。与此同时OSS社区出现了一种通过合并模型如Phixtral的frankenMoE这是一个更便宜且性能良好的选项。多模态模型这些模型如CLIP、Stable Diffusion或LLaVA处理多种类型的输入文本、图像、音频等具有统一的嵌入空间解锁了强大的应用如文本到图像。参考资料:《扩展RoPE》由EleutherAI提供总结不同位置编码技术的文章。《理解YaRN》由Rajat Chawla提供YaRN介绍。《使用mergekit合并LLM》关于使用mergekit合并模型的教程。《专家混合解释》由Hugging Face提供关于MoEs及其工作原理的详尽指南。《大型多模态模型》由Chip Huyen提供多模态系统及其近期历史的概述。3. LLM工程化在这阶段集中于如何构建和部署基于大语言模型LLM的应用程序以便在生产环境中使用。它分为几个部分每部分都聚集于LLM应用开发的不同方面3.1 运行大型语言模型 (LLMs)运行LLMs可能会因为硬件要求而变得困难。而我们可以通过Api的方式如GPT-4来简单的使用大模型。当然也可以进行本地运行。无论哪种方式都需要额外的提示和引导技巧也叫做提示工程 prompting engineer来提升模型的输出质量。LLM APIs: API是部署LLMs的一种比较简单的方式它不要求设备拥有显卡资源但是这种一般需要付费得到API。这个领域分为私有LLMs(OpenAI, Google, Anthropic, Cohere, 等.) 和开源LLMs (OpenRouter, Hugging Face, Together AI, 等.).开源LLMs:Hugging Face Hub开源了大量的LLMs。你可以直接在Hugging Face Spaces中运行其中一些或者下载并在像LM Studio这样的应用程序中或通过CLI与llama.cpp或Ollama在本地运行它们。提示工程Prompt engineering常见技术包括零次提示、少数提示、思维链和ReAct。它们在更大的模型上效果更好也可以适应更小的模型。结构化输出Structuring outputs大部分任务需要结构化输出如严格的模板或JSON格式。可以使用LMQL、Outlines、Guidance等库来指导生成并遵循给定的结构。参考资料:由Nisha Arya撰写的使用LM Studio在本地运行LLM如何使用LM Studio的简短指南。由DAIR.AI撰写的提示工程指南提示工程学习Outlines - 快速开始由Outlines启动的指导生成技术。LMQL - 概述LMQL语言的介绍。3.2. 构建向量存储Building a Vector Storage有时候我们想要在特定知识库下让LLMs搜索答案而检索增强生成RAG结合了信息检索IR方法的能力提高文本生成任务的质量和相关性。这种方法在处理需要广泛背景知识或特定信息的任务时特别有用例如问答、文章撰写、摘要生成等。构建向量存储是构建检索增强生成RAG管道的第一步。它涉及文档加载拆分生成向量表示嵌入并存储等步骤文档加载文档加载器可以处理多种格式PDF、JSON、HTML、Markdown等。它们还可以直接从一些数据库和APIGitHub、Reddit、Google Drive等检索数据。文档拆分文本拆分器将文档拆分成更小、有语义信息的块。与其在_n_个字符后拆分文本不如更好地按标题或递归拆分附加一些额外的元数据。嵌入模型嵌入模型将文本转换为向量表示。这对于执行语义搜索至关重要可以深入并更细致地理解语言。向量数据库向量数据库如Chroma、Pinecone、Milvus、FAISS、Annoy等旨在存储嵌入向量。它们能够根据向量相似度高效检索与查询“最相似”的数据。参考资料:LangChain - 文本拆分器LangChain实现的不同文本拆分器列表。Sentence Transformers库流行的嵌入模型库。MTEB排行榜嵌入模型的排行榜。由Moez Ali撰写的前5大向量数据库最好和最流行的向量数据库的比较。3.3. 检索增强生成 (Retrieval Augmented Generation, RAG)RAG技术可以使LLMs从数据库检索上下文文档以提高其答案的准确性。RAG是一种流行的增强模型知识的方式无需任何微调。协调器Orchestrators协调器如LangChain、LlamaIndex、FastRAG等是将LLMs与工具、数据库、记忆等连接并增强其能力的流行框架。检索器Retrievers用户指令并不是为检索优化的。可以应用不同技术例如多查询检索器、HyDE等来重述/扩展它们并提高性能。记忆Memory为了记住以前的指令和答案LLMs和聊天机器人如ChatGPT将这个历史添加到它们的上下文窗口中。这个缓冲区可以通过摘要例如使用一个较小的LLM、向量存储RAG等来改进。评估我们需要评估文档检索上下文的精度和召回率和生成阶段保真度和答案相关性。可以使用工具Ragas和DeepEval来简化这一过程。参考资料:Llamaindex - 高级概念构建RAG管道时需要了解的主要概念。Pinecone - 检索增强检索增强过程的概述。LangChain - 使用RAG的QA构建典型RAG管道的分步教程。LangChain - 记忆类型不同类型记忆的列表及其相关用途。RAG管道 - 指标用于评估RAG管道的主要指标概述。3.4. 高级RAG现实生活中的应用可能需要复杂的管道包括SQL或图数据库以及自动选择相关工具和API。这些高级技术可以改进基线解决方案并提供额外功能。查询构造Query construction存储在传统数据库中的结构化数据需要特定的查询语言如SQL、Cypher、元数据等。我们可以直接将用户指令翻译成查询以访问数据。代理和工具Agents and tools代理通过自动选择最相关的工具来增强LLMs以提供答案。这些工具可以简单到使用Google或Wikipedia或更复杂如Python解释器或Jira。后处理Post-processing:向LLM提供输入的最终步骤。它通过重新排列、RAG-fusion和分类等方式增强检索到的文档的相关性和多样性。参考资料:LangChain - 查询构造关于不同类型查询构造的博客文章。LangChain - SQL如何使用LLMs与SQL数据库交互的教程涉及Text-to-SQL和一个可选的SQL代理。Pinecone - LLM代理介绍不同类型代理和工具。由Lilian Weng撰写的LLM驱动的自主代理更多关于LLM代理的理论文章。LangChain - OpenAI的RAGOpenAI采用的RAG策略概述包括后处理。3.5. 推理优化 Inference optimization文本生成是一个成本高昂的过程需要昂贵的硬件资源。除了量化还提出了各种技术来最大化吞吐量并降低推理成本。Flash Attention优化注意力机制将其复杂度从二次方降低到线性加速训练和推理。键值缓存了解键值缓存以及多查询注意力MQA和分组查询注意力GQA中引入的改进。推测解码使用小型模型生成草稿然后由更大的模型审查以加速文本生成。参考资料:GPU推理由Hugging Face提供解释如何在GPUs上优化推理。LLM推理由Databricks提供如何在生产中优化LLM推理的最佳实践。为速度和内存优化LLMs由Hugging Face提供解释优化速度和内存的三种主要技术即量化、Flash Attention和架构创新。辅助生成由Hugging Face提供HF版本的推测解码是一篇详细介绍其如何工作的博客包括实现它的代码。3.6. 部署LLMs部署LLMs是一项工程壮举可能需要多个GPU集群。本地部署与私有LLMs相比开源LLMs可以保护用户隐私是它的一大优势。本地LLM服务器LM Studio、Ollama、oobabooga、kobold.cpp等利用这一优势为本地应用提供动力。demo部署Gradio和Streamlit等框架有助于原型化应用程序并分享demo。你也可以轻松地在线托管它们例如使用Hugging Face Spaces。服务器部署在规模上部署LLMs需要云参见SkyPilot或本地基础设施并常常利用优化的文本生成框架如TGI、vLLM等。边缘部署在受限环境中高性能框架如MLC LLM和mnn-llm可以在网页浏览器、Android和iOS中部署LLM。参考资料:Streamlit - 构建基础LLM应用使用Streamlit制作基础ChatGPT-like应用的教程。HF LLM推理容器使用Hugging Face的推理容器在Amazon SageMaker上部署LLMs。Philschmid博客由Philipp Schmid撰写关于使用Amazon SageMaker部署LLM的高质量文章集。优化延迟由Hamel Husain提供关于TGI、vLLM、CTranslate2和mlc在吞吐量和延迟方面的比较。7. 保护LLMs除了与软件相关的传统安全问题外由于LLMs的训练和提示方式它们还有独特的弱点。提示黑客攻击与提示工程相关的不同技术包括提示注入额外指令以劫持模型的答案、数据/提示泄露检索其原始数据/提示和越狱制作提示以绕过安全功能。后门攻击向量可以针对训练数据本身通过在训练数据中下毒例如使用错误信息或创建后门秘密触发器以在推理期间改变模型的行为。防御措施保护你的LLM应用程序的最佳方式是针对这些漏洞测试它们例如使用红队测试和像garak这样的检查并在生产中观察它们使用框架如langfuse。在大模型时代我们如何有效的去学习大模型现如今大模型岗位需求越来越大但是相关岗位人才难求薪资持续走高AI运营薪资平均值约18457元AI工程师薪资平均值约37336元大模型算法薪资平均值约39607元。掌握大模型技术你还能拥有更多可能性• 成为一名全栈大模型工程师包括PromptLangChainLoRA等技术开发、运营、产品等方向全栈工程• 能够拥有模型二次训练和微调能力带领大家完成智能对话、文生图等热门应用• 薪资上浮10%-20%覆盖更多高薪岗位这是一个高需求、高待遇的热门方向和领域• 更优质的项目可以为未来创新创业提供基石。可能大家都想学习AI大模型技术也_想通过这项技能真正达到升职加薪就业或是副业的目的但是不知道该如何开始学习因为网上的资料太多太杂乱了如果不能系统的学习就相当于是白学。为了让大家少走弯路少碰壁这里我直接把都打包整理好希望能够真正帮助到大家_。一、AGI大模型系统学习路线很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞下面是我整理好的一套完整的学习路线希望能够帮助到你们学习AI大模型。第一阶段 从大模型系统设计入手讲解大模型的主要方法第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段 以SD多模态大模型为主搭建了文生图小程序案例第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF书籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型各大场景实战案例结语【一一AGI大模型学习 所有资源获取处无偿领取一一】所有资料 ⚡️ 朋友们如果有需要全套 《LLM大模型入门进阶学习资源包》扫码获取~