网站建设开头成都市建设领域信用系统网站

网站建设开头,成都市建设领域信用系统网站,asp.net 网站压缩,网站维护是不是很难做文章目录 一、为什么现代 LLM 使用 Decoder-only1.1 核心思想1.2 关键原因 二、梯度下降#xff08;核心公式与要点#xff09;2.1 核心公式2.2 关键要素2.3 为什么不是越快越好#xff1f; 三、神经网络架构基础四、其他重要网络架构五、Transformer 层传递详解#xff08…文章目录一、为什么现代 LLM 使用 Decoder-only1.1 核心思想1.2 关键原因二、梯度下降核心公式与要点2.1 核心公式2.2 关键要素2.3 为什么不是越快越好三、神经网络架构基础四、其他重要网络架构五、Transformer 层传递详解含 PyTorch 代码六、文字到 Token 的转换七、大模型权重文件内容与格式八、权重加载后的逐层推理流程九、残差连接的作用与实现9.1 核心思想9.2 为什么有效十、层归一化LayerNorm解析十一、激活函数概览十二、Transformer 层的本质与规模估算12.1 正确认知12.2 典型层数十三、总结与哲学思考一、为什么现代 LLM 使用 Decoder-only1.1 核心思想现代大语言模型如 GPT、DeepSeek多采用 Decoder-only 架构因为预训练阶段将编码与解码能力统一到同一架构中。1.2 关键原因任务匹配核心任务是自回归生成预测下一个 token这正是解码器擅长的。能力内化通过预测下一个词的预训练decoder 的自注意力已能为输入前缀生成深层语义表示。规模效应足够的参数与数据让单一架构同时掌握理解与生成。架构简化统一架构更易于大规模扩展与训练。对比原始 TransformerEncoder–Decoder常用于翻译 vsDecoder-only边读边写即时编码。二、梯度下降核心公式与要点2.1 核心公式t h e t a n e w t h e t a o l d − e t a n a b l a t h e t a L ( t h e t a ) thetanewthetaold−etanablathetaL(theta)thetanewthetaold−etanablathetaL(theta)2.2 关键要素梯度指向损失上升最快方向反向为下降方向。学习率步长大小过大会发散过小收敛缓慢。损失函数衡量模型错误程度。2.3 为什么不是越快越好步长太大会发散或跳过最优点动态调整更好初期可以用较大学习率后期减小现代优化器如 Adam能为不同参数自适应学习率。三、神经网络架构基础前馈神经网络FNN信息单向流动无循环连接常用于分类与回归。循环神经网络RNN专为序列设计具备记忆但容易出现梯度消失。LSTM/GRU 为常见改进卷积神经网络CNN适用于网格数据如图像特点为局部连接与参数共享。传播过程前向传播输入到输出的计算反向传播基于链式法则计算梯度并更新参数。四、其他重要网络架构Transformer自注意力为核心支持并行和长程依赖。图神经网络GNN处理图结构数据应用于社交网络、分子预测等。生成对抗网络GAN生成器与判别器对抗训练应用于图像生成。Diffusion 模型前向加噪、反向去噪当前图像生成 SOTA 方法之一。五、Transformer 层传递详解含 PyTorch 代码传递数据形状张量本身[batch_size, seq_len, hidden_dim]注意力权重[batch_size, num_heads, seq_len, seq_len]PyTorch 示例简化classTransformerEncoderLayer(nn.Module):def__init__(self,d_model512,n_heads8,d_ff2048,dropout0.1):super().__init__()self.self_attnMultiHeadAttention(d_model,n_heads,dropout)self.feed_forwardnn.Sequential(nn.Linear(d_model,d_ff),nn.ReLU(),nn.Dropout(dropout),nn.Linear(d_ff,d_model))self.norm1nn.LayerNorm(d_model)self.norm2nn.LayerNorm(d_model)self.dropout1nn.Dropout(dropout)self.dropout2nn.Dropout(dropout)defforward(self,x,maskNone):x_normself.norm1(x)attn_outputself.self_attn(x_norm,x_norm,x_norm,maskmask)xxself.dropout1(attn_output)x_normself.norm2(x)ff_outputself.feed_forward(x_norm)xxself.dropout2(ff_output)returnx六、文字到 Token 的转换分词策略单词分词按空格分割词汇表大字符分词每字符为 token序列长子词分词主流BPE / WordPiece兼顾效率与词汇覆盖。转换流程原始文本 → 分词 → T o k e n I D → 嵌入向量 → 位置编码 → 输入矩阵 原始文本 → 分词 → Token ID → 嵌入向量 → 位置编码 → 输入矩阵原始文本→分词→TokenID→嵌入向量→位置编码→输入矩阵代码示例fromtransformersimportAutoTokenizerimporttorch.nnasnn tokenizerAutoTokenizer.from_pretrained(gpt2)textHello, world!tokenstokenizer.tokenize(text)token_idstokenizer.encode(text)embeddingnn.Embedding(vocab_size,embedding_dim)embeddingsembedding(torch.tensor(token_ids))七、大模型权重文件内容与格式存储的关键参数词嵌入层[vocab_size, hidden_size]每层 TransformerQ/K/V/输出投影矩阵、前馈网络权重、归一化参数输出层[hidden_size, vocab_size]常见文件格式PyTorch.pt、.pth、.binHugging Face.safetensors更安全、更快量化格式GGUF/GGML体积更小便于部署八、权重加载后的逐层推理流程defforward(self,input_ids):xself.embedding(input_ids)self.position_embedding(position_ids)forlayerinself.layers:residualx x_normself.norm1(x)attn_outputself.attention(x_norm)xresidualattn_output residualx x_normself.norm2(x)ff_outputself.ffn(x_norm)xresidualff_output logitsself.lm_head(self.final_norm(x))returnlogitsKV 缓存优化推理# 如果存在 past_key_values则拼接以避免重复计算ifpast_key_valuesisnotNone:keytorch.cat([past_key,key],dim2)valuetorch.cat([past_value,value],dim2)九、残差连接的作用与实现9.1 核心思想输出 输入 变换 ( 输入 ) 输出 输入 变换(输入)输出输入变换(输入)9.2 为什么有效提供直接梯度通路缓解梯度消失保持信息完整在最坏情况下输出输入网络只需学习变化量学习更高效。Transformer 中的实现示例xxself.dropout(self.self_attn(self.norm1(x)))xxself.dropout(self.ffn(self.norm2(x)))十、层归一化LayerNorm解析操作对每个样本的每个特征维度进行标准化。作用稳定层输入分布帮助加速收敛允许使用较大学习率缓解训练中的梯度问题。十一、激活函数概览ReLUmax(0,x)简单且减少梯度消失GELU平滑近似Transformer 常用Sigmoid / Tanh用于概率或归一化输出Swish/SiLUx * sigmoid(x)部分模型如 LLaMA使用门控变体。在实际模型中BERT/GPT 多用 GELULLaMA 使用 SwiGLU 等门控激活。十二、Transformer 层的本质与规模估算12.1 正确认知一个 Transformer 层不是单个神经元而是一个复杂模块包含多头自注意力、前馈网络两个全连接层激活、层归一化与残差连接。示例d_model768 的层大约含有 ~7M 参数等价于大量传统神经元的复杂度。12.2 典型层数GPT-3大规模96 层LLaMA-2 7B约 32 层BERT-base12 层。十三、总结与哲学思考完整处理链条文本分词 → 向量化嵌入 → 添加位置编码 → 多层 T r a n s f o r m e r 加工 → 概率输出 → 自回归生成。 文本分词 → 向量化嵌入→ 添加位置编码 → 多层 Transformer 加工 → 概率输出 → 自回归生成。文本分词→向量化嵌入→添加位置编码→多层Transformer加工→概率输出→自回归生成。核心设计理念注意力机制实现全局信息交互残差与层归一化保证深层网络稳定训练自回归机制负责语言生成。哲学思考大语言模型将人类知识编码为高维参数前向传播是将这些知识应用于新输入。每层相当于处理不同抽象层次的微型大脑层层堆叠形成复杂能力。