医疗网站优化贵阳商城网站建设

医疗网站优化,贵阳商城网站建设,西安装修公司哪家好,用html5做的美食网站今天这篇文章给大家盘点一下NeurIPS 2025中和模型结构优化相关的工作。这些优化属于相对通用的模型结构优化#xff0c;可以迁移到各个深度学习领域。优化的结构包括attention计算方式、稀疏attention、KV cache、Dense网络等多个维度。NeurlPS’25的通用模型结构优化更多集中…今天这篇文章给大家盘点一下NeurIPS 2025中和模型结构优化相关的工作。这些优化属于相对通用的模型结构优化可以迁移到各个深度学习领域。优化的结构包括attention计算方式、稀疏attention、KV cache、Dense网络等多个维度。NeurlPS’25的通用模型结构优化更多集中在性能优化上也可以看出在大模型时代如何无损压缩模型计算量、参数量是一个最为核心的课题。1Gated Attention强化信息有效性Gated attention是对self-attention计算方式的一种优化其核心思路是在attention计算结果中引入一个gate门控模块对无效信息进行过滤。例如当一个序列中的各个key和query都没关系时attention中的softmax仍然会强制生成一个和为1的权重list对value进行加权但是这部分信息对于模型来说是噪声。因此文中引入了一个gate结构在attention计算结果之后对无效信息进行过滤。文中尝试了在不同位置引入这个gate结构最优的结构为在每个head计算完attention结果后用输入结果和对应的gate结果进行element-wise的加权。其中gate使用映射成QKV之前的表征作为输入每个head使用一个独立的权重W进行线性变化接一个sigmoid激活函数得到门控打分。论文标题Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free最近两年大家都可以看到AI的发展有多快我国超10亿参数的大模型在短短一年之内已经超过了100个现在还在不断的发掘中时代在瞬息万变我们又为何不给自己多一个选择多一个出路多一个可能呢与其在传统行业里停滞不前不如尝试一下新兴行业而AI大模型恰恰是这两年的大风口整体AI领域2025年预计缺口1000万人其中算法、工程应用类人才需求最为紧迫学习AI大模型是一项系统工程需要时间和持续的努力。但随着技术的发展和在线资源的丰富零基础的小白也有很好的机会逐步学习和掌握。【点击蓝字获取】【2025最新】AI大模型全套学习籽料可白嫖LLM面试题AI大模型学习路线大模型PDF书籍640套AI大模型报告等等从入门到进阶再到精通超全面存下吧2MGLU压缩GLU参数量GLU是目前深度学习中最常用的激活函数SwiGLU等GLU变种也是大模型中目前的主要激活函数。GLU激活函数计算逻辑是用两组不同的参数对输入进行线性变化后一组使用sigmoid、swish等激活函数生成门控结果再和另一组进行element-wise相乘完成对输入的非线性变换。这种方式相比ReLU额外增加了一组线性映射计算量增加了模型参数存储空间。文中提出了一种引入Mask版本的GLU其核心是让上述两组线性变换的参数矩阵共享成同一组参数然后使用一个可学习mask矩阵对这组参数进行拆分拆成两组参数实现后续的GLU计算。通过这种方式实现了GLU计算不额外引入参数量的目的。文中进一步引入多组不同类型的mask结果使用不同mask结果对矩阵进行不同类型的拆分后进行多组GLU结果的融合实现接近无损的参数压缩。论文标题Masked Gated Linear Unit3时间维度的KV Cache压缩KV cache是大模型推断、生成式中的一个关键技术由于其在推断时需要进行next-token prediction需要重复计算历史的attention结果提前对历史计算过的key和value结果进行缓存可以大幅提升推断时的性能。在此基础上存在多个进一步提升性能的方法例如multi-query attention通过共享不同head的key和value参数、MLA通过对key和value进行低秩分解等进一步优化性能。这篇文章则在另一个维度进行KV cache优化提出了在时间维度上进行压缩直接减少打分计算量。在MLA基础上引入一个压缩系数将相邻的s个token的低秩结果进行融合融合方法是使用一组可学习的权重进行相邻token的加权求和。通过这种方式将多个token的低秩向量进行融合。由于不同输入样本的序列长度不同因此使用hyper-network生成权重输入所有token的低秩向量输出每个token对应的融合权重。论文标题Multi-head Temporal Latent Attention4SeerAttention蒸馏提升长序列计算效率Attention的计算时间复杂度随着序列长度提升呈指数提升因此如何提升长序列的attention计算效率是一个比较关键的问题。本文提出了一种简洁的优化方法通过pooling的方式直接在序列维度进行聚合并蒸馏原始的完整attention结果。具体建模上对于query和key的原始输入序列结果使用包括max-pooling、mean-pooling等多种pooling方式进行相邻token信息的汇聚并过一层MLP映射得到相比原始输入序列长度维度大幅缩减的压缩版本再基于这个缩短后的序列进行内积、softmax等的计算得到一个压缩版本的attention打分结果文中称为AttentionGate。同时对于完整的query和key计算得到的attention矩阵使用max-pooling作为ground truth用KL散度进行蒸馏。线上应用时使用阈值卡控topK进行AttentionGate的二值化处理。通过这种方式大幅降低了长序列attention计算的复杂度并能接近效果无损。论文标题SeerAttention: Self-distilled Attention Gating for Efficient Long-context Prefilling5EUGens新型MLP网络FFN一直是大模型中计算资源耗费比较大的模块。这篇文章中提出一种新的MLP形式能够减少参数计算量。原始的MLP网络使用输入x和可学习参数矩阵W进行点乘再过一个激活函数得到。本文提出的EUGen其基础形式将x和W进行解耦W和x分别过一个激活函数后使用一个映射网络进行降维再在最后对两个降维的结果计算内积。在Transformer中使用这种结构替代原来的FFN大幅降低了计算量。论文标题EUGens: Efficient, Unified, and General Dense Layers6Spark Attention构建稀疏FFN和Attention在对大模型Transformer结构中的FFN分析时可以发现其中只有部分神经元对应的值是比较大的对应FFN天然存在稀疏性。基于上述发现本文提出了Spark Attention对Transformer中的FFN和attention结构进行了稀疏化。在FFN结构上原来的计算逻辑是第一层输入乘一个矩阵W1升维过激活函数第二层乘一个矩阵W2还原维度。Spark Attention中第一层进行改动只保留过激活函数之后数值topK的输出结果其余的都置为0。同时参考了Gated-FFN方案中会在第一层FFN中引入一个类似GLU的结构本文将输入拆分成两个部分套用Gated-FFN前一部分过激活函数保留topK后一部分使用单独的参数映射后进行element-wise相乘。整体计算公式如下在attention的结构中也采用类似的方法进行计算。在topK的选取上采用了Statistical Top-k算法能够在不对原始各个值进行排序的情况下近似选出topK结果。论文标题Spark Transformer: Reactivating Sparsity in FFN and Attention7HybridNorm混合归一化提升Transformer性能Normalization是Transformer中的一个核心组件用于提升Transformer训练的收敛速度。常见的Normalization方法包括pre-norm和post-norm。Pre-norm对每一层的输入进行normalization而post-norm则是对attention残差计算结果之后进行normlization。本文提出了一种混合归一化的方式进一步提升Transformer收敛速度。首先引入了QKV-norm在计算attention前对每个query、key、value分别进行归一化。其次在FFN部分采用post-norm。论文标题HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization最近两年大家都可以看到AI的发展有多快我国超10亿参数的大模型在短短一年之内已经超过了100个现在还在不断的发掘中时代在瞬息万变我们又为何不给自己多一个选择多一个出路多一个可能呢与其在传统行业里停滞不前不如尝试一下新兴行业而AI大模型恰恰是这两年的大风口整体AI领域2025年预计缺口1000万人其中算法、工程应用类人才需求最为紧迫学习AI大模型是一项系统工程需要时间和持续的努力。但随着技术的发展和在线资源的丰富零基础的小白也有很好的机会逐步学习和掌握。【点击蓝字获取】【2025最新】AI大模型全套学习籽料可白嫖LLM面试题AI大模型学习路线大模型PDF书籍640套AI大模型报告等等从入门到进阶再到精通超全面存下吧