阳江网站推广优化公司我的网站首页打不开

阳江网站推广优化公司,我的网站首页打不开,建门户网站哪家最好,网站维护的内容摘要 https://openaccess.thecvf.com/content/ICCV2025/papers/Pan_Exploring_Weather-aware_Aggregation_and_Adaptation_for_Semantic_Segmentation_under_Adverse_ICCV_2025_paper.pdf 不利条件下的语义分割对于在具有挑战性的天气环境中实现可靠的视觉感知至关重要。这些极…摘要https://openaccess.thecvf.com/content/ICCV2025/papers/Pan_Exploring_Weather-aware_Aggregation_and_Adaptation_for_Semantic_Segmentation_under_Adverse_ICCV_2025_paper.pdf不利条件下的语义分割对于在具有挑战性的天气环境中实现可靠的视觉感知至关重要。这些极端场景引入了失真例如低对比度和能见度降低使传统的分割模型难以应对。此类条件下标记数据的稀缺性使得难以直接为这些环境训练模型。无监督域适应UDA已被提出作为一种解决方案用于将知识从标记的源域正常天气转移到未标记的目标域不利天气。然而现有方法面临重大挑战特别是由于对天气的无感知性和特征异质性。许多模型未能考虑不同天气条件的独特特征正常天气和不利天气图像之间的显著特征差异阻碍了有效的适应。在本文中我们提出了一种新颖的天气感知聚合与适应网络该网络利用特征知识实现天气同质化并增强场景感知。具体而言我们引入幅度提示聚合从傅里叶频域捕获指示不同天气条件的基本特征。此外我们采用天气异质性适应来减轻域间异质性从而实现不同环境下的特征同质化。在多个具有挑战性的基准数据集上的大量实验结果表明我们的方法在不利条件下的语义分割方面取得了持续的改进。1. 引言语义分割涉及为图像中的每个像素分配类别标签[30, 35, 36, 38, 47]在各种现实应用中扮演着至关重要的角色如自动驾驶[34, 37, 59]和监控[13, 32, 60]。然而当面对不利天气条件时[22, 45]包括夜间、雾、雨和雪分割模型的性能通常会显著下降。能见度和场景外观的恶化对传统分割算法构成了重大挑战这些算法通常在正常天气条件下收集的数据集上训练。因此探索一种在极端天气条件下进行有效语义解析的方法备受期待。大量的研究工作已致力于不利天气条件下的语义分割[7, 26, 41-43, 51]。由于此类不利条件下标记数据的稀缺性现有方法努力采用无监督域适应UDA范式利用标记的正常天气数据和极端场景下无注释的图像来应对挑战[16, 44, 50, 53, 54]。Kerim等人[20]提出了一个基于DeepLabV3[1]的双分支网络通过整合合成的多场景数据集来增强极端天气条件下的训练知识。然而在目标域中区分外观相似的类别且仅有少量真实注释这对域适应方法仍然是一个挑战。为了解决这个问题MIC[18]引入了掩码图像一致性利用目标域中的空间上下文关系作为额外线索来增强UDA的鲁棒性。这些方法的出现促进了对极端天气条件下场景的理解。尽管取得了相当大的进展在不同极端天气条件下区分和分析场景的任务仍然具有挑战性。无论是通过合成数据的辅助还是对空间上下文线索的探索现有方法在多个极端场景中准确识别天气感知语义方面都存在困难。我们将这种跨天气范式的困境归因于两个固有问题图1(1) 天气特征无感知。不利天气下的风格特征如照明条件和对比度是造成不同场景之间天气差距的主要原因。尽管认识到了这一关键方面现有工作[10, 58]通常采用低级增强或隐式学习来进行域间风格转换未能充分利用天气属性表示。因此设计一种策略来聚合不同条件下的天气感知场景知识值得探索。(2) 严重的跨天气异质性。早期工作[16, 18]倾向于将不同天气条件下的场景图像统一处理忽略了不同天气类型之间的显著差异。天气条件之间的显著异质性带来了另一个挑战源于天气现象的多样性和复杂性这些现象引入了不同的视觉失真和场景变化。尽管一些方法[2, 11]试图解决这一挑战但不同天气条件下特征的显著差异仍然构成相当大的困难。这些变化导致从正常天气学习的特征与在不利场景中有效解释所需的特征之间存在显著差距。解决如何利用特征知识实现天气同质化以促进不利场景中的场景感知是一个关键问题。受上述讨论的启发我们提出了一种天气感知聚合与适应网络WA²Net用于聚合天气感知属性知识并同质化域差异包括幅度提示聚合和天气异质性适应。在幅度提示聚合中为了获取天气感知特征知识我们利用傅里叶变换的幅度操作来捕获指示不同天气条件的基本特征。这些幅度特征作为天气相关变化的判别线索。为了有效地将频率域中的关键特征知识聚合到天气自适应提示中我们在提示库中预先添加一组可学习的提示通过交叉注意力机制与频率特征交互以获得天气感知提示。这些提示封装了各种天气条件的内在特征为适应过程提供必要的指导。在天气异质性适应中为了实现有效的语义解析的跨天气同质化生成的天气感知提示被用于在调制后生成适应特征。然后我们提出了一种新颖的同质化注意力机制以获取不同天气条件下的同质化特征。该机制识别原始图像特征与适应特征之间的差异将天气特征与有价值的目标信息解耦从而过滤掉属性干扰。通过这种方式我们的WA²Net实现了有效的天气感知知识聚合和鲁棒适应确保在不利天气条件下语义分割性能的提升。总之我们的贡献可以总结如下我们提出了一种新颖的天气感知聚合与适应网络用于不利条件下的语义分割。我们的论文通过聚合和适应方式探索了一种获取天气自适应知识并增强跨天气感知的实用方法。我们设计了幅度提示聚合通过幅度提取从天气特征中获取天气感知提示以及天气异质性适应以继承天气感知知识并减轻跨天气异质性。在多个具有挑战性的基准数据集上的大量实验结果表明我们的方法在不利条件下的语义分割方面取得了持续的改进。2. 相关工作2.1 不利条件下的语义分割随着卷积神经网络CNNs[21]和变换器[52]的出现语义分割领域[3, 4, 23, 27, 28, 39, 48]取得了显著进展。然而传统的语义分割模型在雨、雾和夜间环境等不利条件下性能显著下降[45, 46, 61]。因此不利条件下的语义分割旨在开发能够准确描绘具有挑战性环境中物体和区域的鲁棒模型。鉴于极端天气中标记数据的稀缺性无监督域适应范式被用来增强模型在不同天气条件下的泛化能力借助正常天气数据[24, 54]。Kerim等人[20]提出了一个双分支网络并通过整合合成的多场景数据集扩展了极端天气条件下的训练数据集。然而域适应方法由于难以在仅有少量真实注释的目标域中区分外观相似的类别而面临挑战。为了解决这个问题MIC[18]引入了掩码图像一致性利用目标域中的空间上下文关系作为额外线索来增强视觉感知。此外为了减轻新场景中的知识遗忘Yang等人[57]引入了自适应知识获取和天气条件组合的回放旨在缓解不同场景中的模型遗忘问题。不同的是我们努力解决天气无感知问题通过聚合和适应方式利用天气感知提示。2.2 提示学习提示[29]将任务特定指令纳入输入文本中以指导模型行为在不重新训练的情况下提高性能特别是在少样本学习中[9]。最近的工作将提示扩展到视觉任务其中可学习提示能够在不调整所有参数的情况下实现适应[25]并提高分割泛化能力[14]。对于不利天气下的语义分割天气自适应提示调制视觉嵌入以减轻照明和能见度变化等失真无需大量微调即可增强鲁棒性。将天气特定知识整合到提示中可以改善跨不同条件的泛化能力使模型在现实应用中更有效。3. 方法3.1 预备知识通常在无监督域适应领域[16,18][16,18][16,18]源域数据可以表示为Ds{Xs,Ys}D^{s}\{X^{s},Y^{s}\}Ds{Xs,Ys}其中XsX^{s}Xs和YsY^{s}Ys分别表示对应的图像和标签空间。每个源域图像xks∈Xsx_{k}^{s}\in X^{s}xks​∈Xs与真实分割掩码yks∈Ysy_{k}^{s}\in Y^{s}yks​∈Ys相关联。类似地令XtX^{t}Xt为目标域图像空间YtY^{t}Yt为标签空间。然而与源域不同目标域无法访问标注的分割掩码。监督损失Ls\mathcal{L}^{s}Ls可以通过神经网络fμf_{\mu}fμ​表示为Ls1Ns∑k1NsLce(fμ(xks),yks),\mathcal{L}^{s}\frac{1}{N_{s}}\sum_{k1}^{N_{s}}\mathcal{L}_{c e}\left(f_{\mu}\left(x_{k}^{s}\right),y_{k}^{s}\right),LsNs​1​k1∑Ns​​Lce​(fμ​(xks​),yks​),其中NsN_{s}Ns​表示源域的图像数量Lce\mathcal{L}_{c e}Lce​表示像素级交叉熵损失Lce(y^,y)−∑h1H∑w1W∑c1Cyhwclog⁡y^hwc.\mathcal{L}_{c e}(\hat{y},y)-\sum_{h1}^{H}\sum_{w1}^{W}\sum_{c1}^{C}y_{h w c}\log\hat{y}_{h w c}.Lce​(y^​,y)−h1∑H​w1∑W​c1∑C​yhwc​logy^​hwc​.在源域DsD^{s}Ds上训练的模型在目标域DtD^{t}Dt上测试时通常会性能下降。因此自训练范式通过教师网络gϕg_{\phi}gϕ​为目标域图像XtX^{t}Xt生成伪标签而不是使用学生网络fμf_{\mu}fμ​。具体来说模型预测未标记目标域图像的分割掩码为目标域中的每个图像xktx_{k}^{t}xkt​生成伪标签y^kt\hat{y}_{k}^{t}y^​kt​。目标域的无监督损失Lt\mathcal{L}^{t}Lt表示为Lt1Nt∑k1NtλtLce(fμ(xkt),y^kt),\mathcal{L}^{t}\frac{1}{N_{t}}\sum_{k1}^{N_{t}}\boldsymbol{\lambda}^{t}\mathcal{L}_{c e}\left(f_{\mu}\left(\boldsymbol{x}_{k}^{t}\right),\hat{y}_{k}^{t}\right),LtNt​1​k1∑Nt​​λtLce​(fμ​(xkt​),y^​kt​),其中NtN_{t}Nt​表示目标域的图像数量λt\lambda^{t}λt是无监督损失的权重系数。学生网络通过反向传播更新教师网络的参数利用教师网络的输出作为目标来最小化预测误差同时采用指数移动平均EMA更新来稳定训练过程并改善收敛性。3.2 概述如图2所示给定来自源域的输入图像xsx^{s}xs和来自不利条件下目标域的xtx^{t}xt为了清晰起见我们将不同天气条件θ\thetaθ下的图像表示为xθx^{\theta}xθ其中θ∈(0,...,Θ)\theta\in(0,...,\Theta)θ∈(0,...,Θ)Θ\ThetaΘ表示不利天气条件的总数x0x^{0}x0指正常天气条件下的源域图像。傅里叶幅度特征faθf_{a}^{\theta}faθ​从频域中解耦。然后在提示聚合过程中学习一组提示即提示库P\mathbf{P}P。获得的天气感知提示P^\hat{\mathbf{P}}P^进一步与幅度特征faθf_{a}^{\theta}faθ​交互演变为适应特征f^aθ\hat{f}_{a}^{\theta}f^​aθ​。然后为了实现不同天气条件下特征的同质化我们进一步采用同质化注意力来减轻天气异质性的影响。最后调制特征fhθf_{h}^{\theta}fhθ​被输入到教师-学生网络进行综合训练。LdivJ\mathcal{L}_{d i v}^{\mathcal{J}}LdivJ​3.3 幅度提示聚合为了分离RGB图像中融合的潜在天气特征和目标信息我们首先通过探索傅里叶频域来建模天气特征的表示。然后我们在傅里叶幅度特征中收集天气特征属性并在提示聚合过程中获取天气感知提示。幅度特征提取。在频域中已知傅里叶谱的幅度分量保留了低级统计信息[33, 58]它反映了图像频率分量的能量分布可以理解为图像的特征或风格表示。因此我们可以利用傅里叶谱的幅度来提取不同场景中的天气特征知识。具体来说在幅度提取器中给定一个图像xθ∈~RH×W~×3x^{\theta}\quad\widetilde{\in}\quad\mathbb{R}^{H\times\widetilde{W}\times3}xθ∈​RH×W×3我们应用二维傅里叶变换F(x){\mathcal{F}}(x)F(x)F(xθ)u,v∑h0H−1∑w0W−1xh,wθe−J2π(uhHvwW),\mathcal{F}(x^{\theta})_{u,v}\sum_{h0}^{H-1}\sum_{w0}^{W-1}x_{h,w}^{\theta}e^{-J2\pi\left(\frac{u h}{H}\frac{v w}{W}\right)},F(xθ)u,v​h0∑H−1​w0∑W−1​xh,wθ​e−J2π(Huh​Wvw​),其中JJJ表示虚数单位。然后我们可以获得相应的幅度A\mathcal{A}A和相位Φ\PhiΦA(xθ)u,v∣F(xθ)u,v∣,\mathcal{A}(x^{\theta})_{u,v}\left|\mathcal{F}(x^{\theta})_{u,v}\right|,A(xθ)u,v​​F(xθ)u,v​​,Φ(xθ)u,varg⁡(F(xθ)u,v)arctan⁡[Im(F(xθ)u,v)Re(F(xθ)u,v)],\Phi(x^{\theta})_{u,v}\arg(\mathcal{F}(x^{\theta})_{u,v})\arctan\left[\frac{\mathrm{I m}(\mathcal{F}(x^{\theta})_{u,v})}{\mathrm{R e}(\mathcal{F}(x^{\theta})_{u,v})}\right],Φ(xθ)u,v​arg(F(xθ)u,v​)arctan[Re(F(xθ)u,v​)Im(F(xθ)u,v​)​],其中arg⁡\argarg表示复数的参数或相位角Im\mathrm{Im}Im和Re\mathrm{Re}Re分别表示F(x){\mathcal{F}}(x)F(x)的虚部和实部。通过这种方式为了最终生成我们的幅度特征图我们将相位固定为平均常数cpc^{p}cp并应用逆傅里叶变换获取幅度特征图A‾(xθ)F−1[A(xθ)u,ve−Jcp],\overline{{\mathcal{A}}}(x^{\theta})\mathcal{F}^{-1}[\mathcal{A}(x^{\theta})_{u,v}e^{-J c^{p}}],A(xθ)F−1[A(xθ)u,v​e−Jcp],其中F−1\mathcal{F}^{-1}F−1表示逆傅里叶变换。然后我们可以通过共享权重的轻量级编码器例如ResNet\mathrm{ResNet}ResNet-18[15]获得幅度特征Fa {\bf F}_{a}\;Fa​{faθ}θ0Θ\{f_{a}^{\theta}\}_{\theta0}^{\Theta}{faθ​}θ0Θ​为后续的天气感知提示聚合做准备。天气感知提示聚合。为了有效聚合不同天气条件下的特征信息我们旨在开发一种能够吸收跨天气知识的媒介。受[19]启发我们引入一组提示即提示库P {pn}n1N\mathbf{P}\;\;\{\pmb{p}_{n}\}_{n1}^{N}P{pn​}n1N​其中pn ∈ R1×L\boldsymbol{p}_{n}\;\in\;\mathbb{R}^{1\times L}pn​∈R1×LNNN表示原型的数量。这些可学习提示将通过与幅度特征faθf_{a}^{\theta}faθ​交互来提取特征知识这些特征高度代表当前场景的风格条件。具体来说对于获得的幅度特征faθf_{a}^{\theta}faθ​查询来自提示P\mathbf{P}P键和值来自幅度特征Fa{fa0,...,faθ,...,faΘ}\mathbf{F}_{a}\{f_{a}^{0},...,f_{a}^{\theta},...,f_{a}^{\Theta}\}Fa​{fa0​,...,faθ​,...,faΘ​}。形式上QnpnWQ,KθfaθWK,VθfaθWV,\mathbf{Q}_{n}\pmb{p}_{n}\mathbf{W}^{Q},\mathbf{K}^{\theta}f_{a}^{\theta}\mathbf{W}^{K},\mathbf{V}^{\theta}f_{a}^{\theta}\mathbf{W}^{V},Qn​pn​WQ,Kθfaθ​WK,Vθfaθ​WV,其中n∈[1,…,N]n\in[1,\ldots,N]n∈[1,…,N]WQ ∈ RC×Ck\mathbf{W}^{Q}~\in~\mathbb{R}^{C\times C_{k}}WQ∈RC×Ck​WK∈\mathbf{W}^{K}\inWK∈RC×Ck,WV∈cRCˊ×Cvˊ\mathbb{R}^{C\times C_{k}},\mathbf{W}^{V}\overset{\mathfrak{c}}{\in}\mathbb{R}^{\acute{C}\times\acute{C_{v}}}RC×Ck​,WV∈c​RCˊ×Cv​ˊ​是线性投影。注意力权重基于每个查询和键之间的点积相似性计算sn,θexp⁡(βn,θ)∑θ0Θexp⁡(βn,θ),βn,θQnKθ⊤Ck,s_{n,\theta}\frac{\exp\left(\beta_{n,\theta}\right)}{\sum_{\theta0}^{\Theta}\exp\left(\beta_{n,\theta}\right)},\beta_{n,\theta}\frac{\mathbf{Q}_{n}\mathbf{K^{\theta}}^{\top}}{\sqrt{C_{k}}},sn,θ​∑θ0Θ​exp(βn,θ​)exp(βn,θ​)​,βn,θ​Ck​​Qn​Kθ⊤​,p^nFFN⁡(Att⁡(Qn,K,V))FFN⁡(∑θ0Θsn,θVθ),\hat{\boldsymbol{p}}_{n}\operatorname{FFN}(\operatorname{Att}\left(\mathbf{Q}_{n},\mathbf{K},\mathbf{V}\right))\operatorname{FFN}\left(\sum_{\theta0}^{\Theta}s_{n,\theta}\mathbf{V}^{\theta}\right),p^​n​FFN(Att(Qn​,K,V))FFN(θ0∑Θ​sn,θ​Vθ),其中FFN⁡()\operatorname{FFN}()FFN()表示前馈网络。通过这种方式天气感知提示P^{p^n}n1N\mathbf{\hat{P}}\{\hat{\pmb{p}}_{n}\}_{n1}^{N}P^{p^​n​}n1N​可以从幅度特征Fa\mathbf{F}_{a}Fa​中提取丰富的特征知识。此外为了使提示能够携带各种天气条件的多样化和全面知识我们在提示库P\mathbf{P}P上应用多样性损失。形式上Ldiv1N(N−1)∑i1N∑j1,i≠jN(⟨pi,pj⟩∥pi∥2∥pj∥2).\mathcal{L}_{d i v}\frac{1}{N(N-1)}\sum_{i1}^{N}\sum_{j1,i\neq j}^{N}\left(\frac{\left\langle\boldsymbol{p}_{i},\boldsymbol{p}_{j}\right\rangle}{\left\|\boldsymbol{p}_{i}\right\|_{2}\left\|\boldsymbol{p}_{j}\right\|_{2}}\right).Ldiv​N(N−1)1​i1∑N​j1,ij∑N​(∥pi​∥2​​pj​​2​⟨pi​,pj​⟩​).对不同的提示应用多样性损失具有鼓励每个提示pn{\pmb p}_{n}pn​关注天气条件不同属性的优势从而防止聚合学习中的冗余。多样性损失通过鼓励每个提示捕获独特特征来增强天气特定提示。在域适应中整合提示库和多样性损失使模型能够适应各种天气。将此分为两个任务受到对天气自适应提示缺乏直接监督的限制只有来自源域的前景掩码可用。因此多样性损失扩大了提示库对风格特征的覆盖范围以实现更好的域适应。3.4 天气异质性适应在不利天气条件下天气引起的失真如眩光、雾和雨滴引入了复杂性可能降低视觉感知的性能。为了解决由不同天气条件带来的天气异质性挑战我们引入了天气异质性适应它利用获得的天气自适应提示P^\hat{\mathbf{P}}P^作为参考调制当前场景中的天气特征并通过同质化注意力实现天气特征同质化。提示引导调制。事实上提示库的引入可以被视为人工解决事件的路标即引导信息它吸收各种场景中的天气感知知识并可以将可靠的天气感知属性转移到调制特征中。对于获得的天气幅度特征faθf_{a}^{\theta}faθ​调制特征可以表示为f^aθSoftmax(faθP^⊤C)P^.\hat{f}_{a}^{\theta}\mathrm{Softmax}(\frac{f_{a}^{\theta}\mathbf{\hat{P}}^{\top}}{\sqrt{C}})\mathbf{\hat{P}}.f^​aθ​Softmax(C​faθ​P^⊤​)P^.通过这种方式调制特征f^aθ\hat{f}_{a}^{\theta}f^​aθ​从天气感知提示P^\hat{\mathbf{P}}P^中继承了丰富的跨天气知识从而演变为适合后续同质化的适应表示。同质化注意力机制。有了调制特征f^aθ\hat{f}_{a}^{\theta}f^​aθ​的表示我们首先通过特征编码从RGB域提取图像xθx^{\theta}xθ的视觉特征fvθf_{v}^{\theta}fvθ​。为了同质化不同天气条件下的视觉特征我们旨在找到一种适当的方法来减轻f^aθ\hat{f}_{a}^{\theta}f^​aθ​对fvθf_{v}^{\theta}fvθ​的影响。受变换器[52]架构在发现局部区域方面成功的启发我们进一步探索了注意力机制在不同天气条件特征同质化方面的潜力。给定从视觉特征提取器例如MiT−B5 [56]\mathrm{MiT}{\mathrm{-}}\mathrm{B}5~[56]MiT−B5[56]提取的图像特征fvθ ∈ Rh×w×cf_{v}^{\theta}\;\in\;\mathbb{R}^{h\times w\times c}fvθ​∈Rh×w×c我们使用提取的f^aθ\hat{f}_{a}^{\theta}f^​aθ​通过新颖的同质化注意力机制去除天气特征。首先我们使用两个卷积层将fvθf_{v}^{\theta}fvθ​和f^aθ\hat{f}_{a}^{\theta}f^​aθ​映射到相同的维度CCC然后我们可以分别获得f‾vθ∈Rh×w×C\overline{{\mathbf{f}}}_{\mathbf{v}}^{\theta}\in\mathbb{R}^{h\times w\times C}fvθ​∈Rh×w×C和f‾aθ∈Rh×w×C\overline{{\boldsymbol{f}}}_{a}^{\theta}\in\mathbb{R}^{h\times w\times C}f​aθ​∈Rh×w×C。图像特征和天气特征之间的差异表示目标物体的显著细节从而有助于强调目标的相关信息。而不是普通的变换器注意力机制[52]我们自定义设计了同质化注意力以更精细的方式减少异质性促使视觉系统在不同场景中突出显著区域。具体来说我们从像素级特征和天气特征中获取同质化图H∈Rh×w\mathcal{H}\in\mathbb{R}^{h\times w}H∈Rh×wHi,jθ∑c1C(f‾vθi,j,c−f‾aθi,j,c)2,\mathcal{H}_{i,j}^{\theta}\sum_{c1}^{C}(\overline{{\mathbf{f}}}_{\mathbf{v}}^{\theta}{}_{i,j,c}-\overline{{f}}_{a}^{\theta}{}_{i,j,c})^{2},Hi,jθ​c1∑C​(fvθ​i,j,c​−f​aθ​i,j,c​)2,其中i,ji,ji,j和ccc分别是高度、宽度和通道的索引。最后我们可以通过对原始图像特征以像素级方式加权同质化图H\mathcal{H}H来获得同质化像素特征Fa\mathbf{F}^{a}Fafhθfθ∘Hθ,\mathbf{f}_{h}^{\theta}\mathbf{f}^{\theta}\circ\mathcal{H}^{\theta},fhθ​fθ∘Hθ,其中∘\circ∘表示元素级乘积。此外我们使用自注意力层进一步聚合不同像素间的目标信息。获得的视觉特征被输入到传统的教师-学生网络中其中来自源域的图像被输入到学生网络进行监督约束而来自目标域的图像分别被输入到学生和教师网络以生成预测和用于无监督约束的伪标签。3.5 训练监督如第3.1节所述从源和目标获得的适应视觉特征被输入到教师-学生网络中以获取监督损失Ls\mathcal{L}^{s}Ls和无监督损失Lt\mathcal{L}^{t}Lt。结合提示库中的多样性损失Ldiv\mathcal{L}_{d i v}Ldiv​我们最终可以获得分割图LtotalLsLtλdivLdiv,\mathcal{L}_{t o t a l}\mathcal{L}^{s}\mathcal{L}^{t}\lambda_{d i v}\mathcal{L}_{d i v},Ltotal​LsLtλdiv​Ldiv​,其中λdiv\lambda_{d i v}λdiv​是权衡权重。4. 实验4.1 实验设置数据集。在我们的实验中遵循常规做法[16, 18, 20]我们使用4个数据集包括CityScapes[6]、ACDC[45]、NightCity[49]和DarkZurich[44]。对于源域我们使用CityScapes的训练集对于目标域我们使用ACDC/DarkZurich的测试集或NightCity的验证集。(1) CityScapes训练集包含2,975张19个类别的图像分辨率为2048×10242048\times10242048×1024。(2) ACDC包含雾、夜间、雨和雪等天气条件。测试集包含2,000张1920×10801920\times10801920×1080分辨率的图像。(3) NightCity包括4,297张真实夜间图像分为2,998张训练图像和1,299张验证图像。(4) DarkZurich包含2,416张训练图像和151张用于夜间的测试图像。实现细节。我们采用PyTorch[40]和Detectron2[55]实现所提出的方法。使用4块NVIDIA GeForce RTX 3090 GPU进行训练。幅度特征的提取器是ResNet-18[15]。在训练阶段我们的模型使用批量大小为4进行训练使用Adam优化器[31]初始学习率为0.0001。输入图像被重新缩放并随机裁剪到512×512512\times512512×512遵循DAFormer[16]中相同的数据增强并且用于更新教师网络的EMA系数设置为0.999。我们将提示数量设置为N16N16N16多样性损失的系数设置为λdiv0.2\lambda_{d i v}0.2λdiv​0.2。评估指标。为了公平比较我们采用平均交并比mIOU指标。它通过计算每个物体类别的两个掩码的交集区域与并集区域的比率来衡量预测与真实值之间的相似性。4.2 与最先进方法的比较我们的方法在不利条件下的语义分割方面展示了卓越的性能在表1、2和3中优于最先进的方法。可以观察到我们的方法在道路、交通灯和行人等具有挑战性的类别上取得了显著改进。此外如图3所示我们的方法在各种天气场景中展示了有前景的分割性能。具体来说我们的方法在大多数场景中表现优异而MIC[18]可能由于无法显式感知天气条件而产生混淆激活我们的WA2Net\mathrm{WA^{2}Net}WA2Net可以通过天气感知聚合和适应自适应地关注准确的前景目标。4.3 消融研究幅度提示聚合的有效性。幅度提示聚合包括两个过程幅度特征提取和天气感知提示聚合。为了评估幅度提示聚合的有效性我们进行了如表4所示的消融研究。如表4的第3行所示不使用提示聚合意味着提示库不经过幅度特征的知识学习而是自初始化并在网络训练期间更新。如果不聚合幅度特征信息提示就无法感知天气感知知识无法在提示引导调制中有效调制特征导致性能显著下降。天气异质性适应的有效性。天气异质性适应包括提示引导调制和同质化注意力。我们通过禁用此过程并观察分割准确性的变化来评估天气异质性适应的影响。同时丢弃提示聚合和调制如表4的第2行所示即放弃提示的生成和使用意味着提取的幅度特征直接输入到同质化注意力机制中。这种方法导致faθf_{a}^{\theta}faθ​无法感知多天气场景特征对模型在极端场景中的泛化能力产生不利影响。同质化注意力分析。我们还分析了设计的同质化注意力与其他注意力机制的比较如表6所示。同质化注意力机制旨在通过动态对齐不同天气域的特征来解决天气条件的显著变异性。与关注特征空间中不同标记之间显式交互的交叉注意力以及选择性地关注空间区域的掩码注意力不同我们的同质化注意力结合了域适应策略直接减轻不利天气条件引起的特征差异。可以观察到异质性适应机制对于动态适应不同天气模式至关重要从而提高了整体性能和可靠性。此外图6显示了不同类别在有无天气感知聚合和适应情况下的激活图说明了我们的设计对类别特定分割质量的影响。超参数分析。我们对超参数进行了全面分析以理解它们对模型性能的影响。多样性损失λdiv\lambda_{d i v}λdiv​和提示数量NNN的选择影响如图5所示。太少的提示会阻碍捕获丰富场景信息的能力而太多可能会捕获不相关的噪声信息。值得注意的是表5中多样性损失带来的改进在ACDC[45]作为目标域时更为显著。这是由于ACDC包含更多的天气多样性夜间、雨、雪和雾相比仅夜间的NightCity[49]ACDC上的提示可以通过Ldiv\mathcal{L}_{d i v}Ldiv​聚合更多样化的知识。因此提示组合的多样性有助于在多种天气条件下进行多样化的场景分析。5. 结论在本文中我们提出了一种天气感知聚合与适应网络WA²Net用于不利条件下的语义分割。我们设计了幅度提示聚合以获取天气感知特征知识以及天气异质性适应以实现跨天气同质化进行有效解析。大量实验表明了我们的有效性。致谢本工作部分得到中国国家重点研发计划No.2024YFB3909902、国家自然科学基金62121002和中国科学院青年创新促进会的支持。