网站文字配色申请号的网站

网站文字配色,申请号的网站,国内设计的企业网站,网站seo标题是什么意思文章目录创新点2. 方法2.1. 概述2.2. 掩码图像块的重建2.3. 上下文增强分支2.3. 训练目标3. 实验3.1. 土地覆盖分类3.2. 语义分割3.3. 实例分割3.4. 消融实验4. 结论论文#xff1a; https://dl.acm.org/doi/abs/10.1145/3769084代码#xff1a;期刊#xff1a;ToMM年份https://dl.acm.org/doi/abs/10.1145/3769084代码期刊ToMM年份2025创新点1.提出一种新颖的上下文增强掩码图像建模方法CtxMIM这是一种简单的自监督学习框架可学习稳健且具有迁移性的表征用于高效遥感影像分析。2.将原始影像块作为重建模板并引入上下文增强生成分支以提供上下文信息。2. 方法2.1. 概述高目标密度给遥感理解中的自监督学习范式带来了挑战主要体现在以下两个方面(1) 对比学习中从同一幅影像增强生成正样本对时会出现正样本对匹配错误如图 1(a) 列所示(2) 重建学习中随机掩码策略会导致上下文信息缺失如图 1 (b) 列所示。图1. 遥感图像中的高目标密度导致对比学习中正样本对不匹配或重建学习中上下文信息缺失针对这一问题我们提出 CtxMIM 方法这是一种创新的基于重建学习的上下文增强自监督表征学习框架。如图 2所示CtxMIM 采用非对称孪生网络架构包含重建分支和上下文增强生成分支通过掩码图像建模实现表征学习。考虑到遥感影像目标分布的不均匀特性我们创新性地采用原始图像块作为重建模板而非直接丢弃掩码区域。为弥补随机掩码可能导致的上下文信息缺失我们设计了上下文增强生成分支通过提供有效的上下文信息来增强语义推理能力。图2. CtxMIM示意图这是一种简单高效的遥感任务预训练框架。该框架通过引入创新的上下文增强生成分支在图像重建过程中利用上下文一致性约束LCc提供语境信息将原始图像块作为重建模板。CtxMIM能学习具有高度泛化性和迁移性的特征表示可应用于多种下游任务如图像级、对象级和像素级任务。2.2. 掩码图像块的重建在重建阶段CtxMIM旨在通过恢复掩码图像块来学习局部细粒度特征。给定输入图像x ∈ R C × H × W x∈R^{C×H×W}x∈RC×H×W,CtxMIM首先将x xx重塑为图像序列块x p ∈ R N × P 2 C x_p∈R^{N×P^2C}xp​∈RN×P2C其中H HH、W WW、C CC分别表示图像高度、宽度和通道数P PP为每个图像块的尺寸即高度和宽度N ( H / P ) ⋅ ( W / P ) N(H/P)·(W/P)N(H/P)⋅(W/P)为图像块数量。随后进行块级掩码操作随机遮蔽部分图像块并通过块嵌入操作编码每个图像块获得新序列输入x ^ p x̂^px^p。接着编码器f θ f_θfθ​接收序列输入x ^ p x̂_px^p​提取潜在表征h ^ p ĥ^ph^p最终解码器g θ g_θgθ​基于潜在表征重建被遮蔽块的像素值y ^ p ŷ^py^​p。本文采用Swin Transformer[55]作为特征编码器f s w i n f_{swin}fswin​并遵循SimMIM[2]使用轻量级预测头g m l p g_{mlp}gmlp​作为解码器输出被遮蔽块的原始像素值其公式表示为(1)y ^ p g m l p ( f s w i n ( x ^ p ) ⊙ ∣ ∣ M ( x ^ i p ) ŷ^p g_{mlp}(f_swin(x̂_p) ⊙ ||_M(x̂^p_i)y^​pgmlp​(fs​win(x^p​)⊙∣∣M​(x^ip​)其中∣ ∣ M ( ⋅ ) ||_M(·)∣∣M​(⋅)为指示函数——当图像块x ^ i p x̂^p_ix^ip​被遮蔽时取值为1否则为0⊙表示逐元素乘积运算。2.3. 上下文增强分支某些小型地表覆盖可能被完全遮蔽导致重建过程中关键上下文信息缺失。为解决该问题CtxMIN引入上下文增强生成分支来提供上下文信息。如图2所示该分支将图像块x p x^pxp输入共享编码器f θ f_θfθ​提取蕴含丰富上下文信息的潜在表征h p h^php随后通过相同解码器g θ g_θgθ​预测原始像素y p y^pyp。该分支流程定义为(2)y p g m l p ( f s v i n ( x p ) ⊙ ∣ ∣ M ( x i p ) y^p gₘₗₚ(fₛᵥᵢₙ(x^p) ⊙ ||_M(x_i^p)ypgmlp​(fsvin​(xp)⊙∣∣M​(xip​)其中∣ ∣ M ( ⋅ ) ||_M(·)∣∣M​(⋅)和⊙操作与重建分支保持一致。最终上下文增强生成分支以y p y^pyp为模板通过提供有意义的上下文信息引导重建分支模仿特征提取并学习语义外推能力。2.3. 训练目标CtxMIM首先通过最小化掩码补丁原始像素值x ∣ M x|Mx∣M与重建值y R e ∣ M y^{Re}|MyRe∣M之间的距离实现重建学习目标计算公式如下(3)L R e ∥ y R e ∣ M − x ∣ M ∥ N M L_{Re} \frac{∥y^{Re}|{M} − x|{M}∥}{N_M}LRe​NM​∥yRe∣M−x∣M∥​其中N M N_MNM​代表掩码像素数量∥ ⋅ ∥ ∥·∥∥⋅∥为计算y R e ∣ M y^{Re}|MyRe∣M与x ∣ M x|Mx∣M相似度的距离函数。本文采用ℓ 1 ℓ1ℓ1损失函数计算L R e L^{Re}LRe。在上下文增强生成分支中CtxMIM通过计算预测像素值Y P r Y^{Pr}YPr与原始像素值X XX之间的预测损失L P r L_{Pr}LPr​类似公式3学习上下文信息。随后通过上下文一致性损失L C c L_{Cc}LCc​最大化y R e ∣ M y^{Re}|MyRe∣M与对应部分y P r ∣ M y^{Pr}|MyPr∣M的相似性(4)L C c D i s t ( y R e ∣ M − y P r ∣ M ) L_{Cc} Dist(y^{Re}|M −y^{Pr}|M)LCc​Dist(yRe∣M−yPr∣M)D i s t ( ⋅ ) Dist(·)Dist(⋅)是指引模型学习优质上下文信息的相似性函数本文采用ℓ 1 ℓ1ℓ1损失。该损失函数能缓解信息缺失导致的预训练收敛不稳定问题。最终联合训练目标由公式5计算(5)L L R e L P r L C c L L_{Re} L_{Pr} L_{Cc}LLRe​LPr​LCc​L R e L_{Re}LRe​与L P r L_{Pr}LPr​的梯度沿各自分支反向传播。L C c L_{Cc}LCc​梯度仅向重建分支反向传播促使编码器通过提供有意义的上下文信息来模仿特征提取和学习语义外推。停止梯度操作可避免平凡常数解。通过多任务学习预训练CtxMIM最终获得富含语义与局部信息的表征。3. 实验实验中“Random Init.” 和 “ImageNet Pre.” 分别表示不同骨干网络采用随机初始化和 ImageNet 预训练初始化。SatLas [59] 作为遥感监督学习方法进行对比。3.1. 土地覆盖分类采用两个土地覆盖分类数据集(1) EuroSAT [10](2) NWPU-RESISC45 [11]表1. 欧空局卫星和NWPU-RESISC45数据集在土地覆盖分类任务上的TOP-1准确率。CTXMIM方法取得了最佳性能表现。3.2. 语义分割本文采用 SpaceNetRio数据集 [13] 进行语义分割任务。该数据集包含 6940 幅卫星图像带有二元建筑掩码。表2. 在SpaceNet里约语义分割任务上的平均交并比mIoU和平均准确率mAcc。我们的方法在监督学习和自监督学习方面均显著提升了性能。3.3. 实例分割表3. DOTA目标检测任务中不同交并比阈值下的平均精度(AP)与平均召回率(AR)。由AP/AP75和AR/AR75计算的F1/F175指标更全面/准确地衡量了模型性能。3.4. 消融实验表5.消融研究。LCC、SS、OD和IS分别表示土地覆盖分类、语义分割、目标检测和实例分割。“-C-E”表示从CTXMIM中移除了上下文增强生成分支。4. 结论本文提出 CtxMIM一种简单高效的遥感表征学习掩码图像建模方法。CtxMIM 基于以下洞察遥感影像的高目标密度导致重建学习中缺失上下文信息显著阻碍语义推断。因此CtxMIM 利用原始图像块引入上下文增强生成分支通过上下文一致性约束提供上下文信息。最后本文在包含 128 万幅图像、地形地貌丰富的大规模无标记遥感数据集上训练 CtxMIM。在土地覆盖分类、语义分割、目标检测和实例分割任务上的大量实验表明CtxMIM 学习到的特征具有高泛化性和迁移性性能显著优于监督学习和自监督学习方法。