济南企业免费建站wordpress社交媒体插件

济南企业免费建站,wordpress社交媒体插件,北京文化传媒有限公司,学网页设计的课程#x1f6a9; SimCLR 模型进阶版—— MoCo模型 笔记它来咯#xff01; 何凯明大佬之作。创新之处#xff1a;1. 一个样本与多个样本一同对比#xff1b; 2. 采用动量更新#xff0c;即#xff1a;指数滑动平均(EMA#xff09; 文章目录1. 一句话概括2. 创新点3. 具体方法… SimCLR 模型进阶版——MoCo模型笔记它来咯何凯明大佬之作。创新之处1. 一个样本与多个样本一同对比 2. 采用动量更新即指数滑动平均(EMA文章目录1. 一句话概括2. 创新点3. 具体方法4. 模型优缺点4.1 优点4.2 缺点4.3 MoCo vs SimCLR4.4 MoCo v1 / v2 的差别1. 一句话概括MoCo 模型Momentum Contrast动量对比学习它是自监督学习在计算机视觉领域的里程碑之一由 Kaiming He 团队在 2019 年提出旨在解决 SimCLR 对大 batch size 的依赖问题通过引入动量更新的编码器队列在小 batch 甚至单卡环境下也能进行有效的对比学习。原论文《Momentum Contrast for Unsupervised Visual Representation Learning》仓库地址https://github.com/facebookresearch/moco2. 创新点用一个动态的“队列Queue”来存储过去多个 batch 的样本特征作为负样本从而摆脱对大 batch 的依赖同时用“动量更新”保持编码器的稳定性。负样本不一定要来自当前 b a t c h 负样本不一定要来自当前 batch负样本不一定要来自当前batch可以维护一个跨 b a t c h 的特征字典 可以维护一个跨 batch 的特征字典可以维护一个跨batch的特征字典动量编码器用于生成队列中的特征其参数缓慢跟随主编码器更新保证特征的一致性。 动量编码器用于生成队列中的特征其参数缓慢跟随主编码器更新保证特征的一致性。动量编码器用于生成队列中的特征其参数缓慢跟随主编码器更新保证特征的一致性。(字典里的特征要“一致”否则旧特征和新特征分布不一致会影响训练)3. 具体方法MoCo整体框架Query Encoder图左编码当前样本得到 query 特征 qKey EncoderMomentum Encoder图右编码增强后的样本得到 key 特征 kQueue特征队列保存最近很多个 key 特征作为负样本集合MoCo采用的损失依旧是 InfoNCE 动量编码器如果队列里存的是“旧 batch 的特征”编码器参数在不断更新会导致队列里的 key 用“旧编码器”得到当前 query 用“新编码器”得到特征空间漂移队列失效MoCo 的解决方案Key encoder 不用反向传播更新而是用 query encoder 的参数做 EMA指数滑动平均更新如上式。4. 模型优缺点4.1 优点不需要超大 batch负样本数量大且稳定训练更可扩展队列长度可控4.2 缺点结构更复杂双编码器、队列同步队列可能包含“过旧”样本分布可能滞后需要动量缓解仍存在假负样本问题负样本可能同语义4.3 MoCo vs SimCLR相同点都是对比学习正样本为同图两视图用 InfoNCE不同点SimCLR负样本来自 batch → 需要大 batchMoCo负样本来自 queue → 小 batch 也能有大量负样本SimCLR单编码器MoCo双编码器query / momentum key4.4 MoCo v1 / v2 的差别MoCo v1基本框架动量编码器 队列backboneResNet主要贡献用队列解决大 batch 依赖MoCo v2更常用在 MoCo v1 基础上引入 SimCLR 的一些“经验增强”显著提升效果更强的数据增强颜色扰动、模糊等使用 2-layer MLP 投影头调整温度、训练细节结论MoCo v2 ≈ MoCo SimCLR tricks