目录
1.前言
MAE Masked Autoencoders Are Scalable Vision Learners
自监督学习，随机遮住（mask）一部分patches，并重构原始图片。（基于BERT）
如图，左侧为mask一部分的图，中间为解码器重构的图，右侧为原始图片。
2.摘要
两个要点：一是基于非对称的编码器、解码器架构。编码器只输入没有mask的patch，编码器的输出（语义空间的潜表示latent representation）。二是mask较大比例（例如75%）的patches是一种非显然的有意义的自监督任务，由于输入图片大部分被遮住了，可以加速训练。MAE证明了，在ImageNet-1K data（ImageNet-1K data）、迁移学习、自监督学习等任务中都取得了较好的效果。
3.引言
引言中提出问题:what makes masked autoencoding different between vision and language?（视觉任务与语言任务的不同）
第一，卷积窗口不好将mask操作加入进去，卷积无法对mask进行特征提取。
第二，信息密度不同，比如一个词：树，可以表示一棵树。但一张图片中的树，需要多个patch来表示。transformer学习全局信息而不是关注局部的信息。
第三，解码器，还原像素是低层次的，而NLP里还原一个词是语义里比较高层面的，BERT使用MLP即可对标号进行预测。还原像素输出的解码器网络架构要复杂一些，例如语义分割里采用转置卷积做解码器，而MAE这篇文章采用了transformer做解码器。
4.相关工作Related Work
Masked language modeling： BERT，GPT
Autoencoding：Denoising autoencoders (DAE)
Masked image encoding：iGPT，BEiT
Self-supervised learning：contrastive learning
5.实施方法Approach
MAE是一个根据部分信息重构原始信息的自编码器，采用非对称设计（编码器输入25%未masked的patches，解码器输入编码器输出的潜表示以及masked的全部信息）。
（1）类似于ViT，patch切片后通过线性投影（linear projection）并加入位置信息（position embedding）得到token。
（2）随机masked，切片后随机打乱顺序（shuffle），masked最后75%并取出。将余下的25%token作为输入进入Encoder。
（3）Encoder是若干个个纯的transformer块，经过编码器提取特征后，输出潜表示。
（4）将编码器的输出与masked的patch，加入位置信息后输入解码器，损失函数采用MSE（最小均方误差），重构原始图片。
（5）如果用在迁移学习中，在下游任务中，只需编码器提取输入特征，然后进行分类即可。
参考自李沐在b站上的论文精读！
python的学习还是要多以练习为主，想要练习python的同学，推荐可以去看，他们现在的IT题库内容很丰富，属于国内做的很好的了，而且是课程+刷题+面经+求职+讨论区分享，一站式求职学习网站，最最最重要的里面的资源全部免费。
https://www.nowcoder.com/link/pc_csdncpt_ssdxjg_python
他们这个python的练习题，知识点编排详细，题目安排合理，题目表述以指导的形式进行。整个题单覆盖了Python入门的全部知识点以及全部语法，通过知识点分类逐层递进，从Hello World开始到最后的实践任务，都会非常详细地指导你应该使用什么函数，应该怎么输入输出。
牛客网（牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网）还提供题解专区和讨论区会有大神提供题解思路，对新手玩家及其友好，有不清楚的语法，不理解的地方，看看别人的思路，别人的代码，也许就能豁然开朗。
快点击下方链接学起来吧！
牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网
参考：
跟李沐学AI的个人空间_哔哩哔哩_bilibili
https://space.bilibili.com/1567748478/?spm_id_from=333.999.0.0