如何找研究想法

• 打补丁法

• 以MAE为例：

  

• 第一个想法：“遮住更多的图片块”就是给图片加很强的噪声，相当于数据增强，数据增强是为了使模型不过拟合，但是坏处就是训练很慢，收敛速度极慢，考虑在更大数据集或更大架构上做MAE成本过大。因此可以考虑其他的数据增强，使得效果不差且训练速度快

• 第二个想法：对于ViT，可以考虑使用新的model，例如自注意力、MLP都是可以替换的；

• 第三个想法：对于BERT，使用的是完形填空和句子对匹配，是否可以增加额外的一个损失函数，例如contrast learning

• 打补丁逻辑要串起来

• 打补丁要找一篇脑洞比较大的