陈大鑫
AI科技评论今天给大家介绍一篇被CVPR收录的关于自监督的文章——S2-BNN[1]，论文作者来自CMU，HKUST和IIAI。
这篇论文探讨了如果网络规模在非常小的情况下（比如efficientnetworks或者binaryneuralnetworks），什么样的自监督训练策略和方法是最好的。
本文发现基于小网络的前提下，基于蒸馏(distillationlearning)的自监督学习得到的模型性能远远强于对比学习(contrastivelearning)，同时他们还发现同时使用蒸馏和对比学习效果反而不如单独使用蒸馏损失，这也是一个非常有意思的发现。
论文：