重新定义自监督学习，LeCun 团队让 MMCR 再进一步

图片地址：https://img.ithome.com/newsuploadfiles/2024/10/3490ca7a-be77-4fea-91ad-c953c226d648.jpg?x-bce-process=image/format,f_auto

近日，来自斯坦福、MIT、纽约大学和 Meta-FAIR 等机构的研究人员，通过新的研究重新定义了最大流形容量表示法（MMCR）的可能性。多视图自监督学习（MVSSL，或称为联合嵌入自监督学习）是一种强大的无监督学习方法。它首先创建无监督数据的多个转换或视图，然后以类似监督的方式使用这些视图来学习有用的表示。实现 MVSSL 的具体方法有很多，但大致可以分为四类：对比、聚类、蒸馏 / 动量、冗余减少。在这众多的方法中，最大流形容量表示（Maximum Manifold Capacity Representation，MMCR）是与众不同的一类。MMCR 不明确使用对比，不执行聚类，不利用蒸馏，也不明确减少冗余，但效果却可以媲美甚至超越其他领先的 MVSSL 方法。而来自斯坦福、MIT、纽约大学和 Meta-FAIR 等机构的研究人员，正在通过新的研究重新定义这个框架的可能性。论文地址：https://arxiv.org/ pdf