微比恩 > 信息聚合 > 「上帝视角」看对比自监督学习,SimCLR、CPC、AMDIM并无本质差异

「上帝视角」看对比自监督学习,SimCLR、CPC、AMDIM并无本质差异

2020-09-09 14:41:16来源: 新浪科技

对比自监督学习将取代监督式深度学习主导地位的预言,已经「甚嚣尘上」。Hinton大力推广的SimCLR就是其中一种。对比自监督学习(CLS)是从无标签数据中选择和对比Anchor,Positive,Negative(APN)三种特征,学习到有用表征的方法。近日,Facebook的两位研究员,使用一个新的框架来对比分析了目前三个主流的自监督学习算法:SimCLR、CPC、AMDIM。结果显示,尽管这些方法表面上看起来非常不同,但实际上他们互相之间只有微小的差异。回顾:自监督学习和对比学习自监督学习在有监督学习中,系统会给定一个输入x和一个标签y。而在自监督学习中,系统只给定了输入x,系统需要从输入x的一部分来预测输入的其他部分,输入既是source,也是target。对比学习俗话说,近朱者赤近墨者黑,机器学习中也有一种类似思想的算法就是聚类,对比学习与这种思想也是十分相似,通过三个要素来完成这个任务,即积极的,锚定的和消极的表征。

关注公众号
标签: AMD PC