对比自监督学习将取代监督式深度学习主导地位的预言,已经「甚嚣尘上」。Hinton大力推广的SimCLR就是其中一种。对比自监督学习(CLS)是从无标签数据中选择和对比Anchor,Positive,Negative(APN)三种特征,学习到有用表征的方法。近日,Facebook的两位研究员,使用一个新的框架来对比分析了目前三个主流的自监督学习算法:SimCLR、CPC、AMDIM。结果显示,尽管这些方法表面上看起来非常不同,但实际上他们互相之间只有微小的差异。回顾:自监督学习和对比学习自监督学习在有监督学习中,系统会给定一个输入x和一个标签y。而在自监督学习中,系统只给定了输入x,系统需要从输入x的一部分来预测输入的其他部分,输入既是source,也是target。对比学习俗话说,近朱者赤近墨者黑,机器学习中也有一种类似思想的算法就是聚类,对比学习与这种思想也是十分相似,通过三个要素来完成这个任务,即积极的,锚定的和消极的表征。
「上帝视角」看对比自监督学习,SimCLR、CPC、AMDIM并无本质差异
2020-09-09 14:41:16来源: 新浪科技
关注公众号
赞
你的鼓励是对作者的最大支持
- 三星电子 PCIe 5.0 PC 固态硬盘 PM9E1 量产,顺序读取 14.5 GB/s2024-09-19 15:58:00
- 蔚来汽车合肥 PCDC 配件分拨中心开仓,顺丰负责日常管理与运营2024-09-16 16:49:02
- 《赛博朋克 2077》新增 AMD FSR3 帧生成,PC 版发布 2.13 版本更新2024-09-13 17:50:13
- 蒙泰高新:控股孙公司甘肃纳塔签订1.79亿元EPC总承包合同2024-09-11 18:49:53
- 英特尔 Arrow Lake 处理器曝料:IPC 提升 15%,游戏性能挑战 AMD 锐龙 9000X3D 系列有难度2024-09-10 00:56:04
- 全球首款自动旋转屏 AI PC:联想 ThinkBook Auto Twist 概念机亮相2024-09-06 18:00:11
- 中国移动云电脑 PC 端 3.0 升级:全面适配主流国产化芯片,支持一键重装系统2024-09-03 15:59:49
- 《文明 7》PC 版宣布使用 Denuvo 游戏防盗版技术:2025 年 2 月 11 日发售,定价 298 元起2024-08-31 14:52:33
- 美国7月核心PCE物价指数同比上升2.6%2024-08-30 20:36:44
- 成立至今 27 年,PC 硬件资讯网站 AnandTech 宣布停更2024-08-31 08:04:11
- 1京东方A:拟增资北电集成用于建设12英寸集成电路生产线项目
- 2阿里CEO吴泳铭:双11 GMV强劲增长,核心用户留存和新用户增长取得突破
- 3蚂蚁集团:第二财季净利润75.9亿元,同比增长193%
- 4工信部等四部门:到2026年新制定锂电池产业国家标准和行业标准100项以上
- 5华嵘控股:筹划控制权变更事项,股票11月18日停牌
- 6深圳上市公司并购重组年内完成交易总值居全国第二
- 7劳资谈判未取得进展,加拿大邮政工人工会宣布罢工
- 8哈啰出行在宝鸡成立网络科技公司 注册资本50万美元
- 9阿里巴巴:2025财年Q2投入41亿美元回购4.14亿股普通股
- 10同花顺被调查“疑云”:监管处罚是对几年前的历史旧账