微比恩 > 信息聚合 > OpenAI宣布收购Global Illumination,字节、快手AI对话产品“组团”亮相,Meta实现自动化对齐 …

OpenAI宣布收购Global Illumination,字节、快手AI对话产品“组团”亮相,Meta实现自动化对齐 …

2023-08-21 20:51:41来源: 36氪

作者:子渝编辑:沈筱Meta实现自动化对齐,Humpback击败现有LLaMa模型8月15日,据消息,Meta AI 的研究者提出了一种可扩展的方法即指令回译(instruction backtranslation),该方法通过自动注释相应的指令来构建高质量的指令跟随语言模型。该研究从一个语言模型开始,并作为种子模型,该模型在少量的种子数据以及 web 语料库上进行了微调。种子模型的作用是用来构建训练样本,然后这些样本中的一些高质量样本将会被筛选出来,接着,这些数据被用来微调一个更强大的模型。经过两轮迭代的数据集对 LLaMa 进行微调,所产生的模型 Humpback 在 Alpaca 排行榜上优于其他现有的非蒸馏模型,如 LIMA、Claude、Guanaco 等。https://k.sina.com.cn/article_3996876140_ee3b7d6c027011dpc.html讯飞星火V2.0发布,升级代码能力和多

关注公众号
标签: on OpenAI 快手 AI Meta