OpenAI 把 GPT-4 原始版给了瑞士洛桑联邦理工团队：研究不微调只靠提示词能走多远

图片地址：https://img.ithome.com/newsuploadfiles/2024/6/b194e2fe-6539-4f39-b44e-221dfae0b32e.png

除了 OpenAI 自己，居然还有别人能用上 GPT-4-Base版？？也就是未经微调的预训练版，还不会对话聊天，只会补全句子的模型。EPFL（瑞士洛桑联邦理工）团队申请到了访问权限，用于研究“上下文学习足以让大模型跟随指令吗？”。也就是不用监督微调、也不用 RHLF 或其他强化学习对齐方法，只靠提示词能走多远？预训练模型，究竟能不能一步登天，直接改造成聊天机器人或 AI 助手？如果可行，将大大降低类 ChatGPT 大模型的开发难度。免微调对齐靠谱吗？免微调对齐，让刚出炉的预训练模型不止会“文本补全”，只从提示词中学会和用户对话、跟随指令，一直是业界关注的研究方向。目前的 SOTA 方法（指某个领域在之前的研究中效果最好的方法） URIAL来自艾伦研究所，使用系统提示词 + 少数风格示例就能达到不错的效果。但 EPFL 团队发现，URIAL 仍无法完全弥补与指令微调模型的差距，尤其在多轮对话中的表现更差一些。实验中，