教 ChatGPT 学会看图的方法来了

图片地址：https://img.ithome.com/newsuploadfiles/2023/2/711d8bde-3745-4f41-a0f0-d3bf1a5e035c.png?x-bce-process=image/format,f_auto

2022 年流行“文生图”模型，那 2023 年流行什么？机器学习工程师 Daniel Bourke 的答案是：反过来！这不，一个最新发布的“图生文”模型在网上爆火，其优秀的效果引发众多网友纷纷转发、点赞。不仅是基础的“看图说话”功能，写情诗、讲解剧情、给图片中对象设计对话等等，这个 AI 都拿捏得稳稳的！比如，当你在网上刷到诱人的美食时，只需把图片发给它，它就会立马识别出需要的食材和做菜步骤：甚至图片中的一些列文虎克的细节也能“看”得清清楚楚。当被问到如何才能从图片中倒着的房子里离开，AI 的回答是：侧面不是有滑梯嘛！这只新 AI 名为 BLIP-2 （Bootstrapping Language-Image Pre-training 2），目前代码已开源。最重要的是，和以前的研究不同，BLIP-2 使用的是一种通用的预训练框架，因此可以任意对接自己的语言模型。有网友已经在畅想把接口换成 ChatGPT后的强强组合了