字节跳动最新文本生成图像 AI，训练集里居然没有一张带文字描述的图片？！

图片地址：https://img.ithome.com/newsuploadfiles/2022/3/a5f2538f-b006-41d3-8621-9f10c88ce3d4.jpg

一个文本-图像对数据都不用，也能让 AI 学会看文作图？来自字节的最新 text2image 模型，就做到了。实验数据显示，它的效果比 VQGAN-CLIP 要真实，尤其是泛化能力还比不少用大量文本-图像数据对训练出来的模型要好很多。嗯？不给文字注释 AI 怎么知道每一张图片代表什么？这个模型到底咋训练出来的？不用文字训练也能根据文本生成图像首先，之所以选择这样一种方式，作者表示，是因为收集大量带文字的图像数据集的成本太高了。而一旦摆脱对文本-图像对数据的需求，我们就可以直接用大型无文本图像数据集 （比如 ImageNet）来训练强大且通用的 text2image 生成器。字节实现的这个模型叫做 CLIP-GEN，它具体是怎么操作的？一共分三大步。首先，对于一幅没有文本标签的图像，使用 CLIP 的图像编码器，在语言-视觉（language-vision）联合嵌入空间（embedding space）中提取图像的 em