用AI指挥另一个AIGAN+CLIP的组合成了“CG艺术家”

　　不需要改变数据集，只需要给CLIP下达的命令中把“虚幻引擎”几个字加上，再让CLIP去指挥GAN，图像就立马变成了高大上的CG艺术风。文字中加入虚幻引擎这个技巧，最早由Aran Komatsuzaki发在推特上，吸引了大量CV圈的人来围观。

　　最绝的是，加上“3D photo inpainting”竟然可以生成立体构图。

　　CLIP是OpenAI开发的一个负责给图像重排序的模型，它与GAN合作的方式也很简单。

　　像这样让CLIP算出其与文字描述的相似度打分，然后反馈给GAN，让GAN以提升分数为目标不断迭代。

　　除了在提示中加入风格要求之外，还可以直接告诉AI一个人名，看看在AI眼中他们长啥样。

　　VQGAN+CLIP在Colab上有很多版本，我们经过对比选择了一个加入额外优化和池化技巧，在速度和质量上都比较出色的一个（链接在文章末尾）。

　　第4步设置参数，一般情况下只需要在texts里填上要生成的内容，用“”分隔。

　　width和height控制生成图像的分辨率，model可以选择使用的模型（需要在第3步中下载）。

　　另外还可以在init_image处指定一张初始图片，需要把图片上传到Colab环境里再填入链接。

　　本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

　　原标题：《用AI指挥另一个AI，GAN+CLIP的组合成了“CG艺术家”》