通过在真实人脸和卡通人脸之间使用不成对的训练数据来生成人的卡通图片。
挑战:
真实和卡通人脸的结构属于两个不同的领域,外观相差很大。如果没有明确的对应关系,很难捕捉基本面部特征,并生成高质量卡通图片。
解决:
提出Landmark Assisted CycleGAN,利用面部标志特征来定义一致性损失,指导在cycleGAN中训练局部鉴别器。
这个过程主要分为三步,首先生成器根据cycleGAN生成一张粗糙的卡通人脸;随后,模型根据第一步生成的图像,生成一个预训练回归量来预测面部landmark,对面部的关键点进行标记。最后,通过局部和全局两种鉴别器,研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段,强调了landmark的一致性,因此最后的生成结果逼真且具有辨识度。