韩国游戏开发商利用AI将你的自拍变成一张动漫脸

国内新闻 浏览(764)

来源:新浪虚拟现实

据国外媒体报道,上个月,一群韩国研究人员提出了一种利用图像变换将简单的自画像转换成经典日本卡通脸的方法。与以前的尖端技术相比,这种新的“u-ga-it”方法产生了更好的视觉效果。

2014年生成对抗网络(GANs)的诞生为图像合成的广泛应用奠定了基础,其中图像转换最为引人注目。研究者可以使用监督学习从成对的数据样本中学习映射模型,或者他们可以使用无监督学习来共享潜在的空间和周期性一致性假设。在图像转换中,一个尚未解决的挑战是如何提高GAN模型在不同形状图像之间的转换性能,例如从猫到狗,或者从自拍到卡通。

这项创新解决了这个问题:一个端到端的框架,包括一个新的关注模块和自适应层实例规范化(AdaLIN)。注意,该模块嵌入在发生器和鉴别器中,以识别源图像和目标图像中的鉴别图像区域。研究人员为特征图的重要权重训练一个辅助分类器,然后生成一组注意力图来引导模型聚焦于眼睛和嘴巴等重要区域。

AdaLIN应用于生成器的解码器,可以灵活控制形状和纹理的变化程度,而无需调整模型结构或超级参数。研究人员在5个不成对的图像数据集、张自拍动画、斑马和梵高、猫和狗以及肖像上,将u-ga-it模型与CycleGAN、UNIT、MUNIT和DRIT进行了比较。他们使用不同的评估指标来评估模型性能。在一项评估中,135名法官收到了不同方法的转换结果,并被要求选择他们最喜欢的方法。U-ga-it模型在四个数据集上明显优于其他模型。结果如下所示。

研究人员还使用核起始距离进行定量评估。KID的分数越低,真假图像之间的视觉相似性就越大。以下是实验结果。

这篇论文的三位作者,金俊浩、金敏宰和惠永宇康,都来自以角色扮演游戏系列而闻名的韩国电子游戏巨头NCSoft。自2011年推出人工智能和自然语言处理(NLP)中心以来,NCSOFT一直在增加对人工智能的投资。去年,该公司推出了一个以强化学习为动力的人工智能系统,在自己的游戏《刀锋战士》(刀锋灵魂)中与职业人类玩家战斗。