莫斯科三星人工智能中心和斯科尔科沃科技学院的工程师和研究人员创建了一个模型,可以从图像中生成逼真的动画头像,而不需要传统的 3D 建模。
研究人员在发表在 arxiv.org 上的论文中描述了这一研究成果。据描述,该模型只需一个人的一张图片即能创建他动画的脸。它首先使用 VoxCeleb2 视频数据集进行元训练,然后对以前未见过的人脸进行动画处理。
“在训练过程中,该系统建立了三种神经网络:嵌入式网络将帧映射到向量;生成网络将合成视频中的人脸地标映射到生成的图像中;至关重要的是,该系统能够以一种特定于人的方式初始化生成器和识别器的参数,这样,尽管需要调整数千万个参数,但训练可以基于少量图像并快速完成。我们的研究表明,这种方法能够学习到非常逼真的、个性化的新人说话头模型,甚至是肖像画。”论文写道。
工程师 Egor Zakharov 在解释研究成果的视频中说:“事实上,这种学习模型就像一个人的现实化身。”
研究涉及的名人包括玛丽莲·梦露、阿尔伯特·爱因斯坦、列奥纳多·达·芬奇的《蒙娜丽莎》和吴唐家族的丽莎。这项技术除了应用于电子游戏、视频会议,还可以为虚拟现实开发逼真的化身。
【数字叙事 Lighting】