从2D图像生成3D模型,GET3D极大提升3D内容创建速度

据 The-Decoder 报道,Nvidia 新近推出的 AI 模型 GET3D 能基于 2D 图像生成有任何拓扑结构的高质量 3D 多边形网格,并可在标准图形引擎中无缝使用。GET3D 将极大提升 3D 内容的创建速度。该模型是开源的,在 Github 上免费提供。

这一 3D 生成模型全名为“Generate Explicit Textured 3D”。其生成的多边形网格由带纹理的三角形组成——一种允许无缝导入 3D 程序、游戏引擎和电影渲染器的标准格式。3D 对象在导入后是完全可编辑的,例如缩放、旋转和照亮。借助 Nvidia 的 StyleGAN-Nada,开发人员可以仅使用文本命令即可进一步改变 3D 模型的形状或纹理,从而——比如——将普通汽车变成警车。

GET3D 生成分几何分支和纹理分支两个步骤:几何分支生成具有任何所需拓扑的多边形网格。纹理分支生成一个纹理字段,该字段可以表示颜色,例如,多边形网格曲面点处的特定材料。最后,与 GA networks 一样,鉴别器根据 3D 模型的合成照片评估输出质量,并不断对其进行优化以匹配目标图像。

GET3D 使用大约 100 万张来自不同角度的 3D 模型合成 2D 图像进行了训练。Nvidia 称,在 NvidiaA100 GPU 上进行的训练用了大约两天的时间。

GET3D 能够生成怎样的 3D 模型取决于训练数据:例如,如果使用合成汽车或动物图像训练系统,则可以生成 3D 汽车或动物。训练数据集越大、越多样化,生成的 3D 模型就越富有细节,且多样化。

Nvidia 研究团队表示,在一个现成的 NvidiaGPU 上,该模型在训练后每秒可以生成大约 20 个形状,这些形状组合在一起形成一个 3D 模型。生成在用户的计算机上本地进行,因此独立于内容限制,例如云 AI 服务中已知的内容限制。

“GET3D 让我们离 AI 驱动的 3D 内容创作大众化更近了一步。”Nvidia 多伦多研究实验室负责人 Sanja Fidler 说。

根据 Nvidia 研究团队的描述,GET3D 的一个限制是,目前只能使用来自已知相机位置的合成图像的 2D 轮廓进行训练。在未来的版本中,相机位置估计的进步可能会成为使用真实图像进行训练的基础。

目前,GET3D 仅按类别进行训练。跨类别模型可以增加生成的 3D 模型的种类,并提高系统的灵活性。【数字叙事 Lighting】

有问题和想法?与数字诗人讨论、交流,以获得更多的信息、意见。

赞赏
lighting
lighting
笛卡尔的“思”正在进入明斯基的“情感机器”
本文系数字叙事原创(编译)内容,未经授权,不得用于商业目的,非商业转载须注明来源并加回链。

订阅

受欢迎的

相关文章
Related