NVIDIA利用2D图像生成3D模型，可直接导入3D引擎

爵士乐的精华在于即兴吹奏， NVIDIA 正在经过 AI 研讨向这一门户致敬。或许有一天，图形创作者能够利用快速创建出的 3D 物体，来一场即兴扮演。

这个被称为“NVIDIA 3D MoMa”的办法能够让建筑师、设计师、观点艺术家和游戏开发者迅速将物体导入图形引擎，并入手下手对其开展处置惩罚——修正比例、改动材质或实验不一样的照明结果。

NVIDIA Research 正在庆贺爵士乐及其发源地新奥尔良的视频中展现了这项技能。本周，关于 3D MoMa 的论文将正在 CVPR 上宣布。

基于 2D 图象建立 3D 物体

逆渲染是将一系列静态照片重建为 3D 物体或场景模子的技能。NVIDIA 图形学研讨副总裁 David Luebke 示意：“该技能长期以来一直是同一计算机视觉和计算机图形学的关头。”

他透露表现：“NVIDIA 3D MoMa 渲染流水线能够将逆渲染题目的每一个部份透露表现为 GPU 加快的可微分组件，然后利用当代 AI 机械和 NVIDIA GPU 的原始算力快速生成 3D 物体，且创作者能够正在现有东西中自由地导入、编纂和扩大这一些物体。”

为了使艺术家或工程师可以充分利用 3D 物体，其情势应可以导入游戏引擎、 3D 建模器和片子渲染器等各类被普遍运用的东西。带有纹理、材质的三角网格情势，便是此类 3D 东西运用的通用言语。

三角网格是适用于界说 3D 图形和建模外形的根本框架。

游戏工作室和其他创作者习惯于利用庞杂的拍照丈量技能来建立 3D 物体，这须要泯灭大批的工夫和精神。近期的神经辐射场（Neural Radiance Fields）研讨能够快速生成物体或场景的 3D 模子，但并非利用易于编纂的三角网格情势。

当在单个 NVIDIA Tensor Core GPU 上运行时， NVIDIA 3D MoMa 能在一个小时内生成三角网格模子。该流水线的输出结果与创作者而今利用的 3D 图形引擎和建模东西直接兼容。

流水线的重修功用包罗 3D 网格模子、材质和照明。网格就像由三角形构建的 3D 外形混凝纸浆模子。有了它，开发者就可以按照自身的创意对物体举行点窜。材质是叠加正在 3D 网格上的 2D 纹理，就像人的皮肤一样。NVIDIA 3D MoMa 根据对场景光芒举行预算，使创作者可以正在往后点窜物体上的照明。

为假造爵士乐队调校乐器

为了展现 NVIDIA 3D MoMa 的功效， NVIDIA 的研讨和创意团队首先由不一样角度收集了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓和单簧管）的约 100 张图片。

NVIDIA 3D MoMa 将 2D 图象重建为每种乐器的 3D 默示，并以网格情势出现。然后， NVIDIA 团队将这一些乐器由原始场景中掏出，并将其导入 NVIDIA Omniverse 3D 模仿平台中开展编纂。

正在任何传统图形引擎中，创作者都可以轻松为外形更调由 NVIDIA 3D MoMa 生成的材质，就像为网格穿上分歧的衣服一样。比方该团队对小号模子采取了这类做法，将本来的塑料材质快速更换成黄金、大理石、木料或软木。

然后，创作者能够将新编纂的物体放入任何假造场景中。NVIDIA 团队将这一些乐器放入了典范的图形渲染质量测试康奈尔盒中。他们证明了假造乐器对光芒的反应与正在物理天下中完整一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会汲取光芒。

这一些经由过程逆渲染生成的新物体能够作为庞大动画场景的组成要素。视频的末了展现了假造爵士乐队。