NVIDIA首席执行官黄仁勋（Jensen Huang）在2020年GTC主题演讲中宣布了该公司的一系列重大新技术进步，其中三项与媒体和娱乐（M＆E）空间非常相关。

1. 受益于深度学习超级采样（DLSS）2.0的NVIDIA光线追踪。
2. 扩展的Omniverse。
3. 作为Jarvis对话式AI框架的一部分，出色的角色动画讲话。

实时光线追踪

DLSS 2.0是一个经过改进的新的深度学习神经网络，它可以提高帧速率和分辨率，同时生成精美的游戏图像。它为艺术家提供了表演空间，可最大化光线追踪设置并提高输出分辨率。Huang在演讲中重点介绍了名为Marbles RTX的仿真和实时GPU渲染演示。该演示是一个可玩的游戏环境，通过动态照明和丰富的基于物理的材质显示实时物理。Huang还介绍了用于制造Marbles RTX的Omniverse平台。

在虚拟主题演讲中，黄仁勋展示了NVIDIA创意团队远程创建的演示文稿，以展示其RTX射线追踪和Omniverse Platform的强大功能。Marbles RTX是由使用Omniverse的艺术家和工程师组成的分布式团队创建的。他们将VFX+质量资产组装成一个完全物理模拟的游戏。该演示不需要牺牲质量和保真度，而牺牲通常与“游戏化”艺术资产相关联即可实时运行。Marbles RTX在单个Quadro RTX 8000上运行，可在实时光线追踪的室内场景中模拟复杂的物理场。NVIDIA M＆E总经理Richard Kerris解释说，“由于依赖于Omniverse服务器，因此无法下载该演示，”我们在与fxguide进行单独交谈时表示。

创建视觉效果，实时渲染云或制造设计通常需要多个人在团队，远程工作地点以及各个客户地点进行协作以进行审核。使用各种软件工具来开发3D资产。长期以来，跨应用程序进行数据传输一直是全球数百万艺术家，设计师，建筑师，工程师和开发人员的挑战。利用Pixar的通用场景描述（USD）和NVIDIA RTX技术，Omniverse为人们提供了一种轻松使用应用程序并与同事和客户（无论他们身在何处）进行协作的方式。几周前，我们在fxguide上通过GauGAN演示突出显示了这样的示例。

该技术也非常适用于虚拟生产，尤其是对于许多目前处于锁定状态并与分布式团队合作的公司而言。Kerris表示：“过去90天内，ILM等公司对虚拟舞台的兴趣水平是其五倍。” NVIDIA提供了ILM的The Mandalorian虚拟舞台项目中使用的GPU卡。Omniverse已经开发了一段时间，但是它是远程协作的理想选择。

尽管Marble演示在单个RTX 8000卡上运行，但NVIDIA的Omniverse已扩展为包括Omniverse View的新型渲染。该模块由多个NVIDIA RTX GPU加速，并为在GPU阵列上实现极高的可扩展性而提供，即使具有庞大的3D模型，也可提供高质量的实时渲染。Omniverse View显示从Omniverse内部或直接在使用的3D应用程序中的不同应用程序聚合的3D内容。它还旨在支持商业游戏引擎和离线渲染器。

ML射线跟踪缩放

DLSS 2.0提供的图像质量可与原始分辨率媲美，而仅渲染四分之一到大约一半的像素。它采用了新的时间反馈技术，可获取更清晰的图像细节并提高帧与帧之间的稳定性。原始的DLSS 1.0需要针对每个新环境或新游戏训练机器学习（ML）网络。DLSS 2.0使用非游戏特定内容进行了培训，提供了可在不同视觉环境中工作的通用网络。它不是用于图像的通用Upres工具。它使用卷积自动编码器，该卷积自动编码器采用低分辨率当前帧和高分辨率前一帧，以逐像素为基础确定如何生成更高质量的当前帧。因此，DLSS 2.0在ML网络中有两个主要输入：

1.渲染引擎渲染的低分辨率，锯齿图像 2.来自同一图像的低分辨率运动矢量，也由渲染引擎生成。