NVIDIA Studio：释放内容生产力，拓展虚拟内容边界

从NVIDIA在GTC峰会上用14秒虚拟人形象以假乱真“骗过”观众，到推出Toy-Me等多款虚拟人，在这些虚拟人背后，有着NVIDIA Studio坚实的技术与坚决方案为支撑。

在虚实共生的时代趋势下，虚拟人、虚拟直播等新兴虚拟内容正在不断打开市场，并由此产生了解放创作者生产力、提高生产效率的痛点，并对技术工具提出更高的要求。

NVIDIA Studio 基于GPU硬件算力支持，以专业驱动程序和软件层面提高传统生产工具效率，开放多种创作功能SDK，搭建了一条从硬件底层到软件应用的工具生产链，从而帮助不同精度需求的虚拟内容加速创作过程。

值得注意的是，其中NVIDIA先后推出NVIDIA Broadcast 和 NVIDIA Canvas 等独家工具，从直播场景、美术创意等角度切入，不仅高效满足专业内容生产者的需求，也以简便的操作和多场景适配的特点，降低门槛，让更多人参与到如虚拟人等3D虚拟交互内容的创作中。

随着创作生态的建立，作为横跨企业级和消费级的应用，NVIDIA Omniverse平台，也在不断拓宽应用边界，匹配更多的虚拟场景，实现更强的现实价值。

NVIDIA Studio和NVIDIA Omniverse 生态不断壮大，

释放虚拟内容创作生产力

虚拟人为代表的虚拟内容，在当前发展阶段，仍存在生产效率低、门槛高等痛点。以虚拟人为例，其制作包含3D模型制作、模型骨骼绑定等多项流程，在直播等场景应用时，还涉及实时动捕、面部、虚拟场景制作等步骤，对效率与成本都有较高要求。

此前，NVIDIA能够快速推出多款风格与功能不一的虚拟人，正是依托于NVIDIA Omniverse的虚拟开放平台，以丰富便捷的3D工具加速虚拟人内容生产与应用的工作流。

当前直播是虚拟人应用的主要场景之一，虚拟直播间的场景布置、直播流畅度等是普遍存在的问题。而NVIDIA Broadcast作为一款依靠AI技术增强直播视频和语音质量的工具，能够针对麦克风音源输入、扬声器和相机添加预设定的不同效果。

举例来说，传统软件降噪方案常以设置阈值形式开关声音输入，容易丢失大量声音细节，而NVIDIA Broadcast 使用AI技术，拥有对自然语言的处理能力，能识别过滤嘈杂背景音等噪音，又保留主播或中之人真实声音。

更便捷的是，NVIDIA Broadcast提供一键消除噪音、视频降噪、虚拟背景等功能，无需创作者进行繁琐的参数设置。

在NVIDIA Broadcast中，选中麦克风音源，即刻快速为麦克风添加噪音消除、回声消除等多种效果，还可以自由调节效果强度

又比如，直播时固定摄像头机位容易丢失中之人脸部位置，无法实现全程脸部视频跟踪。NVIDIA Broadcast辅助动态追踪主播头部，自动裁剪和缩放使人像处于视频正中间，确保主播脸部捕捉实时映射到虚拟人像中。

而在直播准备环节，找不到一个适合直播的房间背景是许多非专业级主播的痛点，且实体绿幕抠像效果往往不佳。NVIDIA Broadcast则拥有AI实现人像识别和智能抠像功能，为主播提供现成的虚拟背景。此外，非专业级摄像头设备容易产生视频噪点， NVIDIA Broadcast还能消除直播视频中的噪点，还原清晰的视频影像。

NVIDIA Broadcast中相机相关设置也是一键添加效果，在背景替换效果中用户可以自由选择背景图片，也可以添加绿色虚拟背景方便后续抠像

如果不满足于现成背景，想自己绘制场景，添加特效创造更个性化的虚拟人和直播间，NVIDIA Studio中的NVIDIA Canvas 作为一款AI绘图工具，能帮助创作者非常简便高效地实现这些需求。NVIDIA Canvas 通过AI转化为场景图片，以此检验场景设计是否合格，帮助创作者快速迭代以形成理想的虚拟场景设计。

从实际使用来看，创作者仅需绘制简笔画，AI智能算法便可以将草图变为写实风格画作。这款软件的操作逻辑同样容易理解，创作者根据想要创作的内容选择“草地”、“雪”、“天空”等材质，使用画笔在画框中根据构思将大致图形绘制出来，AI技术就会自动演算出一幅画作，这无疑能很大程度提升虚拟场景设计效率。

在左边画布中只需要用选定的材质画出简单的轮廓，AI就会自动补全所有细节，即便是没有任何绘画基础的用户也可以快速制作出一幅写实画作

在近期CES 2022展会上，NVIDIA还公布了NVIDIA Canvas的全新版本，提升4倍AI生成图像的分辨率，并升级成GauGAN 2代，将AI训练的样本提升到千万级别。未来将允许用户通过输入自然语言来生成对应AI图像。此外，NVIDIA还为Canvas增加了五种新的材质——花朵、土块、灌木丛、稻草和泥土，能够创作出更为丰富的景观。

从硬件层到应用层，NVIDIA Studio如何解决虚拟内容创作痛点

包含NVIDIA Broadcast和NVIDIA Canvas在内的NVIDIA Studio，之所以能够解决新时代虚拟内容创作的痛点，关键在于它并不是一套单纯的工具集，而是辅助已有数字内容创作工具的平台，从硬件底层、AI技术到软件应用为用户提供更高效的工作流。

NVIDIA Studio平台包括多个组件与功能：NVIDIA 研发的高性能RTX GPU硬件；为数字创作工具提升兼容性和性能的Studio驱动程序；软件层面的优化支持，包括对各种渲染器、Blender等3D创意应用的优化；为开发人员开放的面向视频处理、3D渲染和AI应用等功能的Studio SDK；以及NVIDIA Broadcast、NVIDIA Canvas等创作工具。

这些综合构建的内容生产链条，正在以技术创新与迭代解决实际内容生产的问题。

当前阶段，在虚拟内容创作领域，对精度、应用场景和技术层面的要求越来越高，纯粹的软件应用提供商已经很难解决现在的生产流程问题，需要从底层硬件出发来构建整套工具链条。而NVIDIA Studio能同时打通硬件层、软件驱动层、开发层和应用层，为内容创作提供全方位的服务。

以打造虚拟人内容为例，GPU硬件底层为创作工具提供基础的算力，从硬件层支持渲染、光线追踪和AI运算加速；Studio驱动程序提高Blender、3Dmax等虚拟人建模创作工具与硬件的兼容性和可靠性。

Studio SDK则是一个综合开发组件，允许开发者使用NVIDIA研发的Riva、Maxine、Avatar等多项功能，调用Riva功能为虚拟人制作嘴型匹配，基于Maxine为AI视频会议加速，通过Avatar SDK使用NVIDIA的技术创作虚拟人形象。此外，NVIDIA还选择开放自身技术库为虚拟内容制作提供多功能定制化支持。

而NVIDIA Broadcast和NVIDIA Canvas更是NVIDIA Studio系统中具有代表性的应用。

NVIDIA Broadcast借助NVIDIA RTX GPU 上的 Tensor Cores 专用 AI 处理器。Tensor Cores是一种专为深度学习而设计的计算核心，能够让图形视觉处理、自然语言处理、语音识别与文字转换等功能在GPU上完成高速运算。Tensor Cores的AI Denoiser降噪功能能够还原画面高保真度的同时降低渲染所需时间，确保降噪之后能够保证摄像头画面的流畅。

NVIDIA Canvas则是利用生成式对抗网络（GauGAN）来生成基于AI的画作。生成式对抗网络包括两个模块——生成器和判别器。生成器根据创作者挑选的不同笔触去生成对应的图像，之后将生成的图像传输到判别器中与数百万现实世界的样本进行比对，根据现实世界的规则输出最后的图像。

例如在NVIDIA Canvas实际操作中，在海面中绘制石块AI将生成礁石而非普通岩石，这便是生成式对抗网络基于现实世界而智能生成的AI图像。

不止于内容创作，NVIDIA Studio拓展虚拟场景边界

在虚实共生的趋势下，市场不仅需要虚拟内容，也需要更广阔的虚拟场景。而NVIDIA Studio 的应用边界不止于在虚拟人等虚拟内容领域，也在为更多场景提供解决方案。

最典型的场景之一莫过于虚拟会议场景。在全球疫情影响下，线上视频会议的价值被进一步放大。而NVIDIA Broadcast 不仅能够支持虚拟直播，同样能够为线上视频会议创造更好的体验。

如在居家办公情况下，杂乱的背景和室外噪音影响参会人员注意力，NVIDIA Broadcast 能够连接Zoom等视频会议软件，营造专业级视频会议环境。

而NVIDIA Canvas的生成式对抗网络也被运用于除艺术创作外的多个行业，NVIDIA 曾表示，生成式对抗网络技术已经被保健组织当做探索型治疗工具。

此外，NVIDIA Studio所提供的SDK让用户可以调动 NVIDIA RTX GPU算力和AI技术支持的功能，以创造更多工具，适配更多虚拟场景。

例如，开发者可以通过NVIDIA Studio的Maxine SDK自由构建一个AI 助理，根据NVIDIA 的设想，未来使用Maxine SDK创建的AI助理能够在更多方面帮助用户的实际生活需求，包括协助汽车驾驶、停车，智能规划行车路线，调整驾驶模式等等。而Project Tokkio则是一款基于Maxine SDK的人工智能，应用于汉堡点餐自动售货机，能够与用户自由对话，根据用户的需求和口味推荐相应的汉堡产品。

值得注意的是，作为跨企业级和消费级的重要应用，NVIDIA Studio最终落地在 Omniverse平台上，不仅助力虚拟内容创作，更是为创建一个全新且真实的虚拟世界。其应用不仅限于各类虚拟内容生产，更可用于工业、汽车等多领域，实现跨行业的应用。这也让NVIDIA Studio体系具备了更多现实意义的价值。