智东西(公众号:zhidxcom)
作者 | ZeR0
编辑 | 漠影
随着工业元宇宙浪潮席卷至汽车、零售等越来越多的行业,NVIDIA Omniverse平台正成为这场新兴数字革命基础设施的“主角”。
基础建设总是走在行业应用潮流的前面。如果说通用GPU计算架构CUDA是NVIDIA为AI时代准备的“杀手锏”,那么实时物理级准确世界模拟和3D设计协作平台Omniverse就好比NVIDIA为元宇宙和数字孪生趋势提前准备的“兵器库”。
基于通用场景描述(USD),Omniverse简化了复杂的3D工作流,让身处不同时间、不同空间的设计师和开发者们能够无缝高效协作,来一同构建大规模、物理级准确的虚拟世界。
在元宇宙概念还未被引爆之前,NVIDIA就已经开始针对构建虚拟世界的痛点着手相关的技术开发及储备。从2019年首次公开介绍Omniverse平台,到2021年发布Omniverse Enterprise,再到2022年推出Omniverse Cloud和OVX计算系统,NVIDIA的元宇宙布局逐渐清晰。
在元宇宙热情的催化下,这些技术成果正快速从幕后走向台前。崇尚技术导向、实用导向的NVIDIA,通过将其在图形计算和人工智能(AI)领域长期积累的得天独厚的优势集合起来,提供全栈式解决方案,已经帮助越来越多企业一站式解决问题,给生产效率和质量带来实质性的改善。
NVIDIA如何通过提高Omniverse平台提高各行业的生产效率?它对工业元宇宙及数字孪生的发展趋势有哪些观察与预判?近日,NVIDIA技术专家与智东西等媒体进行深入交流。
一、推动元宇宙落地的四个必备元素
NVIDIA是怎么看待元宇宙的?据NVIDIA技术专家分享,元宇宙是互联网的3D内容演变,当前互联网内容以图片、2D视频、文字为主,而未来的互联网传输内容中将出现大量的3D内容,这会让现有行业产生新的演变。
元宇宙想落地,需要这几个元素:
1、开放的标准。3D世界存在内容交互问题,在互联网时代是HTML,3D内容时代则需要新的数据交互传输格式。
2、可扩展、可加速的时间精准的系统。可扩展的系统才能承载庞大的虚拟世界。元宇宙不像游戏用一个沙盒就可以运行,对于真实世界的模拟要更宏大,例如Earth-2数字孪生地球项目。
3、遵循物理世界的实时仿真。仿真有很多,但能做到实时的软件并不多。
4、AI。帮助大量产生相应的3D数字内容,在虚拟世界中训练相关的AI模型,再反馈、帮助部署到真实世界。
数字孪生需要虚拟数据集的单一实时来源。各种第三方软件都有各自的格式,当汇总到同一个场景下时,数据难免会出现丢失。比如CAD的工程软件转成MESH文件,有些文件会莫名其妙消失,在传递过程中,或者每次升级部件,它的外观有一些变化,没有达到单一的实时来源。
Omniverse平台便是为了打造遵循真实世界物理规则的虚拟世界而诞生的。它由USD、可扩展性、认证的硬件平台以及不断扩大的第三方生态系统组成,将光线追踪、AI和实时渲染等各种复杂技术都集成到3D流水线中。
通用场景描述(USD)是NVIDIA Omniverse平台的基石,其定义是虚拟世界的HTML。
它是各种不同来源的3D工作流能在Omniverse中实现互操作性的关键。可以将Omniverse简单理解成微软Office365,就像Office365一样包含很多不同的应用,USD则类似于Office365里的OneDrive,能将你的文件共享给每一个人,设定不同的权限。Omniverse能够读懂USD内容,帮助实现USD才能实现的一些功能。
这是一个分层的结构。以数字工厂场景为例,机器人臂、物流运输的轨道、各种各样的传送物料等等,都可以是独立的USD文件,结合在一起成为一个包含所有元素的世界级别的大USD文件。
单个文件里,比如针对机械臂,可以有传感器、电信号、物理运动信息、光照信息、材质信息、几何信息等,都是一个层级的文件,而且这些层级的文件在工作过程可以实现非破坏性工作流。
USD诞生于媒体娱乐行业,最早关心的是mesh几何体的信息、光照、材质等等,但进入工业元宇宙应用场景下,时间线、GPS信息、IoT实时传过来的信息等需要被记录到USD格式里。这也体现了USD的可扩展性和开放性。NVIDIA在USD文件上投入了巨大的开发资源,想办法打通各行业的3D软件应用,不断增加USD的功能,从而更好地支持元宇宙的落地。
由于Omniverse平台需要更高的扩展性,NVIDIA也提供了自定义的开发管道,方便开发者随时随地进行低代码开发。未来这个生态会越来越大,将引入更多的第三方软件到Omniverse平台上。
二、元宇宙硬件怎么选?NVIDIA专家分享指南
除了Omniverse外,NVIDIA跟合作伙伴还准备好了专为驱动大规模元宇宙和数字孪生应用而打造的硬件系统,包括NVIDIA OVX POD计算系统和经认证的第三方硬件。NVIDIA技术专家将OVX称作“跑元宇宙的最佳应用实践平台”、“支持数字孪生的最优解”。
那么,什么样的硬件可以把Omniverse软件和平台运行起来?用户又该如何从琳琅满目的各式硬件产品中挑选到最适合自身需求的?NVIDIA技术专家对此给了一些参考建议:
个人用户可以选择NVIDIA认证的工作站。企业需要多人协作,有两种选择,一种是NVIDIA认证过的服务器,更大规模可以买NVIDIA OVX硬件产品平台。如果希望在私有云里进一步扩大规模,则建议选择Omniverse Cloud云服务,它可以被看作是一个由NVIDIA提供的软件应用平台,支持针对不同的用量来选择不同的硬件。
简单来说,大部分的主流功能都可以在NVIDIA服务器系统上实现,如果需要大幅扩展范围,就需要考虑Omniverse Cloud。NVIDIA的优势在于容器化部署,实现轻量化的客户端,能打开客户端网页的设备,利用串流技术就可以轻松实现云渲染及云应用,非常便捷和轻量化。
大规模的数字孪生可以在OVX上运行。OVX产品经过了三代演变:OVX 1.0以A40为主;2.0升级了GPU和网络硬件,网卡从CX6升级到CX7,GPU从A40升级到L40;3.0在GPU侧没有变化,在网络方面增加了BlueField网卡,替代了其中一张ConnectX7,还增加了些安全功能。
传统工作站通常最多插4块GPU卡,而OVX底层GPU之间用InfiniBand技术互联,单个服务器上有8卡,跨集群可以支持64块卡,适合大场景多卡渲染设计。
Omniverse平台汇集了一些NVIDIA根基深厚的核心底层技术,包括已发展20多年的RTX渲染、最强护城河CUDA、最近开源的PhysX以及NVIDIA所有的AI相关技术。在这之上,NVIDIA持续推出面向不同场景的新平台、新功能和新服务,推动构建元宇宙应用的门槛一降再降。
谈及未来数字孪生可能引入的新技术,NVIDIA技术专家非常看好AR、生成式AI和基于大型语言模型的应用。AR技术能让参与者在参与未来数字孪生的过程中拥有沉浸式体验,生成式AI技术可以低成本、高效、高保真度、高精度来生成数字孪生系统中所需要的3D资产,基于大型语言模型的应用能为可交付式元宇宙应用提供支持。
大模型与数字孪生结合的方向,可以是通过自然语言方式来改变传统的交互方式,也可以将可视化图像、视频数据或视频3D资产等相结合,统一到一个大的模型中,促进数字孪生整个应用的创建以及最后的运行和交付。
三、落地工业数字孪生,五个典型应用案例
在全球范围内,很多大型企业已采用Omniverse平台来构建数字孪生或工业元宇宙,成功的合作案例包括宝马集团的数字工厂、亚马逊的仓储物流系统,还有一些在零售、交通、能源、电信等领域的领先企业应用案例。
面向工业数字孪生,NVIDIA的工作主要聚焦于三个方向:1、完全逼真的可视化,物理级精确的实时渲染;2、可编排、可自定义的3D工作流;3、合成数据生成。
在汽车制造领域,汽车生产制造是一项庞大工程,会涉及到成千上万的零部件,并需要众多工作人员协同开展工作。而通过将汽车产品开发工作流引入虚拟世界,汽车制造商优化整个工厂布局、机器人的开发和物流系统,经过虚拟世界评估和验证后,再在现实世界进行部署,这样就能规避传统工作流存在的瓶颈,通过在虚拟环境中测试好各种材料和部件,节约时间和降低成本。
宝马集团的数字孪生工厂可以说是Omniverse最经典的应用案例之一。宝马计划2025年投入运营的一个位于匈牙利德布勒森新的电动汽车工厂,通过利用包括在内Omniverse的综合数字孪生平台,现在已经能在虚拟工厂中对来自各种不同工业软件的数据应用和全球不同地点的专业人员以统一的方式来实时同步协作,从而能够实现汽车工厂运作效率的最大化。
例如,用Omniverse平台可以提前规划和优化机器人的运动和物料的流动;用Replicator生成数百万张合成的逼真图像来改变环境纹理、方向、照明条件等,从而训练机器人去满足不同的环境变化,加速整体的实验和决策过程。
在零售场景,美国第二大家居装修零售集团劳氏集团利用数字孪生和AI来实现零售店的规划。以前整个商店的运营复杂流程由各种不相连的商业专有3D和仿真工具组成,团队在跨部门的数据移动和共享方面会遇到困难。
借助Omniverse,劳氏集团在对店铺进行任何实际改变之前,就能测试和验证数千种产品的布局,用以往无法实现的方式将店铺数据整合到一起。通过Omniverse的USD综合管线来创建零售商店的数字孪生,零售店员和规划者能够实时协作,解销售业绩并识别异常情况,同时能够模拟商店的动线和流量来训练AI模型、优化机器人的导航,以及识别顾客何时需要帮助等等,进而改进零售店布局并提供更好的购物体验。
在交通场景,德国铁路局的数字孪生框图,通过单一的真实数据源,可以用于检测和实验整个铁路线网的网络,来最大程度提高运行的效率和速度,降低运营的成本。它们整个数字孪生的铁路线网已经覆盖到5700座车站和33000公里。数字孪生系统还为训练完全自动化的铁路系统复杂的AI模型提供了一个很好的环境。
其数字孪生系统运行在专为元宇宙数字孪生设计的OVX计算系统上。通过5G信号传感器和边云基站,数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的摄像头或激光雷达传感器检测到了潜在危险,其精确位置可迅速传递给网络中的其它火车,防止碰撞或者拥堵。如果站点AI计算机视觉摄像头注意到其它异常问题,也可以触发事件来通知工作人员。同时智能传感器在真实世界和由Omniverse Replicator生成的合成数据组合上进行训练和优化,确保AI模型面对任何情景都能够感知、规划和运行。
在仓储场景,全球最大的电商平台亚马逊每天需要处理数千万个包裹,其200多个配送中心中需要超过50万台移动机器人来支持整个仓库的物流系统运转。亚马逊机器人正利用Omniverse和Isaac Sim构筑仓储中心的数字中心,来训练更智能的机器人助手,提高整体的生产力。
传统过程无法将3D数据汇集到统一的管道和训练的模型中,同时没有足够的精确采集数据来支撑AI模型的训练和感知。构建数字孪生系统,则可以将多个不同CAD应用程序的数据集中到高保真度的仓储中心数字孪生系统中心,通过数字仿真对各种软硬件配置进行验证,实现仓库的性能优化和整体设计,通过生成合成数据来提升感知模型的训练精度,进而优化整体的运营效率。
在能源场景,西门子能源用NVIDIA Omniverse创建数字孪生,预测热回收蒸汽发生器部件的腐蚀情况,并将计算所需时长从以前的几周缩短到几小时。西门子还用Omniverse和Modulus框架来准确模拟不同风力涡轮机之间的影响,能将100个CPU集群要花1个月计算的效率提升4000倍以上,使得整个过程可达到伪流效应的实时仿真,模拟不同风力和天气条件下的情况。
去年NVIDIA宣布和西门子进一步扩大合作,将西门子Xcelerator业务平台和NVIDIA Omniverse连接,共同打造工业元宇宙。西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者,结合NVIDIA在加速图形和AI领域的成果,使各种规模的工业客户能够构建全保真设计闭环的数字孪生系统,带来全周期流程和生产力的改进。
结语:Omniverse,通往未来元宇宙之门的钥匙
在元宇宙概念还未兴起之时,NVIDIA已经开始为虚拟数字世界垒砌基石。在元宇宙经历了从爆火到降温的转变后,NVIDIA依然在有条不紊地按照一贯的节奏来推进在元宇宙方面的布局。
NVIDIA的关注点在于数字世界如何基于真实世界里的物理特性进行准确的模拟仿真,以及数字世界和真实世界之间的连接交互,一切技术及产品布局都是围绕此展开,希望推动数字孪生去解决不同行业的痛点。
而只要有痛点在,就有客户需求和市场空间在,因此NVIDIA不会因为概念的走热或降温,而停下自己在做的事情。
NVIDIA还在持续完善元宇宙的基础建设,并相信整个生态所有成员会群策群力,一起去寻找元宇宙真正能够落地并创造价值的方式,最终帮助整个人类社会共同进步。