8月13日，NVIDIA Omniverse官方YouTube频道举行了一场以人形机器人训练环境为主题的直播活动。主持人NVIDIA的埃德马尔与三位嘉宾——Niantic Spatial的尤金·钟、Flexion的朱利安·努贝尔以及NVIDIA的加布里埃尔·斯特特共同探讨了物理AI与3D高斯泼溅（3DGS）技术的交汇点。

整场直播完整展示了从实景扫描构建训练环境，到在该环境中学习行为模型，最终迁移至实体机器人运行的全流程。

该直播的起因是Niantic Spatial的现实重建管线。其独特之处在于，通过单次拍摄即可在同一坐标系中同时输出高斯泼溅表示和网格模型——前者用于生成机器人“眼中”的视觉图像，后者则用于估算碰撞判定。

针对许多重建方法仅优化视觉外观、导致空中悬浮粒子或地面孔洞等瑕疵的问题，这些瑕疵在仿真中会表现为不存在的障碍物或坠落点，而Niantic Spatial借助自有深度模型对几何形状加以约束，有效抑制了此类缺陷。

瑞士公司Flexion则展示了该技术的实际落地。团队使用市售360度相机，仅用约十分钟扫描了苏黎世办公室，总成本约500美元，便将真实空间纳入训练。

输出的USDZ文件可直接载入Isaac Sim。以往，因仿真与真实视觉差异过大，直接基于图像训练极具挑战；但Flexion在Isaac Lab上成功通过强化学习，训练出以RGB图像为输入的导航行为模型。

令人关注的是，该模型无需额外微调即可部署到实体机器人。即便扫描后办公桌位置发生变动，机器人仍能按顺序经过三个途径点；同时，它对深度传感器难以捕捉的薄桌面、透明板材及细小三脚架等训练中未包含的物体，也展现出避障与响应能力。

展望未来，NVIDIA计划进一步扩展这一基础框架。斯特特透露，Isaac Sim 5.1因采用图像叠加方式，在阴影和反射处理上存在局限；而即将推出的Isaac Sim 6与Isaac Lab 3将引入光线追踪技术，能够处理金属、透明物体以及高斯模型上投射的阴影，为物理AI训练带来更逼真的仿真环境。（新闻来源：moguravr、VRAR星球编译）

商务合作：13146398132

媒体合作：13341147250

爆料投稿：editor@vrarworld.cn

版权声明：本文为VRAR星球原创，任何单位及个人未经授权不得转载，否则将依法追究侵权责任。

如需转载请联系13341147250 / editor@vrarworld.cn 申请授权，转载时请注明来源并保留VRAR星球原文链接。

本文部分图片及视频来源于互联网，如涉及侵权请联系我们删除。