编译 / VRAR星球 R星人

10月19日消息，近日，美国斯坦福大学教授丛乐和美国普林斯顿大学教授王梦迪二人和团队以及合作者研发出一款名为 LabOS 的 AI 应用，并在相关论文中表示 LabOS 是业内首个 Al-XR Co-Scientist。

在构造上，LabOS 集成了多模型 AI 智能体、智能眼镜与人机协作界面，这让 LabOS 能够观察到真人科学家所看到的内容，以及让 LabOS 能够理解实验情境并提供实时辅助。研究中，本次团队通过癌症免疫学、生物机制研究和干细胞工程这三项生物医学研究方向展现了 LabOS 的能力。

既然 LabOS 是一个 XR Co-Scientist，那么它的人机交互必然要通过 XR 界面进行。当前，市面上的 XR 硬件基本都支持界面渲染、手势识别以及运行 Unity/Android 应用成语。基于此，在使用 LabOS 的时候，既可以将眼镜数据流传输到本地 GPU 服务器，也可以将眼镜数据流传输到云端，从而进行实时的智能体推理。当本地 GPU 服务器接收到 5 秒-10 秒的短视频片段之后，就能将视频转发到 LabOS AI 智能体进行分析和推理，并能将结构化的 JSON 输出返回到 XR 眼镜，在 JSON 信息获得解析之后，就能为真人科学家提供实时的视觉反馈与音频反馈。

研究中，该团队分别测试了 AR/XR 眼镜和 VR/XR 头显，其中 AR/XR 眼镜的效果更好。原因在于，AR/XR 眼镜拥有开放式的周边视野，其重量一般低于 85 克可以确保真人佩戴的舒适度，同时支持 2 小时以上的续航时间，以及支持 6 自由度和手势识别的三维感知人机交互。通过 AR/XR 智能眼镜界面和实时多模态感知，LabOS 可以将 AI 推理直接连接到实验室，使用时只需佩戴 XR 眼镜即可获得 AI 智能体提供的自适应情境感知指导，这些指导包括分布指令、错误检测与修正提示，甚至包括适用于无菌流程的手势或语音交互。（新闻来源：DeepTech深科技）

商务合作：13146398132

媒体合作：13341147250

爆料投稿：editor@vrarworld.cn

版权声明：本文为VRAR星球原创，任何单位及个人未经授权不得转载，否则将依法追究侵权责任。

如需转载请联系13341147250 / editor@vrarworld.cn 申请授权，转载时请注明来源并保留VRAR星球原文链接。

本文部分图片及视频来源于互联网，如涉及侵权请联系我们删除。