12月30日消息,苹果最近发布了SHARP,这是一款开源模型,可在不到一秒的时间内从一张 2D 照片生成逼真的 3D 场景表示。
官方是这样描述的:“SHARP 回归模型能够对所描绘场景的 3D 高斯表示的参数进行回归。”本质上,该模型能够通过标准 GPU 上的神经网络生成场景的 3D 表示。生成的 3D 高斯表示可以实时渲染,从而为近景生成高分辨率的逼真图像。该表示采用度量尺度,具有绝对比例,支持度量尺度的相机运动。
该模型解决了视图合成中的一个关键挑战。传统的 3D 高斯散射方法需要从不同视角拍摄数十张甚至数百张图像。相比之下,SHARP 仅需一张照片,即可在单个处理步骤中生成完整的 3D 高斯场景表示。
苹果表示,实验结果表明,SHARP 模型在多个数据集上均优于以往的模型,图像质量误差降低了 25% 至 43%,同时速度也显著提升。该公司还指出,该模型“在多个数据集上树立了新的标杆”。
该模型生成 .ply 文件格式的 3D 高斯散射图像,兼容多种公开的 3D 高斯散射渲染器。SHARP 还遵循 OpenCV 坐标系。该系统可在标准 GPU 上以每秒 100 帧以上的速度渲染 3D 模型,支持从附近视点呈现高分辨率视图。用户还可以渲染带有相机轨迹的视频,但目前这需要 CUDA GPU。
据悉,SHARP 现已可在 GitHub 上下载,并可通过命令行界面访问。研究论文“不到一秒的清晰单目视图合成”已发布在 arXiv 上。(新闻来源:auganix、VRAR星球编译)
商务合作:13146398132
媒体合作:13341147250
爆料投稿:editor@vrarworld.cn
版权声明:本文为VRAR星球原创,任何单位及个人未经授权不得转载,否则将依法追究侵权责任。
如需转载请联系13341147250 / editor@vrarworld.cn 申请授权,转载时请注明来源并保留VRAR星球原文链接。
本文部分图片及视频来源于互联网,如涉及侵权请联系我们删除。

Meta AI眼镜新增“对话聚焦”功能

Snap和高通建立长期合作伙伴关系,下一代Specs眼镜将于今年晚些时候发布

苹果AI眼镜设计和上市日曝光!主打极致美感多配色时尚配件

千问旗舰AI眼镜S1开启预约,4月15日现货发售

首批搭载“龙虾”的智能眼镜!讯飞AI眼镜将亮相广交会

华为终端BG CEO何刚发布带有HUAWEI AI Glasses水印照片,暗示新品进入发布倒计时

海南首个农村交通安全VR体验区落地当地澄迈县

Jigsaw Night与VR Villa合作,将带领数百人体验VR技术

“虚实无界”XR沉浸视听联合实验室落地北京门头沟区

苹果AI眼镜设计和上市日曝光!主打极致美感多配色时尚配件

千问旗舰AI眼镜S1开启预约,4月15日现货发售

首批搭载“龙虾”的智能眼镜!讯飞AI眼镜将亮相广交会

华为终端BG CEO何刚发布带有HUAWEI AI Glasses水印照片,暗示新品进入发布倒计时

Excurio推出LBXR Pulse,用于大规模多人VR体验

NVIDIA CloudXR 6.0现已推出,与visionOS原生集成

亚马逊扩大Vuzix智能眼镜在北美的部署

Meta发布新的AI模型“Muse Spark”,计划几周内将其推广到AI眼镜上

SilverEye将开始向日本市场分销由中国台湾佐臻科技开发的工业AR头戴设备“J7M”