12月30日消息,苹果最近发布了SHARP,这是一款开源模型,可在不到一秒的时间内从一张 2D 照片生成逼真的 3D 场景表示。
官方是这样描述的:“SHARP 回归模型能够对所描绘场景的 3D 高斯表示的参数进行回归。”本质上,该模型能够通过标准 GPU 上的神经网络生成场景的 3D 表示。生成的 3D 高斯表示可以实时渲染,从而为近景生成高分辨率的逼真图像。该表示采用度量尺度,具有绝对比例,支持度量尺度的相机运动。
该模型解决了视图合成中的一个关键挑战。传统的 3D 高斯散射方法需要从不同视角拍摄数十张甚至数百张图像。相比之下,SHARP 仅需一张照片,即可在单个处理步骤中生成完整的 3D 高斯场景表示。
苹果表示,实验结果表明,SHARP 模型在多个数据集上均优于以往的模型,图像质量误差降低了 25% 至 43%,同时速度也显著提升。该公司还指出,该模型“在多个数据集上树立了新的标杆”。
该模型生成 .ply 文件格式的 3D 高斯散射图像,兼容多种公开的 3D 高斯散射渲染器。SHARP 还遵循 OpenCV 坐标系。该系统可在标准 GPU 上以每秒 100 帧以上的速度渲染 3D 模型,支持从附近视点呈现高分辨率视图。用户还可以渲染带有相机轨迹的视频,但目前这需要 CUDA GPU。
据悉,SHARP 现已可在 GitHub 上下载,并可通过命令行界面访问。研究论文“不到一秒的清晰单目视图合成”已发布在 arXiv 上。(新闻来源:auganix、VRAR星球编译)
商务合作:13146398132
媒体合作:13341147250
爆料投稿:editor@vrarworld.cn
版权声明:本文为VRAR星球原创,任何单位及个人未经授权不得转载,否则将依法追究侵权责任。
如需转载请联系13341147250 / editor@vrarworld.cn 申请授权,转载时请注明来源并保留VRAR星球原文链接。
本文部分图片及视频来源于互联网,如涉及侵权请联系我们删除。