2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。
Emu3在图像生成、视频生成、视觉语言理解等任务中超过了 SDXL 、LLaVA、OpenSora等知名开源模型，但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术，只需要预测下一个token。
Emu3提供了一个强大的视觉tokenizer，能够将视频和图像转换为离散token。这些视觉离散token可以与文本tokenizer输出的离散token一起送入模型中。与此同时，该模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any的任务提供了更加统一的研究范式。而在此前，社区缺少这样的技术和模型。
此外，受益于Emu3下一个token预测框架的灵活性，直接偏好优化(DPO)可无缝应用于自回归视觉生成，使模型与人类偏好保持一致。
商务合作：13146398132
媒体合作：13341147250
爆料投稿：editor@vrarworld.cn
版权声明：本文为VRAR星球原创，任何单位及个人未经授权不得转载，否则将依法追究侵权责任。
如需转载请联系13341147250 / editor@vrarworld.cn 申请授权，转载时请注明来源并保留VRAR星球原文链接。
本文部分图片及视频来源于互联网，如涉及侵权请联系我们删除。
《歌剧幻境——巴黎歌剧院沉浸式VR体验》亚洲首演将在上海大歌剧院开放
三星新专利采用光学方案，解决AR眼镜强光下画面模糊难题
扎克伯格：Meta Muse与Reality Labs 目前仍大幅亏损，但盈利可期
首部长征题材双眼16K 360°虚拟现实电影《生死传令》官宣，致敬长征胜利90周年
TRU开发赛斯纳大篷车EX VR飞行训练模拟器
VR合作太空冒险游戏《Sol Protocol》将于11月登陆PC VR平台，试玩版现已推出
VR健身应用Supernatural的全新独立版本《超自然》已在Quest平台开启抢先体验
瑞典安全与国防工业协会成员Flexotrap收到北约国家可部署的XR战术系统订单
《歌剧幻境——巴黎歌剧院沉浸式VR体验》亚洲首演将在上海大歌剧院开放
三星新专利采用光学方案，解决AR眼镜强光下画面模糊难题
扎克伯格：Meta Muse与Reality Labs 目前仍大幅亏损，但盈利可期
首部长征题材双眼16K 360°虚拟现实电影《生死传令》官宣，致敬长征胜利90周年
TRU开发赛斯纳大篷车EX VR飞行训练模拟器
VR合作太空冒险游戏《Sol Protocol》将于11月登陆PC VR平台，试玩版现已推出
VR健身应用Supernatural的全新独立版本《超自然》已在Quest平台开启抢先体验
瑞典安全与国防工业协会成员Flexotrap收到北约国家可部署的XR战术系统订单
创维将在2026年机器人商业大会上展示全身自我中心数据采集解决方案
《歌剧幻境——巴黎歌剧院沉浸式VR体验》亚洲首演将在上海大歌剧院开放
三星新专利采用光学方案，解决AR眼镜强光下画面模糊难题
扎克伯格：Meta Muse与Reality Labs 目前仍大幅亏损，但盈利可期
首部长征题材双眼16K 360°虚拟现实电影《生死传令》官宣，致敬长征胜利90周年
TRU开发赛斯纳大篷车EX VR飞行训练模拟器
VR合作太空冒险游戏《Sol Protocol》将于11月登陆PC VR平台，试玩版现已推出
VR健身应用Supernatural的全新独立版本《超自然》已在Quest平台开启抢先体验
瑞典安全与国防工业协会成员Flexotrap收到北约国家可部署的XR战术系统订单
创维将在2026年机器人商业大会上展示全身自我中心数据采集解决方案
关注微信公众号
扫码添加客服
