2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。
Emu3在图像生成、视频生成、视觉语言理解等任务中超过了 SDXL 、LLaVA、OpenSora等知名开源模型，但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术，只需要预测下一个token。
Emu3提供了一个强大的视觉tokenizer，能够将视频和图像转换为离散token。这些视觉离散token可以与文本tokenizer输出的离散token一起送入模型中。与此同时，该模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any的任务提供了更加统一的研究范式。而在此前，社区缺少这样的技术和模型。
此外，受益于Emu3下一个token预测框架的灵活性，直接偏好优化(DPO)可无缝应用于自回归视觉生成，使模型与人类偏好保持一致。
商务合作：13146398132
媒体合作：13341147250
爆料投稿：editor@vrarworld.cn
版权声明：本文为VRAR星球原创，任何单位及个人未经授权不得转载，否则将依法追究侵权责任。
如需转载请联系13341147250 / editor@vrarworld.cn 申请授权，转载时请注明来源并保留VRAR星球原文链接。
本文部分图片及视频来源于互联网，如涉及侵权请联系我们删除。
苹果将为Vision Pro原生支持Godot免费开源游戏引擎
The Sandbox与Bruce Lee Enterprises合作，李小龙“入驻”元宇宙
歌尔股份发布2025年Q1财报：净利润4.69亿元，同比增长23.53%
Vision Pro新专利：佩戴者眼球一动，实现解锁、切换设置等
苹果将为Vision Pro原生支持Godot免费开源游戏引擎
Ray-Ban智能眼镜实用性大增，Meta推出实时翻译功能
Meta开卖翻新版Quest 3S，售价270美元起
The Sandbox与Bruce Lee Enterprises合作，李小龙“入驻”元宇宙
歌尔股份发布2025年Q1财报：净利润4.69亿元，同比增长23.53%
Vision Pro新专利：佩戴者眼球一动，实现解锁、切换设置等
北京国际电影节举办AI+VR项目创投会，VRAR星球参展
PICO视频新预告：3D穿越机带你飞掠绿野山居、地下迷窟、VR宇宙之旅第二季-宇宙射线
Character.AI推出AvatarFX模型：AI实现静转动，让图片角色开口说话
苹果将为Vision Pro原生支持Godot免费开源游戏引擎
Ray-Ban智能眼镜实用性大增，Meta推出实时翻译功能
Meta开卖翻新版Quest 3S，售价270美元起
The Sandbox与Bruce Lee Enterprises合作，李小龙“入驻”元宇宙
歌尔股份发布2025年Q1财报：净利润4.69亿元，同比增长23.53%
Vision Pro新专利：佩戴者眼球一动，实现解锁、切换设置等
北京国际电影节举办AI+VR项目创投会，VRAR星球参展
PICO视频新预告：3D穿越机带你飞掠绿野山居、地下迷窟、VR宇宙之旅第二季-宇宙射线
Character.AI推出AvatarFX模型：AI实现静转动，让图片角色开口说话
关注微信公众号
扫码添加客服
