近日，Meta官方博客发表了一份题为《用我们的语言交流：揭秘AI眼镜上的实时翻译》的主题文章，里面提到了实时翻译功能背后的开发故事。

Meta 最早曾在2024年Connect大会上基于Ray-Ban Meta演示了实时翻译功能，即眼镜用户可以听到其他语种并基于扬声器实时播放为本地语言，目前该功能是Meta旗下智能眼镜的标配，支持英语、法语、意大利语、德语（Meta Ray-Ban Display暂不支持）、葡萄牙语（Meta Ray-Ban Display暂不支持）和西班牙语的互译。以下为博客部分内容：

"得益于Ray-Ban Meta的五麦克风阵列，我们可以利用波束成形技术来区分眼镜佩戴者与其对话伙伴的声音，这有助于确保翻译的准确性，"产品经理Nish Gupta解释道，"而且我们无需依赖显示屏来显示翻译文本，而是直接通过眼镜的扬声器近乎实时地播放翻译结果。"

产品管理总监Ashish Garg表示，"我们将人置于设计过程的中心。团队考虑了许多边缘场景，包括旅行。人们旅行时最缺什么？稳定的网络连接。所以我们想，'如果他们能提前下载呢？他们能在飞行模式下使用吗？'我们真正考虑了端到端的用户体验旅程。"

随着项目推进，挑战也随之增加。为了打造流畅的体验，模型必须进行优化，以适应眼镜的内存容量并避免过热。此外，团队还将延迟从5秒以上降低到2.7秒，提升幅度约为46%。

"这些延迟的改进只有通过团队不断突破技术边界才能实现，"产品经理Emerson Qin在谈到这些改进时指出，" 其中最显著的创新在于，该模型能够以流式传输的方式理解、翻译和生成语音音频，所有操作都在几个词的时间内完成，无需等待完整的短语或句子。该模型能够以流式传输的方式理解、翻译和生成语音音频"。（新闻来源：Meta、VRAR星球编译）