HeadlinesBriefing favicon HeadlinesBriefing.com

World Labs Atlas:空间智能世界模型

Hacker News •
×

World Labs 推出 Atlas,这是一种为空间智能设计的下一代世界模型。Atlas 是一种从头预训练的全模态模型,旨在原生处理文本、图像、视频和 3D。它是一种多模态自回归扩散 Transformer,将所有输入整合到共享的空间上下文中,以生成后续内容,同时保持 3D 一致性并想象观测数据之外的内容。Atlas 随着训练算力的增加而扩展,并支持世界生成、重建和模拟。主要功能包括:相机控制生成,从一张或多张图像生成长达 1 分钟的 1440p 视频,并具备像素级的相机控制精度;空间重建,从输入图像生成新颖视角和显式 3D 输出,性能超越最先进的 3D 模型;时空模拟,通过从视频建模空间和时间,实现面向机器人的 Real-to-Sim 工作流;以及图像生成,根据文本创建图像和 360 全景图,具有复杂提示词遵循能力和多样化的视觉风格。Atlas 将为 Marble 的未来版本和其他 World Labs 产品提供支持。该模型将精确的相机几何作为原生输入,实现精确的镜头构图和运动控制。通过将每张图像定位在空间中的 3D 位置,Atlas 形成了空间上下文,从而实现创意控制,例如将不相关的图像放置在 3D 空间中,生成平滑的插值,想象门道、走廊和过渡。对于长视频,Atlas 结合相机运动和空间上下文管理,让用户坐上导演的椅子,进行完整的场景调度。