HeadlinesBriefing favicon HeadlinesBriefing.com

World Labs Atlas : Modèle mondial d'intelligence spatiale

Hacker News •
×

World Labs présente Atlas, un modèle mondial de nouvelle génération conçu pour l'intelligence spatiale. Atlas est un modèle omni préentraîné from scratch pour opérer nativement sur le texte, les images, la vidéo et la 3D. C'est un transformateur de diffusion autorégressif multimodal qui combine toutes les entrées dans un contexte spatial partagé pour générer ce qui vient ensuite tout en restant cohérent en 3D et en imaginant au-delà des données observées.

Atlas s'échelonne avec une puissance de calcul d'entraînement accrue et prend en charge la génération, la reconstruction et la simulation de mondes. Les capacités clés incluent : la Génération Contrôlée par Caméra, produisant jusqu'à 1 minute de vidéo 1440p à partir d'une ou plusieurs images avec un contrôle de caméra pixel-parfait ; la Reconstruction Spatiale, générant de nouveaux points de vue et des sorties 3D explicites à partir d'images d'entrée, surpassant les modèles 3D de pointe ; la Simulation Espace-Temps, permettant des flux de travail Real-to-Sim pour la robotique en modélisant l'espace et le temps à partir de vidéos ; et la Génération d'Images, créant des images et des panoramas 360 à partir de texte avec une adhérence aux prompts complexes et des styles visuels divers. Atlas alimentera les futures versions de Marble et d'autres produits World Labs.

Le modèle utilise une géométrie de caméra précise comme entrée native, permettant un cadrage de prise de vue exact et un contrôle de mouvement. En ancrant chaque image à une position 3D dans l'espace, Atlas forme un contexte spatial qui permet un contrôle créatif, comme placer des images non liées dans l'espace 3D pour générer des interpolations fluides imaginant des portes, des couloirs et des transitions. Pour les vidéos longues, Atlas combine le mouvement de caméra et la gestion du contexte spatial, mettant les utilisateurs dans le fauteuil du réalisateur pour une mise en scène complète.