Maxwell est un nouveau type de modèle de pointe développé par doubleAI, que la société appelle modèle d'exécution de code. Il se situe entre le code et le matériel, rendant les programmes plus rapides pendant leur exécution, sans que personne ne modifie une seule ligne de code et sans intervention humaine.
Contrairement aux outils classiques, Maxwell observe les programmes de l'intérieur, en exploitant les traces, les informations de profilage et les données qui les traversent. Il s'adapte dynamiquement à l'environnement, y compris le matériel, les autres charges de travail en cours et la forme des entrées. La société affirme que l'approche actuelle, dans laquelle des outils comme Claude ou Codex et des ingénieurs réoptimisent à maintes reprises le code pour chaque scénario matériel et de données, est superflue, sous-optimale et ne passe pas à l'échelle.
Maxwell observe un programme pendant son exécution, réécrit le binaire pour l'adapter à cette machine et à ces données précises, et démontre formellement que chaque amélioration est équivalente au code d'origine. Une fois suffisamment de données d'exécution recueillies, il substitue ces optimisations pendant que le programme continue de tourner. Il fonctionne aussi bien sur CPU que sur GPU.
La société annonce des pipelines de traitement de données 38 fois plus rapides et des noyaux d'inférence IA 4,25 fois plus rapides. Dans un cas phare, Maxwell a presque doublé la vitesse de génération de vidéo 4K de LTX-2.5 et, lors d'un test de reconnaissance vocale Whisper sur une RTX 4090, a réduit le temps d'exécution de 106,23 secondes à 49,82 secondes. L'accès anticipé est ouvert sur heymaxwell.ai.
Source: Hacker News · Résumé par HeadlinesBriefing