Inception a présenté Mercury 3, qu'elle décrit comme le LLM à diffusion le plus performant publié à ce jour. Sur une série de benchmarks, Mercury 3 surpasse GPT-6 Luna et Claude Haiku 5.5 tout en fonctionnant 4 à 8 fois plus vite, à 1 068 tokens par seconde sur les GPU NVIDIA. Le modèle est plus de 40 fois plus grand que Mercury 1 et beaucoup plus intelligent, tout en restant aussi rapide. Sa fenêtre de contexte est passée à 1 M de tokens, contre 260 K pour Mercury 2.5.
Le tarif est de 0,20 dollar par million de tokens en entrée et de 0,70 dollar par million de tokens en sortie. Au lancement, Mercury 3 bénéficie d'une remise de 50 %, soit 0,10 dollar par million de tokens en entrée et 0,35 dollar par million de tokens en sortie. Les tokens mis en cache sont remisés de 90 % par rapport au prix d'entrée. L'entreprise affirme que les lois d'échelle qui ont soutenu les progrès des modèles autorégressifs s'appliquent aussi à la diffusion, et que l'intelligence mesurée sur les benchmarks standard a été multipliée par 3 entre Mercury 1 (mini) et Mercury 3.
Les partenaires en accès anticipé utilisent déjà Mercury 3 pour des tâches sensibles à la latence. Lors d'un test, un agent de navigation basé sur Mercury 3 a accompli 50 % de 50 tâches de navigation Mind2Web en conditions réelles, nettement plus que GPT-6.1-Sol, pour une fraction du coût par token. D'autres partenaires signalent des performances quasi temps réel dans l'enseignement interactif, où indices et retours arrivent en une seconde environ, et dans la recherche en temps réel, où Octen a mesuré un temps de génération médian de 0,9 seconde et une réponse médiane de bout en bout de 2,2 secondes.
Les équipes support adoptent également le modèle. Lorikeet utilise Mercury pour garantir l'exactitude des réponses conversationnelles aux clients d'entreprises réglementées, où une mauvaise réponse coûte cher.
Source: Hacker News · Résumé par HeadlinesBriefing