Der Künstliche Analyse Intelligenzindex v4.3.2 bewertet führende Modelle in 10 Benchmarks, einschließlich AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience und AA-LCR v1.1. Der aktualisierte Index misst Fähigkeiten im agentenbasierten Wissen, wissenschaftlicher Argumentation, Softwareentwicklung und rechtlichen Aufgaben. Es gibt keine öffentliche API für direkte Interaktion mit diesen Modellen.
Die Bewertungen werden gewichtet, um die Kosten pro Aufgabe zu berechnen, wobei Preise für Eingabe, Cache, Argumentation und Antwort-Tokens berücksichtigt werden. Modelle werden nach kommerzieller Availability kategorisiert und als "Commercial Use Restricted" oder "Non-commercial" gekennzeichnet. Der Index liefert Fähigkeitsindizes, die Leistung in spezifischen Branchen und Use Cases messen, wobei AA-Briefcase v1.1 als Benchmark für agentenbasiertes Wissen dient und analytische Qualität, Präsentation und Rubrik-Passraten aggregiert.
Der AA-Omniscience Index bewertet Wissensverlässigkeit und Halluzinationsraten. Obwohl die Modellintelligenz im Allgemeinen über Use Cases hinweg übersetzt wird, können spezifische Bewertungen je nach Anwendung mehr Relevanz haben. Die Analyse umfasst die Availability von Modellgewichten und kommerzielle Lizenzbedingungen alongside Leistungsmetriken.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing