Indeks Inteligen Analisis v4.3.2 menilai model utama dalam 10 benchmark termasuk AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience dan AA-LCR v1.1. Indeks yang diperbarui mengukur kemampuan dalam pekerjaan pengetahuan agen, penalaran ilmiah, rekayasa perangkat lunak, dan tugas hukum. Tidak ada API publik untuk interaksi langsung dengan model ini.
Evaluasi ditimbang untuk menghitung biaya per tugas, memperhitungkan harga token masuk, cache, penalaran, dan jawaban. Model dikategorikan berdasarkan ketersediaan komersial, dilabeli sebagai "Commercial Use Restricted" atau "Non-commercial". Indeks menyediakan indeks kemampuan yang mengukur kinerja dalam industri dan kasus penggunaan tertentu, dengan AA-Briefcase v1.1 sebagai benchmark pekerjaan pengetahuan agen yang menggabungkan kualitas analitis, presentasi, dan tingkat keberhasilan rubrik.
Indeks AA-Omniscience menilai keandalan pengetahuan dan tingkat halusinasi. Meskipun intelektual model secara umum berlaku across kasus penggunaan, penilaian tertentu mungkin lebih relevan tergantung pada aplikasi. Analisis mencakup ketersediaan bobot model dan syarat lisensi komersial alongside metrik kinerja.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing