Les chercheurs ont placé des modèles d'IA de pointe au contrôle du volant, de l'accélérateur et des freins d'une Toyota Corolla pour tester les capacités de conduite dans le monde réel. L'évaluation s'est déroulée sur un parcours à cônes fixes où les modèles devaient naviguer tout en restant dans un rayon de 4 mètres de la ligne centrale. Les performances étaient mesurées par les progrès de la tentative—la distance parcourue le long de la ligne centrale du parcours avant toute collision—et le temps de finition pour les parcours complétés.

Les métriques suivaient également le nombre total de jetons et le coût aux prix publics pour chaque tentative. Le dispositif, nommé DrivingBench, permet aux abonnés de suivre les progrès via @drivingbench sur les plateformes sociales. Les collisions réinitialisent les progrès au point le plus éloigné atteint avant l'impact.

Les données de vitesse GPS ont aidé à calculer la distance intégrée parcourue pendant chaque conduite. Les tests comprenaient à la fois des parcours réussis et des échecs marqués DNF (non terminé).