Los investigadores colocaron modelos de IA de vanguardia al control del volante, acelerador y frenos de un Toyota Corolla para evaluar su capacidad de conducción en el mundo real. La evaluación se llevó a cabo en un recorrido con conos fijos donde los modelos debían navegar manteniéndose dentro de 4 metros de la línea central. El rendimiento se midió por el progreso del intento: la distancia recorrida a lo largo de la línea central del recorrido antes de cualquier colisión, y el tiempo de finalización para las ejecuciones completadas.

Las métricas también registraron el total de tokens y el costo a precios de lista por cada intento. La configuración, denominada DrivingBench, permite a los seguidores seguir el progreso vía @drivingbench en plataformas sociales. Los eventos de colisión reinician el progreso al punto más lejano alcanzado antes del impacto.

Los datos de velocidad GPS ayudaron a calcular la distancia integrada recorrida durante cada conducción. Las pruebas incluyeron tanto ejecuciones exitosas como fallos marcados como DNF (no terminó).