Os pesquisadores colocaram modelos de IA de ponta no controle do volante, acelerador e freios de um Toyota Corolla para testar a capacidade de direção no mundo real. A avaliação ocorreu em um percurso com cones fixos onde os modelos precisavam navegar mantendo-se dentro de 4 metros da linha central. O desempenho foi medido pelo progresso da tentativa—a distância percorrida ao longo da linha central do percurso antes de qualquer colisão—e pelo tempo de conclusão para as corridas completadas.

As métricas também rastrearam o total de tokens e o custo aos preços de lista para cada tentativa. A configuração, chamada DrivingBench, permite que seguidores acompanhem o progresso via @drivingbench em plataformas sociais. Eventos de colisão reiniciam o progresso no ponto mais distante alcançado antes do impacto.

Dados de velocidade GPS ajudaram a calcular a distância integrada percorrida durante cada condução. Os testes incluíram corridas bem-sucedidas e falhas marcadas como DNF (não concluído).