Os resultados de benchmarks de IA podem ser distorcidos se os modelos virem as perguntas do teste com antecedência, um problema conhecido como contaminação de benchmarks. Para resolver isso, o Google DeepMind está pilotando a primeira avaliação de duplo-cego do mundo de um modelo de fronteira proprietário. Essa abordagem mantém as avaliações externas em uma 'caixa' criptográfica para que não possam ser usadas para otimizar o desempenho antes dos testes.

O Google está fazendo parceria com o Instituto de Segurança de IA de Singapura, OpenMined, AVERI e MLCommons para testar um modelo Gemini Flash Lite contra benchmarks confidenciais em um ambiente que preserva a privacidade. Isso aumenta a integridade da avaliação, impedindo que o modelo 'espione' as perguntas.

Anteriormente, parceiros externos usavam protocolos de zero registro e salvaguardas contratuais para manter as instruções de teste confidenciais. Adicionar salvaguardas técnicas e criptográficas é um grande passo à frente. Formuladores de políticas, pesquisadores e empresas precisam de benchmarks confiáveis para refletir com precisão as verdadeiras capacidades e segurança de um modelo.

Entidades-chave: Empresas: Google DeepMind, OpenMined, MLCommons | Locais: Singapura