Peça a um chatbot um número aleatório entre 1 e 100 e a resposta raramente será uniforme. Os modelos de linguagem favorecem repetidamente alguns poucos valores, e esse hábito tem implicações reais quando a escolha de um modelo deve proteger alguma coisa.
Esta análise aborda a questão sob uma ótica de segurança: se um modelo escolhe o número que guarda um segredo, quantos palpites um atacante precisa? Em vez de contar respostas em muitas execuções amostradas, o autor lê diretamente dos logits do modelo a probabilidade atribuída a cada valor de 1 a 100. A partir dessas 100 probabilidades, a análise calcula os bits de aleatoriedade e o número esperado de palpites necessários para quebrar a escolha. Modelos base e suas versões ajustadas por instruções são comparados lado a lado para verificar se o hábito vem do pré-treinamento ou do pós-treinamento.
A principal descoberta é contundente. Com um prompt em texto simples, um modelo de 1,5 bilhão de parâmetros ajustado por instruções escolheu 47 cerca de três em cada quatro vezes. Com um prompt reformulado, ele ainda seleciona o 47 em mais de um terço das vezes.
Estudos anteriores documentaram o mesmo padrão. Um estudo por amostragem com seis modelos e sete idiomas relatou favoritos como 37, 47 e 73, e vinculou o viés a tendências humanas. Uma comparação informal de 2022 entre modelos da OpenAI encontrou um modelo base mais uniforme e um modelo ajustado com um favorito acentuado. Pesquisas sobre as etapas de ajuste fino também constataram que o aprendizado por reforço a partir de feedback humano reduz significativamente a diversidade das saídas.
Como os checkpoints abertos permitem agora que qualquer pessoa repita a leitura, o autor pode acompanhar a escolha por cada etapa de pós-treinamento. Para quem depende de um valor "aleatório" gerado por um modelo, a conclusão é clara: um favorito previsível pode ser quebrado rapidamente.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing