Quando treinei o classificador de comentários de IA anterior, usei dados parcialmente pessoais/privados para fazê-lo, e o construí sobre uma base um tanto instável, então não pude compartilhar o código ou os dados. Eu o reconstruí com dados públicos e uma base melhor.

Primeiro, você pode querer experimentá-lo. Nada do que você colar nessa página web sai do seu navegador, então você pode testá-lo com segurança com o que quiser. Convidei alguns testadores para experimentar uma versão anterior, e eles deram feedback positivo. Não vamos analisar os 'robotismos' da mesma forma que analisamos os 'Claude-ismos' no artigo anterior, porque na interface do novo classificador você pode simplesmente clicar em qualquer parte do texto classificado para ver quais características são ativadas nessa parte do texto e como elas contribuem para o veredicto geral.

Em termos de desempenho, o número principal é a precisão equilibrada de 77%. Esta é a frequência com que o classificador acerta os vereditos humano vs. robô, assumindo que comentários escritos por humanos e gerados por robôs são igualmente prováveis. O classificador também gera uma porcentagem prevista que é calibrada, ou seja, pode ser lida como a probabilidade de que qualquer veredicto específico esteja correto. Testamos isso por meio da curva de calibração, que mostra qual probabilidade o classificador atribui a um evento com probabilidade conhecida. Como todos os pontos estão muito próximos da diagonal de referência, sabemos que estão aproximadamente corretos.

Quando o classificador está muito confiante – por exemplo, quando a confiança é 80% ou mais – o risco de falso positivo cai para 5%. Também testei manualmente um conjunto menor e não sintético de comentários reais de humanos e robôs para ver quão bem o classificador generaliza ligeiramente fora da amostra. Isso se traduz em uma precisão de 88%. Claro, tudo isso foi testado apenas com comentários de código. O classificador não foi construído para detectar textos gerados por robôs de outros tipos.