Lorsque j'ai entraîné le précédent classificateur de commentaires IA, j'ai utilisé des données partiellement personnelles/privées pour le faire, et je l'ai construit sur une base quelque peu instable, donc je ne pouvais pas partager le code ou les données. Je l'ai reconstruit avec des données publiques et une meilleure base !

Tout d'abord, vous voudrez peut-être l'essayer. Rien de ce que vous collez sur cette page web ne quitte votre navigateur, vous pouvez donc l'essayer en toute sécurité avec ce que vous voulez. J'ai invité quelques testeurs à essayer une version antérieure, et ils ont donné des commentaires principalement positifs. Nous ne décomposerons pas les robotismes comme nous avons décomposé les claudismes dans l'article précédent, car dans l'interface du nouveau classificateur, vous pouvez cliquer sur n'importe quelle partie du texte classé pour voir quelles caractéristiques s'activent sur cette partie du texte et comment elles contribuent au jugement global.

En termes de performance, le chiffre principal est la précision équilibrée de 77%. C'est la fréquence à laquelle le classificateur donne le bon verdict humain vs robot, en supposant que les commentaires écrits par des humains et générés par des robots sont également probables. Le classificateur produit également un pourcentage prédit calibré, ce qui signifie qu'il peut être lu comme la probabilité qu'un verdict spécifique soit correct. Nous testons cela via la courbe de calibrage, qui montre quelle probabilité le classificateur attribue à un événement de probabilité connue. Comme tous les points sont très proches de la diagonale de référence, nous savons qu'ils sont approximativement corrects.

Lorsque le classificateur est très confiant – par exemple lorsque la confiance est de 80% ou plus – le risque de faux positif tombe à 5%. J'ai également testé manuellement un ensemble plus petit et non synthétique de commentaires réels de humains et de robots pour voir comment le classificateur se généralise légèrement hors échantillon. Cela se traduit par une précision de 88%. Bien sûr, tout cela n'est testé qu'avec des commentaires de code. Le classificateur n'est pas conçu pour détecter des textes générés par robots d'autres types.

FAQ : Quelle est la précision équilibrée du nouveau classificateur de commentaires de code IA ?

La précision équilibrée est de 77 %, ce qui signifie qu'il juge correctement humain vs robot 77 % du temps lorsque les deux classes sont également probables.