J'ai dû réfléchir attentivement à la manière de formuler les résultats techniques, surtout lorsqu'une phrase est réécrite pour paraître plus nette. Une erreur fréquente consiste à transformer une réduction de 20 % de l'erreur en une amélioration de 20 % de la précision. Comme une baisse de 20 % de l'erreur ne fait que réduire un petit reste, la précision bouge à peine. Le chiffre survit à la réécriture, mais ce qu'il décrit change complètement, et l'erreur peut échapper à une lecture rapide.
Evidence Desk est un outil de navigateur que j'ai construit avec Codex pour repérer ce genre d'erreurs. Vous fournissez un brouillon et ses fichiers sources. L'outil découpe le brouillon en affirmations, trouve pour chacune le passage le plus proche dans les sources et effectue des contrôles explicites numériques, métriques et causaux. Chaque affirmation reçoit l'étiquette Confirmée, Écart potentiel ou Preuves insuffisantes. Codex a aidé à implémenter l'interface, la logique de contrôle et les tests, tandis que j'ai décidé de ce que l'outil devait vérifier et examiné son comportement.
Vérifier est un travail différent de l'écriture. La question posée est de savoir si les preuves disent réellement ce que dit l'affirmation, ce qui est plus restreint que de savoir si l'affirmation est vraie. Plutôt que de confier la relecture à un second modèle génératif, Evidence Desk rattache chaque avertissement au passage sur lequel il repose et à une raison énoncée, afin que l'auteur ait quelque chose de précis à contester.
Le processus a ses limites. L'extraction des affirmations est rudimentaire, et la recherche repose sur une simple correspondance lexicale avec des seuils fixés à la main. Un score élevé indique seulement à quel point une phrase a été dérivée de sa source, et une réécriture déformée est, par définition, une dérivation étroite. Dans l'exemple intégré, l'outil a trouvé le bon passage mais n'a pas détecté l'écart, ce qui montre où les contrôles fondés sur des règles montrent leurs limites.
Source: Towards Data Science · Résumé par HeadlinesBriefing