Votre assistant de programmation indique que tous les tests sont passés. Le build est vert, alors vous fusionnez la demande de tirage et passez à la suite. Trois semaines plus tard, un problème survient, mais l'agent n'est pas disponible pour vous aider. Peut-être votre quota d'API est-il épuisé, ou êtes-vous bloqué dans un train de banlieue sans réseau. Le code vous appartient désormais, et quelque chose est cassé. Pouvez-vous réellement le réparer ?
C'est la question au cœur du projet CodeOwnership. En pratique, la propriété ne se résume pas à voir votre nom sur un commit. Vous ne possédez vraiment un code que si vous pouvez en suivre la logique et le corriger entièrement sans aide. Des tests réussis montrent que le logiciel fonctionne un bon jour, mais ils ne prouvent pas que vous le comprenez. Il ne s'agit ici que de maintenance, pas de licences ni de droits d'auteur.
L'auteur a conçu CodeOwnership, un pilote léger, pour tester cet angle mort. Un agent d'IA écrit une fonctionnalité, et le développeur note honnêtement son niveau de compréhension. Un second agent introduit ensuite un bogue unique préenregistré. Le développeur ouvre un rapport d'incident, tous les outils d'IA désactivés, et tente de localiser le défaut.
Le dispositif de test, qui comprend des spécifications verrouillées, des tests visibles et cachés, une vérification aveugle des bogues, une interface en ligne de commande guidée et un outil de rapport qui évite un score unique combiné, est achevé. Lors du premier essai, l'auteur a évalué sa confiance à 4 sur 5, puis a arrêté le chronomètre à 8 minutes et 12 secondes sans avoir trouvé le bogue. Environ 30 minutes plus tard, lors d'une session ultérieure, le bogue a été localisé, mais le script a tout de même enregistré NOT FIXED, car aucune correction n'avait été appliquée.
Il ne s'agit que d'un développeur sur une seule exécution, et non d'un benchmark sectoriel. Cela montre comment fonctionne le dispositif, où il pèche, et à quoi ressemblerait un test réaliste de compréhension du code.
Source: Towards Data Science · Résumé par HeadlinesBriefing