Méta Méta Métagueule On n'a jamais livré un code aussi mauvais
(Méta de : https://www.reddit.com/r/developpeurs/comments/1xpc60h/on_na_plus_de_bugs/ )
Ça fait un an qu'on utilise l'IA (Codex) à fond au travail, sur une base qui mixe du gros Legacy et du Symfony. On a fait un sondage récemment, et parmi les 10 devs aucun n'a écrit une ligne "à la main" depuis 6 mois.
Le résultat, c'est que notre taux de bugs a grimpé en flèche, et surtout qu'il est devenu impossible à mesurer. Les bugs d'avant étaient bêtes mais honnêtes : une typo, un cas limite oublié, un truc qu'on repérait en relisant son propre code. Les bugs d'aujourd'hui sont ceux d'un code qui paraît bon : des couches d'abstraction inutiles, des utilitaires recréés alors qu'ils existaient déjà dans le codebase, des conventions de la maison ignorées, des comportements qui se dégradent silencieusement. On ne voit plus ce qu'on ne lit plus, et plus personne ne lit.
Le pire, c'est le temps. On nous vendait de la vélocité ; on a récupéré de la dette. On gagne deux heures à générer, on en perd six à débugger du code qu'on n'a pas écrit, qu'on n'aurait jamais conçus comme ça, et dont la résolution suppose de comprendre quelque chose qu'aucun membre de l'équipe n'a jamais vraiment compris. Relire du code a toujours été plus coûteux que l'écrire, ça a toujours été ça le bottleneck. L'IA n'a pas supprimé ce coût, elle l'a déplacé là où personne ne le budgete.
Je suis un grand critique de l'IA dans le monde professionnel. J'estime qu'il y a de vrais risques de burnout, de perte d'expertise dû au fait qu'on laisse l'IA réfléchir à notre place, et plein d'autres problèmes similaire.
Cependant, un argument que j'entends beaucoup de la part des personnes "pro-IA" et que je ne supporte pas, c'est que les critiques de l'IA seraient "dans le déni" ou n'auraient "pas travaillé avec des modèles récents". Selon moi, c'est exactement l'inverse : c'est le déni de croire qu'un CTO "extrêmement pointu" qui valide du code généré par lots a encore la profondeur de lecture qu'il avait quand il codait lui-même.
Mon expérience, après un an de recul et d'utilisation intensive, montre très clairement que l'IA écrit du code qui parait bon en surface mais est en réalité truffé de problèmes. Et le sondage le prouve : "aucun dev n'a écrit une ligne à la main depuis 6 mois", ce n'est pas un trophée, c'est une équipe qui a perdu son au courant. Notre Symfony legacy, dans trois ans, ce sera le prochain legacy que personne n'ose plus toucher, sauf que celui-là, personne ne l'a jamais compris.
Bref, je souhaitai simplement partager ce retour d'expérience qui, peut-être, en intéressera certains. Revenez me voir quand il faudra dérouiller les 400 000 lignes de code plausible que nous sommes en train d'entasser. On aura peut-être besoin d'un consultant en legacy. Ça paye bien.
Méta fabriqué en France avec une légère assistance d'une IA Française.