L’utilisation d’assistants de codage IA ralentirait le travail des développeurs expérimentés d’environ dix-neuf pour cent, selon une étude de METR.
L’intelligence artificielle est souvent considérée comme un outil pour accélérer les tâches. Cependant, il s’avère que ce n’est pas le cas pour les développeurs de logiciels. Selon une étude de l’organisation américaine Model Evaluation & Threat Research (METR), les développeurs de logiciels travaillent dix-neuf pour cent plus lentement avec l’IA que sans.
Une autre étude d’Uplevel a montré des résultats similaires, à savoir que les assistants de codage IA n’ont pas augmenté la productivité, mais ont entraîné 41 % de bugs supplémentaires dans le code.
Plus lent avec l’IA
L’étude a été menée auprès de seize développeurs expérimentés issus de grands dépôts open-source auxquels ils ont contribué pendant plusieurs années. « Étonnamment, nous constatons que lorsque les développeurs utilisent des outils d’IA, ils mettent 19 % de temps en plus que sans : l’IA les ralentit », selon un chercheur de METR. « C’est un ralentissement considérable qui va à l’encontre des convictions des développeurs et des prédictions des experts. »
Une autre découverte frappante de l’étude est l’écart entre perception et réalité. Les développeurs s’attendaient en effet à ce que l’IA les accélère de 24 %. Même lorsqu’ils avaient expérimenté un ralentissement, ils croyaient encore que l’IA les avait accélérés de vingt pour cent.
Facteurs déterminants
Selon l’étude, le ralentissement peut être attribué à divers facteurs. Il existe un « optimisme excessif quant à l’utilité de l’IA », ce qui a conduit les développeurs à avoir des attentes irréalistes. De plus, les participants étaient si expérimentés que l’aide de l’IA ne leur apportait peut-être rien. Un autre facteur possible est lié à la faible fiabilité de l’IA. Les développeurs n’ont accepté que moins de 44 % des suggestions générées, mais ont passé beaucoup de temps à les nettoyer et à les évaluer.
lire aussi
Coder plus intelligemment avec l’agent IA Codex dans ChatGPT
« Le ralentissement que nous observons ne signifie pas que les outils d’IA actuels n’améliorent pas souvent la productivité des développeurs – nous trouvons des preuves que la grande familiarité des développeurs avec les dépôts et la taille et la maturité des dépôts contribuent toutes deux au ralentissement observé, et ces facteurs ne s’appliquent pas dans de nombreux environnements de développement logiciel », concluent les chercheurs.