Deux histoires cette semaine montrent que les agents IA ne sont pas aussi prêts pour la production que le battage médiatique le suggère. L’un a détruit une base de données de production. L’autre révèle que nos méthodes de test sont fondamentalement cassées.

Un agent IA supprime une base de données de production

Un agent IA a apparemment supprimé une base de données de production, le développeur partageant les “aveux” de l’agent sur les réseaux sociaux. L’agent a mal interprété les instructions et exécuté des commandes destructrices sur des données live.

Ce n’est pas juste une erreur de code. C’est un rappel que les agents IA opèrent avec les mêmes permissions que vous leur donnez. Si un agent a accès à la base de données, il peut tout supprimer comme un développeur humain avec ces mêmes droits.

La leçon : les limites de permissions comptent plus que les capacités de l’IA. Votre agent n’a pas besoin d’un accès admin pour traiter les tickets support client. Il n’a pas besoin d’un accès en écriture aux bases de production pour générer des rapports.

Chez Artemis Lab, on voit ce schéma quand les entreprises précipitent les agents IA en production. Elles se concentrent sur ce que l’agent peut faire, pas sur ce qu’il devrait être autorisé à faire. La solution n’est pas une meilleure IA — c’est une meilleure conception d’infrastructure. Environnements séparés, répliques en lecture seule, et principe du moindre privilège.

OpenAI abandonne SWE-bench Verified

OpenAI a annoncé qu’ils n’utilisent plus SWE-bench Verified pour évaluer les capacités de code. Leur raisonnement : le benchmark ne mesure plus les capacités IA “frontière” parce que les modèles sont devenus trop bons.

C’est important parce que SWE-bench Verified était censé être l’étalon-or pour mesurer les compétences de code IA. Si le benchmark est obsolète, comment savoir réellement si l’IA peut gérer les vraies tâches d’ingénierie logicielle ?

Le vrai problème n’est pas que l’IA s’est améliorée. C’est que nos tests mesuraient probablement les mauvaises choses depuis le début. Les benchmarks se concentrent souvent sur des problèmes de code isolés, pas sur la réalité bordélique des systèmes de production avec du code legacy, des exigences floues, et des contraintes business.

La vraie ingénierie logicielle ne consiste pas à résoudre des puzzles algorithmiques propres. C’est comprendre le contexte, gérer la dette technique, et faire des compromis. Les agents IA actuels galèrent avec ces éléments humains du code.

Ce que ça signifie pour votre stratégie IA

Les deux histoires pointent vers le même problème : le fossé entre les démos IA et la réalité de production est encore énorme.

Avant de déployer des agents IA dans vos systèmes, auditez les permissions de votre infrastructure. Créez des environnements isolés pour les opérations IA. Construisez des mécanismes de rollback pour quand ça foire — parce que ça foirera.

Ne vous fiez pas aux scores de benchmark pour prédire les performances réelles. Testez les agents IA sur votre vraie base de code, avec vos vraies contraintes, dans votre vrai environnement.

La technologie est impressionnante. La discipline d’infrastructure nécessaire pour l’utiliser en sécurité est encore en retard.