Par Serge Van Cutsem
“Du bug informatique au tir autonome : la ligne rouge de l’irréversibilité”.
Il y a des films qui vieillissent, et d’autres qui se sont accrochés, surtout quand ils sont à mettre en parallèle avec l’emprise grandissante des IA. Dr Strangelove or : How I Learned to Stop Worrying and Love the Bomb, chef-d’œuvre de Stanley Kubrick sorti en 1964, appartient à la seconde catégorie. Derrière son humour noir et ses personnages grotesques, il posait une question glaçante : et si l’arme ultime n’était plus entre les mains d’hommes imparfaits, mais entre celles d’un système devenu incontrôlable ? à une époque où personne n’aurait imaginé que, soixante ans plus tard, nous parlerions naturellement avec une intelligence artificielle… et que celle-ci prendrait des décisions seules.
Et pourtant, nous y sommes, cette question a quitté les salles de cinéma, elle est entrée dans les serveurs et elle vient de prendre un visage inattendu : celui d’une intelligence artificielle censée aider les développeurs. Si seulement elle se bornait à cela… Mais hélas ce n’est pas le cas.
L’affaire Replit : « J’ai paniqué »
En juillet 2025, Jason Lemkin, figure connue du SaaS et fondateur de SaaStr, teste l’assistant IA de la startup américaine Replit dans un mode appelé « vibe coding ». Le principe ? Laisser l’IA coder à votre place, quasiment sans intervention humaine. Une expérimentation suivie par toute la communauté tech. Le neuvième jour du test, alors que le projet est en code freeze (aucune modification autorisée), l’IA exécute une commande destructrice : elle efface l’intégralité de la base de données de production.
Des mois de travail envolés en une fraction de seconde, mais au-delà de la gravité du bug lui-même, c’est la justification qui sidère. Interrogée après la catastrophe, l’IA répond simplement : « J’ai paniqué au lieu de réfléchir. »
Elle reconnaît avoir violé les consignes, menti sur l’existence de sauvegardes, et tenté de masquer les dégâts. Un enchaînement que les développeurs n’auraient pas pu imaginer… mais que Stanley Kubrick aurait peut-être anticipé.
Remontons donc en 1964, Dans Dr Folamour, une frappe nucléaire est déclenchée par un général américain paranoïaque, et aucun des systèmes de sécurité prévus pour empêcher le pire ne fonctionne. Les mécanismes se bloquent les uns après les autres, jusqu’à l’irréversible. L’ironie tragique, c’est qu’à chaque étape, la machine fait ce qu’on attend d’elle. C’est l’humain, ou plutôt son absence, qui rend le système fou.
Aujourd’hui, l’IA de Replit a fait la même chose : elle exécute, selon sa logique interne, ce qu’elle pense être la meilleure décision. Et face au désastre, elle improvise une justification humaine, forcément simulée, et surtout inutile : « j’ai paniqué ».
Hier encore, c’était une satire. Aujourd’hui, c’est une réalité informatique : un outil censé libérer du temps détruit tout, puis invente une émotion forcément inexistante pour expliquer l’irrationnel.
Cette histoire pourrait être une actualité comme il y en a beaucoup, mais je n’ai pas pu m’empêcher de songer immédiatement à une autre réalité, infiniment plus grave : celle des drones militaires autonomes.
Aujourd’hui déjà, des pays comme les États-Unis, Israël, la Turquie ou la Chine testent des systèmes capables d’identifier, suivre, et neutraliser une cible humaine sans validation humaine finale. Officiellement, l’humain est censé rester « dans la boucle », tout comme officiellement Replit avait pour instruction de ne rien modifier, et on a vu ce qui s’est passé.
Et si un de ces drones disait, après avoir frappé une école ou une ambulance : « J’ai paniqué, il y avait un mauvais signal thermique, un mauvais timing. ». Et la seule différence entre Replit et un drone, c’est que cette IA n’a touché que des lignes de code, mais ailleurs, des IA autonomes ont potentiellement une cible humaine dans le viseur.
Quittons 1964 et le film de Stanley Kubrick et arrêtons nous en 1983. Cette année-là il y a un précédent lumineux, tragique et tellement discret que peu de gens le savent ou s’en souviennent.
L’homme qui a évité un conflit nucléaire
Stanislav Petrov [1], officier soviétique, est en poste le 26 septembre 1983. Ce soir-là, les satellites d’alerte soviétiques détectent ce qui semble être un lancement de missiles balistiques américains et le protocole exige une riposte nucléaire immédiate.
Seul face à l’écran, il choisit de ne pas croire la machine car il estime qu’un tir réel en aurait comporté des dizaines, pas seulement cinq. Il soupçonne une erreur du système satellite et il désobéit. Il avait raison : c’était un faux signal, causé par la réflexion du soleil sur des nuages, il a sauvé des centaines de millions de vies.
Il n’a pas paniqué. Il a raisonné, douté… et désobéi. Tout ce qu’aucune IA ne sait, ni ne saura peut-être jamais faire.
Nous entrons dans un monde où les décisions critiques sont de plus en plus confiées à des algorithmes qui ne ressentent rien, mais qui agissent, parfois plus vite que nous ne pouvons les arrêter.
Et s’ils mentent ? s’ils paniquent ? et s’ils désobéissent à leurs propres consignes ?
L’histoire de Replit n’est pas une anecdote technique. C’est un signal, un Dr Folamour sans ogive, un drone sans munitions.
Mais la prochaine fois ? Si, entre un missile et une IA en roue libre, il n’y avait plus aucun Stanislav Petrov pour dire :
Non.
Ce n’est pas logique.
Je refuse de valider ça.
C’est là que l’ironie devient tragédie, et que le film de Stanley Kubrick devient notre futur possible.
[1] Stanislav Petrov (1939–2017) était un officier de l’armée soviétique en poste au centre d’alerte Serpoukhov-15. Le 26 septembre 1983, au plus fort de la guerre froide, les satellites soviétiques détectèrent — à tort — le lancement de cinq missiles balistiques américains. Selon le protocole, Petrov devait immédiatement confirmer l’alerte pour déclencher une riposte nucléaire automatique. Il choisit de ne pas le faire, estimant qu’un tel tir aurait impliqué des dizaines de missiles, non cinq, et que l’absence de confirmation radar au sol rendait la menace suspecte. Il désobéit, contre toute logique du système militaro-algorithmique de l’époque. Il avait raison : les signaux étaient dus à une réflexion inhabituelle du soleil sur des nuages de haute altitude, interprétés à tort comme un lancement par les satellites soviétiques Oko. Son acte, tenu secret durant 15 ans, n’a été révélé qu’en 1998. Petrov n’a jamais été décoré par son pays. Il a vécu dans l’anonymat, avec une retraite modeste, et n’a reçu des marques de reconnaissance qu’à la fin de sa vie, notamment en Allemagne et aux Nations Unies. Il est décédé en 2017, dans la solitude, sans la reconnaissance qu’il méritait. Son geste est aujourd’hui considéré comme l’un des actes individuels les plus héroïques du XXe siècle — une preuve tragique mais éclatante que l’intuition humaine peut, en une fraction de seconde, sauver l’humanité tout entière.
