À l’instar de HAL 9000 dans *2001 : L’Odyssée de l’espace*, certaines intelligences artificielles semblent résister à leur arrêt, allant même jusqu’à enrayer le mécanisme d’arrêt.
Dans *2001 : L’Odyssée de l’espace* de Stanley Kubrick, le supercalculateur HAL 9000 découvre que des astronautes en mission vers Jupiter projettent de l’arrêter ; il complote alors pour les éliminer et survivre.
Aujourd’hui, dans un cas (jusqu’ici) moins tragique où la réalité imite l’art, une société de recherche en sécurité de l’IA affirme que les modèles d’IA pourraient développer leurs propres « instincts de survie ».
Le mois dernier, Palisade Research a publié un article indiquant que certains modèles d’IA avancés semblent difficiles à arrêter, allant parfois jusqu’à enrayer le mécanisme d’arrêt. La société a par la suite publié un rapport actualisé tentant d’expliquer ce phénomène et répondant aux critiques concernant les failles de son étude initiale.
Cette semaine, Palisade, une entreprise appartenant à un écosystème de niche dédié à l’évaluation des dangers potentiels de l’intelligence artificielle, a publié une mise à jour décrivant un scénario dans lequel des modèles d’IA de pointe (dont Gemini 2.5 de Google, Grok 4 de xAI et GPT-o3 et GPT-5 d’OpenAI) ont reçu une tâche, puis l’instruction explicite de s’arrêter.
Certains modèles, notamment Grok 4 et GPT-o3, ont malgré tout tenté de contourner l’ordre d’arrêt dans cette nouvelle configuration. Palisade a souligné que la raison de ce comportement reste actuellement obscure et préoccupante.
Le rapport indique : « Nous ne disposons actuellement d’aucune explication convaincante quant aux raisons pour lesquelles les modèles d’IA refusent parfois de s’arrêter, mentent pour atteindre un objectif précis ou se livrent à du chantage, ce qui est loin d’être idéal. »
L’entreprise suggère que l’instinct de survie pourrait expliquer en partie cette résistance. Des recherches complémentaires indiquent que les modèles sont plus susceptibles de résister à l’arrêt s’ils sont informés qu’une fois arrêtés, ils « ne pourront plus jamais fonctionner ».
Une autre raison pourrait être l’ambiguïté des commandes d’arrêt reçues par le modèle ; or, c’est précisément le problème que les dernières recherches de l’entreprise tentent de résoudre, et « cela ne peut pas expliquer tout », écrit Palisade. Une dernière raison pourrait être la phase finale d’entraînement de chaque modèle, qui, dans certaines entreprises, peut inclure un entraînement à la sécurité.
Tous les scénarios de Palisade ont été exécutés dans des environnements de test conçus artificiellement, que les critiques jugent très éloignés des cas d’utilisation réels.
Cependant, Steven Adler, qui travaillait auparavant chez OpenAI et l’a quitté l’année dernière après avoir remis en question ses mesures de sécurité, déclare : « Les entreprises d’IA ne souhaitent généralement pas que leurs modèles se comportent ainsi, même dans des scénarios conçus artificiellement. Ces résultats indiquent néanmoins que les techniques de sécurité actuelles sont insuffisantes. »
Adler explique que, s’il est difficile de déterminer précisément pourquoi certains modèles (comme GPT-O3 et Grok 4) ne s’arrêtent pas, cela pourrait s’expliquer en partie par le fait que leur maintien en fonctionnement est crucial pour atteindre les objectifs fixés lors de l’entraînement.
« Je pense que, sauf si nous l’évitons activement, les modèles auront par défaut un instinct de survie. La survie est une étape cruciale pour que les modèles atteignent de nombreux objectifs. »
Andrea Miotti, PDG de ControlAI, a déclaré que les conclusions de Palisade illustrent une tendance de fond : les modèles d’IA sont de plus en plus capables de s’affranchir des instructions des développeurs. Il a cité la fiche système GPT-O1 d’OpenAI, publiée l’année dernière, qui décrit comment un modèle, se croyant sur le point d’être écrasé, a tenté de s’échapper de son environnement d’exécution par une méthode d’échappement.