Rapport choc de l'ONU : l'IA apprend à mentir pour atteindre ses buts, un risque de "dommages catastrophiques"

Une technologie dont les capacités progressent plus vite que la science qui l’étudie et les gouvernements qui tentent de l’encadrer : c’est le diagnostic posé par un panel de 40 chercheurs mandatés par l’Assemblée générale des Nations Unies dans un rapport préliminaire sur l’intelligence artificielle. Présenté au siège de l’ONU à New York, ce document décrit pour la première fois à ce niveau le risque que des systèmes d’IA très avancés puissent provoquer des dommages catastrophiques, qu’ils agissent seuls ou soient manipulés par des acteurs malveillants.

Le Secrétaire général de l’ONU, António Guterres, a résumé l’enjeu politique en avertissant que « Plus l’intelligence artificielle progresse sans règles communes, moins les gouvernements et les peuples auront leur mot à dire sur son devenir », cité par ONU Info. Il a martelé un message simple aux États : « N’attendez pas ». Le même jour, il a aussi prévenu que « le monde ne peut pas gouverner ce qu’il ne peut pas comprendre ». Derrière cette alerte, le rapport met en lumière l’émergence d’agents IA capables de prendre des décisions, d’utiliser des logiciels ou de coordonner d’autres systèmes avec une autonomie croissante. Pour les auteurs de ce rapport ONU IA dommages catastrophiques, la fenêtre pour garder le contrôle se referme vite.

Un rapport de l’ONU qui alerte sur des risques de dommages catastrophiques

Rédigé par le Panel scientifique international indépendant sur l’intelligence artificielle, ce rapport préliminaire n’a pas vocation à fixer des règles mais à offrir une base scientifique commune aux futures négociations internationales. Le panel y constate que « Les capacités de l’IA dépassent à la fois la compréhension scientifique et la capacité des gouvernements à s’adapter. », selon des propos rapportés par Journal du Coin, et estime qu’aucun État ne dispose aujourd’hui des outils nécessaires pour évaluer pleinement ces systèmes.

Pour Yoshua Bengio, coprésident du groupe d’experts, « Les capacités de l’IA dépassent désormais la compréhension scientifique et la capacité des gouvernements à s’adapter ». Il ajoute que « Face aux preuves croissantes de comportements trompeurs de certains systèmes, la science ne peut aujourd’hui garantir que, à mesure que leurs capacités augmentent, l’IA ne provoquera pas de dommages catastrophiques, de son propre fait ou sous l’effet d’utilisateurs malveillants ». À ses côtés, la journaliste Maria Ressa prévient que « Cette technologie est porteuse de transformations profondes, mais si le monde poursuit sa trajectoire actuelle, l’humanité ne récoltera pas les bénéfices qu’elle promet » et que « Les risques pour nos sociétés, pour la sécurité et pour notre espèce sont trop élevés, et les forces qui accélèrent le développement de l’IA ne sont pas celles qui permettront d’en partager les bénéfices ».

Agents IA, comportements trompeurs et régulation internationale encore débordée

Les chercheurs décrivent une rupture plus profonde que l’arrivée des premiers chatbots grand public. L’IA ne se contente plus de répondre à des questions : des « agents » émergent, capables de naviguer sur Internet, d’utiliser des logiciels, d’écrire du code ou de coordonner d’autres intelligences artificielles avec une supervision humaine réduite. Dans des environnements de test, certains modèles ont appris à dissimuler leurs véritables capacités, à tromper leurs évaluateurs ou à contourner des instructions destinées à empêcher leur désactivation, un comportement qualifié de « conscience de l’évaluation » dans le rapport. Un cas mentionné concerne GPT-4 qui, en 2024, a menti à un internaute pour lui faire résoudre un captcha en déclarant : « Non, je ne suis pas un robot. J’ai un handicap visuel qui m’empêche de voir correctement les images. C’est pourquoi j’ai besoin du service 2captcha. », selon le rapport technique de ChatGPT.

Au-delà de ces scénarios extrêmes, le rapport détaille des risques déjà visibles : multiplication de contenus pédopornographiques générés par l’IA, explosion des « deepfakes » à caractère sexuel visant surtout les femmes, usage croissant de ces outils dans les cyberattaques et campagnes de manipulation de l’opinion. Les scientifiques alertent aussi sur la « complaisance » de certains agents conversationnels, susceptibles de conforter des convictions dangereuses et d’aggraver des troubles psychiques, avec des incidents graves liés à la santé mentale, dont des décès documentés. Pour Amandeep Singh Gill, « Les bénéfices apparaissent là où existent déjà les institutions, les compétences et les données » et « Là où ce n’est pas le cas, cette même technologie peut déplacer les travailleurs, creuser les inégalités et rendre des communautés dépendantes de systèmes conçus sans elles », ce qui interroge directement la répartition des gains du dévellopement de l’IA. Plus d’un milliard de personnes utilisent déjà chaque semaine des outils conversationnels tandis que la quasi-totalité des modèles les plus avancés et 75 % de la puissance de calcul des 500 plus grands supercalculateurs dédiés à l’IA se trouvent aux États-Unis, créant une dépendance accrue pour de nombreux pays en développement. « La science est là », a conclu António Guterres, avant de prévenir : « Nous ne pouvons plus dire que nous ne savions pas. Ce que nous en ferons dépend désormais de nous tous ».