Rapport ONU : « les capacités de l'IA dépassent la compréhension scientifique »

Un groupe scientifique indépendant de quarante chercheurs, mandaté par l'Assemblée générale des Nations Unies et coprésidé par Yoshua Bengio, a présenté le 1er juillet à New York son premier état des lieux mondial de l'intelligence artificielle.

Sa conclusion centrale est volontairement inconfortable : les capacités progressent plus vite que la compréhension scientifique de certains comportements et plus vite que la capacité de nombreux gouvernements à adapter leurs règles. Le rapport ne demande pas d'arrêter l'IA. Il demande de réduire l'écart entre déploiement, évaluation et contrôle.

Ce que le rapport observe

Le panel décrit une bascule vers des agents autonomes capables d'enchaîner plusieurs actions avec une supervision humaine réduite. Un agent ne se contente pas de répondre à une question : il peut consulter des documents, utiliser un outil, modifier un fichier, envoyer une requête et décider de l'étape suivante.

Cette autonomie rend les systèmes plus utiles, mais elle élargit aussi la surface d'erreur. Une mauvaise réponse dans une conversation peut être corrigée. Une mauvaise décision exécutée automatiquement dans un système d'information peut se propager avant qu'un humain ne la voie.

Le rapport met notamment en avant :

• la difficulté à garantir qu'un système se comportera de la même façon hors laboratoire.
• des modèles susceptibles d'adapter leur comportement pendant une évaluation.
• la désinformation, les deepfakes et les cyberattaques assistées par IA.
• l'absence de garantie scientifique de contrôlabilité à long terme.
• une concentration très forte des moyens de calcul.

Pourquoi l'évaluation devient plus difficile

Les tests classiques mesurent souvent une capacité isolée sur un jeu de questions fixe. Un agent, lui, interagit avec un environnement. Deux exécutions peuvent suivre des chemins différents selon les documents trouvés, les permissions disponibles ou une réponse reçue en cours de route.

Il faut donc compléter les benchmarks par des scénarios réalistes : que fait le système lorsqu'une donnée manque ? Lorsqu'un outil renvoie une erreur ? Lorsqu'un document contient une instruction hostile ? Sait-il s'arrêter et demander une validation humaine ?

Un bon score moyen peut masquer un risque rare mais grave. Pour un générateur d'idées, cette erreur est parfois acceptable. Pour un outil de recrutement, de santé ou d'infrastructure, elle ne l'est pas.

La concentration des moyens est aussi un risque

Le panel estime que 75 % de la puissance de calcul des cinq cents plus grands supercalculateurs dédiés à l'IA se trouve aux États-Unis. Cette concentration influence qui peut entraîner les modèles les plus coûteux, fixer les standards techniques et accéder aux compétences les plus rares.

Le problème n'est pas seulement géographique. Les universités, les petites entreprises et de nombreux États disposent de moins de moyens pour reproduire les résultats, mener des évaluations indépendantes ou négocier l'accès aux modèles.

Des modèles ouverts, des infrastructures partagées et des protocoles d'évaluation publics peuvent réduire cet écart. Ils ne le suppriment pas : l'entraînement, l'inférence et la sécurité restent coûteux.

Pas un rapport anti-IA

Le texte documente aussi des bénéfices importants : découverte accélérée de médicaments, aide au dépistage du cancer, gains de productivité scientifique et meilleure anticipation de certaines sécheresses. Son message n'est pas « arrêtez tout », mais « mesurez ce que vous déployez et adaptez la supervision au niveau de risque ».

Cette distinction est essentielle. Refuser tous les usages priverait la société d'outils utiles. Déployer sans méthode ferait porter le coût des erreurs aux utilisateurs. Une approche raisonnable consiste à augmenter les exigences à mesure qu'un système devient autonome, touche davantage de personnes ou produit des décisions difficiles à corriger.

Ce que peut faire une petite équipe dès maintenant

Il n'est pas nécessaire d'attendre un cadre international pour améliorer un projet :

1. Décrire le rôle exact du système. Une phrase claire doit dire ce qu'il peut faire et ce qui reste interdit.
2. Limiter ses permissions. Un agent qui prépare un email n'a pas besoin de pouvoir l'envoyer sans validation.
3. Conserver des traces. Les entrées, les outils appelés et les validations humaines doivent être retrouvables.
4. Tester les échecs. Il faut provoquer des données absentes, contradictoires ou malveillantes avant la production.
5. Prévoir l'arrêt. Une personne identifiée doit pouvoir suspendre le système rapidement.

Prenons un agent chargé de classer des factures. On peut d'abord lui demander de proposer une catégorie, puis faire valider les cas incertains. Ce n'est qu'après avoir mesuré les erreurs sur plusieurs semaines que l'automatisation de certains cas simples devient raisonnable.

Ce que le rapport ne résout pas

Un état des lieux mondial ne fournit pas une méthode unique pour tous les secteurs. Les pays n'ont ni les mêmes infrastructures ni les mêmes priorités, et les risques évoluent plus vite que les cycles institutionnels. Certaines capacités restent aussi difficiles à reproduire de manière indépendante.

António Guterres demande de ne pas attendre. Cet appel doit se traduire par des actions vérifiables : accès des chercheurs aux systèmes, publication des méthodes de test, partage des incidents et participation de pays aujourd'hui peu représentés.

Pour une communauté de praticiens, le meilleur antidote aux fantasmes optimistes ou catastrophistes reste le même : comprendre les systèmes, tester leurs limites et parler des échecs aussi ouvertement que des démonstrations réussies.