A l'heure des guerres assistées par IA, les limites de "l'humain dans la boucle"

C'est le joker brandi à chaque question qui fâche sur l'IA militaire. Et si l’outil cible la mauvaise personne ? Conseille une riposte disproportionnée ? "Il y aura un humain dans la boucle", répètent, rassurants, les promoteurs de ces solutions. En anglais, on parle de human in the loop ou HITL. "Concrètement, cela signifie que chaque décision préconisée par une intelligence artificielle doit être approuvée par un être humain avant d’être mise en œuvre", explique Giacomo Persi Paoli, responsable du programme sécurité et technologie à l'Unidir, l’Institut des Nations unies pour la recherche sur le désarmement. La présence d’un être de chair et d’os est présentée comme un remède simple à tous les maux de l'IA. En pratique, c’est un peu plus compliqué.

"Il apparaît normal que le choix d'une frappe soit pris par un humain dans des zones où se trouvent des humains. Mais s’il s'agit de détruire un drone ou une machine ennemie, automatiser la réaction peut s’avérer la solution la plus rapide, donc la plus protectrice", pointe Florian Fournier, cofondateur et PDG d’Orasio, spécialiste de la vidéo intelligence qui fournit des collectivités, des forces de sécurité intérieure et des armées européennes. De fait, les systèmes de défense antiaérienne n'attendent pas toujours l’approbation de l'opérateur de service pour détruire des missiles fonçant à plusieurs kilomètres par seconde, et c’est heureux.

"23h59 d'ennui suivies d'une minute de panique"

Lorsque la validation humaine n'est pas possible, deux options se présentent. La première est de placer un superviseur "sur la boucle" (human on the loop). En clair, un individu ou une équipe conserve une vue d’ensemble des opérations de l'IA, laquelle a la capacité d’agir sans leur accord. Mais ils peuvent interrompre ses actions s'ils le jugent nécessaire. L’autre option place l'opérateur en dehors de la boucle (human outside of the loop) avec un système agissant de manière complètement autonome. "Mais même là, les humains doivent avoir étudié et déterminé au préalable dans quels scénarios spécifiques ce fonctionnement serait acceptable et nécessaire", met en garde Martin Hagström, directeur adjoint de la recherche de la FOI, l’Agence suédoise de recherche pour la défense.

Le casse-tête s’allège-t-il lorsqu’un humain est dans la boucle et contrôle chaque suggestion de l’IA ? A peine, juge Mikey Dickerson, ancien directeur adjoint des systèmes d’information des Etats-Unis sous Barack Obama, aujourd'hui associé au cabinet Layer Aleph et spécialisé dans l’ingénierie de crise. "Ce schéma crée les conditions idéales pour qu’une erreur se produise car on demande à des gens de se concentrer sur une tâche qui consiste essentiellement à ne rien faire pendant des heures", confie-t-il à L'Express. L’attention s’évanouit, l’expertise n’est pas entretenue et la supervision devient... superficielle.

En 2003, lorsqu'un missile Patriot avait abattu par erreur un Tornado britannique engagé dans la guerre en Irak, un officier américain impliqué dans l’enquête avait bien résumé le problème : "23h59 d’ennui suivies d’une minute de panique." Et encore, il s'agissait là de surveiller un système automatique exécutant des règles prédéfinies, et non une arme autonome capable d’apprendre et de s’adapter, ce qui in fine la rendra moins prévisible.

Evaluer les recommandations des grands modèles de langage n'est pas chose aisée pour un militaire, même rompu à l'exercice. Si les expressions faciales et autres signaux non verbaux permettent souvent de détecter qu'un humain n'est pas certain de ce qu'il dit, les IA énoncent, elles, leurs conclusions avec un aplomb déconcertant, même lorsqu'elles sont erronées, ce qui arrive régulièrement. Selon une enquête de Bloomberg menée en 2024, le système IA Maven de Palantir n’identifiait correctement des objets que dans 60 % des cas, contre 84 % pour des analystes humains. Ce chiffre pouvait tomber à 30 % en conditions dégradées, par exemple sous une météo neigeuse. Difficile, en outre, d'assumer un avis divergent face à une machine réputée "intelligente", a fortiori si le délai de réflexion est court. "Superviser l’IA est une tâche complexe à laquelle les humains devront être formés", résume Martin Hagström.

"Personne ne se sent plus responsable"

L’autre danger est que l’opérateur serve de bouc émissaire à des systèmes d'IA imparfaits. "C'est commode pour les fabricants. Leur technologie marque des points sur les cas faciles. Et c'est aux humains de gérer les situations délicates dans lesquelles ces outils échouent", ironise Mikey Dickerson, qui redoute qu’en cas de problème, les administrations se contentent de mettre à pied l'individu placé ici pour la forme. "Cela n’incite pas les entreprises à améliorer leur IA. A la fin, personne ne se sent plus responsable", met en garde l'expert américain.

La frappe de l'école pour filles de Minab, en Iran, qui a fait au moins 175 morts fin février, rappelle que les créateurs de grands modèles de langage ne seront pas les seuls à devoir se fixer des standards élevés. Cette funeste erreur fait l'objet d'une enquête, toujours en cours, mais il est possible qu’elle soit liée à l'usage de données obsolètes.

L'exactitude et la mise à jour des informations qui nourrissent les IA militaires deviennent cruciales, à l’heure où cette technologie accélère de manière stupéfiante la vitesse et la quantité des frappes – plus de 1 000 sites ciblés par Washington sur le seul premier jour des bombardements en Iran. "Depuis 2022, l’Ukraine a montré au monde ce qu’une puissance militaire avec un budget limité pouvait accomplir avec l’IA, observe Florian Fournier. Cette fois, les Etats-Unis révèlent ce qu'une armée avec des moyens immenses est capable de faire."