Mais pourquoi l’IA est-elle utilisée pour faire la guerre ?, demande le sociologue Ori Schwarz dans un passionnant article pour Big Data & Society, en observant l’usage qu’en a fait l’armée israélienne à Gaza (voir notre dossier L’IA ça sert, d’abord, à faire la guerre). Qu’apporte-t-elle, que permet-elle que les techniques de guerre traditionnelle n’apportent pas ? 

Pour le chercheur, l’IA a été utilisée pour accélérer la génération de cibles, car l’armée israélienne a adopté une doctrine axée sur la « létalité » (visant à maximiser le nombre de victimes) tout en intégrant le droit international humanitaire (qui impose de distinguer les cibles militaires des civils). L’IA n’était pas tant requise pour personnaliser le traitement, que pour justifier d’un traitement uniforme en créant des justifications adaptées, explique-t-il. Elle a été instrumentalisée pour légitimer tueries et destructions de masse en fusionnant et en analysant automatiquement des données pour transformer des milliers d’individus et de bâtiments en cibles légitimes assorties de scores de probabilité individuels. 

Pour le chercheur, le profilage, la « singularisation automatisée » (que proposait le sociologue allemand Andreas Reckwitz dans son livre, The Society of Singularities, Polity, 2020), c’est-à-dire le fait que chacun soit traité différemment selon les données récoltées sur lui, est utilisée avec succès dans tous les domaines que le numérique transforme (marketing, médecine, tarification…). Mais, alors que le profilage ne cesse de promettre une distinction plus précise, il permet finalement de générer des effets de masses désastreux, comme dans le cas des destructions lors de la guerre à Gaza, brouillant la distinction entre cibles militaires et populations protégées. « Plus de 71 000 Palestiniens ont été tués, selon les chiffres officiels palestiniens et les estimations de l’armée israélienne. Mais seuls 20 % d’entre eux seraient des militants du Hamas alors que près de la moitié des victimes seraient des femmes et des mineurs. Des milliers d’autres sont portés disparus et d’autres encore sont morts de maladie et de malnutrition. Près de 2 millions de personnes ont perdu leur logement, la plupart des bâtiments résidentiels de Gaza ayant été détruits ou gravement endommagés. L’ampleur des pertes civiles a conduit la Cour internationale de Justice à saisir Israël pour violation présumée de la Convention sur le génocide. » 

Une grande partie de ces victimes et destructions visait des cibles identifiées par les services de renseignement israéliens grâce à une utilisation sans précédent de technologies numériques sophistiquées. Schwartz y voit un paradoxe. D’un côté, l’armée israélienne s’est vantée d’effectuer la sélection des cibles à l’aide d’outils d’IA et d’analyse de données les plus sophistiqués pour identifier des cibles humaines et des infrastructures liées au Hamas ; pourtant, le résultat de cet investissement sans précédent dans un ciblage sophistiqué donne l’impression d’une destruction et de tueries massives et indiscriminées. « Si l’objectif est de tuer sans distinction, pourquoi une technologie aussi avancée est-elle nécessaire ? » 

Pour Schwarz, si l’IA est utilisée pour procéder à des tueries de masse, c’est justement en raison de sa capacité de distinction : « en singularisant les justifications de tueries indiscriminées, elle produit de la distinction au service de l’indiscrimination ». Cela se produit parce que les effets sociaux de l’IA ne sont pas prédéterminés par les caractéristiques technologiques, mais façonnés par les contextes juridique, structurel, culturel, politique et moral dans lesquels la technologie s’inscrit. En particulier, les tueries et les destructions indiscriminées découlent de la construction politique de « cibles ». À une époque où le droit international humanitaire ainsi que les normes éthiques et professionnelles militaires exigent de ne viser que des « cibles » légitimes, l’impact du big data sur la guerre ne consiste pas nécessairement à réduire les massacres et les destructions en trouvant « l’aiguille dans la botte de foin », comme on l’affirme généralement. Mais, tout le contraire : « il s’agit de transformer le foin en aiguilles, en « incriminant » presque tous habitants ou tous les immeubles résidentiels par l’élaboration d’un récit singulier les associant exclusivement à l’ennemi, légitimant ainsi une destruction indiscriminée. » Pour le chercheur, les massacres et les destructions ne s’expliquent pas uniquement par ces développements technologiques bien sûr, mais la justification technique a permis de renforcer les dynamiques politiques en cours. 

Les raisons du succès de l’élimination ciblée

Longtemps, les assassinats extrajudiciaires se limitaient à de rares opérations clandestines visant des opposants de haut rang, rappelle le chercheur. Puis l’élimination ciblée s’est transformée en une politique déclarée, systématiquement mise en œuvre à une échelle toujours plus vaste. 

Cette politique s’appuie sur trois principes. Premièrement, l’individualisation de la guerre : l’affrontement est requalifié en une action de police ou de poursuite judiciaire visant des individus. Les individus deviennent des cibles non pas en raison de leur statut (appartenance à une force armée ennemie), mais en raison de leur comportement ou de la menace qu’ils représentent. Chaque individu reçoit un score qui détermine son implication quelque soit les biais du calcul. Et la valeur que l’on attribue à cette implication peut varier. 

Deuxièmement, la juridicisation de la guerre : face à la complexité croissante du droit international humanitaire, les armées ont intégré des juristes à leurs équipes pour protéger leurs personnels des poursuites. Désormais, il faut pouvoir établir la légalité des attaques, au regard de principes de nécessité, de proportionnalité et de distinction. Tout en trouvant des modalités pour interpréter le droit international de manière extensive… La juridicisation a conduit à devoir collecter des données pour établir la légalité des ciblages. 

Troisièmement, le transfert de risque vise à minimiser le risque pour les soldats en les transférant aux civils ennemis, par exemple en recourant à des bombardements aériens, de préférence par drones, plutôt qu’à des combats terrestres ou à des arrestations. « Depuis 2000, l’ampleur des « assassinats ciblés » a connu une croissance spectaculaire, passant de quelques dizaines à plusieurs milliers de victimes. Cette augmentation est due à l’élargissement controversé de la définition des cibles légitimes », qui a inclus les membres non combattants d’organisations terroristes, puis les civils ayant contribué indirectement aux hostilités. Cet élargissement a engendré un nouveau défi que les systèmes d’IA ont cherché à relever par le scoring : prouver le lien de la cible avec l’organisation ennemie. Si ce lien était évident lorsqu’il s’agissait de cibler des commandants de haut rang, il est devenu de plus en plus difficile à prouver à mesure que le nombre de cibles augmentait. Ce n’est qu’au cours de la guerre de Gaza de 2023, avec la décision d’attaquer des dizaines de milliers de jeunes militants du Hamas, que la nécessité de vérifier si la cible envisagée pour un assassinat avait un lien quelconque avec une organisation terroriste, s’est imposée. « L’utilisation du big data a transformé les cibles d’exécutions extrajudiciaires, passant d’individus isolés (des personnes importantes et connues) à des cas regroupés en clusters dynamiques calculés par des algorithmes. Si les « assassinats ciblés » requièrent certaines technologies de renseignement et de surveillance, l’analyse des mégadonnées a été progressivement introduite, d’abord pour réduire le taux élevé d’erreurs d’identification humaine, puis, à plus grande échelle, pour rationaliser les opérations d’assassinat, en réduire les coûts et en étendre la portée ». Bien que l’utilisation de l’IA pour « incriminer » des cibles repose sur l’individualisation et la juridicisation de la guerre, la quantification automatique des risques entre en conflit avec des principes juridiques fondamentaux tels que le raisonnement, la réflexion et la prise de décision contextualisée. Les chercheurs critiques Nicola Perugini et Neve Gordon affirment que les assassinats ciblés reposent sur un « dispositif de distinction » conçu pour désigner des cibles humaines à des fins militaires en identifiant des « anomalies » dans les relations entre les données, c’est-à-dire en surveillant les comportements et en repérant les irrégularités. Les écarts statistiques sont alors considérés comme des écarts normatifs passibles de la peine de mort, comme l’expliquait le politologue Hendrik Huelss. 

Avant même leur automatisation, les assassinats se fondaient déjà sur l’identification de schémas de vie associés au terrorisme. La surveillance et les données permettent de requalifier des individus, auparavant considérés comme des « civils » protégés, en cibles ennemies jugées moralement et légalement abattables, même lorsqu’ils ne participent pas directement aux hostilités. Eric Bonds a qualifié ce phénomène de « violence humanisée », une nouvelle forme de violence qui se manifeste à la fois par une pratique (fondée sur la surveillance et les technologies d’élimination de précision) et par un discours de légitimation (qui s’appuie sur le langage des droits de l’homme et qui, comme le présente ses partisans, paraît rationnel, mesuré et humain, car ils s’efforcent de minimiser les dommages causés aux civils innocents en évaluant les dommages collatéraux prévus de chaque frappe par rapport à son avantage militaire). Ceci produit un « effet paradoxal » : le strict respect des procédures et des critères juridiques (qui interdisent de cibler les civils ne participant pas aux hostilités et exigent que les dommages causés aux civils soient minimaux) tout en permettant de les contourner. 

Le scoring pour renforcer la tolérance à l’intolérable

Le paradoxe, c’est que la justification par le calcul renforce la tolérance à l’égard des meurtres de civils. « L’utilisation de technologies avancées visant à réduire les dommages causés aux civils (par exemple, la reconnaissance faciale pour éviter les erreurs d’identification et l’imagerie satellitaire pour estimer les dommages collatéraux et calculer la proportionnalité avec une précision actuarielle) et le recours à des calculs proportionnels à l’avantage militaire renforcent la légitimité et la tolérance à l’égard des meurtres de civils ». 

En effet, ces calculs rendent chaque attaque juridiquement justifiée et les décès de civils regrettables, mais légitimes. Les efforts déployés pour minimiser les « dommages collatéraux » (en avertissant les civils avant les attaques et grâce aux calculs de proportionnalité) présentent les incidents ayant entraîné de nombreuses victimes civiles comme des accidents involontaires comme l’explique Craig Jones dans son livre The War Lawyers (Oxford University Press 2020 ou Yael Levy, dans le sien Shooting without crying: The new militarization of Israel in the 2000s, 2023). Et la numérisation renforce considérablement cette légitimation : les scores calculés par algorithme bénéficient d’une aura d’objectivité et de confiance en raison de la confiance bien documentée accordée aux chiffres – notamment par l’historien des sciences Theodore Porter dans son livre, La confiance dans les chiffres (Les Belles lettres, 2017). En convertissant l’incertitude quant aux dommages potentiels causés aux citoyens en « risques » mesurables, les algorithmes transforment les dilemmes moraux en procédures technico-informatiques et finalement réduisent les doutes moraux et la réflexivité, comme le montrait Lucy Suchman dans un article de recherche. Finalement, le ciblage automatisé permet de légitimer les frappes, qu’importe les dégâts qu’elles causent. Or, la violence « humanisée » tue principalement des civils (60 % à 90 % des décès sont des « dommages collatéraux » expliquaient déjà Perugini et Gordon, rappelant également qu’elle est imprécise et surtout qu’elle restreint les catégories protégées tout en légitimant le meurtre). 

Contrairement aux tirs des chars, les frappes aériennes contres des cibles spécifiées par le renseignement sont soumises aux principes du droit international humanitaire qui définit les conditions de la légitimité de la violence militaire et doivent donc être traduit en procédures formelles qui encadrent la définition des cibles. Le droit humanitaire repose notamment sur des principes de distinction (ne cibler que les cibles militaires dont l’attaque procure un avantage militaire, et non les civils ou les infrastructures civiles), de proportionnalité (interdire les attaques qui causent des dommages disproportionnés aux civils par rapport à l’avantage militaire obtenu) et de précaution. Mais une autre doctrine est venue également changer le cours de la guerre : la doctrine de la létalité. Plus que le contrôle du terrain, le nombre de morts ennemis est devenu le principal critère d’évaluation des opérations militaires ou des performances des unités. L’industrialisation de l’extermination de précision, défendue par Aviv Kokhavi, chef d’état major de l’armée israélienne, exigeait la production en masse de cibles pour les frappes aériennes. Mais la cible, même légitime, est une construction politique et sociale, comme le montrait l’article de +972 Magazine, qui évolue selon le contexte, à l’image des dommages collatéraux afférents autorisés ou du niveau du scoring qui transforme un soupçon en cible. 

En effet, les procédures utilisées pour transformer des personnes ou des bâtiments en cibles impliquent divers acteurs s’intégrant à un réseau : non seulement les définitions juridiques, les concepts moraux et les agents de renseignement, mais aussi les documents de renseignement, les technologies de surveillance qui les produisent et les technologies utilisées pour les traiter et les analyser. La construction des cibles n’étant pas uniquement un processus social, les évolutions technologiques peuvent la transformer. Et le scoring est justement en passe de devenir le facteur d’accélération. 

Comment l’IA a-t-elle modifié la construction des cibles, qui n’est pas uniquement un processus social ? Lors de la guerre de Gaza, Israël a utilisé deux types de systèmes d’IA distincts, l’un pour les cibles d’infrastructure et l’autre pour les cibles humaines, explique Schwarz. Ces systèmes avaient des historiques différents, mais présentaient de nombreux points communs. Les personnes interrogées ont souligné que ces deux systèmes ne prenaient pas de décisions à la place des humains, mais accéléraient la production de cibles de deux manières : en fusionnant les informations provenant de sources multiples et en rendant accessibles aux analystes toutes les informations pertinentes concernant chaque cible potentielle ; et en classant les cibles potentielles selon leur probabilité estimée. Ainsi, les analystes humains peuvent se concentrer exclusivement sur les cibles les plus susceptibles d’être approuvées : « [Supposons] que vous disposiez d’un milliard d’informations et que (…) vous n’ayez que 100 cibles alors que vous avez 10 000 candidats. Alors, à quoi sert l’IA ? À une seule chose : les trier par ordre de priorité. (…) [L’ordinateur] a pris les 10 000 suspects, a examiné quelques milliers de cas avérés et [a reçu l’instruction de trier] tout ce qui se ressemble sur tous les points. Ensuite, la machine établit les priorités, c’est tout. Une fois les priorités établies, elle indique aux services de renseignement : vérifiez ceci, cela et cela. Attribuez une file d’attente. (…) Cela signifie que le travail est rationalisé. Mais aucune machine ne décide », déclarait un officier de l’armée israélienne. 

Ce discours humaniste et anthropocentrique, également fréquent dans les déclarations de Tsahal sur l’IA, minimise le rôle de la technologie, la réduisant à un simple outil au service d’objectifs humains. L’armée israélienne a décrit le système d’IA « Gospel » comme un simple « outil technique destiné aux analystes du renseignement », car sa traçabilité et son intelligibilité permettent aux analystes d’examiner eux-mêmes les éléments de renseignement sur lesquels reposent ses recommandations. Cependant, même une délégation partielle du ciblage peut avoir des conséquences plus importantes : d’une part, les pressions organisationnelles de niveau intermédiaire en faveur de l’efficacité et les biais d’automatisation de niveau micro peuvent conduire les analystes humains à approuver les recommandations du système de manière quasi automatique (comme nous le disions dans la seconde partie de notre dossier) ; d’autre part, les outils ne se contentent pas de réaliser les objectifs des utilisateurs, mais les façonnent également en proposant de nouvelles pistes d’action permettant l’accélération. Yossi Sariel, ancien commandant de l’unité de renseignement 8200 de Tsahal, a soutenu que l’accélération est l’une des deux principales contributions de l’automatisation informatique au renseignement. Selon lui, la production d’un plus grand nombre de cibles est nécessaire pour exercer une pression constante sur l’ennemi et le vaincre, mais l’intervention humaine constitue un goulot d’étranglement, car la création d’un tel nombre de cibles exigerait des milliers d’enquêteurs traitant et analysant les données pendant des années. Pour lever cet obstacle, il faudrait une « équipe homme-machine » capable de constituer une base de données de dizaines de milliers de cibles et d’en générer des milliers d’autres chaque jour de combat, comme il l’expliquait dans son livre éponyme. La seconde contribution identifiée par Sariel est la prédiction, définie comme le fait de « compléter les informations manquantes » à partir des tendances observées dans les données massives. La prédiction n’est donc pas seulement orientée vers l’avenir (prédire qui commettra un attentat-suicide), mais surtout vers le présent et le passé (prédire où des armes ont été dissimulées). Les prédictions revêtent alors une importance épistémologique : « elles permettent d’incriminer des personnes et des lieux sur la base d’informations incriminantes inconnues, déduites d’éléments non incriminants connus ». L’IA sert à la production d’inférences, de décisions probabilistes que leur niveau de probabilité valide. 

La probabilité sert à générer les cibles et intensifier les frappes

La génération par IA de cibles d’infrastructures (de bâtiments) s’effectue au sein de la Direction du ciblage de l’armée israélienne, créée en 2019, explique Schwarz. Cette création faisait suite à un rapport du Contrôleur de l’État indiquant que la banque de cibles disponible au début de la guerre de 2014 entre Israël et le Hamas était bien inférieure au potentiel réel. Une personne interrogée a expliqué les raisons de la création de cette direction en ces termes : « On veut disposer d’une banque de cibles de qualité, que l’on peut frapper pour contraindre le Hamas à capituler » ; or, en 2014, « cela ne s’est pas passé ainsi : il a fallu envoyer des troupes au sol ». L’armée et les médias israéliens ont présenté cette direction et le système d’IA « Gospel » comme la solution. 

Lors des conflits précédents, la banque de cibles s’épuisait après quelques jours ou semaines de bombardements intensifs, limitant le volume de tirs. La direction a promis de remédier à ce problème en accélérant et en rationalisant la génération de cibles, tant avant que pendant les hostilités, afin de « transformer la capacité de destruction de Tsahal en un système industriel » capable de « détruire des milliers de cibles chaque jour », explique un article de Ynet, l’un des journaux en ligne hébreu. Pour y parvenir, Gospel fusionne des milliards de données provenant de sources variées (et notamment du renseignement, telles que des appels téléphoniques interceptés et des photographies aériennes), identifie des cibles potentielles grâce à l’apprentissage automatique (en se fondant sur leur ressemblance avec des cibles précédemment validées) et les classe selon la probabilité qu’il s’agisse de cibles légitimes et de qualité. Ces recommandations classées sont ensuite transmises à des analystes humains pour décision, puis à des officiers supérieurs pour approbation.

Cette automatisation partielle accélère considérablement la génération de cibles. Un officier supérieur du renseignement a noté : « Gospel dispose d’une interface utilisateur très simple qui organise la file d’attente des cibles en fonction de la probabilité et de l’importance. Ainsi, l’opérateur humain reçoit simplement une liste établie par la machine, indiquant la probabilité qu’il s’agisse d’une cible valide ainsi que son importance. Le système fonctionne par scores. Par exemple, il s’agit d’une cible avec une probabilité de 80 % ou de 30 %. La machine émet donc une recommandation : « À mon avis, c’est une cible. » L’opérateur prend alors le relais, vérifie le processus suivi par la machine, exerce son jugement – car la machine peut parfois commettre des erreurs – et décide finalement s’il s’agit bien d’une cible. »» Un autre officier a expliqué que la priorisation automatisée était devenue nécessaire en raison de la « croissance exponentielle » du volume de données (consécutive à la numérisation, à la « datafication » et à l’impératif de collecter et d’analyser toutes les données), rendant l’analyse humaine impossible : « Que faire ? Recruter 50 000 agents de renseignement ? Nous ne les avons pas. Alors, utilisons un bon ordinateur pour effectuer la priorisation à notre place. En somme, c’était la mission assignée à la Direction du ciblage. » Un juriste impliqué dans l’élaboration des cibles a affirmé que la cadence de production du système était 50 fois supérieure à celle d’une équipe de 20 officiers de renseignement. Les personnes interrogées ainsi que les déclarations officielles de l’armée ont souligné que la Direction du ciblage avait pour vocation de « constituer de vastes banques de données » afin de permettre l’attaque de « milliers de cibles en une seule journée », industrialisant ainsi l’extermination. Comme souvent, cette industrialisation s’est accompagnée d’une intensification du travail : dès 2019, les soldats de cette direction nouvellement créée ont fait état de pressions visant à accélérer la production de cibles en faisant l’impasse sur un examen approfondi, avec des mesures incitatives – telles que des jours de congé – pour les équipes les plus « productives ». La durée de validité limitée des cibles a été prolongée grâce à une modification des procédures, autorisant le bombardement de cibles plusieurs mois après leur identification, sans nouvel examen, expliquait Haaretz. 

« L’accélération de la production de cibles est jugée cruciale en temps de guerre et l’IA permet justement d’accélérer la production ». Cette accélération a atteint son paroxysme lors de la guerre contre Gaza : au 27e jour du conflit, Tsahal a annoncé avoir frappé 12 000 cibles tout en générant simultanément 1 200 nouvelles cibles grâce à son « usine à cibles » fonctionnant 24 heures sur 24. 

Mais l’utilisation de l’IA pour identifier des listes de personnes à cibler plutôt que des lieux relève d’une autre dynamique, explique Schwarz. Une dynamique qui a débuté avec le recours à l’IA pour des arrestations préventives.

À l’automne 2015, Israël a dû faire face à une vague d’attaques spontanées, perpétrées principalement par des adolescents. Il était difficile de déjouer ces attaques, car les auteurs n’étaient affiliés à aucun réseau terroriste ou de guérilla. En conséquence, les services de renseignement israéliens ont mis au point un modèle visant à prédire quels adolescents étaient les plus susceptibles de commettre des attaques, en analysant les schémas d’activité sur les réseaux sociaux (publications, « like », commentaires, émojis, nouveaux liens) ainsi que des données provenant d’autres sources (par exemple, les données de localisation), en attribuant à chaque adolescent palestinien un score de risque. Le modèle s’appuyait sur des schémas prédictifs identifiés à la fois par l’apprentissage automatique (analyse de mégadonnées) et par des analystes humains (par exemple, de nouvelles coupes de cheveux, les auteurs d’attentats-suicides adoptant souvent une nouvelle coiffure peu avant de passer à l’acte). Ce modèle a conduit à l’arrestation préventive de centaines d’adolescents palestiniens. 

D’autres systèmes ont été développés par la suite pour identifier des membres d’organisations terroristes en vue de leur arrestation et de leur interrogatoire. Lors de la guerre à Gaza, cette stratégie a été étendue pour dresser des listes de cibles à éliminer d’une longueur sans précédent, appliquant les principes de la police prédictive pour produire des cibles à éliminer. Le système d’IA « Lavender » attribuait à presque tous les habitants de Gaza un score de probabilité d’appartenance au Hamas, en se fondant sur des facteurs couramment utilisés dans la police prédictive comme le montre la sociologue Sarah Brayne dans son livre, Predict and surveil (2021, Oxford university Press), notamment les réseaux personnels, les habitudes de vies comme les lieux fréquentés et les déplacements. 37 000 Palestiniens ont été identifiés par algorithme comme étant probablement des membres du Hamas comme le montrait Abraham dans son article pour +972 Magazine.

« Les scores de probabilité transforment la distinction entre terroriste et civil, passant d’une catégorie binaire à un continuum statistique ». Les individus classés par l’IA comme membres probables du Hamas étaient alors ajoutés aux listes de cibles à éliminer sans réel examen supplémentaire. D’autres rapports font état d’une certaine forme de supervision humaine ; par exemple, des officiers auraient corrigé une erreur d’interprétation de l’IA qui avait pris une liste d’élèves du secondaire pour une liste de militants potentiels, une erreur qui aurait pu conduire à désigner à tort 1 000 adolescents comme cibles. 

Reste que l’accélération n’a pas été que technologique, elle a aussi été politique.  Le Premier ministre Benjamin Netanyahu aurait reproché au chef d’état-major Herzi Halevi de n’avoir bombardé « que » 1 500 cibles au cours des 48 premières heures du conflit ; il a rejeté l’explication de Halevi, qui indiquait ne pas disposer de 5 000 cibles, en déclarant : « Je m’en fiche ». Sans l’IA, estime Schwarz, « il aurait été difficile d’atteindre une telle ampleur de morts et de destructions ».

L’armée israélienne a assoupli son interprétation du droit international humanitaire pendant la guerre sans pour autant abandonner totalement ce cadre, par exemple en relevant les seuils de « dommages collatéraux » et en autorisant des attaques ciblées contre chacun des 37 000 membres présumés de rang inférieur du Hamas, à condition que le nombre de décès civils anticipés reste inférieur au seuil. La pratique du « roof-knocking » (bombardements d’avertissement) a été abandonnée et des cibles présentant une probabilité moindre ont été prises en compte. En conséquence, le taux de mortalité civile s’est envolé. L’approche vis-à-vis des infrastructures civiles a également évolué pour maximiser la destruction : des immeubles de grande hauteur et des bâtiments universitaires par exemple ont été désignés comme des cibles essentielles et visés en raison de la présence d’un objectif militaire légitime à un seul étage, mais détruits par un armement provoquant l’effondrement de l’édifice tout entier.

Au regard du droit international, cela pourrait être considéré comme une violation des principes de proportionnalité et de précaution. Mais cette proportionnalité et ces précautions, on le voit, permettent aussi de faire varier les classement en ajustant les justifications, sur la base de données singulières et spécifiques l’associant au Hamas avec une certaine probabilité. Tout l’enjeu consiste à fourbir des probabilités et les compléter de narratifs adaptés afin de produire des explications. La destruction des infrastructures civiles, quelle que soit la raison, est devenu l’objectif derrière les justifications : toutes les cibles détectées sont devenues un moyen pour raser Gaza. 

L’IA : l’outil pour légitimer la guerre

Pour Ori Schwarz, « les systèmes d’IA ont épargné les dilemmes moraux en légitimant les attaques. Le rôle de l’IA a donc consisté à ériger le général en singulier, transformant presque tout en cible ». Pour Schwarz, avec la guerre à Gaza, l‘IA est devenue un outil de légitimation : l’automatisation permet le respect des procédures. Elle est un moyen  pour « préserver les normes éthiques en les inscrivant dans le code, les transformant de règles réglementaires en règles génératives inviolables ».

Comme c’est le cas depuis longtemps, l’automatisation est censée garantir l’éthique. Mais ce n’est pas si vrai. D’abord parce que le système permet d’abaisser le seuil de confiance du ciblage et donc faire que la machine contourne la règle. Et surtout que l’opacité et la complexité du calcul permettent de faire disparaître ses défaillances et la surveillance par les opérateurs humains. 

Le statut moral dépend désormais des procédures et non des résultats. Mais surtout, en validant les dommages collatéraux, l’IA a servi de mécanisme de légitimation des massacres de civils. Tactiquement, le rasage des zones urbaines avant les manœuvres terrestres permettait aussi de protéger les soldats israéliens. Enfin, le ciblage fournit un prétexte pour la destruction, une « couverture morale ». 

Certains officiers souhaitaient que l’IA puisse générer elle-même les attaques depuis les scores produits. Cette proposition ne s’est pas encore concrétisée, mais les digues sont prêtes à lâcher, estime Schwarz. Notamment parce que les humains dans la boucle de la vérification ne servent déjà plus que d’agents d’enregistrement, chargés de validés les cibles en quelques secondes, sans avoir le temps d’examiner les données ni de comprendre les calculs qui les produisent. Pour Schwarz, si l’armée israélienne n’a pas franchi le pas, c’est notamment parce que le droit international humanitaire exige qu’un humain réponde de chaque décision. Mais plus encore, parce que garder un humain dans la boucle donne l’apparence d’une décision issue d’une délibération humaine.

C’est oublier que l’IA n’organise pas seulement la file d’attente des cibles, elle les désigne. Ce sur quoi les humains ont encore le contrôle reste surtout les critères pris en compte par les données et les seuils. Pour Schwarz, l’élaboration des cibles n’est pas un processus purement social, mais elle n’est pas non plus purement technologique. Le ciblage doit pouvoir être expliqué, contre-interprété. Les opérateurs ne font pas nécessairement confiance aux scores produits, tant qu’ils ne pensent pas les comprendre « et après l’avoir testé sur la durée, en constatant qu’il est cohérent avec le scénario qu’il a en tête » (même constat pour les radiologues confrontés aux résultats de l’IA). La validation d’une cible repose toujours sur une preuve, c’est à dire un récit. Et les analystes doivent souvent défendre leurs choix et validation, comme s’ils étaient face à un tribunal. Ils doivent défendre la cohérence des éléments qu’ils ont sous les yeux. Le risque à terme, suggère Schwarz, c’est que l’IA produise aussi les récits, quand bien même ils seraient aussi faux que les éléments cohérents que valident les humains. Un système d’IA pourrait identifier un lieu fréquenté par plusieurs militants et lui attribuer une priorité élevée, sans envisager qu’il puisse s’agir d’un restaurant, ou qu’une conversation interceptée évoquant le terrorisme provienne en réalité d’un film diffusé à la télévision. Les systèmes d’IA servent « à trouver des corrélations (…) entre toutes sortes de variables que vous ne jugiez pas intéressantes jusqu’alors (…) Évidemment, je présente aux analystes du renseignement une grande quantité de données et de corrélations en leur disant : « Regardez, c’est intéressant ». » Les analystes tentent ensuite d’ouvrir la « boîte noire » et d’élaborer un récit expliquant le fonctionnement du modèle et les raisons de son efficacité, une étape nécessaire pour que le modèle inspire confiance et soit mis en service. « Je leur montre des points de données très précis, [des variables prédictives] », explique un officier chargé de la formation des agents aux outils. Toutefois, il souligne que dans ces situations, les prédictions du système ne servent pas à désigner des cibles tant que les analystes n’ont pas ouvert la boîte noire et expliqué pourquoi ces variables spécifiques intégrées au modèle permettent de prédire les résultats. Pour Schwarz, ces débats contredisent la promesse épistémologique de l’IA – fondée sur un empirisme radical – selon laquelle la prédiction rendrait l’explication superflue, ou qu’il n’y aurait plus besoin de théorie. 

Reste, rappelle Schwarz, que même si vous faites confiance à vos experts en science des données et que vous avez collecté et testé les données avec soin, vous ne pouvez pas juger de leur qualité. Vous devez expliquer le plus précisément possible ce que les variables indiquent et pourquoi le modèle prédit ce qu’il prédit. Par conséquent, l’analyste ne renoncera pas à comprendre la signification des corrélations et les raisons des choix du modèle. Les développeurs débattent souvent de la meilleure façon de représenter ces corrélations sans induire les utilisateurs en erreur. Si la classification algorithmique des individus comme cibles à forte probabilité est effectuée automatiquement, sans récit, les agents de renseignement en construisent, à la fois en amont, lors du développement du système, et ultérieurement, afin de conférer sens et légitimité aux recommandations algorithmiques (même si cette dernière dimension a pu s’éroder en raison de l’accélération de la production de cibles en temps de guerre). 

Instaurer la confiance : camoufler l’IA 

La confiance dans les chiffres n’est pas aussi omniprésente et automatique que la littérature pourrait le laisser croire. Dans notre cas, les utilisateurs finaux des systèmes de mégadonnées (analystes du renseignement) étaient initialement méfiants à l’égard de l’automatisation et des probabilités calculées algorithmiquement. Un développeur que Schwarz a interviewé leur a reproché de se méfier des systèmes d’IA en raison de leur « peur de l’erreur » et de leur prudence excessive (« Ils ont besoin d’un niveau de certitude non pas de 100 %, mais de 200 %, et une telle chose n’existe pas »). Face aux soupçons et à la nécessité de « faire confiance aux chiffres », les developpeurs du système ont entrepris un travail de sensibilisation et élaboré une stratégie sophistiquée : dissimuler le rôle de l’IA et insister sur l’implication humaine. « Les agents du renseignement n’utilisent pas l’IA, ils utilisent des outils conçus pour eux, et de leur point de vue (…), s’il y a de l’IA, d’après mon expérience, ils ne lui font pas confiance. En fait, pour les inciter à l’utiliser, nous n’avons pas dit “c’est de l’IA pure”, mais nous nous sommes assurés que l’agent qui examine une cible puisse voir que Sharon l’a déjà examinée, qu’il puisse voir le nom de la personne qui l’a fait, et qu’il connaisse Sharon. » Ils doivent savoir que Sharon est la meilleure pour identifier les cibles et, par conséquent, ils peuvent lui faire confiance. Dans cet exemple, ils ont tiré parti de la confiance que le personnel du renseignement accordait à une ancienne agente de renseignement très appréciée (« Sharon »), promue et mutée au sein de l’équipe technique. Elle y étiquette les données et valide les cibles générées par algorithme avant leur transmission aux services de renseignement et juridiques pour approbation. La confiance personnelle en Sharon peut faire toute la différence : « Nous avons constaté que lorsqu’une personne comme Sharon est présente, ils font confiance au système ; en revanche, lorsqu’on leur dit “ce n’est qu’un modèle”, ils n’y croient pas [et recommencent le processus manuellement depuis le début]. » Paradoxalement, la confiance dans l’IA (nécessaire à la délégation partielle du travail de renseignement aux algorithmes) exigeait la confiance envers les personnes qui faisaient confiance à l’IA, camouflant ainsi le rôle de cette dernière.

Nous savons que l’IA n’est pas une magie sans intervention humaine ; elle repose sur le travail humain, parfois dissimulé sous l’apparence de décisions de la machine, rappelle Schwarz en évoquant les travaux relatifs au Digital Labor. Or, ici, c’est l’inverse qui se produit : lors du développement des modèles, les décisions des machines doivent être expliquées par des experts humains qui en reconstituent la logique ; et plus tard, lorsque ces systèmes sont utilisés pour produire des cibles, leurs recommandations doivent être camouflées en décisions d’experts humains. Enfin, en temps de guerre, lorsque les analystes du renseignement consacrent à peine 20 secondes à approuver les recommandations de l’IA, le travail de cette dernière est une fois de plus dissimulé sous l’apparence de délibérations humaines. 

C’est peut-être à cela que sert encore l’humain dans la boucle : valider les procédures humaines plus que juger du travail des systèmes d’IA. 

En examinant de près l’utilisation de l’IA pendant la guerre de Gaza, l’article de Ori Schwarz montre que l’IA était nécessaire non pas pour personnaliser le traitement, mais pour justifier un traitement uniforme en créant des justifications personnalisées pour le ciblage de presque chaque bâtiment ou agent présumé du Hamas, et pour accélérer l’incrimination et la production de cibles à des niveaux sans précédent sans s’écarter complètement du cadre du droit international humanitaire, légitimant ainsi des massacres et des destructions de masse effroyables en s’appuyant sur des calculs et des procédures de probabilité prétendument objectifs, inscrits dans le code. 

L’article de Schwarz, montre également que les études critiques sur les impacts sociaux des algorithmes doivent aller au-delà de la simple critique de leurs erreurs et de leurs biais. Ces derniers ont constitué jusqu’à présent le cœur des critiques, et ce pour une bonne raison : malgré leur prétention à la neutralité, les systèmes d’IA sont sujets aux erreurs en général et, en particulier, à la reproduction d’inégalités découlant de biais, dans la mesure où les données utilisées pour leur entraînement consignent et reflètent des préjugés humains. Plus précisément, les erreurs et les biais sont au centre des débats sur l’usage de l’IA dans la guerre, y compris lors du conflit à Gaza.

Mais, estime-t-il, un système d’IA parfait, sans erreur ni biais, « pourrait aboutir aux mêmes conséquences effroyables, simplement en accélérant considérablement la production de cibles et en en réduisant le coût » : le fait de cibler des dizaines de milliers d’objectifs identifiés par le renseignement – une tâche dont la réalisation était pratiquement impossible avant l’IA – conduit presque inévitablement à des destructions et à des tueries de civils à grande échelle. Pire, l’IA permet bien plus de produire des justifications, même de ses erreurs et errements, en les recouvrant d’une complexité et d’un vernis d’explication.

Si la destruction de Gaza répondait à des motivations politique, l’IA a été indispensable pour inscrire la destruction dans le cadre du droit international humanitaire (tout comme les ciblages sociaux s’inscrivent également dans le cadre du droit, malgré leurs défaillances manifestes). Ce potentiel de légitimation pourrait être exploité au-delà du contexte israélien, alors que des systèmes similaires sont adoptés par d’autres armées officiellement attachées au respect du droit humanitaire international. « Si l’accélération peut sembler relever d’un simple changement quantitatif, elle a en réalité engendré une transformation qualitative majeure. Le rôle joué par l’IA dans la légitimation de ces massacres nous rappelle que les caractéristiques et les affordances ne définissent pas les technologies de manière isolée : elles sont façonnées par les contextes juridiques, structurels, culturels et moraux, ainsi que par les réseaux ou dispositifs hétérogènes au sein desquels les technologies opèrent. Il est crucial de prendre en compte ce contexte pour comprendre comment il a pu engendrer des effets effroyables, mais aussi pourquoi il s’est avéré impossible d’éliminer l’humain de la boucle, et pourquoi le travail culturel de production de sens effectué par les humains était nécessaire pour légitimer l’automatisation partielle ayant conduit à cette accélération sans précédent de la production de cibles.» 

*

La possibilité d’accéder à toutes les données disponibles bouleverse comme nulle autre le rapport des armées à leurs missions. Sans limites, ce sont les valeurs mêmes de leurs missions qui seront transformées. Et c’est ce que produit le score d’appartenance à l’ennemi et les seuils de dommages collatéraux autorisés. La guerre de demain se joue sur les données, leurs croisements sans limites et les seuils adaptables. Des éléments sur lesquels le droit international n’a pour l’instant pas défini de pratiques et qui, sans encadrement,  risquent de permettre tous les glissements moraux du calcul, comme on le constate partout où le scoring se déploie.  

Hubert Guillaud

MAJ du 31/08/2026 : Cet été, une source militaire a expliqué à plusieurs journaux, dont Le Monde, les pratiques de l’armée israélienne pour relier les civils tués ou blessés au Hamas, lors de frappes à Gaza. Cette incrimination rétrospective passe d’abord par des incriminations et des justifications mensongères, difficiles à debunker et des enquêtes jamais refermées. Les combattre nécessite pour les victimes d’apporter à leur tour des preuves d’exactions, qui ne sont pas toujours disponibles (d’autant que les journalistes ont du mal à accéder aux terrains d’opérations et que nombre d’entre eux, sur place, ont été tués). Les plaintes Gazouis sont rarement instruites par les autorités judiciaires israëliennes et l’information en Israël est très activement censurée (6 265 articles partiellement et 1 635 totalement en 2024, un record).  

Les autorités internationales devraient surtout pouvoir avoir accès aux enregistrements des systèmes d’IA avant frappes pour mener des enquêtes sur la façon dont ils ont été utilisés.

Mais pourquoi l’IA est-elle utilisée pour faire la guerre ?, demande le sociologue Ori Schwarz dans un passionnant article pour Big Data & Society, en observant l’usage qu’en a fait l’armée israélienne à Gaza (voir notre dossier L’IA ça sert, d’abord, à faire la guerre). Qu’apporte-t-elle, que permet-elle que les techniques de guerre traditionnelle n’apportent pas ? 

Pour le chercheur, l’IA a été utilisée pour accélérer la génération de cibles, car l’armée israélienne a adopté une doctrine axée sur la « létalité » (visant à maximiser le nombre de victimes) tout en intégrant le droit international humanitaire (qui impose de distinguer les cibles militaires des civils). L’IA n’était pas tant requise pour personnaliser le traitement, que pour justifier d’un traitement uniforme en créant des justifications adaptées, explique-t-il. Elle a été instrumentalisée pour légitimer tueries et destructions de masse en fusionnant et en analysant automatiquement des données pour transformer des milliers d’individus et de bâtiments en cibles légitimes assorties de scores de probabilité individuels. 

Pour le chercheur, le profilage, la « singularisation automatisée » (que proposait le sociologue allemand Andreas Reckwitz dans son livre, The Society of Singularities, Polity, 2020), c’est-à-dire le fait que chacun soit traité différemment selon les données récoltées sur lui, est utilisée avec succès dans tous les domaines que le numérique transforme (marketing, médecine, tarification…). Mais, alors que le profilage ne cesse de promettre une distinction plus précise, il permet finalement de générer des effets de masses désastreux, comme dans le cas des destructions lors de la guerre à Gaza, brouillant la distinction entre cibles militaires et populations protégées. « Plus de 71 000 Palestiniens ont été tués, selon les chiffres officiels palestiniens et les estimations de l’armée israélienne. Mais seuls 20 % d’entre eux seraient des militants du Hamas alors que près de la moitié des victimes seraient des femmes et des mineurs. Des milliers d’autres sont portés disparus et d’autres encore sont morts de maladie et de malnutrition. Près de 2 millions de personnes ont perdu leur logement, la plupart des bâtiments résidentiels de Gaza ayant été détruits ou gravement endommagés. L’ampleur des pertes civiles a conduit la Cour internationale de Justice à saisir Israël pour violation présumée de la Convention sur le génocide. » 

Une grande partie de ces victimes et destructions visait des cibles identifiées par les services de renseignement israéliens grâce à une utilisation sans précédent de technologies numériques sophistiquées. Schwartz y voit un paradoxe. D’un côté, l’armée israélienne s’est vantée d’effectuer la sélection des cibles à l’aide d’outils d’IA et d’analyse de données les plus sophistiqués pour identifier des cibles humaines et des infrastructures liées au Hamas ; pourtant, le résultat de cet investissement sans précédent dans un ciblage sophistiqué donne l’impression d’une destruction et de tueries massives et indiscriminées. « Si l’objectif est de tuer sans distinction, pourquoi une technologie aussi avancée est-elle nécessaire ? » 

Pour Schwarz, si l’IA est utilisée pour procéder à des tueries de masse, c’est justement en raison de sa capacité de distinction : « en singularisant les justifications de tueries indiscriminées, elle produit de la distinction au service de l’indiscrimination ». Cela se produit parce que les effets sociaux de l’IA ne sont pas prédéterminés par les caractéristiques technologiques, mais façonnés par les contextes juridique, structurel, culturel, politique et moral dans lesquels la technologie s’inscrit. En particulier, les tueries et les destructions indiscriminées découlent de la construction politique de « cibles ». À une époque où le droit international humanitaire ainsi que les normes éthiques et professionnelles militaires exigent de ne viser que des « cibles » légitimes, l’impact du big data sur la guerre ne consiste pas nécessairement à réduire les massacres et les destructions en trouvant « l’aiguille dans la botte de foin », comme on l’affirme généralement. Mais, tout le contraire : « il s’agit de transformer le foin en aiguilles, en « incriminant » presque tous habitants ou tous les immeubles résidentiels par l’élaboration d’un récit singulier les associant exclusivement à l’ennemi, légitimant ainsi une destruction indiscriminée. » Pour le chercheur, les massacres et les destructions ne s’expliquent pas uniquement par ces développements technologiques bien sûr, mais la justification technique a permis de renforcer les dynamiques politiques en cours. 

Les raisons du succès de l’élimination ciblée

Longtemps, les assassinats extrajudiciaires se limitaient à de rares opérations clandestines visant des opposants de haut rang, rappelle le chercheur. Puis l’élimination ciblée s’est transformée en une politique déclarée, systématiquement mise en œuvre à une échelle toujours plus vaste. 

Cette politique s’appuie sur trois principes. Premièrement, l’individualisation de la guerre : l’affrontement est requalifié en une action de police ou de poursuite judiciaire visant des individus. Les individus deviennent des cibles non pas en raison de leur statut (appartenance à une force armée ennemie), mais en raison de leur comportement ou de la menace qu’ils représentent. Chaque individu reçoit un score qui détermine son implication quelque soit les biais du calcul. Et la valeur que l’on attribue à cette implication peut varier. 

Deuxièmement, la juridicisation de la guerre : face à la complexité croissante du droit international humanitaire, les armées ont intégré des juristes à leurs équipes pour protéger leurs personnels des poursuites. Désormais, il faut pouvoir établir la légalité des attaques, au regard de principes de nécessité, de proportionnalité et de distinction. Tout en trouvant des modalités pour interpréter le droit international de manière extensive… La juridicisation a conduit à devoir collecter des données pour établir la légalité des ciblages. 

Troisièmement, le transfert de risque vise à minimiser le risque pour les soldats en les transférant aux civils ennemis, par exemple en recourant à des bombardements aériens, de préférence par drones, plutôt qu’à des combats terrestres ou à des arrestations. « Depuis 2000, l’ampleur des « assassinats ciblés » a connu une croissance spectaculaire, passant de quelques dizaines à plusieurs milliers de victimes. Cette augmentation est due à l’élargissement controversé de la définition des cibles légitimes », qui a inclus les membres non combattants d’organisations terroristes, puis les civils ayant contribué indirectement aux hostilités. Cet élargissement a engendré un nouveau défi que les systèmes d’IA ont cherché à relever par le scoring : prouver le lien de la cible avec l’organisation ennemie. Si ce lien était évident lorsqu’il s’agissait de cibler des commandants de haut rang, il est devenu de plus en plus difficile à prouver à mesure que le nombre de cibles augmentait. Ce n’est qu’au cours de la guerre de Gaza de 2023, avec la décision d’attaquer des dizaines de milliers de jeunes militants du Hamas, que la nécessité de vérifier si la cible envisagée pour un assassinat avait un lien quelconque avec une organisation terroriste, s’est imposée. « L’utilisation du big data a transformé les cibles d’exécutions extrajudiciaires, passant d’individus isolés (des personnes importantes et connues) à des cas regroupés en clusters dynamiques calculés par des algorithmes. Si les « assassinats ciblés » requièrent certaines technologies de renseignement et de surveillance, l’analyse des mégadonnées a été progressivement introduite, d’abord pour réduire le taux élevé d’erreurs d’identification humaine, puis, à plus grande échelle, pour rationaliser les opérations d’assassinat, en réduire les coûts et en étendre la portée ». Bien que l’utilisation de l’IA pour « incriminer » des cibles repose sur l’individualisation et la juridicisation de la guerre, la quantification automatique des risques entre en conflit avec des principes juridiques fondamentaux tels que le raisonnement, la réflexion et la prise de décision contextualisée. Les chercheurs critiques Nicola Perugini et Neve Gordon affirment que les assassinats ciblés reposent sur un « dispositif de distinction » conçu pour désigner des cibles humaines à des fins militaires en identifiant des « anomalies » dans les relations entre les données, c’est-à-dire en surveillant les comportements et en repérant les irrégularités. Les écarts statistiques sont alors considérés comme des écarts normatifs passibles de la peine de mort, comme l’expliquait le politologue Hendrik Huelss. 

Avant même leur automatisation, les assassinats se fondaient déjà sur l’identification de schémas de vie associés au terrorisme. La surveillance et les données permettent de requalifier des individus, auparavant considérés comme des « civils » protégés, en cibles ennemies jugées moralement et légalement abattables, même lorsqu’ils ne participent pas directement aux hostilités. Eric Bonds a qualifié ce phénomène de « violence humanisée », une nouvelle forme de violence qui se manifeste à la fois par une pratique (fondée sur la surveillance et les technologies d’élimination de précision) et par un discours de légitimation (qui s’appuie sur le langage des droits de l’homme et qui, comme le présente ses partisans, paraît rationnel, mesuré et humain, car ils s’efforcent de minimiser les dommages causés aux civils innocents en évaluant les dommages collatéraux prévus de chaque frappe par rapport à son avantage militaire). Ceci produit un « effet paradoxal » : le strict respect des procédures et des critères juridiques (qui interdisent de cibler les civils ne participant pas aux hostilités et exigent que les dommages causés aux civils soient minimaux) tout en permettant de les contourner. 

Le scoring pour renforcer la tolérance à l’intolérable

Le paradoxe, c’est que la justification par le calcul renforce la tolérance à l’égard des meurtres de civils. « L’utilisation de technologies avancées visant à réduire les dommages causés aux civils (par exemple, la reconnaissance faciale pour éviter les erreurs d’identification et l’imagerie satellitaire pour estimer les dommages collatéraux et calculer la proportionnalité avec une précision actuarielle) et le recours à des calculs proportionnels à l’avantage militaire renforcent la légitimité et la tolérance à l’égard des meurtres de civils ». 

En effet, ces calculs rendent chaque attaque juridiquement justifiée et les décès de civils regrettables, mais légitimes. Les efforts déployés pour minimiser les « dommages collatéraux » (en avertissant les civils avant les attaques et grâce aux calculs de proportionnalité) présentent les incidents ayant entraîné de nombreuses victimes civiles comme des accidents involontaires comme l’explique Craig Jones dans son livre The War Lawyers (Oxford University Press 2020 ou Yael Levy, dans le sien Shooting without crying: The new militarization of Israel in the 2000s, 2023). Et la numérisation renforce considérablement cette légitimation : les scores calculés par algorithme bénéficient d’une aura d’objectivité et de confiance en raison de la confiance bien documentée accordée aux chiffres – notamment par l’historien des sciences Theodore Porter dans son livre, La confiance dans les chiffres (Les Belles lettres, 2017). En convertissant l’incertitude quant aux dommages potentiels causés aux citoyens en « risques » mesurables, les algorithmes transforment les dilemmes moraux en procédures technico-informatiques et finalement réduisent les doutes moraux et la réflexivité, comme le montrait Lucy Suchman dans un article de recherche. Finalement, le ciblage automatisé permet de légitimer les frappes, qu’importe les dégâts qu’elles causent. Or, la violence « humanisée » tue principalement des civils (60 % à 90 % des décès sont des « dommages collatéraux » expliquaient déjà Perugini et Gordon, rappelant également qu’elle est imprécise et surtout qu’elle restreint les catégories protégées tout en légitimant le meurtre). 

Contrairement aux tirs des chars, les frappes aériennes contres des cibles spécifiées par le renseignement sont soumises aux principes du droit international humanitaire qui définit les conditions de la légitimité de la violence militaire et doivent donc être traduit en procédures formelles qui encadrent la définition des cibles. Le droit humanitaire repose notamment sur des principes de distinction (ne cibler que les cibles militaires dont l’attaque procure un avantage militaire, et non les civils ou les infrastructures civiles), de proportionnalité (interdire les attaques qui causent des dommages disproportionnés aux civils par rapport à l’avantage militaire obtenu) et de précaution. Mais une autre doctrine est venue également changer le cours de la guerre : la doctrine de la létalité. Plus que le contrôle du terrain, le nombre de morts ennemis est devenu le principal critère d’évaluation des opérations militaires ou des performances des unités. L’industrialisation de l’extermination de précision, défendue par Aviv Kokhavi, chef d’état major de l’armée israélienne, exigeait la production en masse de cibles pour les frappes aériennes. Mais la cible, même légitime, est une construction politique et sociale, comme le montrait l’article de +972 Magazine, qui évolue selon le contexte, à l’image des dommages collatéraux afférents autorisés ou du niveau du scoring qui transforme un soupçon en cible. 

En effet, les procédures utilisées pour transformer des personnes ou des bâtiments en cibles impliquent divers acteurs s’intégrant à un réseau : non seulement les définitions juridiques, les concepts moraux et les agents de renseignement, mais aussi les documents de renseignement, les technologies de surveillance qui les produisent et les technologies utilisées pour les traiter et les analyser. La construction des cibles n’étant pas uniquement un processus social, les évolutions technologiques peuvent la transformer. Et le scoring est justement en passe de devenir le facteur d’accélération. 

Comment l’IA a-t-elle modifié la construction des cibles, qui n’est pas uniquement un processus social ? Lors de la guerre de Gaza, Israël a utilisé deux types de systèmes d’IA distincts, l’un pour les cibles d’infrastructure et l’autre pour les cibles humaines, explique Schwarz. Ces systèmes avaient des historiques différents, mais présentaient de nombreux points communs. Les personnes interrogées ont souligné que ces deux systèmes ne prenaient pas de décisions à la place des humains, mais accéléraient la production de cibles de deux manières : en fusionnant les informations provenant de sources multiples et en rendant accessibles aux analystes toutes les informations pertinentes concernant chaque cible potentielle ; et en classant les cibles potentielles selon leur probabilité estimée. Ainsi, les analystes humains peuvent se concentrer exclusivement sur les cibles les plus susceptibles d’être approuvées : « [Supposons] que vous disposiez d’un milliard d’informations et que (…) vous n’ayez que 100 cibles alors que vous avez 10 000 candidats. Alors, à quoi sert l’IA ? À une seule chose : les trier par ordre de priorité. (…) [L’ordinateur] a pris les 10 000 suspects, a examiné quelques milliers de cas avérés et [a reçu l’instruction de trier] tout ce qui se ressemble sur tous les points. Ensuite, la machine établit les priorités, c’est tout. Une fois les priorités établies, elle indique aux services de renseignement : vérifiez ceci, cela et cela. Attribuez une file d’attente. (…) Cela signifie que le travail est rationalisé. Mais aucune machine ne décide », déclarait un officier de l’armée israélienne. 

Ce discours humaniste et anthropocentrique, également fréquent dans les déclarations de Tsahal sur l’IA, minimise le rôle de la technologie, la réduisant à un simple outil au service d’objectifs humains. L’armée israélienne a décrit le système d’IA « Gospel » comme un simple « outil technique destiné aux analystes du renseignement », car sa traçabilité et son intelligibilité permettent aux analystes d’examiner eux-mêmes les éléments de renseignement sur lesquels reposent ses recommandations. Cependant, même une délégation partielle du ciblage peut avoir des conséquences plus importantes : d’une part, les pressions organisationnelles de niveau intermédiaire en faveur de l’efficacité et les biais d’automatisation de niveau micro peuvent conduire les analystes humains à approuver les recommandations du système de manière quasi automatique (comme nous le disions dans la seconde partie de notre dossier) ; d’autre part, les outils ne se contentent pas de réaliser les objectifs des utilisateurs, mais les façonnent également en proposant de nouvelles pistes d’action permettant l’accélération. Yossi Sariel, ancien commandant de l’unité de renseignement 8200 de Tsahal, a soutenu que l’accélération est l’une des deux principales contributions de l’automatisation informatique au renseignement. Selon lui, la production d’un plus grand nombre de cibles est nécessaire pour exercer une pression constante sur l’ennemi et le vaincre, mais l’intervention humaine constitue un goulot d’étranglement, car la création d’un tel nombre de cibles exigerait des milliers d’enquêteurs traitant et analysant les données pendant des années. Pour lever cet obstacle, il faudrait une « équipe homme-machine » capable de constituer une base de données de dizaines de milliers de cibles et d’en générer des milliers d’autres chaque jour de combat, comme il l’expliquait dans son livre éponyme. La seconde contribution identifiée par Sariel est la prédiction, définie comme le fait de « compléter les informations manquantes » à partir des tendances observées dans les données massives. La prédiction n’est donc pas seulement orientée vers l’avenir (prédire qui commettra un attentat-suicide), mais surtout vers le présent et le passé (prédire où des armes ont été dissimulées). Les prédictions revêtent alors une importance épistémologique : « elles permettent d’incriminer des personnes et des lieux sur la base d’informations incriminantes inconnues, déduites d’éléments non incriminants connus ». L’IA sert à la production d’inférences, de décisions probabilistes que leur niveau de probabilité valide. 

La probabilité sert à générer les cibles et intensifier les frappes

La génération par IA de cibles d’infrastructures (de bâtiments) s’effectue au sein de la Direction du ciblage de l’armée israélienne, créée en 2019, explique Schwarz. Cette création faisait suite à un rapport du Contrôleur de l’État indiquant que la banque de cibles disponible au début de la guerre de 2014 entre Israël et le Hamas était bien inférieure au potentiel réel. Une personne interrogée a expliqué les raisons de la création de cette direction en ces termes : « On veut disposer d’une banque de cibles de qualité, que l’on peut frapper pour contraindre le Hamas à capituler » ; or, en 2014, « cela ne s’est pas passé ainsi : il a fallu envoyer des troupes au sol ». L’armée et les médias israéliens ont présenté cette direction et le système d’IA « Gospel » comme la solution. 

Lors des conflits précédents, la banque de cibles s’épuisait après quelques jours ou semaines de bombardements intensifs, limitant le volume de tirs. La direction a promis de remédier à ce problème en accélérant et en rationalisant la génération de cibles, tant avant que pendant les hostilités, afin de « transformer la capacité de destruction de Tsahal en un système industriel » capable de « détruire des milliers de cibles chaque jour », explique un article de Ynet, l’un des journaux en ligne hébreu. Pour y parvenir, Gospel fusionne des milliards de données provenant de sources variées (et notamment du renseignement, telles que des appels téléphoniques interceptés et des photographies aériennes), identifie des cibles potentielles grâce à l’apprentissage automatique (en se fondant sur leur ressemblance avec des cibles précédemment validées) et les classe selon la probabilité qu’il s’agisse de cibles légitimes et de qualité. Ces recommandations classées sont ensuite transmises à des analystes humains pour décision, puis à des officiers supérieurs pour approbation.

Cette automatisation partielle accélère considérablement la génération de cibles. Un officier supérieur du renseignement a noté : « Gospel dispose d’une interface utilisateur très simple qui organise la file d’attente des cibles en fonction de la probabilité et de l’importance. Ainsi, l’opérateur humain reçoit simplement une liste établie par la machine, indiquant la probabilité qu’il s’agisse d’une cible valide ainsi que son importance. Le système fonctionne par scores. Par exemple, il s’agit d’une cible avec une probabilité de 80 % ou de 30 %. La machine émet donc une recommandation : « À mon avis, c’est une cible. » L’opérateur prend alors le relais, vérifie le processus suivi par la machine, exerce son jugement – car la machine peut parfois commettre des erreurs – et décide finalement s’il s’agit bien d’une cible. »» Un autre officier a expliqué que la priorisation automatisée était devenue nécessaire en raison de la « croissance exponentielle » du volume de données (consécutive à la numérisation, à la « datafication » et à l’impératif de collecter et d’analyser toutes les données), rendant l’analyse humaine impossible : « Que faire ? Recruter 50 000 agents de renseignement ? Nous ne les avons pas. Alors, utilisons un bon ordinateur pour effectuer la priorisation à notre place. En somme, c’était la mission assignée à la Direction du ciblage. » Un juriste impliqué dans l’élaboration des cibles a affirmé que la cadence de production du système était 50 fois supérieure à celle d’une équipe de 20 officiers de renseignement. Les personnes interrogées ainsi que les déclarations officielles de l’armée ont souligné que la Direction du ciblage avait pour vocation de « constituer de vastes banques de données » afin de permettre l’attaque de « milliers de cibles en une seule journée », industrialisant ainsi l’extermination. Comme souvent, cette industrialisation s’est accompagnée d’une intensification du travail : dès 2019, les soldats de cette direction nouvellement créée ont fait état de pressions visant à accélérer la production de cibles en faisant l’impasse sur un examen approfondi, avec des mesures incitatives – telles que des jours de congé – pour les équipes les plus « productives ». La durée de validité limitée des cibles a été prolongée grâce à une modification des procédures, autorisant le bombardement de cibles plusieurs mois après leur identification, sans nouvel examen, expliquait Haaretz. 

« L’accélération de la production de cibles est jugée cruciale en temps de guerre et l’IA permet justement d’accélérer la production ». Cette accélération a atteint son paroxysme lors de la guerre contre Gaza : au 27e jour du conflit, Tsahal a annoncé avoir frappé 12 000 cibles tout en générant simultanément 1 200 nouvelles cibles grâce à son « usine à cibles » fonctionnant 24 heures sur 24. 

Mais l’utilisation de l’IA pour identifier des listes de personnes à cibler plutôt que des lieux relève d’une autre dynamique, explique Schwarz. Une dynamique qui a débuté avec le recours à l’IA pour des arrestations préventives.

À l’automne 2015, Israël a dû faire face à une vague d’attaques spontanées, perpétrées principalement par des adolescents. Il était difficile de déjouer ces attaques, car les auteurs n’étaient affiliés à aucun réseau terroriste ou de guérilla. En conséquence, les services de renseignement israéliens ont mis au point un modèle visant à prédire quels adolescents étaient les plus susceptibles de commettre des attaques, en analysant les schémas d’activité sur les réseaux sociaux (publications, « like », commentaires, émojis, nouveaux liens) ainsi que des données provenant d’autres sources (par exemple, les données de localisation), en attribuant à chaque adolescent palestinien un score de risque. Le modèle s’appuyait sur des schémas prédictifs identifiés à la fois par l’apprentissage automatique (analyse de mégadonnées) et par des analystes humains (par exemple, de nouvelles coupes de cheveux, les auteurs d’attentats-suicides adoptant souvent une nouvelle coiffure peu avant de passer à l’acte). Ce modèle a conduit à l’arrestation préventive de centaines d’adolescents palestiniens. 

D’autres systèmes ont été développés par la suite pour identifier des membres d’organisations terroristes en vue de leur arrestation et de leur interrogatoire. Lors de la guerre à Gaza, cette stratégie a été étendue pour dresser des listes de cibles à éliminer d’une longueur sans précédent, appliquant les principes de la police prédictive pour produire des cibles à éliminer. Le système d’IA « Lavender » attribuait à presque tous les habitants de Gaza un score de probabilité d’appartenance au Hamas, en se fondant sur des facteurs couramment utilisés dans la police prédictive comme le montre la sociologue Sarah Brayne dans son livre, Predict and surveil (2021, Oxford university Press), notamment les réseaux personnels, les habitudes de vies comme les lieux fréquentés et les déplacements. 37 000 Palestiniens ont été identifiés par algorithme comme étant probablement des membres du Hamas comme le montrait Abraham dans son article pour +972 Magazine.

« Les scores de probabilité transforment la distinction entre terroriste et civil, passant d’une catégorie binaire à un continuum statistique ». Les individus classés par l’IA comme membres probables du Hamas étaient alors ajoutés aux listes de cibles à éliminer sans réel examen supplémentaire. D’autres rapports font état d’une certaine forme de supervision humaine ; par exemple, des officiers auraient corrigé une erreur d’interprétation de l’IA qui avait pris une liste d’élèves du secondaire pour une liste de militants potentiels, une erreur qui aurait pu conduire à désigner à tort 1 000 adolescents comme cibles. 

Reste que l’accélération n’a pas été que technologique, elle a aussi été politique.  Le Premier ministre Benjamin Netanyahu aurait reproché au chef d’état-major Herzi Halevi de n’avoir bombardé « que » 1 500 cibles au cours des 48 premières heures du conflit ; il a rejeté l’explication de Halevi, qui indiquait ne pas disposer de 5 000 cibles, en déclarant : « Je m’en fiche ». Sans l’IA, estime Schwarz, « il aurait été difficile d’atteindre une telle ampleur de morts et de destructions ».

L’armée israélienne a assoupli son interprétation du droit international humanitaire pendant la guerre sans pour autant abandonner totalement ce cadre, par exemple en relevant les seuils de « dommages collatéraux » et en autorisant des attaques ciblées contre chacun des 37 000 membres présumés de rang inférieur du Hamas, à condition que le nombre de décès civils anticipés reste inférieur au seuil. La pratique du « roof-knocking » (bombardements d’avertissement) a été abandonnée et des cibles présentant une probabilité moindre ont été prises en compte. En conséquence, le taux de mortalité civile s’est envolé. L’approche vis-à-vis des infrastructures civiles a également évolué pour maximiser la destruction : des immeubles de grande hauteur et des bâtiments universitaires par exemple ont été désignés comme des cibles essentielles et visés en raison de la présence d’un objectif militaire légitime à un seul étage, mais détruits par un armement provoquant l’effondrement de l’édifice tout entier.

Au regard du droit international, cela pourrait être considéré comme une violation des principes de proportionnalité et de précaution. Mais cette proportionnalité et ces précautions, on le voit, permettent aussi de faire varier les classement en ajustant les justifications, sur la base de données singulières et spécifiques l’associant au Hamas avec une certaine probabilité. Tout l’enjeu consiste à fourbir des probabilités et les compléter de narratifs adaptés afin de produire des explications. La destruction des infrastructures civiles, quelle que soit la raison, est devenu l’objectif derrière les justifications : toutes les cibles détectées sont devenues un moyen pour raser Gaza. 

L’IA : l’outil pour légitimer la guerre

Pour Ori Schwarz, « les systèmes d’IA ont épargné les dilemmes moraux en légitimant les attaques. Le rôle de l’IA a donc consisté à ériger le général en singulier, transformant presque tout en cible ». Pour Schwarz, avec la guerre à Gaza, l‘IA est devenue un outil de légitimation : l’automatisation permet le respect des procédures. Elle est un moyen  pour « préserver les normes éthiques en les inscrivant dans le code, les transformant de règles réglementaires en règles génératives inviolables ».

Comme c’est le cas depuis longtemps, l’automatisation est censée garantir l’éthique. Mais ce n’est pas si vrai. D’abord parce que le système permet d’abaisser le seuil de confiance du ciblage et donc faire que la machine contourne la règle. Et surtout que l’opacité et la complexité du calcul permettent de faire disparaître ses défaillances et la surveillance par les opérateurs humains. 

Le statut moral dépend désormais des procédures et non des résultats. Mais surtout, en validant les dommages collatéraux, l’IA a servi de mécanisme de légitimation des massacres de civils. Tactiquement, le rasage des zones urbaines avant les manœuvres terrestres permettait aussi de protéger les soldats israéliens. Enfin, le ciblage fournit un prétexte pour la destruction, une « couverture morale ». 

Certains officiers souhaitaient que l’IA puisse générer elle-même les attaques depuis les scores produits. Cette proposition ne s’est pas encore concrétisée, mais les digues sont prêtes à lâcher, estime Schwarz. Notamment parce que les humains dans la boucle de la vérification ne servent déjà plus que d’agents d’enregistrement, chargés de validés les cibles en quelques secondes, sans avoir le temps d’examiner les données ni de comprendre les calculs qui les produisent. Pour Schwarz, si l’armée israélienne n’a pas franchi le pas, c’est notamment parce que le droit international humanitaire exige qu’un humain réponde de chaque décision. Mais plus encore, parce que garder un humain dans la boucle donne l’apparence d’une décision issue d’une délibération humaine.

C’est oublier que l’IA n’organise pas seulement la file d’attente des cibles, elle les désigne. Ce sur quoi les humains ont encore le contrôle reste surtout les critères pris en compte par les données et les seuils. Pour Schwarz, l’élaboration des cibles n’est pas un processus purement social, mais elle n’est pas non plus purement technologique. Le ciblage doit pouvoir être expliqué, contre-interprété. Les opérateurs ne font pas nécessairement confiance aux scores produits, tant qu’ils ne pensent pas les comprendre « et après l’avoir testé sur la durée, en constatant qu’il est cohérent avec le scénario qu’il a en tête » (même constat pour les radiologues confrontés aux résultats de l’IA). La validation d’une cible repose toujours sur une preuve, c’est à dire un récit. Et les analystes doivent souvent défendre leurs choix et validation, comme s’ils étaient face à un tribunal. Ils doivent défendre la cohérence des éléments qu’ils ont sous les yeux. Le risque à terme, suggère Schwarz, c’est que l’IA produise aussi les récits, quand bien même ils seraient aussi faux que les éléments cohérents que valident les humains. Un système d’IA pourrait identifier un lieu fréquenté par plusieurs militants et lui attribuer une priorité élevée, sans envisager qu’il puisse s’agir d’un restaurant, ou qu’une conversation interceptée évoquant le terrorisme provienne en réalité d’un film diffusé à la télévision. Les systèmes d’IA servent « à trouver des corrélations (…) entre toutes sortes de variables que vous ne jugiez pas intéressantes jusqu’alors (…) Évidemment, je présente aux analystes du renseignement une grande quantité de données et de corrélations en leur disant : « Regardez, c’est intéressant ». » Les analystes tentent ensuite d’ouvrir la « boîte noire » et d’élaborer un récit expliquant le fonctionnement du modèle et les raisons de son efficacité, une étape nécessaire pour que le modèle inspire confiance et soit mis en service. « Je leur montre des points de données très précis, [des variables prédictives] », explique un officier chargé de la formation des agents aux outils. Toutefois, il souligne que dans ces situations, les prédictions du système ne servent pas à désigner des cibles tant que les analystes n’ont pas ouvert la boîte noire et expliqué pourquoi ces variables spécifiques intégrées au modèle permettent de prédire les résultats. Pour Schwarz, ces débats contredisent la promesse épistémologique de l’IA – fondée sur un empirisme radical – selon laquelle la prédiction rendrait l’explication superflue, ou qu’il n’y aurait plus besoin de théorie. 

Reste, rappelle Schwarz, que même si vous faites confiance à vos experts en science des données et que vous avez collecté et testé les données avec soin, vous ne pouvez pas juger de leur qualité. Vous devez expliquer le plus précisément possible ce que les variables indiquent et pourquoi le modèle prédit ce qu’il prédit. Par conséquent, l’analyste ne renoncera pas à comprendre la signification des corrélations et les raisons des choix du modèle. Les développeurs débattent souvent de la meilleure façon de représenter ces corrélations sans induire les utilisateurs en erreur. Si la classification algorithmique des individus comme cibles à forte probabilité est effectuée automatiquement, sans récit, les agents de renseignement en construisent, à la fois en amont, lors du développement du système, et ultérieurement, afin de conférer sens et légitimité aux recommandations algorithmiques (même si cette dernière dimension a pu s’éroder en raison de l’accélération de la production de cibles en temps de guerre). 

Instaurer la confiance : camoufler l’IA 

La confiance dans les chiffres n’est pas aussi omniprésente et automatique que la littérature pourrait le laisser croire. Dans notre cas, les utilisateurs finaux des systèmes de mégadonnées (analystes du renseignement) étaient initialement méfiants à l’égard de l’automatisation et des probabilités calculées algorithmiquement. Un développeur que Schwarz a interviewé leur a reproché de se méfier des systèmes d’IA en raison de leur « peur de l’erreur » et de leur prudence excessive (« Ils ont besoin d’un niveau de certitude non pas de 100 %, mais de 200 %, et une telle chose n’existe pas »). Face aux soupçons et à la nécessité de « faire confiance aux chiffres », les developpeurs du système ont entrepris un travail de sensibilisation et élaboré une stratégie sophistiquée : dissimuler le rôle de l’IA et insister sur l’implication humaine. « Les agents du renseignement n’utilisent pas l’IA, ils utilisent des outils conçus pour eux, et de leur point de vue (…), s’il y a de l’IA, d’après mon expérience, ils ne lui font pas confiance. En fait, pour les inciter à l’utiliser, nous n’avons pas dit “c’est de l’IA pure”, mais nous nous sommes assurés que l’agent qui examine une cible puisse voir que Sharon l’a déjà examinée, qu’il puisse voir le nom de la personne qui l’a fait, et qu’il connaisse Sharon. » Ils doivent savoir que Sharon est la meilleure pour identifier les cibles et, par conséquent, ils peuvent lui faire confiance. Dans cet exemple, ils ont tiré parti de la confiance que le personnel du renseignement accordait à une ancienne agente de renseignement très appréciée (« Sharon »), promue et mutée au sein de l’équipe technique. Elle y étiquette les données et valide les cibles générées par algorithme avant leur transmission aux services de renseignement et juridiques pour approbation. La confiance personnelle en Sharon peut faire toute la différence : « Nous avons constaté que lorsqu’une personne comme Sharon est présente, ils font confiance au système ; en revanche, lorsqu’on leur dit “ce n’est qu’un modèle”, ils n’y croient pas [et recommencent le processus manuellement depuis le début]. » Paradoxalement, la confiance dans l’IA (nécessaire à la délégation partielle du travail de renseignement aux algorithmes) exigeait la confiance envers les personnes qui faisaient confiance à l’IA, camouflant ainsi le rôle de cette dernière.

Nous savons que l’IA n’est pas une magie sans intervention humaine ; elle repose sur le travail humain, parfois dissimulé sous l’apparence de décisions de la machine, rappelle Schwarz en évoquant les travaux relatifs au Digital Labor. Or, ici, c’est l’inverse qui se produit : lors du développement des modèles, les décisions des machines doivent être expliquées par des experts humains qui en reconstituent la logique ; et plus tard, lorsque ces systèmes sont utilisés pour produire des cibles, leurs recommandations doivent être camouflées en décisions d’experts humains. Enfin, en temps de guerre, lorsque les analystes du renseignement consacrent à peine 20 secondes à approuver les recommandations de l’IA, le travail de cette dernière est une fois de plus dissimulé sous l’apparence de délibérations humaines. 

C’est peut-être à cela que sert encore l’humain dans la boucle : valider les procédures humaines plus que juger du travail des systèmes d’IA. 

En examinant de près l’utilisation de l’IA pendant la guerre de Gaza, l’article de Ori Schwarz montre que l’IA était nécessaire non pas pour personnaliser le traitement, mais pour justifier un traitement uniforme en créant des justifications personnalisées pour le ciblage de presque chaque bâtiment ou agent présumé du Hamas, et pour accélérer l’incrimination et la production de cibles à des niveaux sans précédent sans s’écarter complètement du cadre du droit international humanitaire, légitimant ainsi des massacres et des destructions de masse effroyables en s’appuyant sur des calculs et des procédures de probabilité prétendument objectifs, inscrits dans le code. 

L’article de Schwarz, montre également que les études critiques sur les impacts sociaux des algorithmes doivent aller au-delà de la simple critique de leurs erreurs et de leurs biais. Ces derniers ont constitué jusqu’à présent le cœur des critiques, et ce pour une bonne raison : malgré leur prétention à la neutralité, les systèmes d’IA sont sujets aux erreurs en général et, en particulier, à la reproduction d’inégalités découlant de biais, dans la mesure où les données utilisées pour leur entraînement consignent et reflètent des préjugés humains. Plus précisément, les erreurs et les biais sont au centre des débats sur l’usage de l’IA dans la guerre, y compris lors du conflit à Gaza.

Mais, estime-t-il, un système d’IA parfait, sans erreur ni biais, « pourrait aboutir aux mêmes conséquences effroyables, simplement en accélérant considérablement la production de cibles et en en réduisant le coût » : le fait de cibler des dizaines de milliers d’objectifs identifiés par le renseignement – une tâche dont la réalisation était pratiquement impossible avant l’IA – conduit presque inévitablement à des destructions et à des tueries de civils à grande échelle. Pire, l’IA permet bien plus de produire des justifications, même de ses erreurs et errements, en les recouvrant d’une complexité et d’un vernis d’explication.

Si la destruction de Gaza répondait à des motivations politique, l’IA a été indispensable pour inscrire la destruction dans le cadre du droit international humanitaire (tout comme les ciblages sociaux s’inscrivent également dans le cadre du droit, malgré leurs défaillances manifestes). Ce potentiel de légitimation pourrait être exploité au-delà du contexte israélien, alors que des systèmes similaires sont adoptés par d’autres armées officiellement attachées au respect du droit humanitaire international. « Si l’accélération peut sembler relever d’un simple changement quantitatif, elle a en réalité engendré une transformation qualitative majeure. Le rôle joué par l’IA dans la légitimation de ces massacres nous rappelle que les caractéristiques et les affordances ne définissent pas les technologies de manière isolée : elles sont façonnées par les contextes juridiques, structurels, culturels et moraux, ainsi que par les réseaux ou dispositifs hétérogènes au sein desquels les technologies opèrent. Il est crucial de prendre en compte ce contexte pour comprendre comment il a pu engendrer des effets effroyables, mais aussi pourquoi il s’est avéré impossible d’éliminer l’humain de la boucle, et pourquoi le travail culturel de production de sens effectué par les humains était nécessaire pour légitimer l’automatisation partielle ayant conduit à cette accélération sans précédent de la production de cibles.» 

*

La possibilité d’accéder à toutes les données disponibles bouleverse comme nulle autre le rapport des armées à leurs missions. Sans limites, ce sont les valeurs mêmes de leurs missions qui seront transformées. Et c’est ce que produit le score d’appartenance à l’ennemi et les seuils de dommages collatéraux autorisés. La guerre de demain se joue sur les données, leurs croisements sans limites et les seuils adaptables. Des éléments sur lesquels le droit international n’a pour l’instant pas défini de pratiques et qui, sans encadrement,  risquent de permettre tous les glissements moraux du calcul, comme on le constate partout où le scoring se déploie.  

Hubert Guillaud

MAJ du 31/08/2026 : Cet été, une source militaire a expliqué à plusieurs journaux, dont Le Monde, les pratiques de l’armée israélienne pour relier les civils tués ou blessés au Hamas, lors de frappes à Gaza. Cette incrimination rétrospective passe d’abord par des incriminations et des justifications mensongères, difficiles à debunker et des enquêtes jamais refermées. Les combattre nécessite pour les victimes d’apporter à leur tour des preuves d’exactions, qui ne sont pas toujours disponibles (d’autant que les journalistes ont du mal à accéder aux terrains d’opérations et que nombre d’entre eux, sur place, ont été tués). Les plaintes Gazouis sont rarement instruites par les autorités judiciaires israëliennes et l’information en Israël est très activement censurée (6 265 articles partiellement et 1 635 totalement en 2024, un record).  

Les autorités internationales devraient surtout pouvoir avoir accès aux enregistrements des systèmes d’IA avant frappes pour mener des enquêtes sur la façon dont ils ont été utilisés.

On l’a dit plusieurs fois dans nos pages, la tentation d’avoir recours à l’IA pour délibérer à la place des citoyens n’est pas sans risques. Et les perspectives de l’utiliser pour « étendre » le débat démocratique au risque de refermer la participation aux productions de l’IA, n’est pas un petit écueil devant nous. 

De l’IA pour générer des publics

La chercheuse M.R. Sauter, professeure au collège d’information de l’université du Maryland, explique dans un article de recherche, que nombre de travaux proposent d’utiliser l’IA comme substituts ou compléments à la participation humaine dans nombre de processus démocratiques, comme les sondages ou les consultations. Et cette perspective est problématique. 

Pour elle, ces propositions ne sont pas de simples interventions techniques qui visent à réduire les coûts de la participation, mais s’appuient sur un imaginaire civique qui rend ces substitutions plausibles voire souhaitables. Si ces propositions s’entendent, estime-t-elle, c’est d’abord parce que nous avons assimilé une forme d’équivalence entre humains et données, parce que nous pensons que les systèmes génératifs nous permettent de révéler des vérités et parce que nous avons intégré également le caractère procédural de la démocratie, tant et si bien qu’elle nous semble pouvoir fonctionner en l’absence même des gouvernés. Les données synthétiques qui seraient capables de refléter l’opinion de tout un chacun s’alignent sur les croyances du développement de l’IA qui nous fait croire en leur capacité de représentativité, tout en sapant l’éthique démocratique de la participation. Or, rappelle la chercheuse, « ces systèmes, par nature, entravent la capacité d’interpellation des citoyens et transforment la participation en la rendant symbolique plutôt que relationnelle ». L’imaginaire de l’IA civique ne comble pas les déficits démocratiques, mais les aggrave. Elle offre surtout une couverture idéologique présentant l’efficacité, la substitution des citoyens par des machines statistiques et l’abstraction comme s’ils pouvaient être des progrès démocratiques. 

« Les institutions démocratiques contemporaines sont marquées par une érosion persistante de la participation. Dans ce contexte, les propositions de déploiement de systèmes d’IA dans la gouvernance participative et représentative se présentent souvent comme des interventions correctives, promettant efficacité, inclusion ou légitimité renouvelée. (…)  L’imaginaire de l’IA civique permet, encourage et excuse l’utilisation de systèmes informatiques comme substituts aux personnes dans les structures de gouvernance participative et représentative. » Mais pour la chercheuse, ces solutions risquent surtout d’éroder plus avant la participation. 

Reste que cet imaginaire d’une IA pour nous représenter tous repose sur le fait que l’efficacité, la quantification et l’optimisation sont déjà des enjeux très présents dans les structures de gouvernance, où l’importance consiste bien plus à mesurer ce que la participation produit. Plus encore, comme nous le disaient Nicolas Rio et Manon Loisel dans leur petit livre, Pour en finir avec la démocratie participative (Textuel, 2024, voir notre critique) la participation trop souvent ne permet pas d’élargir l’écoute, c’est-à-dire d’écouter ceux qui ne participent pas, quand cela devrait être sa fonction première. L’IA, malgré toutes les données qui sont les siennes, risque de rendre encore plus silencieux ceux qui n’y sont pas représentés. « La crise démocratique est une crise de l’écoute », disaient-ils. Mais écouter les données analysées par l’IA et ses biais, plutôt que les citoyens, ne la résoudra pas. 

Activer l’IA pour améliorer la démocratie répond parfaitement aux enjeux et valeurs des acteurs qui se proposent de produire les interfaces des consultations sous IA, plus qu’à ceux de la démocratie elle-même, conclut M.R. Sauter. 

Les simulations ne sont pas des opinons

Sur son blog, le professeur de mathématiques appliquées, Arthur Charpentier, résume parfaitement le problème en prenant un cas concret et en montrant comment l’IA est utilisée pour améliorer la représentation statistique. L’idée consiste à “inventer” des répondants supplémentaires pour mieux décrire de petits groupes, explique également le statisticien Thomas Delclite sur son blog sur Mediapart. Ces enjeux de calibration ne sont pas nouveaux, rappelle le professeur. « On modifie les poids de sondage pour respecter des contraintes connues sur la population, par exemple des totaux par sexe, âge ou région. » Mais ses corrections viennent avec un prix à payer : les données synthétiques ne produiront jamais la précision de personnes réelles et ont tendance à amplifier les biais d’échantillonnages non représentatifs. « La génération synthétique peut prolonger le biais, le lisser, le rendre plus cohérent, et surtout créer une fausse illusion », rendant l’incertitude plus invisible qu’elle n’est. Mais surtout, rappelle Charpentier, ces cas d’utilisations aggravent les risques de mauvaises interprétations et les pratiques manquent souvent de transparence sur leurs méthodes. « Ce n’est pas une querelle entre anciens statisticiens attachés aux preuves mathématiques, et nouvelles méthodes d’IA. Le cœur du problème est un problème très classique d’inférence. Qu’est-ce qui est aléatoire ? Qu’est-ce qui est observé ? Qu’est-ce qui est imputé ? Quel est le modèle ? Quelle incertitude est propagée ? Et que signifie exactement l’intervalle annoncé ? » « Le risque est fort de “corriger” ce qui ressemble à une anomalie statistique, alors que cette anomalie est peut-être précisément le signal politique ou sociologique que l’on cherchait à mesurer. »

On le comprend bien mieux quand on cherche à extrapoler les résultats. On pourrait ainsi générer des réponses de toute la population… mais dans ce cas là, ce que l’on génère, ce n’est pas la population, « c’est une image de la population selon un modèle, appris à partir de données limitées ». Si les données synthétiques peuvent être utiles, elles demandent une discipline méthodologique stricte. Or, les distinctions subtiles que ces techniques produisent  ne sont pas seulement techniques : elles deviennent rapidement démocratiques. 

Dans un second billet, Arthur Charpentier pointe une étude qui propose justement de demander à un modèle de langage de répondre à la place des personnes : la méthode s’appelle le silicon sampling, l’échantillonnage synthétique. L’attrait pour ces techniques est fort, on le comprend, notamment parce qu’elles permettent de réduire considérablement les coûts des sondages, enquêtes et pannels. Pour le statisticien Eli McKown-Dawson qui édite avec le statisticien Nate Silver le Silver Bulletin, ces modèles ne sont pas forcément inutiles, mais ils doivent rester ce qu’ils sont, des résultats de modèles et non pas des sondages :  les sondages IA sont d’abord de faux sondages. Le silicon sampling vise à produire une prédiction de ce qu’un sondage pourrait dire. « Les sondages eux-mêmes sont à traiter avec précaution. Ils reposent sur des pondérations, des corrections de non-réponse, parfois des modèles de vraisemblance de vote ou de post-stratification. Si un échantillon contient trop de diplômés ou trop peu de jeunes, on corrige. Si un groupe est difficile à atteindre, on pondère ou on modélise. Mais il repose sur un socle “empirique”, avec des personnes qui ont été contactées, certaines qui ont répondu, et l’incertitude statistique porte sur ce passage fragile d’un échantillon observé à une population.

Dans un sondage synthétique, le modèle ne corrige pas une enquête, il se substitue à l’enquête. » Dans l’étude originale sur le silicon sampling, l’idée est de chercher à produire une « fidélité algorithmique », où  le modèle est conditionné par des descriptions sociodémographiques issues de vrais répondants. Mais les auteurs formulent des conditions très exigeantes à leur usage. Dans une autre étude qui met en pratique l’échantillonnage synthétique, les chercheurs ont fait l’essai sur des données de l’élection présidentielle américaine de 2020… Dans un premier temps, les distributions simulées semblent être très proches des données. « Mais dès que l’on regarde par sous-groupes ou par thèmes, on commence à voir des soucis apparaître. Le modèle devient trop extrême pour certains groupes partisans. Les auteurs notent par exemple que les démocrates et républicains synthétiques votent presque unanimement pour leur camp, davantage que les répondants humains. Plus intéressant encore, le modèle se met à produire des réponses “inoffensives” (“harmless”) ou socialement attendues sur des sujets sensibles. Sur certaines questions de race, de genre, d’homosexualité, de santé ou d’immigration, les réponses générées semblent moins refléter la diversité des opinions humaines qu’une norme de prudence inscrite dans le modèle. Les auteurs parlent d’un biais vers des réponses “harmless”, qui peut varier selon les groupes simulés. Et c’est un point important ! Les modèles ne sont pas seulement des machines à reproduire ce qui se trouve dans les données d’entraînement. Ils sont aussi des machines alignées, filtrées, modérées, ajustées pour produire certains types de réponses. » Bref, « les simulations ne sont pas des opinions ». « Dans un sondage politique ou social, l’unité statistique n’est pas seulement une ligne dans un fichier. C’est une personne atteinte par un dispositif d’enquête, avec une probabilité d’inclusion, une réponse observée, une non-réponse possible, un poids, et une contribution à l’incertitude. Une ligne produite par un modèle n’a pas cette histoire. Elle dit quelque chose du modèle, pas forcément de la population. »

Pour Jamie Cummings, chercheur au LipLab de l’université de Gent, avoir recours à des participants artificiels peut « engendrer des résultats très variés, voire contradictoires, et aucune combinaison spécifique de choix ne permet d’obtenir des données correspondant parfaitement aux réponses humaines », explique-t-il dans un article de recherche discuté dans Science. En testant ces outils, lui aussi constate une grande variété de résultats selon les indicateurs et les critères retenus pour constituer ces publics synthétiques. « Si deux chercheurs différents menaient la même étude sur des échantillons synthétiques, en faisant des choix justifiés différents, ils pourraient aboutir à des conclusions opposées, explique-t-il. » Bref, il va falloir mieux documenter les situations où cet usage pourrait être approprié, comme par exemple pour des expériences pilotes ou pour tester des enquêtes. Le risque pourtant, c’est que la pratique se diffuse, notamment auprès d’acteurs bien peu académiques et bien peu regardant des limites de ces outils. 

… à l’IA pour traiter des sondages et consultations

Mais l’IA n’est pas seulement utilisée pour générer des publics synthétiques, elle est aussi de plus en plus utilisée pour traiter les enquêtes, sondages et autres consultations… notamment les plus massives, comme l’explique le journaliste Chris Stokel-Walker pour Tech Policy Press. 

En 2025, lors d’une réforme sur le secteur de l’eau, les agences britanniques ont reçu des milliers de contributions du public. Pour les examiner, ils ont eu recours à Consult, l’un des outils d’IA de la suite Humphrey* (qu’on pourrait qualifier d’Albert britannique ou de Mistral britannique puisque désormais il semble que ce soit plutôt Mistral qui soit l’IA envisagée pour équiper les fonctionnaires Français). L’outil a permis de classer les 50 000 réponses par thèmes évitant une fastueuse classification manuelle des réponses et de produire une analyse dédiée.  

Pour Chris Schmitz, chercheur à la Hertie School de Berlin, l’enjeu ne consiste pas seulement à analyser les documents de consultation, mais aussi à empêcher toute manipulation du processus lui-même (même si Schmitz n’explique pas du tout comment : l’analyse établie par l’IA n’assurant pas pour autant de la synthèse équitable et valide des réponses). Le risque pourtant est bien que ces processus qui font appel à la contribution publique soient submergés par l’analyse automatisée… Et en retour, que les espaces de participation des publics soient eux-mêmes augmentés et démultipliés par l’IA, par exemple via des outils IA qui permettent aux citoyens britanniques de contester les demandes de permis de construire, leur permettant de démultiplier les contestations et de produire des contestations plus argumentées et volumineuses (mais pas toujours plus solides juridiquement). 

Les analyses par IA de grands sondages ou de grandes cohortes sont souvent particulièrement problématiques. Bien souvent la méthodologie n’est pas transparente et les biais qui visent à qualifier automatiquement les réponses (par exemple en leur attribuant des notes selon des analyses sémantiques qui synthétisent les réponses en valeurs (positif ou négatif) ou en mots clés et réduisent les nuances et les expressions, souffrent de biais majeurs que beaucoup de cabinets de conseils qui mobilisent ces études pensent qu’ils se dissolvent dans le nombre… A l’image des études sur les réponses des cahiers de doléances des Français ou plus récemment l’étude du pluralisme des antennes de Radio France et de France Télévision produit par le très libéral et conservateur Institut Thomas Moore : une étude orientée pour démontrer que les programmes des émissions du service public seraient très orientés à gauche et qui a été largement dénoncé en se moquant du fait que l’étude par exemple classe les bulletins météo à gauche. 

Dans le secteur public, l’IA commence à être utilisée à d’autres endroits encore, explique Stokel-Walker. Le Sénat italien utilise l’IA pour gérer la surcharge d’amendements en regroupant les propositions similaires. La Commission européenne, elle, a publié un appel d’offre pour la fourniture de chatbots multilingues capables d’aider les citoyens à s’orienter parmi les obligations légales et notamment la réglementation européenne sur l’IA et le DSA. La Chambre des députés italienne soutient le projet GENAI4LEX-B, qui facilite la recherche et la rédaction législatives en synthétisant les amendements des commissions et en vérifiant la conformité des projets de loi aux normes de rédaction. D’autres pays utilisent également l’IA pour optimiser le processus d’élaboration des lois. 

Pour Schmitz, le problème est que les gouvernements considèrent l’intégration de l’IA comme une série de petites corrections techniques plutôt que comme une transformation structurelle de la manière dont les citoyens peuvent influencer l’État (et dont l’État peut influencer les consultations). Les outils de tri, de synthèse et de rédaction peuvent sembler être des améliorations logiques (on a déjà pointé certains biais des synthèses automatisées et les problèmes de dégradation des données quand l’IA les modifie comme les formes de sur-interprétations liées aux outils d’inférences) , mais « ce sont des solutions de fortune », soulignant qu’il ne constate « aucune réflexion systématique sur les conséquences à long terme pour la légitimité des processus de participation citoyenne ». Mais si les gouvernements l’utilisent principalement pour gérer les données générées par les machines ou pour gagner du temps dans les traitements, ils risquent d’aggraver la méfiance qu’ils cherchent justement à endiguer… c’est-à-dire à rendre la participation encore plus éloignée car de moins en moins représentée.

Hubert Guillaud

—-
* Non sans une certaine ironie, Humphrey tire son nom de la série télévisée satirique des années 80, Yes Minister, dans laquelle un nouveau ministre des affaires publiques est confronté à Humphrey Appleby, responsable de cette administration, qui use de tous les moyens à sa disposition pour décourager la moindre proposition du ministre… afin que rien ne bouge (merci à Aron West pour cette précision).

On l’a dit plusieurs fois dans nos pages, la tentation d’avoir recours à l’IA pour délibérer à la place des citoyens n’est pas sans risques. Et les perspectives de l’utiliser pour « étendre » le débat démocratique au risque de refermer la participation aux productions de l’IA, n’est pas un petit écueil devant nous. 

De l’IA pour générer des publics

La chercheuse M.R. Sauter, professeure au collège d’information de l’université du Maryland, explique dans un article de recherche, que nombre de travaux proposent d’utiliser l’IA comme substituts ou compléments à la participation humaine dans nombre de processus démocratiques, comme les sondages ou les consultations. Et cette perspective est problématique. 

Pour elle, ces propositions ne sont pas de simples interventions techniques qui visent à réduire les coûts de la participation, mais s’appuient sur un imaginaire civique qui rend ces substitutions plausibles voire souhaitables. Si ces propositions s’entendent, estime-t-elle, c’est d’abord parce que nous avons assimilé une forme d’équivalence entre humains et données, parce que nous pensons que les systèmes génératifs nous permettent de révéler des vérités et parce que nous avons intégré également le caractère procédural de la démocratie, tant et si bien qu’elle nous semble pouvoir fonctionner en l’absence même des gouvernés. Les données synthétiques qui seraient capables de refléter l’opinion de tout un chacun s’alignent sur les croyances du développement de l’IA qui nous fait croire en leur capacité de représentativité, tout en sapant l’éthique démocratique de la participation. Or, rappelle la chercheuse, « ces systèmes, par nature, entravent la capacité d’interpellation des citoyens et transforment la participation en la rendant symbolique plutôt que relationnelle ». L’imaginaire de l’IA civique ne comble pas les déficits démocratiques, mais les aggrave. Elle offre surtout une couverture idéologique présentant l’efficacité, la substitution des citoyens par des machines statistiques et l’abstraction comme s’ils pouvaient être des progrès démocratiques. 

« Les institutions démocratiques contemporaines sont marquées par une érosion persistante de la participation. Dans ce contexte, les propositions de déploiement de systèmes d’IA dans la gouvernance participative et représentative se présentent souvent comme des interventions correctives, promettant efficacité, inclusion ou légitimité renouvelée. (…)  L’imaginaire de l’IA civique permet, encourage et excuse l’utilisation de systèmes informatiques comme substituts aux personnes dans les structures de gouvernance participative et représentative. » Mais pour la chercheuse, ces solutions risquent surtout d’éroder plus avant la participation. 

Reste que cet imaginaire d’une IA pour nous représenter tous repose sur le fait que l’efficacité, la quantification et l’optimisation sont déjà des enjeux très présents dans les structures de gouvernance, où l’importance consiste bien plus à mesurer ce que la participation produit. Plus encore, comme nous le disaient Nicolas Rio et Manon Loisel dans leur petit livre, Pour en finir avec la démocratie participative (Textuel, 2024, voir notre critique) la participation trop souvent ne permet pas d’élargir l’écoute, c’est-à-dire d’écouter ceux qui ne participent pas, quand cela devrait être sa fonction première. L’IA, malgré toutes les données qui sont les siennes, risque de rendre encore plus silencieux ceux qui n’y sont pas représentés. « La crise démocratique est une crise de l’écoute », disaient-ils. Mais écouter les données analysées par l’IA et ses biais, plutôt que les citoyens, ne la résoudra pas. 

Activer l’IA pour améliorer la démocratie répond parfaitement aux enjeux et valeurs des acteurs qui se proposent de produire les interfaces des consultations sous IA, plus qu’à ceux de la démocratie elle-même, conclut M.R. Sauter. 

Les simulations ne sont pas des opinons

Sur son blog, le professeur de mathématiques appliquées, Arthur Charpentier, résume parfaitement le problème en prenant un cas concret et en montrant comment l’IA est utilisée pour améliorer la représentation statistique. L’idée consiste à “inventer” des répondants supplémentaires pour mieux décrire de petits groupes, explique également le statisticien Thomas Delclite sur son blog sur Mediapart. Ces enjeux de calibration ne sont pas nouveaux, rappelle le professeur. « On modifie les poids de sondage pour respecter des contraintes connues sur la population, par exemple des totaux par sexe, âge ou région. » Mais ses corrections viennent avec un prix à payer : les données synthétiques ne produiront jamais la précision de personnes réelles et ont tendance à amplifier les biais d’échantillonnages non représentatifs. « La génération synthétique peut prolonger le biais, le lisser, le rendre plus cohérent, et surtout créer une fausse illusion », rendant l’incertitude plus invisible qu’elle n’est. Mais surtout, rappelle Charpentier, ces cas d’utilisations aggravent les risques de mauvaises interprétations et les pratiques manquent souvent de transparence sur leurs méthodes. « Ce n’est pas une querelle entre anciens statisticiens attachés aux preuves mathématiques, et nouvelles méthodes d’IA. Le cœur du problème est un problème très classique d’inférence. Qu’est-ce qui est aléatoire ? Qu’est-ce qui est observé ? Qu’est-ce qui est imputé ? Quel est le modèle ? Quelle incertitude est propagée ? Et que signifie exactement l’intervalle annoncé ? » « Le risque est fort de “corriger” ce qui ressemble à une anomalie statistique, alors que cette anomalie est peut-être précisément le signal politique ou sociologique que l’on cherchait à mesurer. »

On le comprend bien mieux quand on cherche à extrapoler les résultats. On pourrait ainsi générer des réponses de toute la population… mais dans ce cas là, ce que l’on génère, ce n’est pas la population, « c’est une image de la population selon un modèle, appris à partir de données limitées ». Si les données synthétiques peuvent être utiles, elles demandent une discipline méthodologique stricte. Or, les distinctions subtiles que ces techniques produisent  ne sont pas seulement techniques : elles deviennent rapidement démocratiques. 

Dans un second billet, Arthur Charpentier pointe une étude qui propose justement de demander à un modèle de langage de répondre à la place des personnes : la méthode s’appelle le silicon sampling, l’échantillonnage synthétique. L’attrait pour ces techniques est fort, on le comprend, notamment parce qu’elles permettent de réduire considérablement les coûts des sondages, enquêtes et pannels. Pour le statisticien Eli McKown-Dawson qui édite avec le statisticien Nate Silver le Silver Bulletin, ces modèles ne sont pas forcément inutiles, mais ils doivent rester ce qu’ils sont, des résultats de modèles et non pas des sondages :  les sondages IA sont d’abord de faux sondages. Le silicon sampling vise à produire une prédiction de ce qu’un sondage pourrait dire. « Les sondages eux-mêmes sont à traiter avec précaution. Ils reposent sur des pondérations, des corrections de non-réponse, parfois des modèles de vraisemblance de vote ou de post-stratification. Si un échantillon contient trop de diplômés ou trop peu de jeunes, on corrige. Si un groupe est difficile à atteindre, on pondère ou on modélise. Mais il repose sur un socle “empirique”, avec des personnes qui ont été contactées, certaines qui ont répondu, et l’incertitude statistique porte sur ce passage fragile d’un échantillon observé à une population.

Dans un sondage synthétique, le modèle ne corrige pas une enquête, il se substitue à l’enquête. » Dans l’étude originale sur le silicon sampling, l’idée est de chercher à produire une « fidélité algorithmique », où  le modèle est conditionné par des descriptions sociodémographiques issues de vrais répondants. Mais les auteurs formulent des conditions très exigeantes à leur usage. Dans une autre étude qui met en pratique l’échantillonnage synthétique, les chercheurs ont fait l’essai sur des données de l’élection présidentielle américaine de 2020… Dans un premier temps, les distributions simulées semblent être très proches des données. « Mais dès que l’on regarde par sous-groupes ou par thèmes, on commence à voir des soucis apparaître. Le modèle devient trop extrême pour certains groupes partisans. Les auteurs notent par exemple que les démocrates et républicains synthétiques votent presque unanimement pour leur camp, davantage que les répondants humains. Plus intéressant encore, le modèle se met à produire des réponses “inoffensives” (“harmless”) ou socialement attendues sur des sujets sensibles. Sur certaines questions de race, de genre, d’homosexualité, de santé ou d’immigration, les réponses générées semblent moins refléter la diversité des opinions humaines qu’une norme de prudence inscrite dans le modèle. Les auteurs parlent d’un biais vers des réponses “harmless”, qui peut varier selon les groupes simulés. Et c’est un point important ! Les modèles ne sont pas seulement des machines à reproduire ce qui se trouve dans les données d’entraînement. Ils sont aussi des machines alignées, filtrées, modérées, ajustées pour produire certains types de réponses. » Bref, « les simulations ne sont pas des opinions ». « Dans un sondage politique ou social, l’unité statistique n’est pas seulement une ligne dans un fichier. C’est une personne atteinte par un dispositif d’enquête, avec une probabilité d’inclusion, une réponse observée, une non-réponse possible, un poids, et une contribution à l’incertitude. Une ligne produite par un modèle n’a pas cette histoire. Elle dit quelque chose du modèle, pas forcément de la population. »

Pour Jamie Cummings, chercheur au LipLab de l’université de Gent, avoir recours à des participants artificiels peut « engendrer des résultats très variés, voire contradictoires, et aucune combinaison spécifique de choix ne permet d’obtenir des données correspondant parfaitement aux réponses humaines », explique-t-il dans un article de recherche discuté dans Science. En testant ces outils, lui aussi constate une grande variété de résultats selon les indicateurs et les critères retenus pour constituer ces publics synthétiques. « Si deux chercheurs différents menaient la même étude sur des échantillons synthétiques, en faisant des choix justifiés différents, ils pourraient aboutir à des conclusions opposées, explique-t-il. » Bref, il va falloir mieux documenter les situations où cet usage pourrait être approprié, comme par exemple pour des expériences pilotes ou pour tester des enquêtes. Le risque pourtant, c’est que la pratique se diffuse, notamment auprès d’acteurs bien peu académiques et bien peu regardant des limites de ces outils. 

… à l’IA pour traiter des sondages et consultations

Mais l’IA n’est pas seulement utilisée pour générer des publics synthétiques, elle est aussi de plus en plus utilisée pour traiter les enquêtes, sondages et autres consultations… notamment les plus massives, comme l’explique le journaliste Chris Stokel-Walker pour Tech Policy Press. 

En 2025, lors d’une réforme sur le secteur de l’eau, les agences britanniques ont reçu des milliers de contributions du public. Pour les examiner, ils ont eu recours à Consult, l’un des outils d’IA de la suite Humphrey* (qu’on pourrait qualifier d’Albert britannique ou de Mistral britannique puisque désormais il semble que ce soit plutôt Mistral qui soit l’IA envisagée pour équiper les fonctionnaires Français). L’outil a permis de classer les 50 000 réponses par thèmes évitant une fastueuse classification manuelle des réponses et de produire une analyse dédiée.  

Pour Chris Schmitz, chercheur à la Hertie School de Berlin, l’enjeu ne consiste pas seulement à analyser les documents de consultation, mais aussi à empêcher toute manipulation du processus lui-même (même si Schmitz n’explique pas du tout comment : l’analyse établie par l’IA n’assurant pas pour autant de la synthèse équitable et valide des réponses). Le risque pourtant est bien que ces processus qui font appel à la contribution publique soient submergés par l’analyse automatisée… Et en retour, que les espaces de participation des publics soient eux-mêmes augmentés et démultipliés par l’IA, par exemple via des outils IA qui permettent aux citoyens britanniques de contester les demandes de permis de construire, leur permettant de démultiplier les contestations et de produire des contestations plus argumentées et volumineuses (mais pas toujours plus solides juridiquement). 

Les analyses par IA de grands sondages ou de grandes cohortes sont souvent particulièrement problématiques. Bien souvent la méthodologie n’est pas transparente et les biais qui visent à qualifier automatiquement les réponses (par exemple en leur attribuant des notes selon des analyses sémantiques qui synthétisent les réponses en valeurs (positif ou négatif) ou en mots clés et réduisent les nuances et les expressions, souffrent de biais majeurs que beaucoup de cabinets de conseils qui mobilisent ces études pensent qu’ils se dissolvent dans le nombre… A l’image des études sur les réponses des cahiers de doléances des Français ou plus récemment l’étude du pluralisme des antennes de Radio France et de France Télévision produit par le très libéral et conservateur Institut Thomas Moore : une étude orientée pour démontrer que les programmes des émissions du service public seraient très orientés à gauche et qui a été largement dénoncé en se moquant du fait que l’étude par exemple classe les bulletins météo à gauche. 

Dans le secteur public, l’IA commence à être utilisée à d’autres endroits encore, explique Stokel-Walker. Le Sénat italien utilise l’IA pour gérer la surcharge d’amendements en regroupant les propositions similaires. La Commission européenne, elle, a publié un appel d’offre pour la fourniture de chatbots multilingues capables d’aider les citoyens à s’orienter parmi les obligations légales et notamment la réglementation européenne sur l’IA et le DSA. La Chambre des députés italienne soutient le projet GENAI4LEX-B, qui facilite la recherche et la rédaction législatives en synthétisant les amendements des commissions et en vérifiant la conformité des projets de loi aux normes de rédaction. D’autres pays utilisent également l’IA pour optimiser le processus d’élaboration des lois. 

Pour Schmitz, le problème est que les gouvernements considèrent l’intégration de l’IA comme une série de petites corrections techniques plutôt que comme une transformation structurelle de la manière dont les citoyens peuvent influencer l’État (et dont l’État peut influencer les consultations). Les outils de tri, de synthèse et de rédaction peuvent sembler être des améliorations logiques (on a déjà pointé certains biais des synthèses automatisées et les problèmes de dégradation des données quand l’IA les modifie comme les formes de sur-interprétations liées aux outils d’inférences) , mais « ce sont des solutions de fortune », soulignant qu’il ne constate « aucune réflexion systématique sur les conséquences à long terme pour la légitimité des processus de participation citoyenne ». Mais si les gouvernements l’utilisent principalement pour gérer les données générées par les machines ou pour gagner du temps dans les traitements, ils risquent d’aggraver la méfiance qu’ils cherchent justement à endiguer… c’est-à-dire à rendre la participation encore plus éloignée car de moins en moins représentée.

Hubert Guillaud

—-
* Non sans une certaine ironie, Humphrey tire son nom de la série télévisée satirique des années 80, Yes Minister, dans laquelle un nouveau ministre des affaires publiques est confronté à Humphrey Appleby, responsable de cette administration, qui use de tous les moyens à sa disposition pour décourager la moindre proposition du ministre… afin que rien ne bouge (merci à Aron West pour cette précision).

En 1976, le géographe Yves Lacoste rappelait les fondements de la géographie dans un petit essai, La géographie ça sert, d’abord, à faire la guerre qui revenait sur l’importance politique de tout discours sur l’espace. Aujourd’hui, nous devons nous poser la même question pour pointer l’importance politique de tout discours sur la technologie. La technologie est un enjeu stratégique et elle le devient d’autant plus qu’elle est désormais le soubassement du champ de bataille, son infrastructure, qui détermine la capacité à mener toutes opérations de défense comme d’attaque. 

Nous n’avions jusqu’à présent pas évoqué dans nos pages l’utilisation de l’IA pour la guerre. Il est temps de rattraper nos lacunes. 

Une usine IA pour faire la guerre

Ha’Aretz, le grand quotidien Israëlien, expliquait récemment que l’infrastructure d’intelligence artificielle qui a servi à piloter les bombardements à Gaza est désormais pleinement opérationnelle en Iran et au Liban. Cet Operational Data and AI Factory (Centre opérationnel de données et usine d’IA) piloté par Tsahal, l’armée israélienne, intègre de multiples flux de données et sources d’information, les rendant accessibles en temps réel à tous les échelons de la hiérarchie militaire. Déployé dans toute l’armée, il analyse tout type de données pour permettre d’obtenir une vision opérationnelle complète des forces, des missions et des menaces. « Le système est conçu pour faciliter la planification des attaques, le ciblage et les frappes. Il enregistre et transcrit également toutes les communications sans fil et compile des données en temps réel sur les lancements et les interceptions de missiles et de drones ». L’AI Factory militaire fonctionne. Et désormais, elle est devenue l’infrastructure même de l’armée, explique Ha’Aretz. 

Les unités peuvent utiliser les outils à leur disposition et développer leurs propres applications. Ce système n’est pas utilisé uniquement d’une manière défensive comme l’armée israélienne l’a longtemps défendu, mais participe également au traitement des plans de frappe et des cibles. Il est par exemple intégré au dispositif de drones offensifs de l’armée de l’air, baptisé Storm Cloud, qui permet d’identifier des objets dans les vidéos et les cartographier en temps réel. Bien d’autres systèmes sont désormais intégrés, comme  Lohem (Chasseur), qui assiste notamment l’armée de l’air dans la planification et la synchronisation des frappes ; Rom, qui détecte les drones ; « Contrôle spatial », qui alerte les forces terrestres en cas de tirs de roquettes et de missiles antichars ; et Tashan, qui identifie les points de lancement et d’impact et localise la source des tirs ennemis. L’IA a également été intégrée au système d’alerte national israélien, permettant de prédire les zones de retombée des débris d’interception. Flow, agrège les données provenant de sources militaires et civiles, permettant aux commandants de créer rapidement des tableaux de bord de renseignement pour des problèmes spécifiques. Un autre élément central du système est MapIT, « une plateforme qui affiche des données opérationnelles tridimensionnelles en temps réel aux commandants. Ha’Aretz a appris qu’au cours de l’année écoulée, l’armée a développé une couche supplémentaire au-dessus de MapIT, consolidant tous les flux de données en une seule carte opérationnelle. » 

À ce stade, précise le journal, « ces systèmes d’IA ne prennent pas de décisions opérationnelles de manière indépendante. Ils sont plutôt conçus pour fournir au personnel militaire des informations plus rapides et plus sophistiquées. Selon des sources qui se sont confiées à Ha’Aretz, le système remplace le travail de dizaines d’analystes. » Selon le journal, tous ces éléments ne dépendent d’aucun prestataire externe. « Suite aux critiques concernant la dépendance de l’armée israélienne à l’égard de l’infrastructure Microsoft, Tsahal a décidé d’adopter des modèles ouverts plutôt que des technologies propriétaires détenues par les grandes entreprises technologiques ». La plupart d’entre eux seraient des produits no-code, c’est-à-dire développés entièrement via l’IA, avance le journal. Fin 2025, Tsahal crée une division dédiée à l’IA, baptisée Bina et une unité chargée de consolider les données opérationnelles, au coeur du développement de ces outils. 

Dans cette infrastructure, on trouve encore le plus connu d’entre tous : Lavender, un système d’IA permettant de cibler des individus, comme l’explique la remarquable enquête du journaliste Yuval Abraham, publiée par +972 Magazine en avril 2024 qui aurait identifié des dizaines de milliers de militants présumés à Gaza. Dans son enquête sur Lavender, Yuval Abraham explique que le système de ciblage par IA utilisé à Gaza, est « un système peu supervisé par l’humain et caractérisé par une politique permissive en matière de pertes humaines ». 

Lavender : le ciblage… quelques soient les dommages et les défaillances

En 2021, explique Yuval Abraham dans son article, un livre publié en anglais et sous pseudonyme plaidait pour la conception d’une machine spéciale capable de traiter rapidement d’énormes quantités de données afin de générer des milliers de « cibles » potentielles pour des frappes militaires en pleine guerre. Son auteur : l’un des responsables de l’unité d’élite du renseignement israélien. Cet outil qu’il imaginait existe désormais. Son influence sur les opérations militaires israéliennes à Gaza a été telle que les conclusions de l’IA étaient traitées « comme s’il s’agissait de décisions humaines ». 

« Officiellement, le système Lavender est conçu pour identifier toutes les opérations suspectes des branches militaires du Hamas et du Jihad islamique palestinien, même celles de bas rang, comme cibles potentielles de bombardements. L’armée s’est presque entièrement fiée à Lavender, qui a recensé jusqu’à 37 000 Palestiniens comme militants présumés (identifiant ces personnes nommément, bornant leurs téléphones et leurs domiciles) susceptibles de faire l’objet de frappes aériennes. »

« L’armée a donné son accord général aux officiers pour qu’ils adoptent les listes de cibles de Lavender, sans exiger de vérification approfondie des raisons qui ont motivé ces choix par le système ni d’examen des données brutes sur lesquelles ils se fondaient. » Une source a indiqué que le personnel humain servait souvent uniquement de simple exécutant pour valider les décisions du système, ajoutant qu’en général, il ne consacrait personnellement qu’une vingtaine de secondes à chaque cible avant d’autoriser un bombardement, juste pour s’assurer que la cible marquée par Lavender était bien… un homme. Et ce, malgré le fait que le système commette ce qui est considéré comme des « erreurs » dans au moins environ 10 % des cas, « et qu’il est connu pour marquer occasionnellement des individus n’ayant qu’un lien ténu avec des groupes militants, voire aucun lien du tout.» « De plus, l’armée israélienne attaquait systématiquement les individus ciblés à leur domicile, généralement la nuit en présence de toute leur famille, plutôt que lors d’opérations militaires. Selon les sources, cela s’expliquait par le fait que, d’un point de vue de renseignement, il était plus facile de localiser les individus chez eux. » Même si l’enjeu semblait plutôt de profiter d’une situation de faiblesse, hors du champ de bataille.

Les pertes de femmes ou d’enfants et de victimes collatérales ne sont, pour l’armée israélienne, qu’une conséquence sans impact sur les choix technologiques opérés. « Le système est conçu pour repérer les cibles à leur domicile ». « Selon deux sources, l’armée a également décidé, durant les premières semaines du conflit à Gaza, que pour chaque jeune militant du Hamas marqué par Lavender, il était permis de tuer jusqu’à 15 ou 20 civils. » C’est ici que les choses ont changé, estime Yuval Abraham, par le passé, l’armée n’autorisait aucun « dommage collatéral » lors des assassinats de militants de bas rang : les dommages collatéraux n’étaient autorisés que pour cibler les hauts responsables. Les dommages ont été intégrés et élargis. 

L’enquête de Yuval Abraham est très précise, et permet de bien saisir les limites de l’outil. 

« Lavender repère les personnes et les inscrit sur une liste de personnes à éliminer » déterminée par calcul à partir des données collectées, sans que l’on sache ce qui constitue ces données, provenant certainement du renseignement. Le terme de cible humaine a longtemps désigné pour l’armée israélienne des officiers supérieurs ennemis qui pouvaient être bombardés à leur domicile (au prix du massacre de leurs familles), mais seulement les officiers supérieurs, « afin de respecter le principe de proportionnalité du droit international ». Mais après le 7 octobre 2023 – date à laquelle des militants du Hamas ont lancé une attaque meurtrière contre des localités du sud d’Israël, faisant environ 1 200 morts et 240 otages –, Tsahal, selon ces mêmes sources, a adopté une approche radicalement différente. L’armée a décidé de désigner toutes les opérations de la branche armée du Hamas comme des cibles humaines, indépendamment du grade ou de l’importance militaire de leurs auteurs. « Lors des conflits précédents, pour autoriser l’assassinat d’une cible humaine, un officier devait suivre une procédure d’incrimination complexe et longue » et notamment procéder à des vérifications. Mais en élargissant la liste des cibles, les vérifications ont été réduites, au profit du ciblage automatisé. 

L’autorisation d’adopter automatiquement les listes de cibles calculée par Lavender a été prise deux semaines après le lancement de la guerre contre Gaza, après avoir testé un échantillon de cibles proposées par Lavender et constaté que l’affiliation d’un individu au Hamas semblait fiable à 90%. Les décisions de ciblage automatisées sont alors devenues des ordres. Les unités n’ont plus à vérifier les raisons de ces choix, ni à examiner les données sur lesquelles il se fonde. « Dès qu’une personne [marquée] était chez elle, elle devenait immédiatement une cible »… et ses coordonnées étaient transmises à l’aviation chargée de bombarder sa maison. « Il n’y avait plus de politique du « zéro erreur » », remarque un officier. Il n’y a pas eu de volonté de vérifier et d’atténuer les dommages collatéraux (bien au contraire, visiblement). Les 10% d’erreurs (ou plus) sont désormais intégrés comme principe opérationnel. « Des sources ont expliqué que le dispositif Lavender signalait parfois par erreur des individus dont les habitudes de communication étaient similaires à celles d’agents connus du Hamas ou du Jihad islamique palestinien (JIP) — notamment des policiers et des employés de la protection civile, des proches de militants, des résidents portant un nom et un surnom identiques à ceux d’un agent, ou encore des Gazaouis utilisant un téléphone ayant appartenu à un membre du Hamas. » Pour l’armée israélienne, la marge d’erreur du système a été validée comme acceptable.

L’invisible score de cible

« Lavender analyse les informations collectées sur la plupart des 2,3 millions d’habitants de la bande de Gaza grâce à un système de surveillance de masse, puis évalue et classe la probabilité que chaque personne soit active dans la branche militaire du Hamas ou du Jihad islamique palestinien (JIP) – depuis la base d’un échantillon d’entraînement de militants connus. Selon certaines sources, la machine attribue à presque chaque habitant de Gaza une note de 1 à 100, indiquant la probabilité qu’il soit un militant. » 

L’étendue des sources et données utilisées pour procéder à cette analyse n’est pas connue. Visiblement, le système utilise toutes les sources à sa disposition : données des téléphones, connexions aux réseaux sociaux, informations sur le champ de bataille, contacts téléphoniques, photos, informations sur les opérations de l’ennemi… Le seul enjeu consiste à déterminer le seuil, le niveau à partir duquel la note attribuée transforme un individu en cible. 

A partir de quelles données et informations, Lavender estime qu’une personne est affiliée au Hamas ? La liste des motifs de suspicions est sans fin puisqu’elle est calculée depuis toutes les données disponibles. Le fait qu’une personne ait appartenu ou ait été proche du Hamas dans le passé mais n’en fasse plus partie est un motif de suspicion. Mais est-il exact ? Pire, souligne l’article : un officier « défendant le recours aux listes de cibles palestiniennes générées par Lavender, a soutenu qu’il était justifié d’investir le temps d’un officier de renseignement pour vérifier l’information uniquement si la cible était un haut commandant du Hamas. « Mais pour un simple militant, il est inutile d’y investir des ressources humaines et du temps », a-t-il déclaré. » On vérifie là où le taux d’erreur est possiblement le plus faible et pas là où le taux d’erreur est possiblement le plus fort ! « Les jours où nous ne trouvions aucune cible [dont le profil justifiait une frappe], nous attaquions à un seuil plus bas. » Glaçant ! Et en abaissant le seuil, le système finit par signaler les membres de la protection civile, des policiers… qui par leur fonction aident le gouvernement du Hamas… mais ne représentent pas une menace directe. D’ailleurs, des données d’agents de la protection civile ont été utilisées pour entraîner Lavender (alors qu’elles auraient dû être écartées) et déterminer les profils à cibler, estime un data scientist en le regrettant car ils mettent ces publics à risque. 

Bien sûr, l’armée israélienne a dénoncé les accusations portées par l’article de Yuval Abraham. Pour Tsahal, l’IA n’est pas utilisée ainsi. Elle n’est qu’un « auxiliaire des décisions ». Toute cible identifiée est vérifiée, assure la communication officielle de l’armée. Mais, selon les sources de Yuval Abraham, « le seul protocole de supervision humaine mis en place avant le bombardement des maisons de militants présumés « juniors » marqués par Lavender consistait en une vérification unique : s’assurer que la cible sélectionnée par l’IA était un homme et non une femme. » Outre les dommages collatéraux, nombreux, pour les civils ciblés par erreur par Lavender, aucun mécanisme de contrôle n’était en place pour détecter l’erreur, comme par exemple, quand les cibles ont pu donner leur téléphone à un autre individu. Lavender, finalement, cible bien plus un téléphone qu’une personne. Ce qui n’est pas sans produire très concrètement des erreurs de frappe.

Obsession téléphonique, obsession domiciliaire

Pour l’armée israélienne, si ses frappes tuent des civils, c’est d’abord en raison des tactiques du Hamas qui utiliserait des réseau de tunnels passant délibérément sous des hôpitaux et des écoles ; ou des ambulances pour se déplacer ; et qui situerait ses moyens militaires à proximité de bâtiments civils pour dissuader les frappes. Des affirmations que les organisations de défense des droits humains jugent fallacieuses et qui viseraient à exonérer Israël de sa responsabilité dans ces pertes. Mais pour les sources d’Abraham, le nombre sans précédent de morts lors des bombardements israéliens actuels serait d’abord lié au fait que l’armée a systématiquement ciblé des personnes à leur domicile, en présence de leurs familles – notamment parce qu’il était plus facile, du point de vue du renseignement, de repérer les maisons familiales grâce à des systèmes automatisés. « L’armée a fait le choix délibéré de bombarder des militants présumés à l’intérieur de maisons civiles où aucune activité militaire n’avait été constatée. Un choix qui reflète la conception du système de surveillance de masse israélien à Gaza. » 

« Afin de détecter en temps réel l’entrée des cibles dans les maisons, divers logiciels automatisés ont été développés. Ces programmes suivent simultanément des milliers de personnes, repèrent leur présence à domicile et envoient une alerte automatique à l’officier chargé du ciblage, qui marque alors la maison pour le bombardement. L’un de ces logiciels de suivi, révélé ici pour la première fois, s’appelle « Où est papa ? ». « On entre des centaines de cibles dans le système et on attend de voir qui on peut éliminer », a déclaré une source connaissant le système. « C’est ce qu’on appelle le ciblage à grande échelle : on copie-colle les listes produites par le système. »

Les données confirment cette politique : durant le premier mois de la guerre, plus de la moitié des victimes – soit 6 120 personnes – appartenaient à 1 340 familles, dont beaucoup ont été entièrement décimées à l’intérieur de leurs maisons, selon les chiffres de l’ONU.»

Quand le rythme des victimes ralentit, il suffit d’ajouter davantage de noms dans le système de suivi, et notamment d’abaisser les grades de ceux qu’on souhaite éliminer. La liste des personnes à abattre s’est considérablement allongée (elle en compterait 36 000 en attente de localisation). Même des mineurs ont été désignés comme cibles de bombardement par Lavender, confie une source, déclarant : « normalement, les opérations concernent les personnes de plus de 17 ans, mais ce n’était pas une condition. »

La prise en compte du coût des armes et l’évolution du seuil des dommages collatéraux

Une fois que Lavender a désigné une cible à assassiner, que l’armée a vérifié son sexe et que le logiciel de suivi a localisé la cible à son domicile, l’étape suivante consiste à choisir les munitions. En décembre 2023, CNN a rapporté que, selon les estimations des services de renseignement américains, environ 45 % des munitions utilisées par l’armée de l’air israélienne à Gaza étaient des bombes non guidées, connues pour causer davantage de dommages collatéraux que les bombes guidées, plus précises (mais plus chères). Le choix des munitions se fait en fonction des immeubles ciblés. Les bombes non guidées sont plus adaptées à de petits immeubles, même si elles font plus de dégâts et donc plus de dommages collatéraux. Cela a notamment été le cas pour les cibles mineures, conduisant à détruire leurs maisons et tous leurs habitants. Selon d’autres sources, le programme d’attaque des militaires du Hamas de bas rang a été réduit voire arrêté du fait de son coût en munitions et en armes. 

Lors d’attaques depuis des systèmes d’IA comme Lavender, le nombre de civils qu’il était permis de tuer avec chaque cible était fixé à 15 à 20 maximum, durant les premières semaines du conflit. « Ces « seuils de dommages collatéraux », comme les appelle l’armée, étaient appliqués de manière systématique à tous les militants présumés, indépendamment de leur grade, de leur importance militaire ou de leur âge ». D’après un officier affecté à une salle d’opérations ciblées, le département de droit international de l’armée n’avait jamais auparavant accordé une « autorisation aussi générale » pour un seuil de dommages collatéraux aussi élevé. « Il ne s’agit pas simplement de pouvoir tuer n’importe quel soldat du Hamas, ce qui est pourtant clairement autorisé et légitime au regard du droit international », a-t-il déclaré. Mais également de tuer des civils qui leur sont liés, ce qui est beaucoup moins conforme au droit international. Sans compter que « toute personne ayant porté un uniforme du Hamas ces deux dernières années pouvait être la cible d’un bombardement, avec 20 civils tués en dommages collatéraux, même sans autorisation spéciale ». « En pratique, le principe de proportionnalité n’était pas respecté », estime l’officier. « Selon certaines sources, le niveau prédéterminé et fixe de dommages collatéraux a permis d’accélérer la création massive de cibles à l’aide du système Lavender, car il a permis un gain de temps ». Pour les frappes aériennes contre les hauts commandants du Hamas, l’armée israélienne autoriserait la mort de « centaines » de civils par cible – « une politique officielle sans précédent historique en Israël, ni même dans les récentes opérations militaires américaines ». Pour atteindre Ayman Nofal, commandant de la Brigade centrale de Gaza, le 17 octobre, l’armée israélienne a autorisé des dégâts collatéraux encore plus élevés. 

« Le général Peter Gersten, commandant adjoint des opérations et du renseignement dans le cadre de l’opération contre Daech en Irak et en Syrie, a déclaré à un magazine de défense américain en 2021 qu’une attaque ayant causé la mort de 15 civils s’écartait de la procédure. Pour ce faire, il a dû obtenir une autorisation spéciale du chef du Commandement central américain, le général Lloyd Austin, aujourd’hui secrétaire à la Défense. » « Avec Oussama Ben Laden, on avait un Indice de pertes non combattantes (IPNC) de 30, mais pour un commandant subalterne, cet IPNC était généralement nul », a déclaré Gersten. « On a longtemps fonctionné avec un IPNC nul. »

Certaines sources d’Abraham confient que cette politique était disproportionnée. Et que les souffrances des Gazaouis touchés par ces bombardements risquent, à long terme, de renforcer le Hamas.  

En fait, expliquent les sources d’Abraham, le nombre de dommages collatéraux autorisé n’a cessé de fluctuer, pour permettre les frappes. Le fait que la plupart des maisons de la bande de Gaza aient déjà été détruites ou endommagées, et que la quasi-totalité de la population ait été déplacée, a également réduit la capacité de l’armée à s’appuyer sur les bases de données de renseignement et les programmes automatisés de localisation des habitants et des habitations. Pour Abraham, lors des conflits précédents, les services de renseignement de l’armée consacraient beaucoup de temps à vérifier la fiabilité des calculs des dommages collatéraux possibles. Mais « après le 7 octobre, cette vérification rigoureuse a été largement abandonnée au profit de l’automatisation ». 

Visiblement, comme le notait déjà le New York Times, le système fonctionne avec un code couleur : le rouge indique les zones densément peuplées, tandis que le vert et le jaune indiquent les zones relativement vidées de leurs habitants. Le « logiciel calculait le nombre de civils résidant dans chaque maison avant la guerre – en évaluant la taille du bâtiment et en consultant la liste de ses occupants – puis réduisait ces chiffres en fonction de la proportion d’habitants ayant supposément évacué le quartier. » Le problème, bien évidemment, c’est que cette méthode était déconnectée de la réalité. « La source a indiqué que, malgré la connaissance des risques d’erreurs, ce modèle imprécis avait été adopté pour sa rapidité. De ce fait, a-t-elle précisé, « le calcul des dommages collatéraux était entièrement automatisé et statistique », produisant même des chiffres non entiers.»

Enfin, il faut également prendre en compte la latence des frappes. Un décalage important peut se passer entre le moment où les systèmes de suivi comme « Où est papa ? » alerte de l’arrivée d’une cible à domicile et le bombardement… pouvant entraîner la mort de familles entières, sans même que la cible n’ait été atteinte car elle pouvait être repartie. « Nous savions que la cible était chez elle à 20 h. Finalement, l’aviation a bombardé la maison à 3 h du matin. Nous avons alors découvert qu’il avait réussi à déménager avec sa famille dans une autre maison. Deux autres familles avec enfants se trouvaient dans l’immeuble que nous avons bombardé. » Le temps de traitement n’a rien d’immédiat, contrairement à ce que l’on peut croire. 

« Lors des précédents conflits à Gaza, après l’assassinat de cibles humaines, les services de renseignement israéliens procédaient à une évaluation des dégâts causés par les bombardements – une vérification de routine après une frappe afin de déterminer si le commandant supérieur avait été tué et combien de civils avaient péri avec lui. Comme l’a révélé une précédente enquête de +972 et Local Call, cela impliquait d’écouter les conversations téléphoniques des familles endeuillées. Dans le conflit actuel, cependant, au moins concernant le ciblage des militants subalternes par intelligence artificielle, des sources indiquent que cette procédure a été abandonnée par souci de gain de temps. Ces mêmes sources précisent ignorer le nombre de civils réellement tués lors de chaque frappe et, pour les opérations menées par des individus soupçonnés d’appartenir au Hamas ou au Jihad islamique palestinien (JIP) et identifiés par IA, elles ignorent même si la cible a été tuée. »

Hubert Guillaud

La seconde partie de l’article est à lire par ici.

En 1976, le géographe Yves Lacoste rappelait les fondements de la géographie dans un petit essai, La géographie ça sert, d’abord, à faire la guerre qui revenait sur l’importance politique de tout discours sur l’espace. Aujourd’hui, nous devons nous poser la même question pour pointer l’importance politique de tout discours sur la technologie. La technologie est un enjeu stratégique et elle le devient d’autant plus qu’elle est désormais le soubassement du champ de bataille, son infrastructure, qui détermine la capacité à mener toutes opérations de défense comme d’attaque. 

Nous n’avions jusqu’à présent pas évoqué dans nos pages l’utilisation de l’IA pour la guerre. Il est temps de rattraper nos lacunes. 

Une usine IA pour faire la guerre

Ha’Aretz, le grand quotidien Israëlien, expliquait récemment que l’infrastructure d’intelligence artificielle qui a servi à piloter les bombardements à Gaza est désormais pleinement opérationnelle en Iran et au Liban. Cet Operational Data and AI Factory (Centre opérationnel de données et usine d’IA) piloté par Tsahal, l’armée israélienne, intègre de multiples flux de données et sources d’information, les rendant accessibles en temps réel à tous les échelons de la hiérarchie militaire. Déployé dans toute l’armée, il analyse tout type de données pour permettre d’obtenir une vision opérationnelle complète des forces, des missions et des menaces. « Le système est conçu pour faciliter la planification des attaques, le ciblage et les frappes. Il enregistre et transcrit également toutes les communications sans fil et compile des données en temps réel sur les lancements et les interceptions de missiles et de drones ». L’AI Factory militaire fonctionne. Et désormais, elle est devenue l’infrastructure même de l’armée, explique Ha’Aretz. 

Les unités peuvent utiliser les outils à leur disposition et développer leurs propres applications. Ce système n’est pas utilisé uniquement d’une manière défensive comme l’armée israélienne l’a longtemps défendu, mais participe également au traitement des plans de frappe et des cibles. Il est par exemple intégré au dispositif de drones offensifs de l’armée de l’air, baptisé Storm Cloud, qui permet d’identifier des objets dans les vidéos et les cartographier en temps réel. Bien d’autres systèmes sont désormais intégrés, comme  Lohem (Chasseur), qui assiste notamment l’armée de l’air dans la planification et la synchronisation des frappes ; Rom, qui détecte les drones ; « Contrôle spatial », qui alerte les forces terrestres en cas de tirs de roquettes et de missiles antichars ; et Tashan, qui identifie les points de lancement et d’impact et localise la source des tirs ennemis. L’IA a également été intégrée au système d’alerte national israélien, permettant de prédire les zones de retombée des débris d’interception. Flow, agrège les données provenant de sources militaires et civiles, permettant aux commandants de créer rapidement des tableaux de bord de renseignement pour des problèmes spécifiques. Un autre élément central du système est MapIT, « une plateforme qui affiche des données opérationnelles tridimensionnelles en temps réel aux commandants. Ha’Aretz a appris qu’au cours de l’année écoulée, l’armée a développé une couche supplémentaire au-dessus de MapIT, consolidant tous les flux de données en une seule carte opérationnelle. » 

À ce stade, précise le journal, « ces systèmes d’IA ne prennent pas de décisions opérationnelles de manière indépendante. Ils sont plutôt conçus pour fournir au personnel militaire des informations plus rapides et plus sophistiquées. Selon des sources qui se sont confiées à Ha’Aretz, le système remplace le travail de dizaines d’analystes. » Selon le journal, tous ces éléments ne dépendent d’aucun prestataire externe. « Suite aux critiques concernant la dépendance de l’armée israélienne à l’égard de l’infrastructure Microsoft, Tsahal a décidé d’adopter des modèles ouverts plutôt que des technologies propriétaires détenues par les grandes entreprises technologiques ». La plupart d’entre eux seraient des produits no-code, c’est-à-dire développés entièrement via l’IA, avance le journal. Fin 2025, Tsahal crée une division dédiée à l’IA, baptisée Bina et une unité chargée de consolider les données opérationnelles, au coeur du développement de ces outils. 

Dans cette infrastructure, on trouve encore le plus connu d’entre tous : Lavender, un système d’IA permettant de cibler des individus, comme l’explique la remarquable enquête du journaliste Yuval Abraham, publiée par +972 Magazine en avril 2024 qui aurait identifié des dizaines de milliers de militants présumés à Gaza. Dans son enquête sur Lavender, Yuval Abraham explique que le système de ciblage par IA utilisé à Gaza, est « un système peu supervisé par l’humain et caractérisé par une politique permissive en matière de pertes humaines ». 

Lavender : le ciblage… quelques soient les dommages et les défaillances

En 2021, explique Yuval Abraham dans son article, un livre publié en anglais et sous pseudonyme plaidait pour la conception d’une machine spéciale capable de traiter rapidement d’énormes quantités de données afin de générer des milliers de « cibles » potentielles pour des frappes militaires en pleine guerre. Son auteur : l’un des responsables de l’unité d’élite du renseignement israélien. Cet outil qu’il imaginait existe désormais. Son influence sur les opérations militaires israéliennes à Gaza a été telle que les conclusions de l’IA étaient traitées « comme s’il s’agissait de décisions humaines ». 

« Officiellement, le système Lavender est conçu pour identifier toutes les opérations suspectes des branches militaires du Hamas et du Jihad islamique palestinien, même celles de bas rang, comme cibles potentielles de bombardements. L’armée s’est presque entièrement fiée à Lavender, qui a recensé jusqu’à 37 000 Palestiniens comme militants présumés (identifiant ces personnes nommément, bornant leurs téléphones et leurs domiciles) susceptibles de faire l’objet de frappes aériennes. »

« L’armée a donné son accord général aux officiers pour qu’ils adoptent les listes de cibles de Lavender, sans exiger de vérification approfondie des raisons qui ont motivé ces choix par le système ni d’examen des données brutes sur lesquelles ils se fondaient. » Une source a indiqué que le personnel humain servait souvent uniquement de simple exécutant pour valider les décisions du système, ajoutant qu’en général, il ne consacrait personnellement qu’une vingtaine de secondes à chaque cible avant d’autoriser un bombardement, juste pour s’assurer que la cible marquée par Lavender était bien… un homme. Et ce, malgré le fait que le système commette ce qui est considéré comme des « erreurs » dans au moins environ 10 % des cas, « et qu’il est connu pour marquer occasionnellement des individus n’ayant qu’un lien ténu avec des groupes militants, voire aucun lien du tout.» « De plus, l’armée israélienne attaquait systématiquement les individus ciblés à leur domicile, généralement la nuit en présence de toute leur famille, plutôt que lors d’opérations militaires. Selon les sources, cela s’expliquait par le fait que, d’un point de vue de renseignement, il était plus facile de localiser les individus chez eux. » Même si l’enjeu semblait plutôt de profiter d’une situation de faiblesse, hors du champ de bataille.

Les pertes de femmes ou d’enfants et de victimes collatérales ne sont, pour l’armée israélienne, qu’une conséquence sans impact sur les choix technologiques opérés. « Le système est conçu pour repérer les cibles à leur domicile ». « Selon deux sources, l’armée a également décidé, durant les premières semaines du conflit à Gaza, que pour chaque jeune militant du Hamas marqué par Lavender, il était permis de tuer jusqu’à 15 ou 20 civils. » C’est ici que les choses ont changé, estime Yuval Abraham, par le passé, l’armée n’autorisait aucun « dommage collatéral » lors des assassinats de militants de bas rang : les dommages collatéraux n’étaient autorisés que pour cibler les hauts responsables. Les dommages ont été intégrés et élargis. 

L’enquête de Yuval Abraham est très précise, et permet de bien saisir les limites de l’outil. 

« Lavender repère les personnes et les inscrit sur une liste de personnes à éliminer » déterminée par calcul à partir des données collectées, sans que l’on sache ce qui constitue ces données, provenant certainement du renseignement. Le terme de cible humaine a longtemps désigné pour l’armée israélienne des officiers supérieurs ennemis qui pouvaient être bombardés à leur domicile (au prix du massacre de leurs familles), mais seulement les officiers supérieurs, « afin de respecter le principe de proportionnalité du droit international ». Mais après le 7 octobre 2023 – date à laquelle des militants du Hamas ont lancé une attaque meurtrière contre des localités du sud d’Israël, faisant environ 1 200 morts et 240 otages –, Tsahal, selon ces mêmes sources, a adopté une approche radicalement différente. L’armée a décidé de désigner toutes les opérations de la branche armée du Hamas comme des cibles humaines, indépendamment du grade ou de l’importance militaire de leurs auteurs. « Lors des conflits précédents, pour autoriser l’assassinat d’une cible humaine, un officier devait suivre une procédure d’incrimination complexe et longue » et notamment procéder à des vérifications. Mais en élargissant la liste des cibles, les vérifications ont été réduites, au profit du ciblage automatisé. 

L’autorisation d’adopter automatiquement les listes de cibles calculée par Lavender a été prise deux semaines après le lancement de la guerre contre Gaza, après avoir testé un échantillon de cibles proposées par Lavender et constaté que l’affiliation d’un individu au Hamas semblait fiable à 90%. Les décisions de ciblage automatisées sont alors devenues des ordres. Les unités n’ont plus à vérifier les raisons de ces choix, ni à examiner les données sur lesquelles il se fonde. « Dès qu’une personne [marquée] était chez elle, elle devenait immédiatement une cible »… et ses coordonnées étaient transmises à l’aviation chargée de bombarder sa maison. « Il n’y avait plus de politique du « zéro erreur » », remarque un officier. Il n’y a pas eu de volonté de vérifier et d’atténuer les dommages collatéraux (bien au contraire, visiblement). Les 10% d’erreurs (ou plus) sont désormais intégrés comme principe opérationnel. « Des sources ont expliqué que le dispositif Lavender signalait parfois par erreur des individus dont les habitudes de communication étaient similaires à celles d’agents connus du Hamas ou du Jihad islamique palestinien (JIP) — notamment des policiers et des employés de la protection civile, des proches de militants, des résidents portant un nom et un surnom identiques à ceux d’un agent, ou encore des Gazaouis utilisant un téléphone ayant appartenu à un membre du Hamas. » Pour l’armée israélienne, la marge d’erreur du système a été validée comme acceptable.

L’invisible score de cible

« Lavender analyse les informations collectées sur la plupart des 2,3 millions d’habitants de la bande de Gaza grâce à un système de surveillance de masse, puis évalue et classe la probabilité que chaque personne soit active dans la branche militaire du Hamas ou du Jihad islamique palestinien (JIP) – depuis la base d’un échantillon d’entraînement de militants connus. Selon certaines sources, la machine attribue à presque chaque habitant de Gaza une note de 1 à 100, indiquant la probabilité qu’il soit un militant. » 

L’étendue des sources et données utilisées pour procéder à cette analyse n’est pas connue. Visiblement, le système utilise toutes les sources à sa disposition : données des téléphones, connexions aux réseaux sociaux, informations sur le champ de bataille, contacts téléphoniques, photos, informations sur les opérations de l’ennemi… Le seul enjeu consiste à déterminer le seuil, le niveau à partir duquel la note attribuée transforme un individu en cible. 

A partir de quelles données et informations, Lavender estime qu’une personne est affiliée au Hamas ? La liste des motifs de suspicions est sans fin puisqu’elle est calculée depuis toutes les données disponibles. Le fait qu’une personne ait appartenu ou ait été proche du Hamas dans le passé mais n’en fasse plus partie est un motif de suspicion. Mais est-il exact ? Pire, souligne l’article : un officier « défendant le recours aux listes de cibles palestiniennes générées par Lavender, a soutenu qu’il était justifié d’investir le temps d’un officier de renseignement pour vérifier l’information uniquement si la cible était un haut commandant du Hamas. « Mais pour un simple militant, il est inutile d’y investir des ressources humaines et du temps », a-t-il déclaré. » On vérifie là où le taux d’erreur est possiblement le plus faible et pas là où le taux d’erreur est possiblement le plus fort ! « Les jours où nous ne trouvions aucune cible [dont le profil justifiait une frappe], nous attaquions à un seuil plus bas. » Glaçant ! Et en abaissant le seuil, le système finit par signaler les membres de la protection civile, des policiers… qui par leur fonction aident le gouvernement du Hamas… mais ne représentent pas une menace directe. D’ailleurs, des données d’agents de la protection civile ont été utilisées pour entraîner Lavender (alors qu’elles auraient dû être écartées) et déterminer les profils à cibler, estime un data scientist en le regrettant car ils mettent ces publics à risque. 

Bien sûr, l’armée israélienne a dénoncé les accusations portées par l’article de Yuval Abraham. Pour Tsahal, l’IA n’est pas utilisée ainsi. Elle n’est qu’un « auxiliaire des décisions ». Toute cible identifiée est vérifiée, assure la communication officielle de l’armée. Mais, selon les sources de Yuval Abraham, « le seul protocole de supervision humaine mis en place avant le bombardement des maisons de militants présumés « juniors » marqués par Lavender consistait en une vérification unique : s’assurer que la cible sélectionnée par l’IA était un homme et non une femme. » Outre les dommages collatéraux, nombreux, pour les civils ciblés par erreur par Lavender, aucun mécanisme de contrôle n’était en place pour détecter l’erreur, comme par exemple, quand les cibles ont pu donner leur téléphone à un autre individu. Lavender, finalement, cible bien plus un téléphone qu’une personne. Ce qui n’est pas sans produire très concrètement des erreurs de frappe.

Obsession téléphonique, obsession domiciliaire

Pour l’armée israélienne, si ses frappes tuent des civils, c’est d’abord en raison des tactiques du Hamas qui utiliserait des réseau de tunnels passant délibérément sous des hôpitaux et des écoles ; ou des ambulances pour se déplacer ; et qui situerait ses moyens militaires à proximité de bâtiments civils pour dissuader les frappes. Des affirmations que les organisations de défense des droits humains jugent fallacieuses et qui viseraient à exonérer Israël de sa responsabilité dans ces pertes. Mais pour les sources d’Abraham, le nombre sans précédent de morts lors des bombardements israéliens actuels serait d’abord lié au fait que l’armée a systématiquement ciblé des personnes à leur domicile, en présence de leurs familles – notamment parce qu’il était plus facile, du point de vue du renseignement, de repérer les maisons familiales grâce à des systèmes automatisés. « L’armée a fait le choix délibéré de bombarder des militants présumés à l’intérieur de maisons civiles où aucune activité militaire n’avait été constatée. Un choix qui reflète la conception du système de surveillance de masse israélien à Gaza. » 

« Afin de détecter en temps réel l’entrée des cibles dans les maisons, divers logiciels automatisés ont été développés. Ces programmes suivent simultanément des milliers de personnes, repèrent leur présence à domicile et envoient une alerte automatique à l’officier chargé du ciblage, qui marque alors la maison pour le bombardement. L’un de ces logiciels de suivi, révélé ici pour la première fois, s’appelle « Où est papa ? ». « On entre des centaines de cibles dans le système et on attend de voir qui on peut éliminer », a déclaré une source connaissant le système. « C’est ce qu’on appelle le ciblage à grande échelle : on copie-colle les listes produites par le système. »

Les données confirment cette politique : durant le premier mois de la guerre, plus de la moitié des victimes – soit 6 120 personnes – appartenaient à 1 340 familles, dont beaucoup ont été entièrement décimées à l’intérieur de leurs maisons, selon les chiffres de l’ONU.»

Quand le rythme des victimes ralentit, il suffit d’ajouter davantage de noms dans le système de suivi, et notamment d’abaisser les grades de ceux qu’on souhaite éliminer. La liste des personnes à abattre s’est considérablement allongée (elle en compterait 36 000 en attente de localisation). Même des mineurs ont été désignés comme cibles de bombardement par Lavender, confie une source, déclarant : « normalement, les opérations concernent les personnes de plus de 17 ans, mais ce n’était pas une condition. »

La prise en compte du coût des armes et l’évolution du seuil des dommages collatéraux

Une fois que Lavender a désigné une cible à assassiner, que l’armée a vérifié son sexe et que le logiciel de suivi a localisé la cible à son domicile, l’étape suivante consiste à choisir les munitions. En décembre 2023, CNN a rapporté que, selon les estimations des services de renseignement américains, environ 45 % des munitions utilisées par l’armée de l’air israélienne à Gaza étaient des bombes non guidées, connues pour causer davantage de dommages collatéraux que les bombes guidées, plus précises (mais plus chères). Le choix des munitions se fait en fonction des immeubles ciblés. Les bombes non guidées sont plus adaptées à de petits immeubles, même si elles font plus de dégâts et donc plus de dommages collatéraux. Cela a notamment été le cas pour les cibles mineures, conduisant à détruire leurs maisons et tous leurs habitants. Selon d’autres sources, le programme d’attaque des militaires du Hamas de bas rang a été réduit voire arrêté du fait de son coût en munitions et en armes. 

Lors d’attaques depuis des systèmes d’IA comme Lavender, le nombre de civils qu’il était permis de tuer avec chaque cible était fixé à 15 à 20 maximum, durant les premières semaines du conflit. « Ces « seuils de dommages collatéraux », comme les appelle l’armée, étaient appliqués de manière systématique à tous les militants présumés, indépendamment de leur grade, de leur importance militaire ou de leur âge ». D’après un officier affecté à une salle d’opérations ciblées, le département de droit international de l’armée n’avait jamais auparavant accordé une « autorisation aussi générale » pour un seuil de dommages collatéraux aussi élevé. « Il ne s’agit pas simplement de pouvoir tuer n’importe quel soldat du Hamas, ce qui est pourtant clairement autorisé et légitime au regard du droit international », a-t-il déclaré. Mais également de tuer des civils qui leur sont liés, ce qui est beaucoup moins conforme au droit international. Sans compter que « toute personne ayant porté un uniforme du Hamas ces deux dernières années pouvait être la cible d’un bombardement, avec 20 civils tués en dommages collatéraux, même sans autorisation spéciale ». « En pratique, le principe de proportionnalité n’était pas respecté », estime l’officier. « Selon certaines sources, le niveau prédéterminé et fixe de dommages collatéraux a permis d’accélérer la création massive de cibles à l’aide du système Lavender, car il a permis un gain de temps ». Pour les frappes aériennes contre les hauts commandants du Hamas, l’armée israélienne autoriserait la mort de « centaines » de civils par cible – « une politique officielle sans précédent historique en Israël, ni même dans les récentes opérations militaires américaines ». Pour atteindre Ayman Nofal, commandant de la Brigade centrale de Gaza, le 17 octobre, l’armée israélienne a autorisé des dégâts collatéraux encore plus élevés. 

« Le général Peter Gersten, commandant adjoint des opérations et du renseignement dans le cadre de l’opération contre Daech en Irak et en Syrie, a déclaré à un magazine de défense américain en 2021 qu’une attaque ayant causé la mort de 15 civils s’écartait de la procédure. Pour ce faire, il a dû obtenir une autorisation spéciale du chef du Commandement central américain, le général Lloyd Austin, aujourd’hui secrétaire à la Défense. » « Avec Oussama Ben Laden, on avait un Indice de pertes non combattantes (IPNC) de 30, mais pour un commandant subalterne, cet IPNC était généralement nul », a déclaré Gersten. « On a longtemps fonctionné avec un IPNC nul. »

Certaines sources d’Abraham confient que cette politique était disproportionnée. Et que les souffrances des Gazaouis touchés par ces bombardements risquent, à long terme, de renforcer le Hamas.  

En fait, expliquent les sources d’Abraham, le nombre de dommages collatéraux autorisé n’a cessé de fluctuer, pour permettre les frappes. Le fait que la plupart des maisons de la bande de Gaza aient déjà été détruites ou endommagées, et que la quasi-totalité de la population ait été déplacée, a également réduit la capacité de l’armée à s’appuyer sur les bases de données de renseignement et les programmes automatisés de localisation des habitants et des habitations. Pour Abraham, lors des conflits précédents, les services de renseignement de l’armée consacraient beaucoup de temps à vérifier la fiabilité des calculs des dommages collatéraux possibles. Mais « après le 7 octobre, cette vérification rigoureuse a été largement abandonnée au profit de l’automatisation ». 

Visiblement, comme le notait déjà le New York Times, le système fonctionne avec un code couleur : le rouge indique les zones densément peuplées, tandis que le vert et le jaune indiquent les zones relativement vidées de leurs habitants. Le « logiciel calculait le nombre de civils résidant dans chaque maison avant la guerre – en évaluant la taille du bâtiment et en consultant la liste de ses occupants – puis réduisait ces chiffres en fonction de la proportion d’habitants ayant supposément évacué le quartier. » Le problème, bien évidemment, c’est que cette méthode était déconnectée de la réalité. « La source a indiqué que, malgré la connaissance des risques d’erreurs, ce modèle imprécis avait été adopté pour sa rapidité. De ce fait, a-t-elle précisé, « le calcul des dommages collatéraux était entièrement automatisé et statistique », produisant même des chiffres non entiers.»

Enfin, il faut également prendre en compte la latence des frappes. Un décalage important peut se passer entre le moment où les systèmes de suivi comme « Où est papa ? » alerte de l’arrivée d’une cible à domicile et le bombardement… pouvant entraîner la mort de familles entières, sans même que la cible n’ait été atteinte car elle pouvait être repartie. « Nous savions que la cible était chez elle à 20 h. Finalement, l’aviation a bombardé la maison à 3 h du matin. Nous avons alors découvert qu’il avait réussi à déménager avec sa famille dans une autre maison. Deux autres familles avec enfants se trouvaient dans l’immeuble que nous avons bombardé. » Le temps de traitement n’a rien d’immédiat, contrairement à ce que l’on peut croire. 

« Lors des précédents conflits à Gaza, après l’assassinat de cibles humaines, les services de renseignement israéliens procédaient à une évaluation des dégâts causés par les bombardements – une vérification de routine après une frappe afin de déterminer si le commandant supérieur avait été tué et combien de civils avaient péri avec lui. Comme l’a révélé une précédente enquête de +972 et Local Call, cela impliquait d’écouter les conversations téléphoniques des familles endeuillées. Dans le conflit actuel, cependant, au moins concernant le ciblage des militants subalternes par intelligence artificielle, des sources indiquent que cette procédure a été abandonnée par souci de gain de temps. Ces mêmes sources précisent ignorer le nombre de civils réellement tués lors de chaque frappe et, pour les opérations menées par des individus soupçonnés d’appartenir au Hamas ou au Jihad islamique palestinien (JIP) et identifiés par IA, elles ignorent même si la cible a été tuée. »

Hubert Guillaud

La seconde partie de l’article est à lire par ici.

La coalition RSA réunit de nombreuses associations (ATD Quart Monde, le Secours Catholique, Aequitaz, Changer de Cap, la Quadrature du Net, la Ligue des droits de l’Homme, le Mouvement national des chômeurs et des précaires, la Fédération des centres sociaux…), syndicats (CGT, FSU, Solidaires, CFDT, Unsa) et chercheurs, autour d’un objectif commun : documenter, mutualiser, partager les analyses sur les effets concrets sur les demandeurs d’emploi, les bénéficiaires des minimas sociaux (RSA, AAH) et les jeunes suivis en mission locale de la loi pour le plein emploi de décembre 2023 et de son décret d’application du 30 mai 2025, plus connu sous le nom de « décret-sanction RSA » que ces associations contestent devant le conseil d’Etat.

Dans sa newsletter, l’association Changer de Cap souligne que ces associations tentent de dresser un état des lieux des pratiques des Départements, décisionnaires pour les sanctions appliquées aux allocataires du RSA. « D’après un document interne de France Travail, sur les 51 conseils départementaux ayant déjà adopté un barème de sanctions, 48 font le choix de taux fixe sans aucune proportionnalité ni individualisation, contrairement à ce qu’indiquaient les textes. Parmi ceux-ci, 45 appliquent une suspension d’au moins 50 % du RSA dès le premier manquement, quelle qu’en soit sa gravité et 32 départements des suspensions de 80 ou 100 %. L’extrême dureté dans la mise en œuvre de ce décret conforte les craintes et analyses de Changer de Cap : une logique budgétaire entraînant une précarisation accrue de pans entiers de la société et une fragilisation du Pacte social dans la quasi-indifférence générale. » A l’image des pratiques du président du département du département du Finistère, Maël de Calan, poursuivit par la CGT et six allocataires du RSA pour « harcèlement moral institutionnel », dénonçant une pression et un suivi inadaptés, pour un plan RSA qui a surtout fait passer le nombre d’allocataires finistériens de 18 000 en 2021 à 13 500 fin 2025 rapporte Splann. « Un taux de radiation pour fraude vingt fois supérieur à celui des autres départements (39,8% en 2024 contre 1,96% au niveau national) », dénonce la CGT du Finistère, rapporte Révolution Permanente, qui dénonce également les pratiques de coaching et d’activité de placement en emploi d’entreprises délégataires.

La newsletter de Changer de Cap pointe vers un rapport publié par l’Observatoire de la surveillance en démocratie de l’université de Bordeaux sur les contrôles de la CAF qui montre la logique du soupçon, l’injustice et le stress des contrôles, les obstacles à la contestation et la montée du non recours face à la violence des contrôles. Ceux qui perçoivent des minima sociaux (RSA, APL, prime d’activité, AAH ) sont, du fait de leur situation même, identifiés comme des « profils à risque » par les algorithmes de la CNAF, rappelle Marine Lamare, l’auteure du rapport. « Ce n’est pas le comportement qui est suspect, c’est la condition sociale elle-même », résume pertinemment Didier Dubasque sur son blog. Derrière la neutralité et l’objectivité des algorithmes, se développe une surveillance différenciée, inégalitaire. « La logique est circulaire : la précarité engendre l’instabilité des déclarations, l’instabilité engendre les erreurs, les erreurs engendrent les contrôles, les contrôles engendrent les sanctions. Et la boucle se referme sur celles et ceux que la CNAF est censée protéger. » Mais surtout, le rapport de Marine Lamare, montre que loin de simplement « corriger » des situations, les contrôles produisent quelque chose de plus profond : ils découragent les personnes les plus pauvres à recourir à leurs droits. Comme si derrière le non recours se cachait de moins en moins un manque d’information des publics, et de plus en plus une capitulation face à la violence de la machine administrative.

Cette politique n’est pas nouvelle, rappelle Marine Lamare, rappelant les critiques formulées dès les années 70 par l’historien et sociologue, Jacques Donzelot, dans un article pour la revue Esprit, puis dans son livre, La police des familles (Minuit, 1977) qui expliquait déjà que « plus on est pauvre, plus on est surveillé ». La criminalisation de la pauvreté est devenue une politique publique depuis les années 90, rappelle-t-elle à la suite des travaux du sociologue Loïc Wacquant dans Punir les pauvres (Agone, 2004). « Les procédures de mise en recouvrement des indus se sont vues consolidées. De façon générale, le droit a contribué à un « durcissement » dans le traitement des cas, à la fois quant aux critères d’attribution des prestations, à la qualification de la fraude et aux sanctions administratives, faisant des CAF des « quasi-tribunaux » », comme l’expliquait le sociologue Vincent Dubois dans Contrôler les assistés (Raisons d’agir, 2021). 

Dans son mémoire, Marine Lamare rappelle que le respect de la vie privée est socialement situé. Pour ceux soumis aux contrôles, c’est une formule creuse. Pour eux, les relations de pouvoir qu’ils vivent sont toujours plus dissymétriques. 

Le sentiment d’incompréhension face aux contrôles s’explique d’abord par le silence des CAF sur les raisons des contrôles. Il s’augmente quand les bénéficiaires contrôlés découvrent qu’ils doivent déclarer les aides financières reçus de leurs proches quel qu’en soit le montant, comme si la solidarité de proximité, familiale, s’opposait finalement à la solidarité collective, alors que selon diverses jurisprudences, ils devraient être exclus des ressources prises en compte pour le RSA. Même choses pour les situations maritales que la CAF interprète toujours très étroitement et normativement, quand le Conseil d’Etat, lui, par exemple, reconnaît les séparations de faits. C’est un peu comme si la CAF portait partout une conception restrictive des droits, dans une interprétation qui semble se faire toujours au détriment de l’allocataire. Le décalage, le sentiment d’incompréhension, s’exprime encore entre le discours du contrôleur et les courriers de l’administration, et plus encore dans la « discontinuité des droits » que les contrôles instaurent, notamment les « sanctions de faits » c’est-à-dire la suspension des prestations, parfois sans préavis, souvent sans motivation explicite et souvent sans réponses. 

Le mémoire rappelle les coûts de ces procédures pour les allocataires. Les coûts psychologiques et moraux, mais également financiers pour des gens qui ne peuvent se le permettre. Et notamment, les plus difficiles : la suspension des aides ou la notification d’indus, qui nécessitent pour les contester des nouveaux recours et des procédures toujours plus complexes, difficilement accessibles aux allocataires précaires. Au final, c’est toujours le quotidien des allocataires qui devient impossible quand les aides sont suspendues. 

Dans son mémoire, Marine Lamare constate encore que le droit de communication de la CAF auprès de tiers, lui permettant d’obtenir d’innombrables données sur les administrés, s’est considérablement élargi au tournant des années 2010, « lorsque les pouvoirs d’investigation des agents des organismes de sécurité sociale ont été alignés sur ceux des agents des services fiscaux », où le contrôle des documents semble n’avoir plus aucune limite (notamment de rétroactivité et de proportionnalité…), comme quand un agent utilise le fait qu’une dame soit toujours indiquée en couple sur Facebook. Pourtant, les enquêtes de la CAF montrent surtout la grande difficulté à transformer des indices en preuves et la grande difficulté du droit à vouloir transformer des faisceaux d’indices en certitudes. La juriste montre surtout que les critères mobilisés (domiciliation commune, la communauté affective ou d’intérêts…) sont souvent plus fragiles, notamment au regard de la jurisprudence qui va les confirmer ou les écarter d’une manière très différente d’un jugement l’autre. Les avocats et le Défenseur des droits rappellent que c’est à la CAF de prouver la situation de concubinage ou de non-présence en France, par delà les indices et suspicions. Pour la docteure en droit, on assiste à « une criminalisation de la dépendance aux prestations sociales ». 

Quant à la contestation, elle est un chemin semé d’embûches, rappelle-t-elle, notamment du fait même de la numérisation de l’accès au droit. Les résistances sont souvent silencieuses et individuelles. Les contentieux sont, par nature, déséquilibrés au détriment des justiciables. Ce qui n’est pas sans évoquer les constats des derniers épisodes du Code a changé sur la dématérialisation. « Les espaces libre-service créés dans les années 2010 condensent en particulier les publics les plus démunis, les agents les moins formés et les conditions d’accueil les plus défavorables. Conformément à « l’aménagement dissuasif » déployé, des barrières sont érigées entre les plus précaires et les personnels qualifiés », souligne Lamare à la suite du psychologue Pascal Martin. Les associations ou les avocats apparaissent alors comme des substituts à l’absence d’interlocuteurs à la CAF, pour démêler l’écheveau des situations. Quant au numérique, il donne désormais la temporalité des démarches, puisque ce sont les enregistrements et les courriers électroniques qui marquent les relations. Par exemple, confient les accompagnateurs et les allocataires, il est difficile d’obtenir le « tableau de liquidation » qui permettrait d’accéder à la « boîte noire du calcul des droits » et de comprendre éventuellement les calculs d’indus opérés par les CAF. Même les rapports de contrôles ou d’enquête nécessitent bien souvent de passer par de longues démarches via la Commission d’accès aux documents administratifs pour être obtenus. Enfin, la complexité des procédures, des recours (par exemple entre demande de remise de dette et contestation de la décision, démarches incompatibles), finissent d’épuiser parfois les meilleures volontés. 

Lamare montre également que nombre d’acteurs sociaux de l’accompagnement préfèrent la conciliation au conflit avec les CAF, d’autant que certains, comme « les assistantes sociales des départements et des CAF sont juges et parties sur ce type de dossiers ». Non seulement le contentieux est difficile pour les administrés, mais il rémunère peu les avocats et face à l’envolée des demandes, se résout surtout par un fort désintérêt des acteurs pouvant accompagner les justiciables en difficultés. Les « contentieux des pauvres » démontrent surtout qu’ils n’intéressent pas grand monde et produisent peu de justice, comme le soulignait d’ailleurs la sociologue Delphine Serre dans son livre, Ultime recours (raison d’agir, 2024) quant aux procédures à l’encontre de la sécurité sociale pour faire reconnaître un accident du travail ou une maladie professionnelle, dénonçant elle aussi, le risque que les droits sociaux deviennent des principes sans objets.  

Mais surtout, conclut Marine Lamare, « le non-recours se dessine alors comme une voie de sortie qui prend l’allure d’issue de secours ». « Par peur, pression, culpabilisation, découragement, épuisement et/ou désaccord avec les principes et pratiques des CAF, [nombre de bénéficiaires] ne veulent pas ou ne veulent plus avoir affaire à elles ». L’abandon s’enkyste. La chasse à la fraude ressemble à une chasse à l’homme, témoigne une allocataire. L’acte individuel devient une critique des politiques sociales. Le non-recours devient une non-demande, le résultat d’une fabrique collective de l’exclusion plus que le signe de défaillances individuelles. 

Autant de constats qui font échos à ceux du dernier rapport de la Défenseure des droits sur la fraude sociale, alors même que le gouvernement vient de durcir l’arsenal contre les fraudes et à réformer en profondeur les aides sociales (Le Monde, Médiapart). Claire Hédon y dénonce une industrialisation de la lutte contre la fraude des bénéficiaires, explique Le Monde. Le rapport souligne, par exemple, que la communication bancaire est devenue une procédure automatisée, alors qu’elle est normalement circonscrite à certaines situations et proportionnée. De même, la généralisation de la consultation des réseaux sociaux à des fins de contrôle se déploie sans garde-fous. La Défenseure des droits rappelle à nouveau le surciblage et le surcontrôle de certaines catégories de population et renouvelle ses demandes de transparence et de mesure de l’équité des ciblages et contrôles. Elle dénonce également des notifications non motivées et non conforme à la réglementation et une faible communication sur les voies et délais de recours. Mais surtout, elle pointe combien la fraude est une qualification plastique et que ce qualificatif devenu omniprésent entrave le droit à l’erreur et l’accès aux droits. Et de plaider pour lui substituer et « ériger le droit à l’erreur de bonne foi en tant que principe général applicable en toutes circonstances aux relations entre les usagers et les organismes sociaux ».

La Défenseure des droits plaide pour une amélioration de l’information aux usagers, mais surtout pour que les services sociaux priorisent la prévention plutôt que la répression. Elle rappelle que l’administration a de plus en plus tendance à confondre la fraude et l’erreur, alors même que le droit à l’erreur a été inscrit dans la loi depuis 2018 et dénonce le constat que les pouvoirs publics s’accommodent trop du non-recours. 

Mais, si les constats du Défenseur des droits s’accumulent et se répètent de rapports en rapports, peut-être faut-il convenir que le problème est bien plus politique qu’on le pense. La nouvelle réforme proposée par le projet de loi sur la fraude sociale, montre combien le discours saturé ne parvient plus à laisser d’espace pour d’autres approches que la chasse aux pauvres. 

Pour la Quadrature du net également, le flicage n’en finit pas, dénonçant, dans la dernière version du projet de loi, l’élargissement de l’accès aux comptes bancaires pour le contrôle du RSA. Le contrôle sur les moindres dépenses des plus pauvres, a clairement pour but d’humilier, « tout en imposant une charge administrative démesurée jusqu’à ce que les allocataires renoncent à leurs droits ». « Le Finistère n’est pas un cas isolé. Des campagnes de contrôle similaires ont notamment été documentées dans les départements du Nord, du Vaucluse, du Bas-Rhin ou de l’Eure ». En réalité, explique l’association, le projet de loi vise d’abord à permettre aux départements de procéder à ces contrôles, alors que normalement, ils sont du recours des seuls services sociaux (et à protéger les départements de poursuites, comme celle engagée par les allocataires du Finistère). Et surtout, il vise à élargir considérablement aux acteurs du social la possibilité « d’obtenir les documents et renseignements de leur choix auprès d’un très grand nombre d’acteurs publics et privés. Outre les demandes adressées aux banques, ce droit est mobilisable auprès des opérateurs de téléphonie, des fournisseurs d’énergie, des associations, des organismes de formation, des professionnels de santé ou encore des employeurs. » Pour la Quadrature, cette mesure s’inscrit « dans un processus d’extension continue du droit de communication » à des fins de « lutte contre la fraude sociale », faisant fit des limites et des garanties de ce droit, supprimées d’un projet de loi l’autre. « Accordé en 2008 aux agent·es de contrôle des organismes de sécurité sociale (CAF, CNAM, CNAV), il a depuis fait l’objet d’une dizaine de modifications, afin d’étendre tant les organismes pouvant l’utiliser – notamment, depuis 2021, aux agent·es de lutte contre la fraude de France Travail – que les informations communicables ou les sanctions en cas de non-réponse. » 

La Quadrature estime pourtant qu’un espoir pourrait venir depuis le droit européen, pour réaffirmer des limites et des garanties. La Cour européenne des droits de l’Homme (CEDH) a récemment « condamné l’Italie pour violation de la vie privée en raison d’un droit de communication octroyé au fisc italien similaire au droit de communication français ». « La CEDH exige notamment qu’un tel droit de communication soit entouré de nombreuses garanties tout au long de son utilisation : une notification des personnes pour leur permettre de contester l’usage de ce droit, y compris avant que les données communiquées n’aient été utilisées dans le cadre d’un contrôle, et y compris si le résultat du contrôle n’a pas conduit à une sanction ; une motivation précise par l’administration expliquant pourquoi elle a besoin d’accéder à ces données ; un contrôle indépendant de la demande pour que le droit de communication ne puisse pas être utilisé systématiquement et s’assurer de la nécessité de l’accès. L’absence de ces garanties dans la loi française est criante et le projet de loi Fraudes ne corrige absolument pas cela. »

Dans un communiqué de presse, Changé de Cap dénonce le fait qu’il sera bientôt possible à la CAF, aux Départements comme à France Travail de procéder à une suspension conservatoire des prestations et allocations en cas « d’indices sérieux d’un manquement délibéré ou de manœuvre frauduleuse ». Les organismes sociaux vont donc pouvoir couper les droits unilatéralement sans que ne soit défini ce que sont les manquements, les indices sérieux voire les indices graves et concordants. 

« Le collectif Changer de cap est en opposition totale avec cette politique de chasse aux pauvres. Nous réaffirmons :

Que la lutte contre les exclusions doit rester un impératif national fondé sur le respect de l’égale dignité de tous les êtres humains et une priorité de l’ensemble des politiques publiques.

Que toute personne en difficulté a le droit au soutien de la nation, tel que cela est énoncé dans plusieurs lois fondamentales et dans la Constitution.

Que l’État, les collectivités territoriales, les établissements publics dont les centres communaux et intercommunaux d’action sociale, les organismes de sécurité sociale ainsi que les institutions sociales et médico-sociales doivent participer à cette mission de soutien aux populations précarisées.

Que chaque personne a le droit à un accompagnement respectueux de son parcours, prenant réellement en compte les difficiles chemins empruntés et les situations complexes.

Et ne craignons pas d’exiger de nos responsables politiques de lutter contre les causes de la pauvreté plutôt que d’orchestrer la chasse aux pauvres. »

La possibilité d’accéder à toutes les données disponibles bouleverse comme nulle autre le rapport des organismes des gestion sociale à leur mission. Sans limites, ce sont les valeurs mêmes de leurs missions qui seront transformées.

Voir également notre billet sur les algorithmes de score de risque de fraude à la CAF qui surveillent les bénéficiaires.

La coalition RSA réunit de nombreuses associations (ATD Quart Monde, le Secours Catholique, Aequitaz, Changer de Cap, la Quadrature du Net, la Ligue des droits de l’Homme, le Mouvement national des chômeurs et des précaires, la Fédération des centres sociaux…), syndicats (CGT, FSU, Solidaires, CFDT, Unsa) et chercheurs, autour d’un objectif commun : documenter, mutualiser, partager les analyses sur les effets concrets sur les demandeurs d’emploi, les bénéficiaires des minimas sociaux (RSA, AAH) et les jeunes suivis en mission locale de la loi pour le plein emploi de décembre 2023 et de son décret d’application du 30 mai 2025, plus connu sous le nom de « décret-sanction RSA » que ces associations contestent devant le conseil d’Etat.

Dans sa newsletter, l’association Changer de Cap souligne que ces associations tentent de dresser un état des lieux des pratiques des Départements, décisionnaires pour les sanctions appliquées aux allocataires du RSA. « D’après un document interne de France Travail, sur les 51 conseils départementaux ayant déjà adopté un barème de sanctions, 48 font le choix de taux fixe sans aucune proportionnalité ni individualisation, contrairement à ce qu’indiquaient les textes. Parmi ceux-ci, 45 appliquent une suspension d’au moins 50 % du RSA dès le premier manquement, quelle qu’en soit sa gravité et 32 départements des suspensions de 80 ou 100 %. L’extrême dureté dans la mise en œuvre de ce décret conforte les craintes et analyses de Changer de Cap : une logique budgétaire entraînant une précarisation accrue de pans entiers de la société et une fragilisation du Pacte social dans la quasi-indifférence générale. » A l’image des pratiques du président du département du département du Finistère, Maël de Calan, poursuivit par la CGT et six allocataires du RSA pour « harcèlement moral institutionnel », dénonçant une pression et un suivi inadaptés, pour un plan RSA qui a surtout fait passer le nombre d’allocataires finistériens de 18 000 en 2021 à 13 500 fin 2025 rapporte Splann. « Un taux de radiation pour fraude vingt fois supérieur à celui des autres départements (39,8% en 2024 contre 1,96% au niveau national) », dénonce la CGT du Finistère, rapporte Révolution Permanente, qui dénonce également les pratiques de coaching et d’activité de placement en emploi d’entreprises délégataires.

La newsletter de Changer de Cap pointe vers un rapport publié par l’Observatoire de la surveillance en démocratie de l’université de Bordeaux sur les contrôles de la CAF qui montre la logique du soupçon, l’injustice et le stress des contrôles, les obstacles à la contestation et la montée du non recours face à la violence des contrôles. Ceux qui perçoivent des minima sociaux (RSA, APL, prime d’activité, AAH ) sont, du fait de leur situation même, identifiés comme des « profils à risque » par les algorithmes de la CNAF, rappelle Marine Lamare, l’auteure du rapport. « Ce n’est pas le comportement qui est suspect, c’est la condition sociale elle-même », résume pertinemment Didier Dubasque sur son blog. Derrière la neutralité et l’objectivité des algorithmes, se développe une surveillance différenciée, inégalitaire. « La logique est circulaire : la précarité engendre l’instabilité des déclarations, l’instabilité engendre les erreurs, les erreurs engendrent les contrôles, les contrôles engendrent les sanctions. Et la boucle se referme sur celles et ceux que la CNAF est censée protéger. » Mais surtout, le rapport de Marine Lamare, montre que loin de simplement « corriger » des situations, les contrôles produisent quelque chose de plus profond : ils découragent les personnes les plus pauvres à recourir à leurs droits. Comme si derrière le non recours se cachait de moins en moins un manque d’information des publics, et de plus en plus une capitulation face à la violence de la machine administrative.

Cette politique n’est pas nouvelle, rappelle Marine Lamare, rappelant les critiques formulées dès les années 70 par l’historien et sociologue, Jacques Donzelot, dans un article pour la revue Esprit, puis dans son livre, La police des familles (Minuit, 1977) qui expliquait déjà que « plus on est pauvre, plus on est surveillé ». La criminalisation de la pauvreté est devenue une politique publique depuis les années 90, rappelle-t-elle à la suite des travaux du sociologue Loïc Wacquant dans Punir les pauvres (Agone, 2004). « Les procédures de mise en recouvrement des indus se sont vues consolidées. De façon générale, le droit a contribué à un « durcissement » dans le traitement des cas, à la fois quant aux critères d’attribution des prestations, à la qualification de la fraude et aux sanctions administratives, faisant des CAF des « quasi-tribunaux » », comme l’expliquait le sociologue Vincent Dubois dans Contrôler les assistés (Raisons d’agir, 2021). 

Dans son mémoire, Marine Lamare rappelle que le respect de la vie privée est socialement situé. Pour ceux soumis aux contrôles, c’est une formule creuse. Pour eux, les relations de pouvoir qu’ils vivent sont toujours plus dissymétriques. 

Le sentiment d’incompréhension face aux contrôles s’explique d’abord par le silence des CAF sur les raisons des contrôles. Il s’augmente quand les bénéficiaires contrôlés découvrent qu’ils doivent déclarer les aides financières reçus de leurs proches quel qu’en soit le montant, comme si la solidarité de proximité, familiale, s’opposait finalement à la solidarité collective, alors que selon diverses jurisprudences, ils devraient être exclus des ressources prises en compte pour le RSA. Même choses pour les situations maritales que la CAF interprète toujours très étroitement et normativement, quand le Conseil d’Etat, lui, par exemple, reconnaît les séparations de faits. C’est un peu comme si la CAF portait partout une conception restrictive des droits, dans une interprétation qui semble se faire toujours au détriment de l’allocataire. Le décalage, le sentiment d’incompréhension, s’exprime encore entre le discours du contrôleur et les courriers de l’administration, et plus encore dans la « discontinuité des droits » que les contrôles instaurent, notamment les « sanctions de faits » c’est-à-dire la suspension des prestations, parfois sans préavis, souvent sans motivation explicite et souvent sans réponses. 

Le mémoire rappelle les coûts de ces procédures pour les allocataires. Les coûts psychologiques et moraux, mais également financiers pour des gens qui ne peuvent se le permettre. Et notamment, les plus difficiles : la suspension des aides ou la notification d’indus, qui nécessitent pour les contester des nouveaux recours et des procédures toujours plus complexes, difficilement accessibles aux allocataires précaires. Au final, c’est toujours le quotidien des allocataires qui devient impossible quand les aides sont suspendues. 

Dans son mémoire, Marine Lamare constate encore que le droit de communication de la CAF auprès de tiers, lui permettant d’obtenir d’innombrables données sur les administrés, s’est considérablement élargi au tournant des années 2010, « lorsque les pouvoirs d’investigation des agents des organismes de sécurité sociale ont été alignés sur ceux des agents des services fiscaux », où le contrôle des documents semble n’avoir plus aucune limite (notamment de rétroactivité et de proportionnalité…), comme quand un agent utilise le fait qu’une dame soit toujours indiquée en couple sur Facebook. Pourtant, les enquêtes de la CAF montrent surtout la grande difficulté à transformer des indices en preuves et la grande difficulté du droit à vouloir transformer des faisceaux d’indices en certitudes. La juriste montre surtout que les critères mobilisés (domiciliation commune, la communauté affective ou d’intérêts…) sont souvent plus fragiles, notamment au regard de la jurisprudence qui va les confirmer ou les écarter d’une manière très différente d’un jugement l’autre. Les avocats et le Défenseur des droits rappellent que c’est à la CAF de prouver la situation de concubinage ou de non-présence en France, par delà les indices et suspicions. Pour la docteure en droit, on assiste à « une criminalisation de la dépendance aux prestations sociales ». 

Quant à la contestation, elle est un chemin semé d’embûches, rappelle-t-elle, notamment du fait même de la numérisation de l’accès au droit. Les résistances sont souvent silencieuses et individuelles. Les contentieux sont, par nature, déséquilibrés au détriment des justiciables. Ce qui n’est pas sans évoquer les constats des derniers épisodes du Code a changé sur la dématérialisation. « Les espaces libre-service créés dans les années 2010 condensent en particulier les publics les plus démunis, les agents les moins formés et les conditions d’accueil les plus défavorables. Conformément à « l’aménagement dissuasif » déployé, des barrières sont érigées entre les plus précaires et les personnels qualifiés », souligne Lamare à la suite du psychologue Pascal Martin. Les associations ou les avocats apparaissent alors comme des substituts à l’absence d’interlocuteurs à la CAF, pour démêler l’écheveau des situations. Quant au numérique, il donne désormais la temporalité des démarches, puisque ce sont les enregistrements et les courriers électroniques qui marquent les relations. Par exemple, confient les accompagnateurs et les allocataires, il est difficile d’obtenir le « tableau de liquidation » qui permettrait d’accéder à la « boîte noire du calcul des droits » et de comprendre éventuellement les calculs d’indus opérés par les CAF. Même les rapports de contrôles ou d’enquête nécessitent bien souvent de passer par de longues démarches via la Commission d’accès aux documents administratifs pour être obtenus. Enfin, la complexité des procédures, des recours (par exemple entre demande de remise de dette et contestation de la décision, démarches incompatibles), finissent d’épuiser parfois les meilleures volontés. 

Lamare montre également que nombre d’acteurs sociaux de l’accompagnement préfèrent la conciliation au conflit avec les CAF, d’autant que certains, comme « les assistantes sociales des départements et des CAF sont juges et parties sur ce type de dossiers ». Non seulement le contentieux est difficile pour les administrés, mais il rémunère peu les avocats et face à l’envolée des demandes, se résout surtout par un fort désintérêt des acteurs pouvant accompagner les justiciables en difficultés. Les « contentieux des pauvres » démontrent surtout qu’ils n’intéressent pas grand monde et produisent peu de justice, comme le soulignait d’ailleurs la sociologue Delphine Serre dans son livre, Ultime recours (raison d’agir, 2024) quant aux procédures à l’encontre de la sécurité sociale pour faire reconnaître un accident du travail ou une maladie professionnelle, dénonçant elle aussi, le risque que les droits sociaux deviennent des principes sans objets.  

Mais surtout, conclut Marine Lamare, « le non-recours se dessine alors comme une voie de sortie qui prend l’allure d’issue de secours ». « Par peur, pression, culpabilisation, découragement, épuisement et/ou désaccord avec les principes et pratiques des CAF, [nombre de bénéficiaires] ne veulent pas ou ne veulent plus avoir affaire à elles ». L’abandon s’enkyste. La chasse à la fraude ressemble à une chasse à l’homme, témoigne une allocataire. L’acte individuel devient une critique des politiques sociales. Le non-recours devient une non-demande, le résultat d’une fabrique collective de l’exclusion plus que le signe de défaillances individuelles. 

Autant de constats qui font échos à ceux du dernier rapport de la Défenseure des droits sur la fraude sociale, alors même que le gouvernement vient de durcir l’arsenal contre les fraudes et à réformer en profondeur les aides sociales (Le Monde, Médiapart). Claire Hédon y dénonce une industrialisation de la lutte contre la fraude des bénéficiaires, explique Le Monde. Le rapport souligne, par exemple, que la communication bancaire est devenue une procédure automatisée, alors qu’elle est normalement circonscrite à certaines situations et proportionnée. De même, la généralisation de la consultation des réseaux sociaux à des fins de contrôle se déploie sans garde-fous. La Défenseure des droits rappelle à nouveau le surciblage et le surcontrôle de certaines catégories de population et renouvelle ses demandes de transparence et de mesure de l’équité des ciblages et contrôles. Elle dénonce également des notifications non motivées et non conforme à la réglementation et une faible communication sur les voies et délais de recours. Mais surtout, elle pointe combien la fraude est une qualification plastique et que ce qualificatif devenu omniprésent entrave le droit à l’erreur et l’accès aux droits. Et de plaider pour lui substituer et « ériger le droit à l’erreur de bonne foi en tant que principe général applicable en toutes circonstances aux relations entre les usagers et les organismes sociaux ».

La Défenseure des droits plaide pour une amélioration de l’information aux usagers, mais surtout pour que les services sociaux priorisent la prévention plutôt que la répression. Elle rappelle que l’administration a de plus en plus tendance à confondre la fraude et l’erreur, alors même que le droit à l’erreur a été inscrit dans la loi depuis 2018 et dénonce le constat que les pouvoirs publics s’accommodent trop du non-recours. 

Mais, si les constats du Défenseur des droits s’accumulent et se répètent de rapports en rapports, peut-être faut-il convenir que le problème est bien plus politique qu’on le pense. La nouvelle réforme proposée par le projet de loi sur la fraude sociale, montre combien le discours saturé ne parvient plus à laisser d’espace pour d’autres approches que la chasse aux pauvres. 

Pour la Quadrature du net également, le flicage n’en finit pas, dénonçant, dans la dernière version du projet de loi, l’élargissement de l’accès aux comptes bancaires pour le contrôle du RSA. Le contrôle sur les moindres dépenses des plus pauvres, a clairement pour but d’humilier, « tout en imposant une charge administrative démesurée jusqu’à ce que les allocataires renoncent à leurs droits ». « Le Finistère n’est pas un cas isolé. Des campagnes de contrôle similaires ont notamment été documentées dans les départements du Nord, du Vaucluse, du Bas-Rhin ou de l’Eure ». En réalité, explique l’association, le projet de loi vise d’abord à permettre aux départements de procéder à ces contrôles, alors que normalement, ils sont du recours des seuls services sociaux (et à protéger les départements de poursuites, comme celle engagée par les allocataires du Finistère). Et surtout, il vise à élargir considérablement aux acteurs du social la possibilité « d’obtenir les documents et renseignements de leur choix auprès d’un très grand nombre d’acteurs publics et privés. Outre les demandes adressées aux banques, ce droit est mobilisable auprès des opérateurs de téléphonie, des fournisseurs d’énergie, des associations, des organismes de formation, des professionnels de santé ou encore des employeurs. » Pour la Quadrature, cette mesure s’inscrit « dans un processus d’extension continue du droit de communication » à des fins de « lutte contre la fraude sociale », faisant fit des limites et des garanties de ce droit, supprimées d’un projet de loi l’autre. « Accordé en 2008 aux agent·es de contrôle des organismes de sécurité sociale (CAF, CNAM, CNAV), il a depuis fait l’objet d’une dizaine de modifications, afin d’étendre tant les organismes pouvant l’utiliser – notamment, depuis 2021, aux agent·es de lutte contre la fraude de France Travail – que les informations communicables ou les sanctions en cas de non-réponse. » 

La Quadrature estime pourtant qu’un espoir pourrait venir depuis le droit européen, pour réaffirmer des limites et des garanties. La Cour européenne des droits de l’Homme (CEDH) a récemment « condamné l’Italie pour violation de la vie privée en raison d’un droit de communication octroyé au fisc italien similaire au droit de communication français ». « La CEDH exige notamment qu’un tel droit de communication soit entouré de nombreuses garanties tout au long de son utilisation : une notification des personnes pour leur permettre de contester l’usage de ce droit, y compris avant que les données communiquées n’aient été utilisées dans le cadre d’un contrôle, et y compris si le résultat du contrôle n’a pas conduit à une sanction ; une motivation précise par l’administration expliquant pourquoi elle a besoin d’accéder à ces données ; un contrôle indépendant de la demande pour que le droit de communication ne puisse pas être utilisé systématiquement et s’assurer de la nécessité de l’accès. L’absence de ces garanties dans la loi française est criante et le projet de loi Fraudes ne corrige absolument pas cela. »

Dans un communiqué de presse, Changé de Cap dénonce le fait qu’il sera bientôt possible à la CAF, aux Départements comme à France Travail de procéder à une suspension conservatoire des prestations et allocations en cas « d’indices sérieux d’un manquement délibéré ou de manœuvre frauduleuse ». Les organismes sociaux vont donc pouvoir couper les droits unilatéralement sans que ne soit défini ce que sont les manquements, les indices sérieux voire les indices graves et concordants. 

« Le collectif Changer de cap est en opposition totale avec cette politique de chasse aux pauvres. Nous réaffirmons :

Que la lutte contre les exclusions doit rester un impératif national fondé sur le respect de l’égale dignité de tous les êtres humains et une priorité de l’ensemble des politiques publiques.

Que toute personne en difficulté a le droit au soutien de la nation, tel que cela est énoncé dans plusieurs lois fondamentales et dans la Constitution.

Que l’État, les collectivités territoriales, les établissements publics dont les centres communaux et intercommunaux d’action sociale, les organismes de sécurité sociale ainsi que les institutions sociales et médico-sociales doivent participer à cette mission de soutien aux populations précarisées.

Que chaque personne a le droit à un accompagnement respectueux de son parcours, prenant réellement en compte les difficiles chemins empruntés et les situations complexes.

Et ne craignons pas d’exiger de nos responsables politiques de lutter contre les causes de la pauvreté plutôt que d’orchestrer la chasse aux pauvres. »

La possibilité d’accéder à toutes les données disponibles bouleverse comme nulle autre le rapport des organismes des gestion sociale à leur mission. Sans limites, ce sont les valeurs mêmes de leurs missions qui seront transformées.

Voir également notre billet sur les algorithmes de score de risque de fraude à la CAF qui surveillent les bénéficiaires.