Les presses du MIT publient ce jour le nouvel ouvrage de Ben Green, Algorithmic Realism : Data Science Practices to Promote Social Justice. Ben Green, on vous a déjà parlé de lui. En 2019, on avait longuement évoqué son précédent livre, The smart enough city, où il revenait sur son expérience de data scientist dans plusieurs villes américaines. Green plaidait déjà pour améliorer la responsabilité sociale des technologies, à l’épreuve des pratiques concrètes des responsables de l’innovation urbaine promouvant une innovation démocratique. 

C’est ce chemin qu’il poursuit dans son nouveau livre, qui n’est pas un essai, mais un manuel à destination des responsables des données. Il rappelle que depuis qu’il est diplômé, il n’a cessé d’essayer d’appliquer la data science pour créer une société plus équitable. Mais avoir un impact positif s’est avéré bien plus difficile qu’espéré. A Memphis, par exemple, les outils qu’il avait participé à mettre au point pour aider la ville à identifier des logements à rénover ont été abandonnés après le départ de l’équipe qui les avait développé. Malgré ces expériences pas toujours concluantes, il s’est rendu compte que pour avoir un impact, il était nécessaire de désapprendre beaucoup de certitudes et d’habitudes que sa formation en data science lui avait enseigné. A Boston, par exemple, il devait travailler avec les services d’urgence pour trouver des stratégies pour améliorer la rapidité d’intervention. Or, plutôt que de trouver une astuce pour mieux répartir les ambulances dans la ville, Green a constaté dans les données, que l’essentiel des déplacements n’étaient pas nécessairement un besoin de soins médicaux d’urgence, mais une demande de services sociaux que les services d’urgence n’étaient pas en mesure de fournir mais accomplissaient quand même. Avec les services d’urgence, il a alors proposé de créer une équipe dédiée. Une réponse d’autant plus adaptée que les interventions auprès des publics en difficultés, des toxicos et des SDF, ou de ceux souffrant de problèmes de santé mentale, se concentraient sur certains quartiers sensibles, avec un pic en fin d’après-midi et en début de soirée. La création d’une équipe d’assistance communautaire a ainsi permis de répondre à la demande initiale. Elle a permis d’apporter de meilleurs soins à des publics en difficulté et elle a libéré des ambulances pouvant répondre plus rapidement lors de prises en charges médicales urgentes. Cette expérience a été fondatrice. Elle lui a enseigné trois tactiques qu’il applique depuis à tous les projets qu’il rencontre. D’abord, étudier en profondeur les défis sociaux et opérationnels des services avant d’analyser la moindre donnée. La seconde consiste à se concentrer sur les besoins exprimés pour produire des impacts réels et pas seulement des solutions algorithmiques. Pour Green, les analyses de données les plus sophistiquées ne conduisent pas à de meilleurs impacts. Les résultats de la science des données doivent être choisis en fonction de leur capacité à faire progresser les objectifs du projet, peu importe leur simplicité ou leur complexité. Le troisième enseignement, c’est qu’un data scientist isolé ne sert à rien. Améliorer les politiques publiques avec la data science nécessite des activités qui ne relèvent pas de la data science. « Pour surmonter ces défis, il m’a fallu étudier des problèmes de société, me familiariser avec les processus de travail des organismes publics et traduire une analyse technique en pratiques opérationnelles. Aucun de mes cours de science des données n’avait jamais ne serait-ce qu’évoqué ces tâches, et encore moins enseigné comment les accomplir. »

Concevoir des algorithmes susceptibles d’améliorer la société n’est pas si simple. Comme on le répète ici, les calculs sont plus souvent défaillants qu’autre chose. Certainement parce que les méthodologies de la science des données n’offrent pas de méthode pour se faire, avance Green. D’où l’enjeu de ce manuel : apporter une nouvelle approche de la data science pour orienter les scientifiques des données vers la promotion de la justice sociale. En fait, souligne Green, les méthodes actuelles que mobilisent les data scientist ne leur permettent pas d’œuvrer pour le bien commun. Cette méthode actuelle, Green l’appelle le « formalisme algorithmique ». Et pour lui, elle est profondément problématique. Il propose d’en bâtir une autre : le « réalisme algorithmique ». Et son livre se veut une boîte à outils pour changer de méthode, pour changer la façon dont se déploie la data science. 

Passer du formalisme au réalisme algorithmique

« Transformer la science des données, en passant d’une méthodologie formaliste axée sur des modèles mathématiques à une méthodologie pratique axée sur des problèmes du monde réel », c’est ce que propose Green. La science des données est un champ relativement récent, né dans les années 2010, même si elle s’est construite sur des idées et des pratiques qui ont une longue histoire, rappelle-t-il. Le formalisme algorithmique est une méthodologie qui repose sur la propriété mathématique des algorithmes. Où qu’elles se déploient, les méthodologies formalistes restreignent le champ de l’analyse aux propriétés intrinsèques de leur objet, en excluant les éléments extérieurs tels que le contexte social et l’interprétation. Le formalisme algorithmique occulte le contexte social entourant les algorithmes, les garanties formelles de performance ne sont valides qu’au regard du comportement technique de l’algorithme – et non de ses usages et de ses impacts en pratique. En la matière, ces méthodes font obstacle à toute tentative d’aborder des problèmes sociaux et politiques complexes. Le formalisme procède d’une « réduction du champ de vision », rappelle le politologue James Scott dans son livre, L’œil de l’Etat (La découverte, 2021). Le formalisme tend à renforcer les hiérarchies, expliquent Geoffrey Bowker et Susan Leigh Star dans Arranger les choses (EHESS, 2023). Il peut sembler neutre et technique, mais le formalisme a souvent des conséquences pour les groupes marginalisés. Le problème est que le formalisme « caractérise le milieu intellectuel dans lequel évoluent les data scientists » et empêche d’adopter d’autres approches. Ce formalisme a des conséquences très directes : il privilégie les critères d’exactitude et d’efficacité ainsi que l’amélioration des prédictions.

D’ailleurs, les revues comme les conférences du secteur pénalisent souvent les recherches axées sur les applications et les résultats concrets, préférant les travaux qui améliorent les méthodes de calcul. Il conduit à minimiser les dommages potentiels causés par les systèmes algorithmiques et conduit à ne pas regarder les réalités de leurs mise en œuvre, à surestimer les bénéfices et à sous-estimer les nuisances. C’est le cas par exemple de Compas, le système de prédiction du risque de récidive américain. Ses promoteurs estimaient qu’en se fondant sur des évaluations formalistes, leur outil permettrait de réduire le recours à la détention provisoire et les disparités raciales. Or, les évaluations réalisées après la mise en œuvre du système algorithmique ont montré que ces améliorations ne s’étaient pas concrétisées. « Cet écart entre les évaluations formalistes et la réalité du terrain découlait de la manière dont les juges utilisaient les évaluations des risques ». L’évaluation du risque, sous forme d’infrastructures d’abstraction, a exacerbé plutôt que réduit les disparités raciales en matière de détention provisoire, parce que les ingénieurs de Northpointe, les développeurs de Compas, n’ont pas pris en compte la manière dont ils seraient utilisés (sur ces enjeux, voire également les livres de Jathan Sadowski, de Arvind Narayanan et Sayash Kapoor ou encore de Nathan Genicot dont nous avons déjà parlé ici et qui abordent tous ces questions sous un angle ou un autre). 

Pour Green, la data science souffre d’une forme de « clôture mathématique », enclose sur elle-même, renforcée par une tendance à « l’universalisme abstrait », où le monde réel pourrait se réduire uniquement à des mathématiques. Cet universalisme abstrait pousse les data scientists à appliquer des algorithmes comme solution à tous les problèmes sociaux, sans prendre en compte les particularités de ses déploiements. 

« Le problème est que, bien que ces représentations par substitution rendent le problème plus facilement traitable mathématiquement, elles suppriment généralement des éléments essentiels du contexte réel ». Cela conduit à des simplifications excessives et à de mauvaises interprétations, comme quand on tente d’évaluer les enseignants en fonction des résultats scolaires de leurs élèves. La qualité de l’enseignement se réduit alors à l’amélioration des résultats des élèves, comme le montrait Cathy O’Neil dans son livre, Algorithmes, la bombe à retardement (Les Arènes, 2018). Enfin, le formalisme algorithmique tend à faire croire que la data science et le calcul seraient politiquement neutres et que les scientifiques seraient objectifs, comme le dénonçaient déjà danah boyd et Kate Crawford en 2011 dans leurs 6 provocations à l’encontre des Big Data. Croire que la science des données produit des connaissances objectives tend à renforcer la minimisation des enjeux sociaux et éthiques des calculs, jugés comme non pertinents et dépourvus de rigueur. « Dans la recherche en science des données, la priorité est donnée aux contributions techniques, supposées apolitiques. Les revues et les conférences attendent des chercheurs qu’ils justifient leurs travaux sous l’angle de la performance et de la nouveauté plutôt que par rapport aux besoins de la société », comme le montrait une remarquable analyse des valeurs encodées dans les articles de recherche du secteur. 

« La neutralité politique conduit les data scientists à négliger les inégalités structurelles et les contestations politiques sous-jacentes aux enjeux sociaux ». C’est par exemple l’écueil de la police prédictive, qui exacerbe et légitime la discrimination systémique inhérente à l’action policière. 

Pour Green, ce formalisme exacerbé a généré une crise morale de la discipline. À mesure que les algorithmes se généralisaient et gagnaient en influence au sein de la société, les approches critiques ont alors gagné en visibilité à mesure que montaient les controverses et les injustices. Peu à peu, la question de l’éthique est devenue un domaine influent de la science des données, en valorisant la question de l’équité (c’est-à-dire en valorisant des définitions mathématiques de la prise de décision équitable) et de l’explicabilité. Cet accent mis sur l’éthique a orienté la science des données dans des directions productives, reconnaît Green, en attirant l’attention sur les impacts sociaux des calculs. Mais pour Green, cette éthique repose trop souvent sur une approche formaliste également. Elle réduit l’éthique à une question d’amélioration du calcul, comme le remarquait déjà le sociologue Bilel Benbouzid. Pour Green, « l’éthique des données ne permet pas de produire de manière fiable des algorithmes équitables. Même lorsque les algorithmes satisfont aux définitions techniques des idéaux éthiques, ils peuvent néanmoins s’avérer nuisibles en pratique. » Pour lui, le formalisme algorithmique conduit la science des données dans une impasse. Il manque une méthodologie plus pratique pour se faire. 

Pour dépasser ces limites, il est nécessaire de passer du formalisme au réalisme. « Le critère ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique. Autrement dit, quelles que soient les propriétés mathématiques formelles d’un algorithme, ses effets concrets priment sur l’évaluation de sa qualité et de son utilité sociale. Par ce principe, le réalisme algorithmique vise à promouvoir une science des données réaliste, attentive aux usages et conséquences réels des algorithmes. » Pour le dire concrètement, nombre de services permettant d’attribuer des places dans le supérieur reposent sur l’algorithme dit des mariages stables de Gale et Shapley. Pourtant, la manière de l’implémenter est partout différente et produit des effets spécifiques, notamment parce que ses adaptations n’en respectent pas toujours les principes. Parcoursup comme son ancêtre, APB, en relevaient. Ce n’est pas pour autant qu’ils l’ont implémenté dans les règles de l’art. 

Pour produire une véritable data for good, pour servir l’intérêt général par les données, alors « la justice sociale doit devenir la mission centrale de la science des données », estime Green. Pour cela, il faut changer la science des données, afin que « faire une bonne data science (doing good data science) devienne synonyme de faire le bien avec la data science (doing good with data science) ». Pour cela, il faut dépasser les attributs techniques d’un algorithme, pour se concentrer sur son rôle et ses impacts dans le contexte de son utilisation. « Les data scientists doivent donc porter leur regard vers l’extérieur : passer du fonctionnement interne des algorithmes au monde dans lequel ils opèrent.» Ils doivent concentrer leur regard sur les effets instrumentaux des systèmes, leurs impacts concrets plus que leurs performances. Pour Green, cela consiste à prendre en compte le changement social. L’enjeu par exemple ne serait plus de produire un calcul pour déterminer quels élèves risquent de décrocher pour améliorer le taux d’obtention d’un diplôme, mais à se demander comment améliorer les efforts de prévention du décrochage scolaire. « Il s’agit de développer des algorithmes qui favorisent des résultats éthiques au sein de la société.»

La méthode : faire avec le terrain !

Green expose longuement son plan de travail concret. C’est-à-dire un nouveau « flux de travail pour la science des données » (data science workflow), c’est-à-dire un processus de travail concret qui passe par la délimitation du problème, la délimitation du projet, l’analyse des données, la mise en œuvre et l’évaluation. Et pour mettre en œuvre ce processus, les data scientists doivent apprendre à mieux collaborer avec les acteurs du terrain, plutôt qu’à produire leurs solutions en chambre. Ils doivent discuter avec ceux qui sont impactés par les systèmes, ceux qui les mettent en place pour mieux saisir les enjeux qui sont les leurs. « Le réalisme algorithmique n’exige pas des data scientists qu’ils abandonnent leurs compétences techniques, mais il souligne qu’ils ont besoin de plus que ces seules compétences. Ainsi, les data scientists ne devraient pas se définir uniquement comme des experts techniques sachant analyser des données. Au contraire, ils devraient s’efforcer d’être des stratèges de la donnée, aidant de manière créative les personnes et les organisations à utiliser les données pour relever des défis du monde réel ». Green tente ici de dresser une piste pour que les scientifiques de la données arrêtent de produire du technosolutionnisme. Il invite les ingénieurs à se défaire de l’hubris ingénieuriale, comme il le disait ailleurs. A prendre conscience que leurs solutions sont bien souvent inadaptées, toutes formidables qu’ils les trouvent. Et pour cela, il faut changer l’approche de la discipline elle-même. 

Pour Green, cette réorientation est aussi une réponse à l’automatisation qui dévalorise l’expertise des data scientistes. A l’heure où l’IA générative va produire la plupart du code, le réalisme algorithmique permet de prémunir la discipline contre l’automatisation. En devenant stratèges de la données, leur rôle n’est pas seulement de programmer, mais vise à « aider les organisations à définir des stratégies pour tirer parti des données et des algorithmes afin de répondre à leurs défis concrets ». « Les data scientists cherchent rarement à s’attaquer aux inégalités structurelles, préférant se contenter d’optimiser les procédures décisionnelles existantes. Le réalisme algorithmique inverse ces tendances. Il incite les data scientists à modérer leurs ambitions quant à ce que les algorithmes peuvent accomplir seuls, tout en les encourageant à viser plus haut dans la poursuite de réformes sociales et politiques systémiques », promouvant la justice sociale. 

Pourtant, prévient Green, la justice sociale est un sujet complexe et controversé. Il n’existe pas de réponse unique ou évidente quant à la manière de parvenir à la justice dans chaque situation… Et il n’est pas sûr que toutes leurs interventions y parviennent. Reste que pour lui, il faut parvenir à sortir de la lutte contre les injustices engendrées par les algorithmes pour les utiliser pour combattre les inégalités. 

Pour autant, Green ne se veut pas naïf. Les data scientists ne vont pas créer demain, rapidement et facilement, une société juste, juste en changeant de méthode. D’autres enjeux s’imposent à eux. Les gouvernements eux-mêmes et nombre d’acteurs privés, sont motivés par des objectifs qui sont en conflits avec la justice sociale. Les autorités sont les premières à produire des algorithmes pour soutenir des politiques austéritaires, racistes et qui renforcent le contrôle et les inégalités sociales et les data scientists n’ont pas toujours de marge de manœuvre pour réorienter ces politiques. Le réalisme algorithmique ne prétend pas résoudre tous les défis. Il ne se veut qu’une méthode pour appréhender les défis sociaux, pour mieux collaborer avec les plus vulnérables. Et effectivement, cela ne suffira certainement pas à inverser les scripts qui se déploient dans les outils, les idéologies à l’œuvre dans les programmes et les politiques. « Les data scientists disposent d’une marge de manœuvre limitée pour générer un changement social ». Ce n’est pas pour autant qu’ils ne doivent pas être responsables de tenter de changer les choses. « Les data scientists ne sont pas responsables de la création des conditions sociales d’inégalité et d’injustice. Mais nous sommes responsables de la décision et de la manière d’agir face à ces conditions sociales.»

Le réalisme algorithmique n’est pas seulement une nouvelle méthode. C’est aussi une nouvelle culture et un ensemble de normes pour la data science. Son but est de traduire la critique des algorithmes en de nouvelles pratiques pour les data scientists. 

La leçon du pragmatisme

Le passage du formalisme au réalisme et l’idée de l’appliquer à la data science ne vient pas de nulle part, explique Ben Green. Il s’inspire notamment des philosophes pragmatistes, comme John Dewey ou William James. « Les pragmatistes visaient à transformer la philosophie, d’une recherche métaphysique de vérités essentielles, en un ensemble d’outils pratiques pour résoudre les défis sociaux contemporains ». Pour eux, les concepts sont des instruments au service de l’action concrète : les idées sont des instruments pratiques – au même titre que des fourchettes, des tondeuses à gazon ou des stéthoscopes – destinés à aider les individus à faire face aux défis du monde réel. Ils proposent aux philosophes de s’affranchir de leur dépendance aux abstractions et aux formalismes et aux certitudes qu’elle produit. « Aucune connaissance ne garantit son infaillibilité », disait Dewey. Les connaissances doivent pouvoir être affinées en fonction des conséquences de leur mise en pratique.

La philosophie pragmatique s’appuie sur 3 principes. Le premier consiste à prendre en compte les conséquences : la qualité des théories dépend de leurs effets dans le monde réel, ce qui suppose d’évaluer dans la pratique si elles produisent les conséquences souhaitées. Une politique visant à réduire les inégalités de revenus ne s’évalue pas en fonction des principes qu’elle propose, mais se mesure plutôt en observant si sa mise en œuvre réduit effectivement les inégalités. Le second est le principe des outils, c’est un principe qui vise à se défier de l’abstraction qui n’est qu’un outil parmi d’autres. Le troisième est celui de la socialité : toute connaissance est le produit des personnes qui l’élaborent. Cela signifie qu’il n’existe aucune valeur éthique ou objective ultime. 

Cette philosophie a eu des conséquences concrètes, notamment dans le domaine du droit. Jusqu’au début du XXe siècle, le raisonnement juridique aux Etats-Unis était dominé lui aussi par le formalisme, ce qui a suscité des critiques ouvrant la voie à des réformes progressistes, notamment pour élargir les droits et les protections des travailleurs. C’est ce que l’on a appelé le réalisme juridique. Le formalisme juridique estimait que les conséquences sociales réelles des lois étaient sans pertinence pour leur évaluation. Par exemple, les juges américains ont longtemps interprété la liberté contractuelle comme une règle rigide : l’État ne pouvait s’immiscer dans les contrats que les individus concluaient de leur plein gré. La Cour suprême des Etats-Unis a ainsi invalidé en 1905 une loi de l’Etat de New York fixant une durée maximale de travail pour les employés de boulangerie au motif qu’elle était un ingérence déraisonnable face à la liberté de contracter, quelque soit ses effets. En réaction au formalisme juridique, les réalistes ont œuvré pour prendre en compte le monde dans lequel le droit s’inscrit, pour faire du droit un outil pragmatique au service d’objectifs sociaux plutôt qu’un système visant à produire des réponses incontestables. Pour eux, la qualité des lois devait dépendre de leurs effets dans le monde réel. Pour cela, il leur a fallu montrer que les principes juridiques abstraits ne permettent pas d’apporter des réponses claires dans des cas concrets. Les réalistes juridiques ont prôné des changements d’orientation pour prendre en compte la jurisprudence, le contexte et en soutenant que le droit n’était pas un outil neutre, mais politique, et montrer que le droit ne pouvait être résolu par la simple application de principes abstraits. Ce basculement a changé l’application du droit aux Etats-Unis. En 1937, la Cour suprême des Etats-Unis a validé la constitutionnalité de lois sociales telles que celles instaurant un salaire minimum. « L’évolution du droit, passant du formalisme juridique au réalisme juridique, laisse entrevoir une trajectoire analogue pour faire progresser la science des données : le passage du formalisme algorithmique à une nouvelle méthodologie, le réalisme algorithmique.»

Pour appliquer le pragmatisme à la science des données, il faut que « le test ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique ». Les data scientists ne peuvent se fier au comportement des entrées et des sorties du modèle. Il faut passer d’une conception des algorithmes comme des modèles mathématiques à une conception pratique d’instruments destinés à améliorer la société. « Ce qui rend un algorithme « équitable » ou « éthique », ce n’est pas qu’il possède des caractéristiques mathématiques associées à ces valeurs, mais qu’il produit, dans le monde réel, des résultats associés à ces valeurs ». Les algorithmes sont des systèmes sociotechniques qui s’inscrivent dans la société où ils se déploient, des pratiques sociales. Et s’ils sont des pratiques sociales, alors il faut développer des mesures d’évaluation adaptées, qui reflètent les effets réels de ces calculs. Prendre en considération les conséquences des systèmes, impose aux ingénieurs d’assumer la responsabilités des préjudices que leurs systèmes causent. « Si un algorithme conçu pour améliorer la société s’avère finalement nuisible, il ne peut être considéré comme socialement bénéfique, quelles que soient les mesures formelles attestant de ses bienfaits. Même si les effets néfastes d’un algorithme n’ont pas été voulus, ils définissent la manière dont celui-ci fonctionne réellement. » Là où le regard des spécialistes doit bouger, c’est qu’ils devraient privilégier les impacts sociaux indépendamment du rôle joué par les algos, quitte à ne pas développer des systèmes de calcul. 

Le réalisme algorithmique repose enfin sur un autre principe et présupposé : les algorithmes sont politiques et ceux qui les fabriquent sont des acteurs politiques à part entière. « Toute activité qui influence la disponibilité des ressources, des droits, des statuts ou du pouvoir dans la société est politique ». Les défenseurs de la neutralité visent bien plus à occulter les rapports de force et perpétuer les hiérarchies sociales existantes, qu’à défendre une impartialité qui n’existe pas. Pour Green, les développeurs doivent reconnaître leur partialité, non pas parce qu’ils ignoreraient certaines choses, mais plus encore parce que leurs travaux portent des valeurs par devers eux. « Les data scientists occupent souvent des postes leur conférant une marge de manœuvre considérable pour prendre des décisions normatives. Or, ils ne devraient pas se considérer comme les arbitres du bien, mais plutôt comme des facilitateurs attachés à la participation démocratique de tous.» 

Dans Logique : La théorie de l’enquête (PUF, 2006), John Dewey décrit la résolution de problèmes comme un processus en quatre étapes. « La première étape consiste à examiner le problème en question pour en comprendre les caractéristiques et définir les critères d’une résolution souhaitable. La deuxième étape consiste à explorer des solutions potentielles et à rechercher une intervention susceptible de résoudre le problème. La troisième étape consiste à mettre en œuvre l’intervention choisie. Enfin, la quatrième étape consiste à évaluer si l’intervention a produit les résultats escomptés. Si les résultats sont satisfaisants, le processus s’achève. » C’est exactement la méthode que Green retient pour l’appliquer aux défis algorithmiques. La méthode se déploie comme une feuille de route visant à 

1. Délimiter le problème
2. Délimiter le projet
3. Analyser les données
4. Mettre en oeuvre
5. Et évaluer. 

Avant de détailler par le menu les enjeux et défis de chaque étape. Mais, rappelle-t-il en préambule, les ingénieurs ne sont pas des « licornes omniscientes capables de tout faire en solitaire ». Si certains collaborent activement avec des communautés et des experts pour mener leurs projets, trop souvent encore, ces échanges restent « formalistes ». Dans l’ensemble, ils restreignent la participation de ces groupes à la simple fourniture d’informations sur les paramètres de mise en œuvre technique (voir par exemple notre article sur le manque de participation des publics). Et il est encore plus rare que les ingénieurs confient à d’autres le pouvoir de décision sur les résultats à privilégier ou l’opportunité même de développer des systèmes. Même lorsqu’ils consultent des communautés, trop souvent encore, les ingénieurs conservent la maîtrise du projet. Et quand c’est le cas, l’implication des parties prenantes est marginale, insuffisante pour influencer de manière significative les résultats. Quand c’est le cas, les ingénieurs ont souvent déjà arrêté leur orientation et restent souvent réticents face aux retours remettant en cause leurs choix (comme nous le montrions dans notre article sur l’échec des déploiements de projets). Enfin, quand ils laissent une place, celle-ci consiste à discuter de paramètres, d’indicateurs qui dévalorisent les savoirs des groupes dépourvus de formation technique. 

En rendant les phases amonts (et avals) du processus plus collaboratives, l’enjeu est de mieux réussir à ouvrir à toutes les parties prenantes les moyens de peser sur les objectifs et la portée des projets. Green rappelle que le data scientist ne connaît jamais la complexité du fonctionnement d’un système. Ce sont ceux qui y sont confrontés les experts. Et c’est leur connaissance qui seule permet de faire la différence. 

Définir le périmètre de projets de science des données réalistes

Délimiter le problème n’est pas si simple car les situations problématiques sont souvent mal définies et ambiguës et nécessitent d’éviter toute attente ou tout objectif préconçu. « Lors du diagnostic des problèmes, il est important de reconnaître qu’il n’existe probablement pas d’explication unique et correcte. La plupart des défis sociaux sont des « problèmes complexes ».» Pour cela, Green invite à l’enquête. A discuter avec les agents ou avec le public. A prendre le temps d’interviewer, de parler. Il donne l’exemple d’entretiens avec des parents confrontés à des systèmes algorithmiques visant à prédire les risques de maltraitance ou de négligence. Pour les familles, ces systèmes stigmatisent les parents plus qu’ils n’améliorent la situation. La réponse proposée par les services sociaux où ces systèmes étaient déployés était inadaptée à leur situation. Pour Green, tout l’enjeu est de poser l’énoncé du problème, de le décrire et de décrire ses causes. Aborder les personnes touchées et regarder si elles sont concernées différemment. C’est en posant un diagnostic approfondi du problème qu’on construit un point de référence qui va fournir un cadre pour la démarche. Et ce diagnostic doit être partagé et validé par ceux avec qui le data scientist doit travailler. 

Une fois le problème cerné, il faut alors élaborer une stratégie de réforme, c’est-à-dire une théorie du changement qui permettrait de résoudre le problème identifié, sans évoquer de technologie. Le but n’est pas nécessairement de tout résoudre d’un coup, mais aussi d’esquisser les étapes. « Lorsque des travailleurs se syndiquent, ils ne cherchent pas simplement à obtenir des salaires plus élevés. Ils visent plutôt à accroître leur pouvoir à déterminer les conditions de travail. Grâce à ce pouvoir, ils peuvent négocier avec la direction de nombreux aspects de leur emploi : les salaires, certes, mais aussi la couverture santé, les mesures de sécurité, et bien plus encore. Pour un syndicat, il n’existe pas de victoire ultime et définitive, mais seulement une succession de compromis et de victoires partielles. Chaque action renforce la capacité du syndicat à remporter de nouvelles victoires partielles lors des campagnes de mobilisation ultérieures », comme le montrait André Gorz dans Stratégie ouvrière et néocapitalisme (Seuil, 1964). « Pour les data scientists, qui cherchent à promouvoir la justice sociale, votre objectif n’est pas d’identifier une stratégie globale de transformation de la société. Ne vous attendez pas à ce qu’une intervention quelconque puisse résoudre un problème social systémique et aboutir à une alternative parfaitement juste. L’objectif est plutôt d’identifier des « réformes non réformistes » : des actions qui, même modestement, orienteront la société vers des politiques et des structures de pouvoir égalitaires. » Pour Gorz, les réformes non réformistes s’inscrivent dans une volonté d’instaurer des relations sociales égalitaires. Elles remettent en cause le statu quo au service des objectifs visés. Compte tenu de cette distinction, les réformes non réformistes sont mieux à même de surmonter les structures politiques et de pouvoir systémiques qui, généralement, font obstacle à la réalisation de la justice sociale. 

La délimitation du projet, elle, consiste à préciser les objectifs à atteindre. « Des objectifs qui doivent être à la fois spécifiques, mesurables, réalisables, pertinents et temporellement définis ». Ils doivent permettre de faire progresser la stratégie de réforme définie et sa contribution doit venir soutenir les acteurs. Ici, l’enjeu est d’identifier « Comment mon expertise et mon statut de data scientist peuvent-ils aider le groupe à atteindre ses objectifs ? »

Pour Green cela suppose par exemple de produire une cartographie des processus pour bien saisir le fonctionnement et les pratiques des acteurs accompagnés, sous forme par exemple d’une représentation détaillée de chaque étape d’un processus opérationnel, voire un organigramme ou un flux de travail (à accomplir avec ceux chargés de le faire pour en valider les étapes, préciser les acteurs impliqués, les objectifs de chacun, leurs contraintes) permettant d’identifier les points de blocages concrets. À San Francisco par exemple, le Département de la santé publique s’inquiétait de la baisse des taux de fidélisation à un programme qui fournit une aide alimentaire aux mères à faibles revenus. Pour comprendre les causes de ce problème, l’agence a collaboré avec l’équipe interne de science des données de la ville. Les spécialistes des données ont analysé six années d’informations et élaboré un modèle d’arbre de décision afin d’identifier les facteurs conduisant les mères à abandonner le programme. Ils ont également interrogé les bénéficiaires et le personnel du programme. Ces analyses ont révélé que les contraintes administratives et la stigmatisation sociale constituaient des obstacles majeurs pour les mères. En réponse, l’agence a réduit les contraintes administratives en simplifiant la prise de rendez-vous et en remplaçant les chèques papier par des cartes de paiement électroniques qu’elles réclamaient. L’agence a également lutté contre la stigmatisation en modifiant la communication du programme. A nouveau, insiste Green, l’enjeu n’est pas toujours de faire de grandes réformes. Mais souvent seulement d’aider les organismes à renforcer leurs capacités techniques, que ce soit en nettoyant leurs données, à former le personnel pour élaborer des indicateurs pertinents ou à faciliter le partage de données entre les différents services. 

Un autre moyen consiste à cartographier le pouvoir, les réseaux d’acteurs en relation ou en conflit, comme « d’identifier des adversaires qu’il convient de soumettre à des pressions, des alliés potentiels qu’il faut convaincre ou des groupes non organisés qu’il s’agit d’unifier ». C’est le cas par exemple du collectif militant Anti-Eviction Mapping Project (AEMP) qui publie des cartes d’expulsion notamment à San Francisco. Avec l’Eviction Defense Collaborative, les deux associations ont produit une carte pour mettre en évidence les arrêts de navettes des entreprises technologiques de San Francisco avec celle des expulsions du centre-ville qui a conduit la ville à réglementer le passage de ces bus. 

Le but, ici, est bien souvent d’analyser les données pour orienter la stratégie de mobilisation. Dans le Connecticut, des locataires de logements abordables étaient exposés à des niveaux de présence de plomb toxiques. Ils ont formé un syndicat de locataires pour se mobiliser contre le problème. Les scientifiques de l’organisation Science for the People sont venu leur apporter leur soutien en croisant les données des inspections des agences chargées de la détection du plomb avec celles du syndicat pour aller démarcher d’autres habitants confrontés au problème et accroître la mobilisation et la pression sur les autorités publiques. Suite à ces actions, une enquête a été ouverte et l’agence de protection de l’environnement est intervenue pour faire nettoyer les immeubles. 

Pour élaborer des spécifications de conception, il faut s’intéresser aux variables cibles des systèmes (c’est-à-dire le résultat que l’algorithme prédit), les mesures d’évaluation et l’utilisabilité pratique, qui permettent de traduire le phénomène étudié en une représentation quantitative susceptible d’être mesurée et prédite. Or, celles-ci ne sont pas toujours définies au mieux, rappelle Green. Un algorithme utilisé par le service des impôts américains pour prédire quelles déclarations de revenus sont non conformes (qui devraient donc faire l’objet d’un contrôle fiscal) évalue « la non-conformité comme le dépôt d’une déclaration comportant une erreur, quel que soit le montant en jeu. Sur la base de cette définition, l’algorithme cible de manière disproportionnée les contribuables à faibles revenus et les contribuables noirs pour des contrôles. À l’inverse, si l’algorithme définissait la non-conformité comme un sous-paiement d’impôts d’un montant significatif, il ciblerait plutôt les contribuables à revenus élevés et non noirs pour ces contrôles » (un problème qui n’est pas sans rappeler celui des indus calculé par la CAF en France, soit dit en passant). 

Parvenir à identifier correctement le problème prend du temps et des efforts, rappelle Green. A New York, le service municipal d’aide aux locataires qui vise à les aider dans leur relations avec leur propriétaires par exemple pour obtenir des réparations d’urgence, a cherché à identifier les locataires qui avaient besoin d’aide. Ils ont mis au point un système pour prédire les locataires harcelés par leurs propriétaires pour mieux cibler leurs interventions. Dans un premier temps, ils ont défini leur algorithme pour prédire les immeubles allant connaître au moins un cas de harcèlement au cours du mois suivant, mais le système sélectionnait des immeubles comportant beaucoup d’appartements, mais avec un faible taux de harcèlement de leurs propriétaires. Les scientifiques ont reformulé le problème pour prédire quels immeubles présentaient la plus forte proportion de locataires harcelés. Le modèle a alors identifié des immeubles plus petits avec des taux élevés et mieux répartis dans la ville. Le second modèle a permis de doubler le taux d’identification de locataires en difficulté avec leurs propriétaires, se révélant ainsi plus efficace pour soutenir la mission de l’agence, à savoir protéger les locataires vulnérables.

Pour Green, il y a beaucoup de variables à prendre en considération pour accomplir des analyses adaptées aux situations. Bien souvent, les associations ou les services publics ont peu de moyens pour intervenir. Cela signifie qu’il faut être capable d’intégrer les contraintes opérationnelles de l’organisme dans les indicateurs d’évaluation. « Les approches d’évaluation standard, qui prennent en compte la performance d’un algorithme sur l’ensemble de la population, ne reflètent pas la qualité de l’algorithme pour le rôle auquel il est destiné. Si un organisme ne peut intervenir qu’auprès d’une petite partie de la population, l’essentiel est d’identifier avec précision le groupe qui bénéficierait le plus d’une intervention. » Et dans de nombreux cas, « l’algorithme le plus performant pour l’ensemble de la population sera différent de celui qui performe le mieux pour le sous-ensemble étudié ».

Enfin, il faut s’assurer que l’algorithme sera utilisable en pratique et qu’il sera dimensionné et adapté aux processus existants. Par exemple, en travaillant avec les services sociaux de l’Illinois pour réduire le risque d’accouchement prématuré, les data scientists ont tenté de prédire les femmes avec le plus grand risque de complication via une application en ligne. Mais ils se sont rendu compte que cette application n’était pas fonctionnelle en pratique, car les services ne disposaient pas des capacités techniques pour en assurer la maintenance. Ils ont alors produit un score de risque depuis un simple formulaire papier facile à remplir. Moins précis que l’évaluation numérique, l’outil s’est avéré plus efficace car les services ont pu l’intégrer dans leurs opérations quotidiennes et a permis d’améliorer de 20% les soins prénataux aux femmes à hauts risques. 

Pour Green, « plus vous aurez défini le périmètre de votre projet de manière pertinente pour le contexte d’utilisation spécifique, plus il sera facile de mettre en œuvre l’algorithme avec succès ». Et c’est seulement après ces étapes importantes de spécifications, que le data scientist peut faire son travail, de sélection, de nettoyage et d’analyse de données.

Là encore, le travail préliminaire consiste à bien comprendre les données, leurs ambiguïtés, leurs biais et leurs limites. Il faut comprendre comment elles sont collectées, leurs manques… Ce qui n’est possible qu’en comprenant leur collecte, leur but, et en discutant avec ceux qui les collectent. Pour Green, « une cause fréquente d’échec des logiciels publics réside dans les méthodes de développement dites « en cascade » : les pouvoirs publics définissent leurs besoins, les techniciens conçoivent et réalisent le système de manière isolée, pour ne le présenter qu’une fois le produit final achevé. L’approche en cascade suppose qu’il est possible de définir tous les détails d’un outil avant d’en entamer la réalisation », comme le montrent Tara Dawson McGuiness et Hana Schank dans leur livre,  Power to the Public: The Promise of Public Interest Technology (Princeton university Press, 2021). « Cette approche mène souvent à l’échec car elle ne prévoit aucune possibilité de retour d’information intermédiaire au cours du processus de développement. Si vous tentez de concevoir un système de manière isolée, vous risquez de négliger les préférences et les pratiques de l’organisme concerné, faute de les avoir abordées en amont. De plus, ces préférences et pratiques sont susceptibles d’évoluer avec le temps. Plutôt que d’adopter une méthode en cascade (waterfall), privilégiez les pratiques de développement « agile » : créez des prototypes de manière itérative, discutez-en ou testez-les avec les utilisateurs finaux, puis ajustez votre travail en fonction des retours obtenus. »

Une fois les données analysées ou modélisées, vous pouvez en tirer des enseignements. Si vous avez élaboré un modèle, c’est à cette étape que vous l’utiliserez pour effectuer des prédictions ou des classifications sur de nouvelles données. Si vous préparez une présentation ou un rapport, c’est le moment de synthétiser les résultats dans un document destiné à être partagé. Ne vous limitez pas aux aspects techniques de vos livrables ; réfléchissez également à la manière de communiquer votre travail. Il est essentiel que votre public puisse interpréter correctement la signification de vos résultats (et, point tout aussi important, ce qu’ils ne signifient pas).

L’implémentation elle aussi doit être pédagogique recommande Green. Elle doit se faire en observant les impacts liés à l’utilisation. « Les projets de science des données sont loin d’être terminés une fois qu’un algorithme a été développé. » Pour cela, il faut non seulement surveiller ce que produit l’algorithme mais plus encore comment il s’insère et influe sur la prise de décisions, dans les processus et observer ses impacts sur les publics touchés. C’est à ce moment-là qu’on déploie des outils pour évaluer leurs effets, que ce soit via des méthodes de projection prospective, des exercices de design fiction, ou des études d’utilisation. 

C’est seulement toutes ces étapes franchies qu’on peut décider ou non d’implémenter le système, estime Green en délibérant avec les parties prenantes, en ayant observé si le système produit bien des effets et à quel niveau. C’est seulement une fois que l’implémentation est réalisée avec attention pour qu’elle s’intègre aux processus, que l’évaluation peut vraiment avoir lieu. En regardant s’il atteint bien ses objectifs et s’il engendre des effets secondaires négatifs. Là encore, le manuel de Green fourmille d’exemples pour procéder à ces évaluations, que ce soit par des essais contrôlés randomisés, des comparaisons avant-après, par des études d’interaction humaines avec le système, des enquêtes sur les groupes affectés par les décisions… 

Bien souvent, les évaluations formalistes des systèmes peinent à évaluer leurs impacts concrets. A San Francisco, les personnes sans abri font l’objet d’une évaluation de leur vulnérabilité par un algorithme. Ces scores orientent les décisions des organismes de logement quant aux personnes à prioriser pour l’attribution d’un logement. Or pour candidater, il leur faut répondre à un questionnaire assez traumatisant, ce qui les conduit à taire leurs récits voire à renoncer et donc à réduire leur score. L’algorithme ne parvient donc pas à accomplir pleinement ce qu’il est censé faire. 

Relever le défi des inégalités : des mesures d’équité… aux interventions structurelles

Résoudre les inégalités n’est pas si simple, rappelle Green. En 2016, les journalistes d’investigation de ProPublica ont montré que l’algorithme de Compas d’évaluation des risques de récidive était biaisé à l’encontre des Noirs. ProPublica a constaté que le taux de faux positifs de COMPAS – le taux de classification erronée d’un prévenu qui ne récidivera pas comme présentant un risque élevé – était deux fois plus élevé pour les prévenus noirs que pour les prévenus blancs. L’algorithme a classé 45 % des prévenus noirs non récidivistes comme présentant un risque élevé. En revanche, il n’a classé que 23 % des prévenus blancs non récidivistes comme présentant un risque élevé. L’algorithme a donc classé de manière disproportionnée les prévenus noirs comme susceptibles de récidiver.

Ces résultats ont suscité une grande consternation, de nombreux commentateurs exprimant leur indignation face à des algorithmes racistes dans des décisions aussi importantes. Mais Northpointe, l’entreprise qui a développé Compas, a réfuté les accusation de discrimination en s’appuyant sur une autre comparaison : parmi les prévenus considérés comme à haut risque, les prévenus noirs et blancs récidivaient à des taux similaires (environ 60 % du temps). Ce qui signifiait que l’algorithme traitait les prévenus noirs et blancs de la même manière quant à leur probabilité de récidive. Pour Northpointe, cette analyse démontrait que COMPAS est impartial. 

Des chercheurs en science des données se sont penchés sur ce débat, supposant qu’il serait possible de trancher la question en ajustant COMPAS pour satisfaire aux notions d’équité présentées par ProPublica et Northpointe. Ils ont cependant rapidement découvert que cela était impossible. Les algorithmes prédictifs discriminent inévitablement une forme ou une autre, et généralement en pénalisant les groupes marginalisés. Dans le cas de COMPAS, la disparité raciale des taux de faux positifs s’explique parce que les accusés noirs récidivent plus fréquemment que les accusés blancs, mais certainement d’abord parce qu’ils sont plus nombreux à être incarcérés et moins pris en charge. L’algorithme détecte cette différence et considère donc les accusés noirs comme plus à risque que les accusés blancs. Des enquêtes ont démontré des biais raciaux, ethniques, sexistes et de classe dans de nombreux autres algorithmes du secteur public.

« Cette caractéristique des algorithmes soulève un problème important pour les data scientists qui tentent de promouvoir la justice sociale. Les groupes marginalisés obtiennent de moins bons résultats dans de nombreux domaines, notamment la criminalité, l’éducation, la réussite professionnelle et la santé. Ce sont ces inégalités qui motivent de nombreux data scientists à œuvrer pour la justice. Mais comme les algorithmes sont entraînés sur des données qui reflètent ces schémas d’inégalité, ils génèrent des prédictions et des classifications qui reproduisent les disparités sociales. » 

Les spécialistes des données ont tenté de relever ce défi en développant le domaine de « l’équité algorithmique ». Comme son nom l’indique, l’équité algorithmique vise à empêcher les algorithmes d’exprimer des biais ou d’exacerber les inégalités. Ce domaine de recherche a réalisé des progrès importants dans le développement de méthodes permettant de réduire certains biais et a incité les spécialistes des données à reconnaître que les algorithmes ne sont pas objectifs.

Malgré ces avancées, l’équité algorithmique reste fondamentalement limitée en tant que méthodologie de promotion de la justice sociale. Le défaut fatal de ce domaine est qu’il considère l’équité comme un attribut technique interne aux algorithmes, explique Green.

L’équité algorithmique représente un exemple typique d’incorporation formaliste : les data scientists ont abordé les questions morales d’équité à travers les méthodes et les orientations du formalisme algorithmique. Cette approche de l’équité a conduit à des algorithmes qui paraissent équitables mais qui, en réalité, perpétuent les inégalités. « Ces limites de l’équité algorithmique signifient que les data scientists manquent d’une voie claire pour lutter contre la discrimination et les inégalités. Les réformes qui promeuvent l’équité sont les plus nécessaires dans les domaines où les disparités sociales sont criantes et généralisées. Mais les data scientists ne disposent pas de méthodes pour concevoir des algorithmes qui réduisent ces disparités plutôt que de les reproduire. Il n’est donc pas évident de savoir comment les data scientists peuvent contribuer à la justice sociale dans ces domaines. »

Pour Green, le réalisme algorithmique offre une voie productive pour pratiquer la science des données dans des domaines marqués par les inégalités car elle « reconsidère l’équité comme une propriété instrumentale – et non intrinsèque – des algorithmes ». « Dans cette optique, pour déterminer si un algorithme est équitable, ce qui compte, ce ne sont pas ses caractéristiques techniques, mais les effets qu’il produit au sein de la société. Par conséquent, les data scientists devraient cesser de poser la question formaliste dominante dans le domaine : « Comment créer des algorithmes qui satisfont à des critères statistiques d’équité ? » Cette question focalise l’attention sur le fonctionnement interne des algorithmes, en se concentrant étroitement sur des processus de décision isolés. Au lieu de cela, les data scientists devraient se demander : « Comment pouvons-nous contribuer à réduire les inégalités sociales et matérielles dans la société ? » Cette question incite les data scientists à privilégier les impacts réels des algorithmes. » 

Certes, cette question ne permet pas de réponses simples. Toutefois, la démarche du réalisme algorithmique structure un processus grâce auquel les data scientists peuvent élaborer des projets favorisant l’équité. Le réalisme algorithmique invite les data scientists à élargir leur perspective au-delà des processus de décision ponctuels pour prendre en compte les environnements sociaux qui entourent ces moments de décision. Cette approche souligne que les data scientists ne sont pas limités à la simple optimisation des modalités de prise de décision : ils peuvent également modifier les structures sociales qui encadrent ces processus. « Ils devraient notamment s’efforcer de (1) réduire les disparités sociales qui alimentent les processus de décision et (2) atténuer les conséquences néfastes découlant de ces décisions. En privilégiant des interventions structurelles plutôt que des mesures d’équité, les data scientists peuvent mener des projets techniques qui contournent les contraintes liées à l’équité algorithmique tout en promouvant la justice sociale.»

Green montre que l’approche formaliste de l’équité, malgré le développement d’innombrables mesures d’équité sous forme mathématique, peine à produire des effets. 

« Les mesures d’équité les plus répandues reposent sur des comparaisons entre des groupes qui valorisent soit la suffisance » (la condition de suffisance est remplie si, parmi les personnes faisant l’objet d’une prédiction donnée, tous les groupes présentent le résultat prédit dans les mêmes proportions. Cette définition de l’équité reflète l’idée que les personnes ayant une probabilité équivalente de manifester le comportement étudié doivent être traitées de manière similaire. Les modèles d’apprentissage automatique respectent généralement ce principe par défaut. Northpointe a soutenu que COMPAS était équitable car il satisfaisait au critère de suffisance) « soit la séparation » (la condition de séparation est remplie si tous les groupes soumis aux prédictions d’un algorithme présentent le même taux de faux positifs et le même taux de faux négatifs. Cette définition de l’équité reflète l’idée que les personnes présentant le même résultat doivent être traitées de manière similaire. ProPublica a soutenu que COMPAS était racialement biaisé car il ne respectait pas le critère de séparation). 

Le problème est que ces deux manières de définir l’équité sont irréconciliables. Et que l’équité se résume alors à une boîte à outil, où l’équité répond ou pas aux mesures mathématiques retenues. L’équité ne se mesure que sous l’angle des données d’entrée et de sortie de processus décisionnels ponctuels et bien souvent privilégie la suffisance à la séparation, notamment parce qu’on a tendance à bien plus valoriser l’égalité formelle, c’est-à-dire celle qui juge selon une norme uniforme, qui est très perméable aux inégalités existantes. Ainsi, si Northpointe a raison d’affirmer que les prévenus noirs récidivent plus souvent, c’est oublier que cette explication occulte les raisons de cette disparité. Cette disparité ne résulte pas d’un phénomène inexplicable ou sans importance. Au contraire, des siècles d’oppression raciale ont criminalisé le fait d’être Noir et ont placé les communautés noires dans des conditions criminogènes telles que la pauvreté endémique, le sous-financement des écoles et la rareté des opportunités d’emploi, rappelle le chercheur.

Pour Green, c’est en cela que l’équité algorithmique est dans une impasse. Les critiques, partisans de la justice algorithmique, suggèrent de privilégier la séparation à la suffisance comme définition de l’équité, pour privilégier l’égalité de résultats entre les groupes. Dans le cas de Compas, cela signifierait produire les mêmes niveaux de faux positifs pour les prévenus noirs et blancs. Mais pour changer d’approche, il faudrait faire évoluer non seulement la prise en compte mathématique, mais également la contrainte juridique. Privilégier la séparation nécessiterait de préconiser des décisions différentes pour les prévenus noirs et blancs présentant le même risque de récidive, ce qui serait illégal en vertu des lois anti-discrimination. Nous sommes là dans le même défi juridique que l’on notait dans le livre de Nathan Genicot. Une impasse éthique que nos sociétés n’ont pas tranchée. 

Pour dépasser cette impasse, Green suggère de passer à une approche instrumentale de l’équité. « Si nous ne pouvons pas choisir d’autres métriques d’équité, que pouvons-nous faire pour obtenir des algorithmes plus équitables ? »

« Pour élaborer une stratégie visant à mettre les algorithmes au service de la lutte contre l’injustice, nous avons besoin de l’éclairage d’une théorie morale qui dépasse le cadre de l’égalité formelle. » Cette théorie doit présenter deux caractéristiques fondamentales. Premièrement, elle doit se concentrer sur les réalités concrètes des inégalités plutôt que sur le simple respect de règles formelles et de normes uniformes. Deuxièmement, elle doit élargir le champ de l’analyse au-delà des points de décision individuels.

Pour cela, la solution que propose Green repose sur l’égalité relationnelle, qui constitue une approche substantielle de l’égalité, car elle privilégie les résultats aux procédures. Elle valorise notamment l’égalité dans les relations entre les individus. Les tenants de l’égalitarisme relationnel estiment que « les individus doivent interagir en tant qu’égaux ou jouir du même statut fondamental », contrairement aux relations hiérarchiques. Les égalitaristes relationnels suggèrent une stratégie différente pour promouvoir l’égalité : modifier les structures sociales qui encadrent les points de décision, c’est-à-dire s’intéresser bien plus aux environnements de décision. « Ce qui compte, ce n’est pas de savoir si un algorithme est conforme aux définitions de l’équité, mais s’il réduit les inégalités sociales et matérielles dans la société ».

Pour y parvenir, Green reprend tout le processus qu’il a proposé (les 5 étapes de sa méthode) pour le réinterroger à l’aune de l’équité. 

Lors de la délimitation du problème, il faut se poser plus avant la question des groupes les plus vulnérables ou les plus défavorisés. Les disparités d’attributs entre les groupes doivent être considérés comme le résultat d’une injustice. Et toujours estimer que les membres du groupe favorisé ont une influence dans la définition des critères de décision. Les attributs d’une personne, comme le mérite, le besoin, la dangerosité, reflètent souvent les intérêts des groupes sociaux dominants. « Plus un groupe dominant a le pouvoir de définir les critères, plus les conditions sont défavorables aux groupes marginalisés. » Il invite par exemple à observer si « les personnes présentant des caractéristiques défavorables font l’objet, de manière disproportionnée, de décisions défavorables » ou si les « les personnes qui reçoivent une décision défavorable subissent des conséquences graves » ou combien de personnes subissent des décisions défavorables. Ces questions permettent d’adapter les réponses stratégiques. Par exemple en fournissant des ressources ou des soutiens aux groupes défavorisés pour amoindrir les effets des calculs en modifiant les critères d’évaluation des décisions. Par exemple, en tentant de modifier les décisions défavorables afin qu’elles privilégient l’aide à la sanction. Ou encore en atténuant les préjudices découlant d’une décision défavorable, ou encore en tentant de réduire le nombre de personnes faisant l’objet de décisions défavorables, en tentant par exemple d’agir sur les ressources disponibles pour permettre davantage de décisions favorables. Ainsi, pour réduire le risque de récidive chez les groupes marginalisés, la première stratégie de réforme en amont consiste à fournir des ressources ou d’autres formes de soutien aux groupes défavorisés. 

Green donne un exemple, en observant comment d’autres décisions permettent de réduire le risque de récidive, par exemple en accompagnant les programmes qui visent à rompre les cycles de la criminalité et de la violence. À Chicago, un programme d’intervention communautaire contre la violence vise à offrir un soutien thérapeutique et social aux personnes à risque d’avoir un comportement violent. Les évaluations ont montré que ces programmes avaient un réel impact en réduisant de plus de 70% le risque d’arrestation pour crime violent chez les participants. Les spécialistes des données peuvent aider par exemple à améliorer le taux de rétention des participants, alors que moins de la moitié des participants vont jusqu’au bout du programme (et compte tenu des ressources limitées des programmes, il est impératif qu’ils réduisent leurs taux d’abandon). En comprenant les raisons de l’abandon ou en élaborant un modèle pour identifier les participants qui risquent d’abandonner, il y a des possibilités pour venir en soutien de ces programmes. Ou encore en concevant un modèle identifiant les meilleures stratégies de rétention. 

Un exemple dans l’actualité plus récente explicite plus avant ce succès. La ville de Baltimore a réduit son taux d’homicides de 60 % entre 2021 et 2025 rapportent Public Health et le Emerald book, en copiant le programme de Chicago. Ce succès s’explique par le fait que la ville ait abordé la violence par arme à feu comme un enjeu de santé publique et ait agit sur le problème non pas par la répression, mais en promouvant un programme pour les personnes les plus à mêmes de tomber dans la violence donnant accès à un logement stable, à des emplois, à des transports publics, comme le préconisent les travaux du Centre pour les solutions contre la violence par arme à feu et du Crime and Justice Lab. Une approche axée sur la santé publique implique d’analyser les données, de se concentrer sur les personnes les plus exposées aux risques pour les repérer et leur proposer un programme adapté d’aides pour s’extraire de la spirale où ils risquent de tomber parce qu’ils ont eux-mêmes été victimes de violences et d’évaluer en permanence ce qui fonctionne et ce qui ne fonctionne pas. En s’appuyant sur des réseaux communautaires locaux, comme la Peace Team, YAP, Roca, Safe streets ou Cure violence, Baltimore a réussi à ce que 91,5% des participants à son programme ne soient plus ni victimes ni auteurs de nouvelles fusillades. Plutôt que de déployer des effectifs de police, la ville a misé sur des médiateurs et un programme d’aides dédiés pour que la réponse à la violence par la violence ne soit plus la seule option. « Le succès de Baltimore a définitivement balayé le mythe selon lequel la réduction de la criminalité nécessiterait nécessairement une augmentation des effectifs policiers.»

Une autre option consiste à attirer davantage l’attention sur les méfaits de la mise en détention auprès des juges, comme l’ont montré les propositions alternatives à Compas, comme des systèmes qui proposent pour chaque individu la meilleure solution pour qu’ils ne récidivent pas en leur proposant les aides les mieux adaptées à leur situation (comme le programme de remise en liberté sous surveillance de la ville de New York qui a permis d’éviter la détention provisoire de 150 000 personnes) ou encore, comme le propose Esas, en proposant aux juges, plutôt qu’un score de risque, d’accéder aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, leur permettant de comparer leur sentence et de relativiser leurs jugements (voir notre article). 

Il est également possible d’utiliser d’autres solutions encore, comme des modèles statistiques afin d’identifier et de contester publiquement les décisions des juges en matière d’incarcération. À titre d’exemple, des spécialistes des données ont élaboré des modèles évaluant la fréquence à laquelle les juges de New York ont ​​ordonné le placement en détention provisoire entre 2020 et 2022, au regard de leur volume de dossiers. Ils ont ensuite publié un rapport désignant les quatorze juges les plus sévères de la ville. Selon leurs estimations, par rapport à des juges ordinaires, ces quatorze magistrats ont collectivement placé 580 personnes supplémentaires en détention, entraînant 154 années de détention provisoire additionnelles et un coût de 77 millions de dollars pour les finances publiques.

Une autre possibilité encore consiste à œuvrer à réduire les peines prononcées ou à réduire le nombre de personnes placées en détention provisoire par exemple en collaborant avec des avocats commis d’office pour concevoir un outil open-source pour les aider à mieux défendre leurs clients. ou encore en mobilisant des citoyens pour documenter les procédures de la justice et produire des rapports sur leurs actions. 

Green ne promet pas le grand soir de la lutte contre les inégalités. Mais estime que le terrain des interventions concrètes offre de nombreuses possibilités d’action. Pour lui, la data science permet de porter bien d’autres regards sur l’équité algorithmique. Bien sûr, reconnait-il avec humilité, « aucune de ces interventions, prise isolément, ne suffirait à éliminer les inégalités sociales ou les préjudices liés à la détention provisoire. Toutefois, toutes contribuent — par des évolutions progressives mais significatives — à orienter les structures sociales et institutionnelles vers une plus grande égalité relationnelle.» Pour autant que, politiquement, il reste des possibilités d’action, des programmes alternatifs et des financements pour ces programmes… 

Améliorer la prise de décision : passer de l’humain dans la boucle à l’algorithme dans la boucle

« Au cours des années 2010, des villes américaines comme Philadelphie ou San Francisco ont proposé des guichets pour aider les organismes de services sociaux à fournir une aide plus équitable et plus efficace aux personnes sans-abri. L’objectif de l’accès coordonné est d’accorder la priorité en matière de logement aux personnes qui en ont le plus besoin.

Les algorithmes facilitent ce processus en quantifiant la vulnérabilité de chaque personne sollicitant une aide au logement. » Problème : les travailleurs sociaux n’ont pas intégré ces évaluations. Pire, ces algorithmes ont eu l’effet inverse : ils ont exacerbé la vulnérabilité des groupes les plus marginalisés (tels que les immigrés, les personnes transgenres et les personnes noires) et ont donné aux personnes sans-abri le sentiment d’être déshumanisées par le processus d’évaluation, comme le racontait le San Francisco Public Press en 2022. 

« L’une des principales raisons de l’échec de cette initiative est que les travailleurs sociaux se sont trop reposés sur les algorithmes. Au lieu de considérer l’évaluation comme un outil permettant de contextualiser la situation de chaque individu, ils en ont fait le critère déterminant pour l’attribution d’un logement. Les agents chargés des dossiers ont fait valoir qu’ils n’avaient pas le « temps » de procéder à un examen plus personnalisé et que le questionnaire était plus simple à utiliser.

Cette dépendance excessive à l’égard des algorithmes de sélection a transformé un travail autrefois fondé sur l’accompagnement humain en une simple application rigide d’une formule. Auparavant, les travailleurs sociaux nouaient des relations avec les personnes sans abri afin de mieux cerner leurs besoins et de déterminer les formes d’aide les plus adaptées. Après l’introduction d’algorithmes d’accès coordonné au logement, les personnes en quête d’un toit n’ont plus bénéficié d’un accompagnement aussi personnalisé et respectueux. Elles étaient au contraire réduites à un simple numéro et, dans la plupart des cas, renvoyées à la rue.»

Cette histoire rappelle qu’il est très difficile de parvenir à une collaboration efficace entre humains et algorithmes. « On s’attend à ce que la combinaison de l’humain et des algorithmes permette de tirer le meilleur parti des deux mondes : la précision et la cohérence des algorithmes d’une part, l’expertise et le discernement des humains d’autre part. En pratique, toutefois, cette fusion idéale ne se concrétise que rarement.»

L’un des problèmes majeurs réside dans l’incapacité des humains à évaluer correctement la qualité des conseils fournis par les algorithmes ; même les experts peinent à distinguer les bonnes recommandations des mauvaises. Souvent, les décideurs humains accordent une confiance excessive à l’algorithme, ce qui les conduit à suivre des recommandations erronées ou biaisées. Ainsi, lorsque la police de Londres a testé un système de reconnaissance faciale en temps réel, les agents ont « largement surestimé la fiabilité du système », rapportait une analyse de l’AI Now institute. Alors que l’algorithme ne fournissait une réponse correcte que dans 19 % des cas, les agents ont approuvé 62 % de ses recommandations. 

Pour relever le défi de la collaboration, les data scientists ont complété les recommandations d’explications permettant de décrire les raisons pour lesquelles l’algorithme aboutit à sa conclusion. C’est le champ de ce qu’on appelle l’IA explicable (XAI). Malgré l’engouement, force est de constater que ces explications n’améliorent généralement pas la collaboration entre humains et algorithmes. Dans de nombreux cas, les explications conduisent même à de moins bons résultats. Ce problème découle à nouveau de la prédominance du formalisme algorithmique. Si le domaine a défini ce qui caractérise une bonne explication en terme mathématique et a mis au point des outils d’explicabilité, les complexités sociales inhérentes aux collaborations entre humains et algorithmes ont du mal à être saisies par le biais d’abstractions et de métriques. A nouveau, pour Green, il est nécessaire de dépasser le formalisme pour dépasser cette limite. « Ce qui caractérise un algorithme utile, ce n’est pas sa précision maximale ni ses explications techniquement optimales. Ce qui caractérise un algorithme utile, c’est sa capacité à aider les utilisateurs à prendre de meilleures décisions.» Cela semble tautologique, mais observer si cet objectif est atteint ne s’observe pas sur la base de purs formalismes. 

Dans l’approche formaliste, les spécialistes de data science insistent sur l’importance de maintenir un humain dans la boucle de décision. C’est au final toujours lui qui doit pouvoir décider, valider la recommandation du calcul. C’est un moyen censé prémunir des erreurs et des biais. De même, pour dépasser l’opacité intrinsèque aux calculs complexes, les data scientists privilégient des explications elles-mêmes automatisées. L’explicabilité est devenu le principe central et moteur de l’équité. Pourtant, cette explicabilité peine à produire des résultats et reste bien souvent très pauvre, incomplète… (absolument pas « projective », comme je le proposais moi-même). « Aider les utilisateurs à comprendre le fonctionnement d’un algorithme est très différent de les aider à utiliser ses conseils pour améliorer leurs décisions. Les convictions des data scientists quant à la qualité des explications ne correspondent donc pas à la pratique. » En fait, les explications ont pour effet involontaire d’accroître la confiance des utilisateurs envers les algorithmes, indépendamment de la qualité de ces derniers… et les incite à accepter plus facilement des conseils algorithmiques erronés.

Pour Green, à nouveau, il faut passer d’une approche formaliste en la matière à une approche réaliste. C’est-à-dire s’adapter à la manière dont les gens interprètent et utilisent les résultats des systèmes pour prendre des décisions, et pas seulement en faire des outils de décisions pour les gens. Ils doivent venir aider les gens à améliorer leurs décisions plutôt que de les prendre à leur place. Pour cela, ce n’est pas l’humain qu’il faut placer dans la boucle comme le proposent les conseils éthiques, mais l’algorithme, défend Green. En plaçant l’humain dans la boucle, on l’a vu avec la chaîne d’élimination automatisée des systèmes d’IA pour faire la guerre, trop souvent, on ne propose qu’une validation humaine de décisions algorithmiques trop complexes, une pantomime de contrôle. « À l’inverse, l’approche par un algorithme intégré au processus humain reconnaît que les algorithmes sont introduits au sein de processus décisionnels humains préexistants. Ici, ce sont les personnes qui prennent les décisions. Les algorithmes viennent compléter l’analyse de la personne en lui fournissant des éléments pour l’aider à évaluer la situation. Ce qui importe en fin de compte, c’est ce processus de décision humain, et non la capacité de l’algorithme à prendre seul de bonnes décisions ou celle de l’humain à superviser l’algorithme. Un système à algorithme intégré au processus humain, un « algorithme dans la boucle » est tout outil automatisé qui fournit des conseils aux personnes dans le but d’améliorer la prise de décision.»

Confrontés à des décisions à prendre, les humains doivent concilier des objectifs contradictoires. Lorsque les inspecteurs sanitaires choisissent les restaurants à contrôler par exemple, ils doivent concilier la priorité donnée aux établissements présentant les risques les plus élevés et la nécessité de répartir équitablement les inspections entre les différents quartiers. La manière dont ces acteurs pondèrent ces considérations concurrentes influence considérablement leurs décisions.

« L’existence de ces arbitrages implique que les décideurs disposent d’une marge d’appréciation pour déterminer l’issue la plus appropriée dans chaque cas. Bien qu’elle puisse susciter des inquiétudes quant aux risques de partialité ou d’incohérence, cette marge d’appréciation est un élément essentiel d’une prise de décision de qualité. Au quotidien, les bureaucrates de terrain sont confrontés à des situations ambiguës, incertaines et imprévisibles. Supprimer cette marge d’appréciation reviendrait à imposer une logique rigide et formelle à ces situations, empêchant ainsi les agents d’adapter leurs décisions à des cas complexes ou inédits.

Par ailleurs, imposer aux décideurs le respect de règles prescriptives violerait le principe normatif selon lequel les décisions doivent tenir compte de la situation et des besoins des individus. La marge d’appréciation est donc souhaitable, tant sur le plan pratique que normatif : elle permet aux décideurs de trouver un juste équilibre entre des valeurs et des objectifs contradictoires, en fonction des circonstances particulières.

Pour exercer leur pouvoir discrétionnaire de manière réfléchie et bénéfique pour la société, les décideurs doivent faire preuve d’un sens de la responsabilité morale quant à leurs choix. Craignant que cette marge d’appréciation ne favorise de mauvaises décisions ou des abus de pouvoir, les autorités imposent souvent des contraintes strictes aux actions des bureaucrates de terrain. Ces stratégies de contrôle et de conformité permettent généralement de prévenir les dérives les plus graves liées à l’exercice de ce pouvoir. Toutefois, leur efficacité est limitée – un contrôle précis s’avère très difficile dans ces contextes – et il a pour effet de démotiver les agents. Une stratégie bien plus efficace pour améliorer la prise de décision des agents publics consiste à responsabiliser les travailleurs et à leur accorder l’autonomie nécessaire pour exercer leur jugement de manière optimale », comme l’ont souligné bien des chercheurs tels que Michael Lipsky, Street-Level Bureaucracy: Dilemmas of the Individual in Public Services (Russell Sage Foundation, 1980), Bernardo Zacka, When the State Meets the Street: Public Service and Moral Agency (Harvard University Press, 2017) ou Dan Honig, Mission Driven Bureaucrats: Empowering People to Help Government Do Better (Oxford University Press, 2024). Le but d’un algorithme ne peut se réduire à améliorer sa précision (pour autant qu’il le permette réellement, comme le soulignaient les chercheurs Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024) et en pointant le fait que nombre de calculs n’améliorent que très marginalement leur résultats), mais doit prendre en compte nombre d’autres enjeux. Par exemple, un algorithme ne devrait pas chercher à « améliorer la précision des prédictions concernant la vulnérabilité des personnes sans-abri. » « À l’inverse, un projet intégrant des algorithmes dans la boucle décisionnelle déplacerait l’attention des prédictions vers les résultats concrets : « réduire le nombre de personnes vivant sans abri ou logement stable. » Par ailleurs, il conviendrait de prendre en compte les répercussions sur les travailleurs sociaux et sur les personnes sollicitant une aide au logement. Des objectifs connexes pourraient inclure : « améliorer le moral et le sentiment d’accomplissement des travailleurs sociaux » et « augmenter la proportion de personnes sans-abri estimant être traitées avec respect par l’organisme. » La nature multidimensionnelle de ces objectifs implique qu’il n’existera pas d’indicateur unique permettant de déterminer si le projet est une réussite.» D’une certaine manière, pourrait-on dire à la suite de Green, un système qui ne vise qu’à réduire le réel à une seule question sans ambiguïté, part d’une bien mauvaise analyse du réel et fournira par avance une mauvaise réponse. 

Pour améliorer la décision, estime Green, il n’est pas toujours nécessaire d’amener des informations nouvelles à ceux chargés de décisions, mais de comprendre ce qu’ils priorisent déjà. Les travailleurs sociaux chargés de la protection de l’enfance dans le comté d’Allegheny, en Pennsylvanie, privilégient la sécurité immédiate des enfants, tandis que l’algorithme dont ils reçoivent les conseils (l’Allegheny Family Screening Tool, qu’avait étudié Virginia Eubanks) prédit la sécurité des enfants sur une période de deux ans. Cette différence explique pourquoi les travailleurs sociaux ont tendance à ignorer les suggestions de l’algorithme. Nombre de professionnels hésitent à suivre les conseils algorithmiques pour des décisions à forts enjeux, estimant que ces modèles négligent la dimension humaine et la situation particulière des individus. Enfin, pour être exploitables, les enseignements tirés d’un algorithme doivent s’inscrire dans les pratiques quotidiennes et les flux d’information de l’organisation. Dans le domaine médical, par exemple, l’élaboration d’un plan de traitement pour un patient comporte de nombreux aspects allant au-delà de la simple prescription de médicaments. Les médecins doivent prendre des décisions telles que la fréquence des consultations de suivi et l’éventuelle intervention d’autres professionnels de santé (par exemple, des kinésithérapeutes ou des thérapeutes comportementaux). Ainsi, les médecins indiquent qu’ils préféreraient recevoir des recommandations algorithmiques liées à ces étapes organisationnelles, plutôt que de simples indications sur le médicament à prescrire. Ils souhaitent également que ces conseils facilitent les échanges avec les patients et les collègues, car ils élaborent souvent les plans de traitement en collaboration avec ces différents acteurs. 

Le développement d’un algorithme destiné à soutenir les conseillers d’une agence municipale de placement au Danemark met en lumière les avantages d’une collaboration étroite avec les décideurs et d’une ouverture d’esprit quant à la nature de la contribution à apporter. Dans ce cas précis, des spécialistes des données collaboraient avec des conseillers chargés d’aider les chômeurs à développer leurs compétences et à trouver un nouvel emploi. Au début du projet, les spécialistes des données prévoyaient de concevoir un algorithme capable de prédire quels demandeurs d’emploi présentaient le risque le plus élevé de chômage de longue durée. Il s’agissait là d’une approche classique en science des données, axée sur la prédiction de résultats individuels. Toutefois, les conseillers ont fait valoir qu’un tel outil entrerait en conflit avec leur éthique professionnelle. Pour eux, il est essentiel de croire en chaque chômeur et de l’aider à obtenir le meilleur résultat possible. Plutôt que des prédictions sur les comportements individuels, les conseillers ont demandé des prédictions concernant les processus organisationnels. Ils ont expliqué que l’un des principaux obstacles rencontrés par les usagers était la lenteur de l’avancement de leur dossier. Par exemple, des délais importants surviennent souvent lorsque l’agence doit rassembler les documents requis. Ces délais peuvent amener les demandeurs d’emploi à perdre confiance en eux et dans le processus d’accompagnement. Les spécialistes des données n’avaient jamais envisagé ce problème : ils supposaient que les dossiers étaient toujours traités rapidement. Or, les conseillers connaissaient bien ces délais longs et imprévisibles, qui constituaient un défi majeur dans leur travail. Pour y remédier, ils ont demandé un algorithme capable de prédire le temps d’attente estimé pour chaque personne. Cette information leur permettrait de préparer les demandeurs d’emploi au délai prévu et de les maintenir engagés dans des programmes tels que des thérapies ou des formations professionnelles durant cette période d’attente.

Cet exemple danois démontre que la contribution de la science des données qui semble la plus évidente n’est pas toujours la plus utile et l’importance à saisir les besoins de terrain. 

Tout cela nécessite une immersion totale avec le terrain, explique Green. Il faut comprendre comment les agents interprètent les informations, si certains éléments leur semblent confus… Mais surtout, pour Green, cela suppose de dépasser la seule explication. Par exemple en proposant des exemples similaires pour les inviter à mettre leur décision en perspective ou en les invitant à réfléchir par eux-même à une décision avant de recevoir les recommandations des systèmes. « L’idée sous-jacente est que si les individus réfléchissent de manière autonome à une décision, ils l’analyseront plus en profondeur et seront mieux à même d’évaluer les recommandations de l’algorithme. Plusieurs études ont montré que les fonctions de « contrainte cognitive » conduisent à des prédictions humaines plus précises que les scénarios où les utilisateurs ont un accès immédiat aux recommandations algorithmiques. » 

Une autre manière de faire consiste à guider le raisonnement sans recommander de décisions. Une autre manière encore consiste à proposer un éventail de choix par exemple en les rendant interactifs, permettant aux utilisateurs d’évaluer les conséquences des choix qu’ils ont à faire. « En encourageant une implication active – plutôt que passive – dans les systèmes intégrant l’humain dans la boucle algorithmique, l’interactivité aiderait les professionnels à préserver leur sens de la mission et leur autonomie lors de l’utilisation d’algorithmes, évitant ainsi de réduire leur pouvoir discrétionnaire à une simple formalité administrative.»

L’interactivité permet de conjuguer les capacités prédictives d’un algorithme aux connaissances spécifiques et contextuelles et à la démarche d’investigation du décideur. Ainsi, plutôt que de faire des recommandations de prescriptions pour traiter la dépression par exemple, les médecins devraient pouvoir adapter les systèmes aux situations individuelles. 

Dans son manuel, Green soutient que la clé réside dans une interaction profonde des data scientist avec les usagers et ceux qui déploient des outils. Leur intervention ne peut être ponctuelle, plaide-t-il, elle doit s’inscrire profondément dans les pratiques réelles. Il invite également à se défaire du solutionnisme pour produire des systèmes qui élargissent les choix plutôt qu’ils ne réduisent, comme il le disait déjà il y a quelques années. A observer ce que les praticiens en pensent, comment ils réagissent aux systèmes et pas seulement à les déployer voire à les imposer, au risque de leurs échecs. Le développement algorithmique ne peut pas se faire à l’encontre des missions que remplissent les gens. « Les défaillances persistantes des collaborations entre humains et algorithmes sapent la théorie du changement qui sous-tend de nombreux projets de science des données, laquelle vise à obtenir de meilleurs résultats sociaux en améliorant la prise de décision.»

Green termine son livre en prévenant les data scientists de se défier de l’IA générative. L’IA générative accélère et prolonge la logique du formalisme algorithmique. Le risque est de les considérer comme des outils polyvalents, susceptibles d’être appliqués à grande échelle, négligeant toutes les spécificités contextuelles qu’il met en avant dans son manuel.

« Si la science des données continue à suivre le formalisme algorithmique, le domaine produira des outils de plus en plus puissants sur le plan technique, mais souvent inutiles, voire nuisibles sur le plan sociétal. » Face à l’automatisation qui risque de rendre le scientifique des données obsolète, il est nécessaire de réarmer ses capacités. C’est ce que ce manuel propose. « Le réalisme algorithmique offre une piste pour permettre aux data scientists de se distinguer dans un monde où de nombreux aspects techniques de la science des données ont été automatisés. En concevant les algorithmes comme des outils opérationnels plutôt que comme des modèles mathématiques, le réalisme algorithmique redéfinit l’expertise qui caractérise un data scientist efficace.»

Pour l’instant, et cela risque d’être pire à mesure que l’IA se répand partout, « la plupart des data scientists sont formés et employés dans des environnements qui n’encouragent pas – et souvent découragent – le réalisme algorithmique. » De l’enseignement à la recherche, le domaine, pour ne pas disparaître sous les applications produites par l’IA, a besoin de s’ouvrir aux enjeux sociaux et aux applications concrètes, plaide Green. Or, « on continue d’enseigner aux étudiants des sciences de l’information que les dimensions sociales et éthiques des algorithmes sortent du cadre », comme l’expliquait l’ingénieur Jimmy Wu. Pour remédier à cela, il faut reconnecter l’éthique à la pratique. Nous devons sortir des façons dont on enseigne l’éthique dans les écoles d’ingénieurs que ce soit par leur mise en œuvre mathématique et formaliste comme par le biais de dissertations morales déconnectées des enjeux applicatifs. « Il ne s’agit pas d’enseigner l’éthique de manière abstraite aux étudiants en science des données, mais de leur transmettre les orientations et les compétences favorisant une pratique éthique de la discipline ». Il recommande également d’avoir plus de cours cliniques, c’est-à-dire de faire travailler les étudiants sur des projets réels. Et d’aider les étudiants à quitter le monde de la tech où le formalisme règne en maître ou sinon à leur apprendre à promouvoir des produits et des comportements éthiques au sein des entreprises et à faire face aux dilemmes éthiques auxquels ils sont confrontés. 

*

Green ne promet pas de révolution algorithmique. Il propose à la data science de se poser des questions que bien peu se posent, de faire un pas de côté. D’arrêter de croire que le calcul est la solution quand, bien souvent, il est le problème qui ne voit pas ses effets. 

Hubert Guillaud

Les presses du MIT publient ce jour le nouvel ouvrage de Ben Green, Algorithmic Realism : Data Science Practices to Promote Social Justice. Ben Green, on vous a déjà parlé de lui. En 2019, on avait longuement évoqué son précédent livre, The smart enough city, où il revenait sur son expérience de data scientist dans plusieurs villes américaines. Green plaidait déjà pour améliorer la responsabilité sociale des technologies, à l’épreuve des pratiques concrètes des responsables de l’innovation urbaine promouvant une innovation démocratique. 

C’est ce chemin qu’il poursuit dans son nouveau livre, qui n’est pas un essai, mais un manuel à destination des responsables des données. Il rappelle que depuis qu’il est diplômé, il n’a cessé d’essayer d’appliquer la data science pour créer une société plus équitable. Mais avoir un impact positif s’est avéré bien plus difficile qu’espéré. A Memphis, par exemple, les outils qu’il avait participé à mettre au point pour aider la ville à identifier des logements à rénover ont été abandonnés après le départ de l’équipe qui les avait développé. Malgré ces expériences pas toujours concluantes, il s’est rendu compte que pour avoir un impact, il était nécessaire de désapprendre beaucoup de certitudes et d’habitudes que sa formation en data science lui avait enseigné. A Boston, par exemple, il devait travailler avec les services d’urgence pour trouver des stratégies pour améliorer la rapidité d’intervention. Or, plutôt que de trouver une astuce pour mieux répartir les ambulances dans la ville, Green a constaté dans les données, que l’essentiel des déplacements n’étaient pas nécessairement un besoin de soins médicaux d’urgence, mais une demande de services sociaux que les services d’urgence n’étaient pas en mesure de fournir mais accomplissaient quand même. Avec les services d’urgence, il a alors proposé de créer une équipe dédiée. Une réponse d’autant plus adaptée que les interventions auprès des publics en difficultés, des toxicos et des SDF, ou de ceux souffrant de problèmes de santé mentale, se concentraient sur certains quartiers sensibles, avec un pic en fin d’après-midi et en début de soirée. La création d’une équipe d’assistance communautaire a ainsi permis de répondre à la demande initiale. Elle a permis d’apporter de meilleurs soins à des publics en difficulté et elle a libéré des ambulances pouvant répondre plus rapidement lors de prises en charges médicales urgentes. Cette expérience a été fondatrice. Elle lui a enseigné trois tactiques qu’il applique depuis à tous les projets qu’il rencontre. D’abord, étudier en profondeur les défis sociaux et opérationnels des services avant d’analyser la moindre donnée. La seconde consiste à se concentrer sur les besoins exprimés pour produire des impacts réels et pas seulement des solutions algorithmiques. Pour Green, les analyses de données les plus sophistiquées ne conduisent pas à de meilleurs impacts. Les résultats de la science des données doivent être choisis en fonction de leur capacité à faire progresser les objectifs du projet, peu importe leur simplicité ou leur complexité. Le troisième enseignement, c’est qu’un data scientist isolé ne sert à rien. Améliorer les politiques publiques avec la data science nécessite des activités qui ne relèvent pas de la data science. « Pour surmonter ces défis, il m’a fallu étudier des problèmes de société, me familiariser avec les processus de travail des organismes publics et traduire une analyse technique en pratiques opérationnelles. Aucun de mes cours de science des données n’avait jamais ne serait-ce qu’évoqué ces tâches, et encore moins enseigné comment les accomplir. »

Concevoir des algorithmes susceptibles d’améliorer la société n’est pas si simple. Comme on le répète ici, les calculs sont plus souvent défaillants qu’autre chose. Certainement parce que les méthodologies de la science des données n’offrent pas de méthode pour se faire, avance Green. D’où l’enjeu de ce manuel : apporter une nouvelle approche de la data science pour orienter les scientifiques des données vers la promotion de la justice sociale. En fait, souligne Green, les méthodes actuelles que mobilisent les data scientist ne leur permettent pas d’œuvrer pour le bien commun. Cette méthode actuelle, Green l’appelle le « formalisme algorithmique ». Et pour lui, elle est profondément problématique. Il propose d’en bâtir une autre : le « réalisme algorithmique ». Et son livre se veut une boîte à outils pour changer de méthode, pour changer la façon dont se déploie la data science. 

Passer du formalisme au réalisme algorithmique

« Transformer la science des données, en passant d’une méthodologie formaliste axée sur des modèles mathématiques à une méthodologie pratique axée sur des problèmes du monde réel », c’est ce que propose Green. La science des données est un champ relativement récent, né dans les années 2010, même si elle s’est construite sur des idées et des pratiques qui ont une longue histoire, rappelle-t-il. Le formalisme algorithmique est une méthodologie qui repose sur la propriété mathématique des algorithmes. Où qu’elles se déploient, les méthodologies formalistes restreignent le champ de l’analyse aux propriétés intrinsèques de leur objet, en excluant les éléments extérieurs tels que le contexte social et l’interprétation. Le formalisme algorithmique occulte le contexte social entourant les algorithmes, les garanties formelles de performance ne sont valides qu’au regard du comportement technique de l’algorithme – et non de ses usages et de ses impacts en pratique. En la matière, ces méthodes font obstacle à toute tentative d’aborder des problèmes sociaux et politiques complexes. Le formalisme procède d’une « réduction du champ de vision », rappelle le politologue James Scott dans son livre, L’œil de l’Etat (La découverte, 2021). Le formalisme tend à renforcer les hiérarchies, expliquent Geoffrey Bowker et Susan Leigh Star dans Arranger les choses (EHESS, 2023). Il peut sembler neutre et technique, mais le formalisme a souvent des conséquences pour les groupes marginalisés. Le problème est que le formalisme « caractérise le milieu intellectuel dans lequel évoluent les data scientists » et empêche d’adopter d’autres approches. Ce formalisme a des conséquences très directes : il privilégie les critères d’exactitude et d’efficacité ainsi que l’amélioration des prédictions.

D’ailleurs, les revues comme les conférences du secteur pénalisent souvent les recherches axées sur les applications et les résultats concrets, préférant les travaux qui améliorent les méthodes de calcul. Il conduit à minimiser les dommages potentiels causés par les systèmes algorithmiques et conduit à ne pas regarder les réalités de leurs mise en œuvre, à surestimer les bénéfices et à sous-estimer les nuisances. C’est le cas par exemple de Compas, le système de prédiction du risque de récidive américain. Ses promoteurs estimaient qu’en se fondant sur des évaluations formalistes, leur outil permettrait de réduire le recours à la détention provisoire et les disparités raciales. Or, les évaluations réalisées après la mise en œuvre du système algorithmique ont montré que ces améliorations ne s’étaient pas concrétisées. « Cet écart entre les évaluations formalistes et la réalité du terrain découlait de la manière dont les juges utilisaient les évaluations des risques ». L’évaluation du risque, sous forme d’infrastructures d’abstraction, a exacerbé plutôt que réduit les disparités raciales en matière de détention provisoire, parce que les ingénieurs de Northpointe, les développeurs de Compas, n’ont pas pris en compte la manière dont ils seraient utilisés (sur ces enjeux, voire également les livres de Jathan Sadowski, de Arvind Narayanan et Sayash Kapoor ou encore de Nathan Genicot dont nous avons déjà parlé ici et qui abordent tous ces questions sous un angle ou un autre). 

Pour Green, la data science souffre d’une forme de « clôture mathématique », enclose sur elle-même, renforcée par une tendance à « l’universalisme abstrait », où le monde réel pourrait se réduire uniquement à des mathématiques. Cet universalisme abstrait pousse les data scientists à appliquer des algorithmes comme solution à tous les problèmes sociaux, sans prendre en compte les particularités de ses déploiements. 

« Le problème est que, bien que ces représentations par substitution rendent le problème plus facilement traitable mathématiquement, elles suppriment généralement des éléments essentiels du contexte réel ». Cela conduit à des simplifications excessives et à de mauvaises interprétations, comme quand on tente d’évaluer les enseignants en fonction des résultats scolaires de leurs élèves. La qualité de l’enseignement se réduit alors à l’amélioration des résultats des élèves, comme le montrait Cathy O’Neil dans son livre, Algorithmes, la bombe à retardement (Les Arènes, 2018). Enfin, le formalisme algorithmique tend à faire croire que la data science et le calcul seraient politiquement neutres et que les scientifiques seraient objectifs, comme le dénonçaient déjà danah boyd et Kate Crawford en 2011 dans leurs 6 provocations à l’encontre des Big Data. Croire que la science des données produit des connaissances objectives tend à renforcer la minimisation des enjeux sociaux et éthiques des calculs, jugés comme non pertinents et dépourvus de rigueur. « Dans la recherche en science des données, la priorité est donnée aux contributions techniques, supposées apolitiques. Les revues et les conférences attendent des chercheurs qu’ils justifient leurs travaux sous l’angle de la performance et de la nouveauté plutôt que par rapport aux besoins de la société », comme le montrait une remarquable analyse des valeurs encodées dans les articles de recherche du secteur. 

« La neutralité politique conduit les data scientists à négliger les inégalités structurelles et les contestations politiques sous-jacentes aux enjeux sociaux ». C’est par exemple l’écueil de la police prédictive, qui exacerbe et légitime la discrimination systémique inhérente à l’action policière. 

Pour Green, ce formalisme exacerbé a généré une crise morale de la discipline. À mesure que les algorithmes se généralisaient et gagnaient en influence au sein de la société, les approches critiques ont alors gagné en visibilité à mesure que montaient les controverses et les injustices. Peu à peu, la question de l’éthique est devenue un domaine influent de la science des données, en valorisant la question de l’équité (c’est-à-dire en valorisant des définitions mathématiques de la prise de décision équitable) et de l’explicabilité. Cet accent mis sur l’éthique a orienté la science des données dans des directions productives, reconnaît Green, en attirant l’attention sur les impacts sociaux des calculs. Mais pour Green, cette éthique repose trop souvent sur une approche formaliste également. Elle réduit l’éthique à une question d’amélioration du calcul, comme le remarquait déjà le sociologue Bilel Benbouzid. Pour Green, « l’éthique des données ne permet pas de produire de manière fiable des algorithmes équitables. Même lorsque les algorithmes satisfont aux définitions techniques des idéaux éthiques, ils peuvent néanmoins s’avérer nuisibles en pratique. » Pour lui, le formalisme algorithmique conduit la science des données dans une impasse. Il manque une méthodologie plus pratique pour se faire. 

Pour dépasser ces limites, il est nécessaire de passer du formalisme au réalisme. « Le critère ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique. Autrement dit, quelles que soient les propriétés mathématiques formelles d’un algorithme, ses effets concrets priment sur l’évaluation de sa qualité et de son utilité sociale. Par ce principe, le réalisme algorithmique vise à promouvoir une science des données réaliste, attentive aux usages et conséquences réels des algorithmes. » Pour le dire concrètement, nombre de services permettant d’attribuer des places dans le supérieur reposent sur l’algorithme dit des mariages stables de Gale et Shapley. Pourtant, la manière de l’implémenter est partout différente et produit des effets spécifiques, notamment parce que ses adaptations n’en respectent pas toujours les principes. Parcoursup comme son ancêtre, APB, en relevaient. Ce n’est pas pour autant qu’ils l’ont implémenté dans les règles de l’art. 

Pour produire une véritable data for good, pour servir l’intérêt général par les données, alors « la justice sociale doit devenir la mission centrale de la science des données », estime Green. Pour cela, il faut changer la science des données, afin que « faire une bonne data science (doing good data science) devienne synonyme de faire le bien avec la data science (doing good with data science) ». Pour cela, il faut dépasser les attributs techniques d’un algorithme, pour se concentrer sur son rôle et ses impacts dans le contexte de son utilisation. « Les data scientists doivent donc porter leur regard vers l’extérieur : passer du fonctionnement interne des algorithmes au monde dans lequel ils opèrent.» Ils doivent concentrer leur regard sur les effets instrumentaux des systèmes, leurs impacts concrets plus que leurs performances. Pour Green, cela consiste à prendre en compte le changement social. L’enjeu par exemple ne serait plus de produire un calcul pour déterminer quels élèves risquent de décrocher pour améliorer le taux d’obtention d’un diplôme, mais à se demander comment améliorer les efforts de prévention du décrochage scolaire. « Il s’agit de développer des algorithmes qui favorisent des résultats éthiques au sein de la société.»

La méthode : faire avec le terrain !

Green expose longuement son plan de travail concret. C’est-à-dire un nouveau « flux de travail pour la science des données » (data science workflow), c’est-à-dire un processus de travail concret qui passe par la délimitation du problème, la délimitation du projet, l’analyse des données, la mise en œuvre et l’évaluation. Et pour mettre en œuvre ce processus, les data scientists doivent apprendre à mieux collaborer avec les acteurs du terrain, plutôt qu’à produire leurs solutions en chambre. Ils doivent discuter avec ceux qui sont impactés par les systèmes, ceux qui les mettent en place pour mieux saisir les enjeux qui sont les leurs. « Le réalisme algorithmique n’exige pas des data scientists qu’ils abandonnent leurs compétences techniques, mais il souligne qu’ils ont besoin de plus que ces seules compétences. Ainsi, les data scientists ne devraient pas se définir uniquement comme des experts techniques sachant analyser des données. Au contraire, ils devraient s’efforcer d’être des stratèges de la donnée, aidant de manière créative les personnes et les organisations à utiliser les données pour relever des défis du monde réel ». Green tente ici de dresser une piste pour que les scientifiques de la données arrêtent de produire du technosolutionnisme. Il invite les ingénieurs à se défaire de l’hubris ingénieuriale, comme il le disait ailleurs. A prendre conscience que leurs solutions sont bien souvent inadaptées, toutes formidables qu’ils les trouvent. Et pour cela, il faut changer l’approche de la discipline elle-même. 

Pour Green, cette réorientation est aussi une réponse à l’automatisation qui dévalorise l’expertise des data scientistes. A l’heure où l’IA générative va produire la plupart du code, le réalisme algorithmique permet de prémunir la discipline contre l’automatisation. En devenant stratèges de la données, leur rôle n’est pas seulement de programmer, mais vise à « aider les organisations à définir des stratégies pour tirer parti des données et des algorithmes afin de répondre à leurs défis concrets ». « Les data scientists cherchent rarement à s’attaquer aux inégalités structurelles, préférant se contenter d’optimiser les procédures décisionnelles existantes. Le réalisme algorithmique inverse ces tendances. Il incite les data scientists à modérer leurs ambitions quant à ce que les algorithmes peuvent accomplir seuls, tout en les encourageant à viser plus haut dans la poursuite de réformes sociales et politiques systémiques », promouvant la justice sociale. 

Pourtant, prévient Green, la justice sociale est un sujet complexe et controversé. Il n’existe pas de réponse unique ou évidente quant à la manière de parvenir à la justice dans chaque situation… Et il n’est pas sûr que toutes leurs interventions y parviennent. Reste que pour lui, il faut parvenir à sortir de la lutte contre les injustices engendrées par les algorithmes pour les utiliser pour combattre les inégalités. 

Pour autant, Green ne se veut pas naïf. Les data scientists ne vont pas créer demain, rapidement et facilement, une société juste, juste en changeant de méthode. D’autres enjeux s’imposent à eux. Les gouvernements eux-mêmes et nombre d’acteurs privés, sont motivés par des objectifs qui sont en conflits avec la justice sociale. Les autorités sont les premières à produire des algorithmes pour soutenir des politiques austéritaires, racistes et qui renforcent le contrôle et les inégalités sociales et les data scientists n’ont pas toujours de marge de manœuvre pour réorienter ces politiques. Le réalisme algorithmique ne prétend pas résoudre tous les défis. Il ne se veut qu’une méthode pour appréhender les défis sociaux, pour mieux collaborer avec les plus vulnérables. Et effectivement, cela ne suffira certainement pas à inverser les scripts qui se déploient dans les outils, les idéologies à l’œuvre dans les programmes et les politiques. « Les data scientists disposent d’une marge de manœuvre limitée pour générer un changement social ». Ce n’est pas pour autant qu’ils ne doivent pas être responsables de tenter de changer les choses. « Les data scientists ne sont pas responsables de la création des conditions sociales d’inégalité et d’injustice. Mais nous sommes responsables de la décision et de la manière d’agir face à ces conditions sociales.»

Le réalisme algorithmique n’est pas seulement une nouvelle méthode. C’est aussi une nouvelle culture et un ensemble de normes pour la data science. Son but est de traduire la critique des algorithmes en de nouvelles pratiques pour les data scientists. 

La leçon du pragmatisme

Le passage du formalisme au réalisme et l’idée de l’appliquer à la data science ne vient pas de nulle part, explique Ben Green. Il s’inspire notamment des philosophes pragmatistes, comme John Dewey ou William James. « Les pragmatistes visaient à transformer la philosophie, d’une recherche métaphysique de vérités essentielles, en un ensemble d’outils pratiques pour résoudre les défis sociaux contemporains ». Pour eux, les concepts sont des instruments au service de l’action concrète : les idées sont des instruments pratiques – au même titre que des fourchettes, des tondeuses à gazon ou des stéthoscopes – destinés à aider les individus à faire face aux défis du monde réel. Ils proposent aux philosophes de s’affranchir de leur dépendance aux abstractions et aux formalismes et aux certitudes qu’elle produit. « Aucune connaissance ne garantit son infaillibilité », disait Dewey. Les connaissances doivent pouvoir être affinées en fonction des conséquences de leur mise en pratique.

La philosophie pragmatique s’appuie sur 3 principes. Le premier consiste à prendre en compte les conséquences : la qualité des théories dépend de leurs effets dans le monde réel, ce qui suppose d’évaluer dans la pratique si elles produisent les conséquences souhaitées. Une politique visant à réduire les inégalités de revenus ne s’évalue pas en fonction des principes qu’elle propose, mais se mesure plutôt en observant si sa mise en œuvre réduit effectivement les inégalités. Le second est le principe des outils, c’est un principe qui vise à se défier de l’abstraction qui n’est qu’un outil parmi d’autres. Le troisième est celui de la socialité : toute connaissance est le produit des personnes qui l’élaborent. Cela signifie qu’il n’existe aucune valeur éthique ou objective ultime. 

Cette philosophie a eu des conséquences concrètes, notamment dans le domaine du droit. Jusqu’au début du XXe siècle, le raisonnement juridique aux Etats-Unis était dominé lui aussi par le formalisme, ce qui a suscité des critiques ouvrant la voie à des réformes progressistes, notamment pour élargir les droits et les protections des travailleurs. C’est ce que l’on a appelé le réalisme juridique. Le formalisme juridique estimait que les conséquences sociales réelles des lois étaient sans pertinence pour leur évaluation. Par exemple, les juges américains ont longtemps interprété la liberté contractuelle comme une règle rigide : l’État ne pouvait s’immiscer dans les contrats que les individus concluaient de leur plein gré. La Cour suprême des Etats-Unis a ainsi invalidé en 1905 une loi de l’Etat de New York fixant une durée maximale de travail pour les employés de boulangerie au motif qu’elle était un ingérence déraisonnable face à la liberté de contracter, quelque soit ses effets. En réaction au formalisme juridique, les réalistes ont œuvré pour prendre en compte le monde dans lequel le droit s’inscrit, pour faire du droit un outil pragmatique au service d’objectifs sociaux plutôt qu’un système visant à produire des réponses incontestables. Pour eux, la qualité des lois devait dépendre de leurs effets dans le monde réel. Pour cela, il leur a fallu montrer que les principes juridiques abstraits ne permettent pas d’apporter des réponses claires dans des cas concrets. Les réalistes juridiques ont prôné des changements d’orientation pour prendre en compte la jurisprudence, le contexte et en soutenant que le droit n’était pas un outil neutre, mais politique, et montrer que le droit ne pouvait être résolu par la simple application de principes abstraits. Ce basculement a changé l’application du droit aux Etats-Unis. En 1937, la Cour suprême des Etats-Unis a validé la constitutionnalité de lois sociales telles que celles instaurant un salaire minimum. « L’évolution du droit, passant du formalisme juridique au réalisme juridique, laisse entrevoir une trajectoire analogue pour faire progresser la science des données : le passage du formalisme algorithmique à une nouvelle méthodologie, le réalisme algorithmique.»

Pour appliquer le pragmatisme à la science des données, il faut que « le test ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique ». Les data scientists ne peuvent se fier au comportement des entrées et des sorties du modèle. Il faut passer d’une conception des algorithmes comme des modèles mathématiques à une conception pratique d’instruments destinés à améliorer la société. « Ce qui rend un algorithme « équitable » ou « éthique », ce n’est pas qu’il possède des caractéristiques mathématiques associées à ces valeurs, mais qu’il produit, dans le monde réel, des résultats associés à ces valeurs ». Les algorithmes sont des systèmes sociotechniques qui s’inscrivent dans la société où ils se déploient, des pratiques sociales. Et s’ils sont des pratiques sociales, alors il faut développer des mesures d’évaluation adaptées, qui reflètent les effets réels de ces calculs. Prendre en considération les conséquences des systèmes, impose aux ingénieurs d’assumer la responsabilités des préjudices que leurs systèmes causent. « Si un algorithme conçu pour améliorer la société s’avère finalement nuisible, il ne peut être considéré comme socialement bénéfique, quelles que soient les mesures formelles attestant de ses bienfaits. Même si les effets néfastes d’un algorithme n’ont pas été voulus, ils définissent la manière dont celui-ci fonctionne réellement. » Là où le regard des spécialistes doit bouger, c’est qu’ils devraient privilégier les impacts sociaux indépendamment du rôle joué par les algos, quitte à ne pas développer des systèmes de calcul. 

Le réalisme algorithmique repose enfin sur un autre principe et présupposé : les algorithmes sont politiques et ceux qui les fabriquent sont des acteurs politiques à part entière. « Toute activité qui influence la disponibilité des ressources, des droits, des statuts ou du pouvoir dans la société est politique ». Les défenseurs de la neutralité visent bien plus à occulter les rapports de force et perpétuer les hiérarchies sociales existantes, qu’à défendre une impartialité qui n’existe pas. Pour Green, les développeurs doivent reconnaître leur partialité, non pas parce qu’ils ignoreraient certaines choses, mais plus encore parce que leurs travaux portent des valeurs par devers eux. « Les data scientists occupent souvent des postes leur conférant une marge de manœuvre considérable pour prendre des décisions normatives. Or, ils ne devraient pas se considérer comme les arbitres du bien, mais plutôt comme des facilitateurs attachés à la participation démocratique de tous.» 

Dans Logique : La théorie de l’enquête (PUF, 2006), John Dewey décrit la résolution de problèmes comme un processus en quatre étapes. « La première étape consiste à examiner le problème en question pour en comprendre les caractéristiques et définir les critères d’une résolution souhaitable. La deuxième étape consiste à explorer des solutions potentielles et à rechercher une intervention susceptible de résoudre le problème. La troisième étape consiste à mettre en œuvre l’intervention choisie. Enfin, la quatrième étape consiste à évaluer si l’intervention a produit les résultats escomptés. Si les résultats sont satisfaisants, le processus s’achève. » C’est exactement la méthode que Green retient pour l’appliquer aux défis algorithmiques. La méthode se déploie comme une feuille de route visant à 

1. Délimiter le problème
2. Délimiter le projet
3. Analyser les données
4. Mettre en oeuvre
5. Et évaluer. 

Avant de détailler par le menu les enjeux et défis de chaque étape. Mais, rappelle-t-il en préambule, les ingénieurs ne sont pas des « licornes omniscientes capables de tout faire en solitaire ». Si certains collaborent activement avec des communautés et des experts pour mener leurs projets, trop souvent encore, ces échanges restent « formalistes ». Dans l’ensemble, ils restreignent la participation de ces groupes à la simple fourniture d’informations sur les paramètres de mise en œuvre technique (voir par exemple notre article sur le manque de participation des publics). Et il est encore plus rare que les ingénieurs confient à d’autres le pouvoir de décision sur les résultats à privilégier ou l’opportunité même de développer des systèmes. Même lorsqu’ils consultent des communautés, trop souvent encore, les ingénieurs conservent la maîtrise du projet. Et quand c’est le cas, l’implication des parties prenantes est marginale, insuffisante pour influencer de manière significative les résultats. Quand c’est le cas, les ingénieurs ont souvent déjà arrêté leur orientation et restent souvent réticents face aux retours remettant en cause leurs choix (comme nous le montrions dans notre article sur l’échec des déploiements de projets). Enfin, quand ils laissent une place, celle-ci consiste à discuter de paramètres, d’indicateurs qui dévalorisent les savoirs des groupes dépourvus de formation technique. 

En rendant les phases amonts (et avals) du processus plus collaboratives, l’enjeu est de mieux réussir à ouvrir à toutes les parties prenantes les moyens de peser sur les objectifs et la portée des projets. Green rappelle que le data scientist ne connaît jamais la complexité du fonctionnement d’un système. Ce sont ceux qui y sont confrontés les experts. Et c’est leur connaissance qui seule permet de faire la différence. 

Définir le périmètre de projets de science des données réalistes

Délimiter le problème n’est pas si simple car les situations problématiques sont souvent mal définies et ambiguës et nécessitent d’éviter toute attente ou tout objectif préconçu. « Lors du diagnostic des problèmes, il est important de reconnaître qu’il n’existe probablement pas d’explication unique et correcte. La plupart des défis sociaux sont des « problèmes complexes ».» Pour cela, Green invite à l’enquête. A discuter avec les agents ou avec le public. A prendre le temps d’interviewer, de parler. Il donne l’exemple d’entretiens avec des parents confrontés à des systèmes algorithmiques visant à prédire les risques de maltraitance ou de négligence. Pour les familles, ces systèmes stigmatisent les parents plus qu’ils n’améliorent la situation. La réponse proposée par les services sociaux où ces systèmes étaient déployés était inadaptée à leur situation. Pour Green, tout l’enjeu est de poser l’énoncé du problème, de le décrire et de décrire ses causes. Aborder les personnes touchées et regarder si elles sont concernées différemment. C’est en posant un diagnostic approfondi du problème qu’on construit un point de référence qui va fournir un cadre pour la démarche. Et ce diagnostic doit être partagé et validé par ceux avec qui le data scientist doit travailler. 

Une fois le problème cerné, il faut alors élaborer une stratégie de réforme, c’est-à-dire une théorie du changement qui permettrait de résoudre le problème identifié, sans évoquer de technologie. Le but n’est pas nécessairement de tout résoudre d’un coup, mais aussi d’esquisser les étapes. « Lorsque des travailleurs se syndiquent, ils ne cherchent pas simplement à obtenir des salaires plus élevés. Ils visent plutôt à accroître leur pouvoir à déterminer les conditions de travail. Grâce à ce pouvoir, ils peuvent négocier avec la direction de nombreux aspects de leur emploi : les salaires, certes, mais aussi la couverture santé, les mesures de sécurité, et bien plus encore. Pour un syndicat, il n’existe pas de victoire ultime et définitive, mais seulement une succession de compromis et de victoires partielles. Chaque action renforce la capacité du syndicat à remporter de nouvelles victoires partielles lors des campagnes de mobilisation ultérieures », comme le montrait André Gorz dans Stratégie ouvrière et néocapitalisme (Seuil, 1964). « Pour les data scientists, qui cherchent à promouvoir la justice sociale, votre objectif n’est pas d’identifier une stratégie globale de transformation de la société. Ne vous attendez pas à ce qu’une intervention quelconque puisse résoudre un problème social systémique et aboutir à une alternative parfaitement juste. L’objectif est plutôt d’identifier des « réformes non réformistes » : des actions qui, même modestement, orienteront la société vers des politiques et des structures de pouvoir égalitaires. » Pour Gorz, les réformes non réformistes s’inscrivent dans une volonté d’instaurer des relations sociales égalitaires. Elles remettent en cause le statu quo au service des objectifs visés. Compte tenu de cette distinction, les réformes non réformistes sont mieux à même de surmonter les structures politiques et de pouvoir systémiques qui, généralement, font obstacle à la réalisation de la justice sociale. 

La délimitation du projet, elle, consiste à préciser les objectifs à atteindre. « Des objectifs qui doivent être à la fois spécifiques, mesurables, réalisables, pertinents et temporellement définis ». Ils doivent permettre de faire progresser la stratégie de réforme définie et sa contribution doit venir soutenir les acteurs. Ici, l’enjeu est d’identifier « Comment mon expertise et mon statut de data scientist peuvent-ils aider le groupe à atteindre ses objectifs ? »

Pour Green cela suppose par exemple de produire une cartographie des processus pour bien saisir le fonctionnement et les pratiques des acteurs accompagnés, sous forme par exemple d’une représentation détaillée de chaque étape d’un processus opérationnel, voire un organigramme ou un flux de travail (à accomplir avec ceux chargés de le faire pour en valider les étapes, préciser les acteurs impliqués, les objectifs de chacun, leurs contraintes) permettant d’identifier les points de blocages concrets. À San Francisco par exemple, le Département de la santé publique s’inquiétait de la baisse des taux de fidélisation à un programme qui fournit une aide alimentaire aux mères à faibles revenus. Pour comprendre les causes de ce problème, l’agence a collaboré avec l’équipe interne de science des données de la ville. Les spécialistes des données ont analysé six années d’informations et élaboré un modèle d’arbre de décision afin d’identifier les facteurs conduisant les mères à abandonner le programme. Ils ont également interrogé les bénéficiaires et le personnel du programme. Ces analyses ont révélé que les contraintes administratives et la stigmatisation sociale constituaient des obstacles majeurs pour les mères. En réponse, l’agence a réduit les contraintes administratives en simplifiant la prise de rendez-vous et en remplaçant les chèques papier par des cartes de paiement électroniques qu’elles réclamaient. L’agence a également lutté contre la stigmatisation en modifiant la communication du programme. A nouveau, insiste Green, l’enjeu n’est pas toujours de faire de grandes réformes. Mais souvent seulement d’aider les organismes à renforcer leurs capacités techniques, que ce soit en nettoyant leurs données, à former le personnel pour élaborer des indicateurs pertinents ou à faciliter le partage de données entre les différents services. 

Un autre moyen consiste à cartographier le pouvoir, les réseaux d’acteurs en relation ou en conflit, comme « d’identifier des adversaires qu’il convient de soumettre à des pressions, des alliés potentiels qu’il faut convaincre ou des groupes non organisés qu’il s’agit d’unifier ». C’est le cas par exemple du collectif militant Anti-Eviction Mapping Project (AEMP) qui publie des cartes d’expulsion notamment à San Francisco. Avec l’Eviction Defense Collaborative, les deux associations ont produit une carte pour mettre en évidence les arrêts de navettes des entreprises technologiques de San Francisco avec celle des expulsions du centre-ville qui a conduit la ville à réglementer le passage de ces bus. 

Le but, ici, est bien souvent d’analyser les données pour orienter la stratégie de mobilisation. Dans le Connecticut, des locataires de logements abordables étaient exposés à des niveaux de présence de plomb toxiques. Ils ont formé un syndicat de locataires pour se mobiliser contre le problème. Les scientifiques de l’organisation Science for the People sont venu leur apporter leur soutien en croisant les données des inspections des agences chargées de la détection du plomb avec celles du syndicat pour aller démarcher d’autres habitants confrontés au problème et accroître la mobilisation et la pression sur les autorités publiques. Suite à ces actions, une enquête a été ouverte et l’agence de protection de l’environnement est intervenue pour faire nettoyer les immeubles. 

Pour élaborer des spécifications de conception, il faut s’intéresser aux variables cibles des systèmes (c’est-à-dire le résultat que l’algorithme prédit), les mesures d’évaluation et l’utilisabilité pratique, qui permettent de traduire le phénomène étudié en une représentation quantitative susceptible d’être mesurée et prédite. Or, celles-ci ne sont pas toujours définies au mieux, rappelle Green. Un algorithme utilisé par le service des impôts américains pour prédire quelles déclarations de revenus sont non conformes (qui devraient donc faire l’objet d’un contrôle fiscal) évalue « la non-conformité comme le dépôt d’une déclaration comportant une erreur, quel que soit le montant en jeu. Sur la base de cette définition, l’algorithme cible de manière disproportionnée les contribuables à faibles revenus et les contribuables noirs pour des contrôles. À l’inverse, si l’algorithme définissait la non-conformité comme un sous-paiement d’impôts d’un montant significatif, il ciblerait plutôt les contribuables à revenus élevés et non noirs pour ces contrôles » (un problème qui n’est pas sans rappeler celui des indus calculé par la CAF en France, soit dit en passant). 

Parvenir à identifier correctement le problème prend du temps et des efforts, rappelle Green. A New York, le service municipal d’aide aux locataires qui vise à les aider dans leur relations avec leur propriétaires par exemple pour obtenir des réparations d’urgence, a cherché à identifier les locataires qui avaient besoin d’aide. Ils ont mis au point un système pour prédire les locataires harcelés par leurs propriétaires pour mieux cibler leurs interventions. Dans un premier temps, ils ont défini leur algorithme pour prédire les immeubles allant connaître au moins un cas de harcèlement au cours du mois suivant, mais le système sélectionnait des immeubles comportant beaucoup d’appartements, mais avec un faible taux de harcèlement de leurs propriétaires. Les scientifiques ont reformulé le problème pour prédire quels immeubles présentaient la plus forte proportion de locataires harcelés. Le modèle a alors identifié des immeubles plus petits avec des taux élevés et mieux répartis dans la ville. Le second modèle a permis de doubler le taux d’identification de locataires en difficulté avec leurs propriétaires, se révélant ainsi plus efficace pour soutenir la mission de l’agence, à savoir protéger les locataires vulnérables.

Pour Green, il y a beaucoup de variables à prendre en considération pour accomplir des analyses adaptées aux situations. Bien souvent, les associations ou les services publics ont peu de moyens pour intervenir. Cela signifie qu’il faut être capable d’intégrer les contraintes opérationnelles de l’organisme dans les indicateurs d’évaluation. « Les approches d’évaluation standard, qui prennent en compte la performance d’un algorithme sur l’ensemble de la population, ne reflètent pas la qualité de l’algorithme pour le rôle auquel il est destiné. Si un organisme ne peut intervenir qu’auprès d’une petite partie de la population, l’essentiel est d’identifier avec précision le groupe qui bénéficierait le plus d’une intervention. » Et dans de nombreux cas, « l’algorithme le plus performant pour l’ensemble de la population sera différent de celui qui performe le mieux pour le sous-ensemble étudié ».

Enfin, il faut s’assurer que l’algorithme sera utilisable en pratique et qu’il sera dimensionné et adapté aux processus existants. Par exemple, en travaillant avec les services sociaux de l’Illinois pour réduire le risque d’accouchement prématuré, les data scientists ont tenté de prédire les femmes avec le plus grand risque de complication via une application en ligne. Mais ils se sont rendu compte que cette application n’était pas fonctionnelle en pratique, car les services ne disposaient pas des capacités techniques pour en assurer la maintenance. Ils ont alors produit un score de risque depuis un simple formulaire papier facile à remplir. Moins précis que l’évaluation numérique, l’outil s’est avéré plus efficace car les services ont pu l’intégrer dans leurs opérations quotidiennes et a permis d’améliorer de 20% les soins prénataux aux femmes à hauts risques. 

Pour Green, « plus vous aurez défini le périmètre de votre projet de manière pertinente pour le contexte d’utilisation spécifique, plus il sera facile de mettre en œuvre l’algorithme avec succès ». Et c’est seulement après ces étapes importantes de spécifications, que le data scientist peut faire son travail, de sélection, de nettoyage et d’analyse de données.

Là encore, le travail préliminaire consiste à bien comprendre les données, leurs ambiguïtés, leurs biais et leurs limites. Il faut comprendre comment elles sont collectées, leurs manques… Ce qui n’est possible qu’en comprenant leur collecte, leur but, et en discutant avec ceux qui les collectent. Pour Green, « une cause fréquente d’échec des logiciels publics réside dans les méthodes de développement dites « en cascade » : les pouvoirs publics définissent leurs besoins, les techniciens conçoivent et réalisent le système de manière isolée, pour ne le présenter qu’une fois le produit final achevé. L’approche en cascade suppose qu’il est possible de définir tous les détails d’un outil avant d’en entamer la réalisation », comme le montrent Tara Dawson McGuiness et Hana Schank dans leur livre,  Power to the Public: The Promise of Public Interest Technology (Princeton university Press, 2021). « Cette approche mène souvent à l’échec car elle ne prévoit aucune possibilité de retour d’information intermédiaire au cours du processus de développement. Si vous tentez de concevoir un système de manière isolée, vous risquez de négliger les préférences et les pratiques de l’organisme concerné, faute de les avoir abordées en amont. De plus, ces préférences et pratiques sont susceptibles d’évoluer avec le temps. Plutôt que d’adopter une méthode en cascade (waterfall), privilégiez les pratiques de développement « agile » : créez des prototypes de manière itérative, discutez-en ou testez-les avec les utilisateurs finaux, puis ajustez votre travail en fonction des retours obtenus. »

Une fois les données analysées ou modélisées, vous pouvez en tirer des enseignements. Si vous avez élaboré un modèle, c’est à cette étape que vous l’utiliserez pour effectuer des prédictions ou des classifications sur de nouvelles données. Si vous préparez une présentation ou un rapport, c’est le moment de synthétiser les résultats dans un document destiné à être partagé. Ne vous limitez pas aux aspects techniques de vos livrables ; réfléchissez également à la manière de communiquer votre travail. Il est essentiel que votre public puisse interpréter correctement la signification de vos résultats (et, point tout aussi important, ce qu’ils ne signifient pas).

L’implémentation elle aussi doit être pédagogique recommande Green. Elle doit se faire en observant les impacts liés à l’utilisation. « Les projets de science des données sont loin d’être terminés une fois qu’un algorithme a été développé. » Pour cela, il faut non seulement surveiller ce que produit l’algorithme mais plus encore comment il s’insère et influe sur la prise de décisions, dans les processus et observer ses impacts sur les publics touchés. C’est à ce moment-là qu’on déploie des outils pour évaluer leurs effets, que ce soit via des méthodes de projection prospective, des exercices de design fiction, ou des études d’utilisation. 

C’est seulement toutes ces étapes franchies qu’on peut décider ou non d’implémenter le système, estime Green en délibérant avec les parties prenantes, en ayant observé si le système produit bien des effets et à quel niveau. C’est seulement une fois que l’implémentation est réalisée avec attention pour qu’elle s’intègre aux processus, que l’évaluation peut vraiment avoir lieu. En regardant s’il atteint bien ses objectifs et s’il engendre des effets secondaires négatifs. Là encore, le manuel de Green fourmille d’exemples pour procéder à ces évaluations, que ce soit par des essais contrôlés randomisés, des comparaisons avant-après, par des études d’interaction humaines avec le système, des enquêtes sur les groupes affectés par les décisions… 

Bien souvent, les évaluations formalistes des systèmes peinent à évaluer leurs impacts concrets. A San Francisco, les personnes sans abri font l’objet d’une évaluation de leur vulnérabilité par un algorithme. Ces scores orientent les décisions des organismes de logement quant aux personnes à prioriser pour l’attribution d’un logement. Or pour candidater, il leur faut répondre à un questionnaire assez traumatisant, ce qui les conduit à taire leurs récits voire à renoncer et donc à réduire leur score. L’algorithme ne parvient donc pas à accomplir pleinement ce qu’il est censé faire. 

Relever le défi des inégalités : des mesures d’équité… aux interventions structurelles

Résoudre les inégalités n’est pas si simple, rappelle Green. En 2016, les journalistes d’investigation de ProPublica ont montré que l’algorithme de Compas d’évaluation des risques de récidive était biaisé à l’encontre des Noirs. ProPublica a constaté que le taux de faux positifs de COMPAS – le taux de classification erronée d’un prévenu qui ne récidivera pas comme présentant un risque élevé – était deux fois plus élevé pour les prévenus noirs que pour les prévenus blancs. L’algorithme a classé 45 % des prévenus noirs non récidivistes comme présentant un risque élevé. En revanche, il n’a classé que 23 % des prévenus blancs non récidivistes comme présentant un risque élevé. L’algorithme a donc classé de manière disproportionnée les prévenus noirs comme susceptibles de récidiver.

Ces résultats ont suscité une grande consternation, de nombreux commentateurs exprimant leur indignation face à des algorithmes racistes dans des décisions aussi importantes. Mais Northpointe, l’entreprise qui a développé Compas, a réfuté les accusation de discrimination en s’appuyant sur une autre comparaison : parmi les prévenus considérés comme à haut risque, les prévenus noirs et blancs récidivaient à des taux similaires (environ 60 % du temps). Ce qui signifiait que l’algorithme traitait les prévenus noirs et blancs de la même manière quant à leur probabilité de récidive. Pour Northpointe, cette analyse démontrait que COMPAS est impartial. 

Des chercheurs en science des données se sont penchés sur ce débat, supposant qu’il serait possible de trancher la question en ajustant COMPAS pour satisfaire aux notions d’équité présentées par ProPublica et Northpointe. Ils ont cependant rapidement découvert que cela était impossible. Les algorithmes prédictifs discriminent inévitablement une forme ou une autre, et généralement en pénalisant les groupes marginalisés. Dans le cas de COMPAS, la disparité raciale des taux de faux positifs s’explique parce que les accusés noirs récidivent plus fréquemment que les accusés blancs, mais certainement d’abord parce qu’ils sont plus nombreux à être incarcérés et moins pris en charge. L’algorithme détecte cette différence et considère donc les accusés noirs comme plus à risque que les accusés blancs. Des enquêtes ont démontré des biais raciaux, ethniques, sexistes et de classe dans de nombreux autres algorithmes du secteur public.

« Cette caractéristique des algorithmes soulève un problème important pour les data scientists qui tentent de promouvoir la justice sociale. Les groupes marginalisés obtiennent de moins bons résultats dans de nombreux domaines, notamment la criminalité, l’éducation, la réussite professionnelle et la santé. Ce sont ces inégalités qui motivent de nombreux data scientists à œuvrer pour la justice. Mais comme les algorithmes sont entraînés sur des données qui reflètent ces schémas d’inégalité, ils génèrent des prédictions et des classifications qui reproduisent les disparités sociales. » 

Les spécialistes des données ont tenté de relever ce défi en développant le domaine de « l’équité algorithmique ». Comme son nom l’indique, l’équité algorithmique vise à empêcher les algorithmes d’exprimer des biais ou d’exacerber les inégalités. Ce domaine de recherche a réalisé des progrès importants dans le développement de méthodes permettant de réduire certains biais et a incité les spécialistes des données à reconnaître que les algorithmes ne sont pas objectifs.

Malgré ces avancées, l’équité algorithmique reste fondamentalement limitée en tant que méthodologie de promotion de la justice sociale. Le défaut fatal de ce domaine est qu’il considère l’équité comme un attribut technique interne aux algorithmes, explique Green.

L’équité algorithmique représente un exemple typique d’incorporation formaliste : les data scientists ont abordé les questions morales d’équité à travers les méthodes et les orientations du formalisme algorithmique. Cette approche de l’équité a conduit à des algorithmes qui paraissent équitables mais qui, en réalité, perpétuent les inégalités. « Ces limites de l’équité algorithmique signifient que les data scientists manquent d’une voie claire pour lutter contre la discrimination et les inégalités. Les réformes qui promeuvent l’équité sont les plus nécessaires dans les domaines où les disparités sociales sont criantes et généralisées. Mais les data scientists ne disposent pas de méthodes pour concevoir des algorithmes qui réduisent ces disparités plutôt que de les reproduire. Il n’est donc pas évident de savoir comment les data scientists peuvent contribuer à la justice sociale dans ces domaines. »

Pour Green, le réalisme algorithmique offre une voie productive pour pratiquer la science des données dans des domaines marqués par les inégalités car elle « reconsidère l’équité comme une propriété instrumentale – et non intrinsèque – des algorithmes ». « Dans cette optique, pour déterminer si un algorithme est équitable, ce qui compte, ce ne sont pas ses caractéristiques techniques, mais les effets qu’il produit au sein de la société. Par conséquent, les data scientists devraient cesser de poser la question formaliste dominante dans le domaine : « Comment créer des algorithmes qui satisfont à des critères statistiques d’équité ? » Cette question focalise l’attention sur le fonctionnement interne des algorithmes, en se concentrant étroitement sur des processus de décision isolés. Au lieu de cela, les data scientists devraient se demander : « Comment pouvons-nous contribuer à réduire les inégalités sociales et matérielles dans la société ? » Cette question incite les data scientists à privilégier les impacts réels des algorithmes. » 

Certes, cette question ne permet pas de réponses simples. Toutefois, la démarche du réalisme algorithmique structure un processus grâce auquel les data scientists peuvent élaborer des projets favorisant l’équité. Le réalisme algorithmique invite les data scientists à élargir leur perspective au-delà des processus de décision ponctuels pour prendre en compte les environnements sociaux qui entourent ces moments de décision. Cette approche souligne que les data scientists ne sont pas limités à la simple optimisation des modalités de prise de décision : ils peuvent également modifier les structures sociales qui encadrent ces processus. « Ils devraient notamment s’efforcer de (1) réduire les disparités sociales qui alimentent les processus de décision et (2) atténuer les conséquences néfastes découlant de ces décisions. En privilégiant des interventions structurelles plutôt que des mesures d’équité, les data scientists peuvent mener des projets techniques qui contournent les contraintes liées à l’équité algorithmique tout en promouvant la justice sociale.»

Green montre que l’approche formaliste de l’équité, malgré le développement d’innombrables mesures d’équité sous forme mathématique, peine à produire des effets. 

« Les mesures d’équité les plus répandues reposent sur des comparaisons entre des groupes qui valorisent soit la suffisance » (la condition de suffisance est remplie si, parmi les personnes faisant l’objet d’une prédiction donnée, tous les groupes présentent le résultat prédit dans les mêmes proportions. Cette définition de l’équité reflète l’idée que les personnes ayant une probabilité équivalente de manifester le comportement étudié doivent être traitées de manière similaire. Les modèles d’apprentissage automatique respectent généralement ce principe par défaut. Northpointe a soutenu que COMPAS était équitable car il satisfaisait au critère de suffisance) « soit la séparation » (la condition de séparation est remplie si tous les groupes soumis aux prédictions d’un algorithme présentent le même taux de faux positifs et le même taux de faux négatifs. Cette définition de l’équité reflète l’idée que les personnes présentant le même résultat doivent être traitées de manière similaire. ProPublica a soutenu que COMPAS était racialement biaisé car il ne respectait pas le critère de séparation). 

Le problème est que ces deux manières de définir l’équité sont irréconciliables. Et que l’équité se résume alors à une boîte à outil, où l’équité répond ou pas aux mesures mathématiques retenues. L’équité ne se mesure que sous l’angle des données d’entrée et de sortie de processus décisionnels ponctuels et bien souvent privilégie la suffisance à la séparation, notamment parce qu’on a tendance à bien plus valoriser l’égalité formelle, c’est-à-dire celle qui juge selon une norme uniforme, qui est très perméable aux inégalités existantes. Ainsi, si Northpointe a raison d’affirmer que les prévenus noirs récidivent plus souvent, c’est oublier que cette explication occulte les raisons de cette disparité. Cette disparité ne résulte pas d’un phénomène inexplicable ou sans importance. Au contraire, des siècles d’oppression raciale ont criminalisé le fait d’être Noir et ont placé les communautés noires dans des conditions criminogènes telles que la pauvreté endémique, le sous-financement des écoles et la rareté des opportunités d’emploi, rappelle le chercheur.

Pour Green, c’est en cela que l’équité algorithmique est dans une impasse. Les critiques, partisans de la justice algorithmique, suggèrent de privilégier la séparation à la suffisance comme définition de l’équité, pour privilégier l’égalité de résultats entre les groupes. Dans le cas de Compas, cela signifierait produire les mêmes niveaux de faux positifs pour les prévenus noirs et blancs. Mais pour changer d’approche, il faudrait faire évoluer non seulement la prise en compte mathématique, mais également la contrainte juridique. Privilégier la séparation nécessiterait de préconiser des décisions différentes pour les prévenus noirs et blancs présentant le même risque de récidive, ce qui serait illégal en vertu des lois anti-discrimination. Nous sommes là dans le même défi juridique que l’on notait dans le livre de Nathan Genicot. Une impasse éthique que nos sociétés n’ont pas tranchée. 

Pour dépasser cette impasse, Green suggère de passer à une approche instrumentale de l’équité. « Si nous ne pouvons pas choisir d’autres métriques d’équité, que pouvons-nous faire pour obtenir des algorithmes plus équitables ? »

« Pour élaborer une stratégie visant à mettre les algorithmes au service de la lutte contre l’injustice, nous avons besoin de l’éclairage d’une théorie morale qui dépasse le cadre de l’égalité formelle. » Cette théorie doit présenter deux caractéristiques fondamentales. Premièrement, elle doit se concentrer sur les réalités concrètes des inégalités plutôt que sur le simple respect de règles formelles et de normes uniformes. Deuxièmement, elle doit élargir le champ de l’analyse au-delà des points de décision individuels.

Pour cela, la solution que propose Green repose sur l’égalité relationnelle, qui constitue une approche substantielle de l’égalité, car elle privilégie les résultats aux procédures. Elle valorise notamment l’égalité dans les relations entre les individus. Les tenants de l’égalitarisme relationnel estiment que « les individus doivent interagir en tant qu’égaux ou jouir du même statut fondamental », contrairement aux relations hiérarchiques. Les égalitaristes relationnels suggèrent une stratégie différente pour promouvoir l’égalité : modifier les structures sociales qui encadrent les points de décision, c’est-à-dire s’intéresser bien plus aux environnements de décision. « Ce qui compte, ce n’est pas de savoir si un algorithme est conforme aux définitions de l’équité, mais s’il réduit les inégalités sociales et matérielles dans la société ».

Pour y parvenir, Green reprend tout le processus qu’il a proposé (les 5 étapes de sa méthode) pour le réinterroger à l’aune de l’équité. 

Lors de la délimitation du problème, il faut se poser plus avant la question des groupes les plus vulnérables ou les plus défavorisés. Les disparités d’attributs entre les groupes doivent être considérés comme le résultat d’une injustice. Et toujours estimer que les membres du groupe favorisé ont une influence dans la définition des critères de décision. Les attributs d’une personne, comme le mérite, le besoin, la dangerosité, reflètent souvent les intérêts des groupes sociaux dominants. « Plus un groupe dominant a le pouvoir de définir les critères, plus les conditions sont défavorables aux groupes marginalisés. » Il invite par exemple à observer si « les personnes présentant des caractéristiques défavorables font l’objet, de manière disproportionnée, de décisions défavorables » ou si les « les personnes qui reçoivent une décision défavorable subissent des conséquences graves » ou combien de personnes subissent des décisions défavorables. Ces questions permettent d’adapter les réponses stratégiques. Par exemple en fournissant des ressources ou des soutiens aux groupes défavorisés pour amoindrir les effets des calculs en modifiant les critères d’évaluation des décisions. Par exemple, en tentant de modifier les décisions défavorables afin qu’elles privilégient l’aide à la sanction. Ou encore en atténuant les préjudices découlant d’une décision défavorable, ou encore en tentant de réduire le nombre de personnes faisant l’objet de décisions défavorables, en tentant par exemple d’agir sur les ressources disponibles pour permettre davantage de décisions favorables. Ainsi, pour réduire le risque de récidive chez les groupes marginalisés, la première stratégie de réforme en amont consiste à fournir des ressources ou d’autres formes de soutien aux groupes défavorisés. 

Green donne un exemple, en observant comment d’autres décisions permettent de réduire le risque de récidive, par exemple en accompagnant les programmes qui visent à rompre les cycles de la criminalité et de la violence. À Chicago, un programme d’intervention communautaire contre la violence vise à offrir un soutien thérapeutique et social aux personnes à risque d’avoir un comportement violent. Les évaluations ont montré que ces programmes avaient un réel impact en réduisant de plus de 70% le risque d’arrestation pour crime violent chez les participants. Les spécialistes des données peuvent aider par exemple à améliorer le taux de rétention des participants, alors que moins de la moitié des participants vont jusqu’au bout du programme (et compte tenu des ressources limitées des programmes, il est impératif qu’ils réduisent leurs taux d’abandon). En comprenant les raisons de l’abandon ou en élaborant un modèle pour identifier les participants qui risquent d’abandonner, il y a des possibilités pour venir en soutien de ces programmes. Ou encore en concevant un modèle identifiant les meilleures stratégies de rétention. 

Un exemple dans l’actualité plus récente explicite plus avant ce succès. La ville de Baltimore a réduit son taux d’homicides de 60 % entre 2021 et 2025 rapportent Public Health et le Emerald book, en copiant le programme de Chicago. Ce succès s’explique par le fait que la ville ait abordé la violence par arme à feu comme un enjeu de santé publique et ait agit sur le problème non pas par la répression, mais en promouvant un programme pour les personnes les plus à mêmes de tomber dans la violence donnant accès à un logement stable, à des emplois, à des transports publics, comme le préconisent les travaux du Centre pour les solutions contre la violence par arme à feu et du Crime and Justice Lab. Une approche axée sur la santé publique implique d’analyser les données, de se concentrer sur les personnes les plus exposées aux risques pour les repérer et leur proposer un programme adapté d’aides pour s’extraire de la spirale où ils risquent de tomber parce qu’ils ont eux-mêmes été victimes de violences et d’évaluer en permanence ce qui fonctionne et ce qui ne fonctionne pas. En s’appuyant sur des réseaux communautaires locaux, comme la Peace Team, YAP, Roca, Safe streets ou Cure violence, Baltimore a réussi à ce que 91,5% des participants à son programme ne soient plus ni victimes ni auteurs de nouvelles fusillades. Plutôt que de déployer des effectifs de police, la ville a misé sur des médiateurs et un programme d’aides dédiés pour que la réponse à la violence par la violence ne soit plus la seule option. « Le succès de Baltimore a définitivement balayé le mythe selon lequel la réduction de la criminalité nécessiterait nécessairement une augmentation des effectifs policiers.»

Une autre option consiste à attirer davantage l’attention sur les méfaits de la mise en détention auprès des juges, comme l’ont montré les propositions alternatives à Compas, comme des systèmes qui proposent pour chaque individu la meilleure solution pour qu’ils ne récidivent pas en leur proposant les aides les mieux adaptées à leur situation (comme le programme de remise en liberté sous surveillance de la ville de New York qui a permis d’éviter la détention provisoire de 150 000 personnes) ou encore, comme le propose Esas, en proposant aux juges, plutôt qu’un score de risque, d’accéder aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, leur permettant de comparer leur sentence et de relativiser leurs jugements (voir notre article). 

Il est également possible d’utiliser d’autres solutions encore, comme des modèles statistiques afin d’identifier et de contester publiquement les décisions des juges en matière d’incarcération. À titre d’exemple, des spécialistes des données ont élaboré des modèles évaluant la fréquence à laquelle les juges de New York ont ​​ordonné le placement en détention provisoire entre 2020 et 2022, au regard de leur volume de dossiers. Ils ont ensuite publié un rapport désignant les quatorze juges les plus sévères de la ville. Selon leurs estimations, par rapport à des juges ordinaires, ces quatorze magistrats ont collectivement placé 580 personnes supplémentaires en détention, entraînant 154 années de détention provisoire additionnelles et un coût de 77 millions de dollars pour les finances publiques.

Une autre possibilité encore consiste à œuvrer à réduire les peines prononcées ou à réduire le nombre de personnes placées en détention provisoire par exemple en collaborant avec des avocats commis d’office pour concevoir un outil open-source pour les aider à mieux défendre leurs clients. ou encore en mobilisant des citoyens pour documenter les procédures de la justice et produire des rapports sur leurs actions. 

Green ne promet pas le grand soir de la lutte contre les inégalités. Mais estime que le terrain des interventions concrètes offre de nombreuses possibilités d’action. Pour lui, la data science permet de porter bien d’autres regards sur l’équité algorithmique. Bien sûr, reconnait-il avec humilité, « aucune de ces interventions, prise isolément, ne suffirait à éliminer les inégalités sociales ou les préjudices liés à la détention provisoire. Toutefois, toutes contribuent — par des évolutions progressives mais significatives — à orienter les structures sociales et institutionnelles vers une plus grande égalité relationnelle.» Pour autant que, politiquement, il reste des possibilités d’action, des programmes alternatifs et des financements pour ces programmes… 

Améliorer la prise de décision : passer de l’humain dans la boucle à l’algorithme dans la boucle

« Au cours des années 2010, des villes américaines comme Philadelphie ou San Francisco ont proposé des guichets pour aider les organismes de services sociaux à fournir une aide plus équitable et plus efficace aux personnes sans-abri. L’objectif de l’accès coordonné est d’accorder la priorité en matière de logement aux personnes qui en ont le plus besoin.

Les algorithmes facilitent ce processus en quantifiant la vulnérabilité de chaque personne sollicitant une aide au logement. » Problème : les travailleurs sociaux n’ont pas intégré ces évaluations. Pire, ces algorithmes ont eu l’effet inverse : ils ont exacerbé la vulnérabilité des groupes les plus marginalisés (tels que les immigrés, les personnes transgenres et les personnes noires) et ont donné aux personnes sans-abri le sentiment d’être déshumanisées par le processus d’évaluation, comme le racontait le San Francisco Public Press en 2022. 

« L’une des principales raisons de l’échec de cette initiative est que les travailleurs sociaux se sont trop reposés sur les algorithmes. Au lieu de considérer l’évaluation comme un outil permettant de contextualiser la situation de chaque individu, ils en ont fait le critère déterminant pour l’attribution d’un logement. Les agents chargés des dossiers ont fait valoir qu’ils n’avaient pas le « temps » de procéder à un examen plus personnalisé et que le questionnaire était plus simple à utiliser.

Cette dépendance excessive à l’égard des algorithmes de sélection a transformé un travail autrefois fondé sur l’accompagnement humain en une simple application rigide d’une formule. Auparavant, les travailleurs sociaux nouaient des relations avec les personnes sans abri afin de mieux cerner leurs besoins et de déterminer les formes d’aide les plus adaptées. Après l’introduction d’algorithmes d’accès coordonné au logement, les personnes en quête d’un toit n’ont plus bénéficié d’un accompagnement aussi personnalisé et respectueux. Elles étaient au contraire réduites à un simple numéro et, dans la plupart des cas, renvoyées à la rue.»

Cette histoire rappelle qu’il est très difficile de parvenir à une collaboration efficace entre humains et algorithmes. « On s’attend à ce que la combinaison de l’humain et des algorithmes permette de tirer le meilleur parti des deux mondes : la précision et la cohérence des algorithmes d’une part, l’expertise et le discernement des humains d’autre part. En pratique, toutefois, cette fusion idéale ne se concrétise que rarement.»

L’un des problèmes majeurs réside dans l’incapacité des humains à évaluer correctement la qualité des conseils fournis par les algorithmes ; même les experts peinent à distinguer les bonnes recommandations des mauvaises. Souvent, les décideurs humains accordent une confiance excessive à l’algorithme, ce qui les conduit à suivre des recommandations erronées ou biaisées. Ainsi, lorsque la police de Londres a testé un système de reconnaissance faciale en temps réel, les agents ont « largement surestimé la fiabilité du système », rapportait une analyse de l’AI Now institute. Alors que l’algorithme ne fournissait une réponse correcte que dans 19 % des cas, les agents ont approuvé 62 % de ses recommandations. 

Pour relever le défi de la collaboration, les data scientists ont complété les recommandations d’explications permettant de décrire les raisons pour lesquelles l’algorithme aboutit à sa conclusion. C’est le champ de ce qu’on appelle l’IA explicable (XAI). Malgré l’engouement, force est de constater que ces explications n’améliorent généralement pas la collaboration entre humains et algorithmes. Dans de nombreux cas, les explications conduisent même à de moins bons résultats. Ce problème découle à nouveau de la prédominance du formalisme algorithmique. Si le domaine a défini ce qui caractérise une bonne explication en terme mathématique et a mis au point des outils d’explicabilité, les complexités sociales inhérentes aux collaborations entre humains et algorithmes ont du mal à être saisies par le biais d’abstractions et de métriques. A nouveau, pour Green, il est nécessaire de dépasser le formalisme pour dépasser cette limite. « Ce qui caractérise un algorithme utile, ce n’est pas sa précision maximale ni ses explications techniquement optimales. Ce qui caractérise un algorithme utile, c’est sa capacité à aider les utilisateurs à prendre de meilleures décisions.» Cela semble tautologique, mais observer si cet objectif est atteint ne s’observe pas sur la base de purs formalismes. 

Dans l’approche formaliste, les spécialistes de data science insistent sur l’importance de maintenir un humain dans la boucle de décision. C’est au final toujours lui qui doit pouvoir décider, valider la recommandation du calcul. C’est un moyen censé prémunir des erreurs et des biais. De même, pour dépasser l’opacité intrinsèque aux calculs complexes, les data scientists privilégient des explications elles-mêmes automatisées. L’explicabilité est devenu le principe central et moteur de l’équité. Pourtant, cette explicabilité peine à produire des résultats et reste bien souvent très pauvre, incomplète… (absolument pas « projective », comme je le proposais moi-même). « Aider les utilisateurs à comprendre le fonctionnement d’un algorithme est très différent de les aider à utiliser ses conseils pour améliorer leurs décisions. Les convictions des data scientists quant à la qualité des explications ne correspondent donc pas à la pratique. » En fait, les explications ont pour effet involontaire d’accroître la confiance des utilisateurs envers les algorithmes, indépendamment de la qualité de ces derniers… et les incite à accepter plus facilement des conseils algorithmiques erronés.

Pour Green, à nouveau, il faut passer d’une approche formaliste en la matière à une approche réaliste. C’est-à-dire s’adapter à la manière dont les gens interprètent et utilisent les résultats des systèmes pour prendre des décisions, et pas seulement en faire des outils de décisions pour les gens. Ils doivent venir aider les gens à améliorer leurs décisions plutôt que de les prendre à leur place. Pour cela, ce n’est pas l’humain qu’il faut placer dans la boucle comme le proposent les conseils éthiques, mais l’algorithme, défend Green. En plaçant l’humain dans la boucle, on l’a vu avec la chaîne d’élimination automatisée des systèmes d’IA pour faire la guerre, trop souvent, on ne propose qu’une validation humaine de décisions algorithmiques trop complexes, une pantomime de contrôle. « À l’inverse, l’approche par un algorithme intégré au processus humain reconnaît que les algorithmes sont introduits au sein de processus décisionnels humains préexistants. Ici, ce sont les personnes qui prennent les décisions. Les algorithmes viennent compléter l’analyse de la personne en lui fournissant des éléments pour l’aider à évaluer la situation. Ce qui importe en fin de compte, c’est ce processus de décision humain, et non la capacité de l’algorithme à prendre seul de bonnes décisions ou celle de l’humain à superviser l’algorithme. Un système à algorithme intégré au processus humain, un « algorithme dans la boucle » est tout outil automatisé qui fournit des conseils aux personnes dans le but d’améliorer la prise de décision.»

Confrontés à des décisions à prendre, les humains doivent concilier des objectifs contradictoires. Lorsque les inspecteurs sanitaires choisissent les restaurants à contrôler par exemple, ils doivent concilier la priorité donnée aux établissements présentant les risques les plus élevés et la nécessité de répartir équitablement les inspections entre les différents quartiers. La manière dont ces acteurs pondèrent ces considérations concurrentes influence considérablement leurs décisions.

« L’existence de ces arbitrages implique que les décideurs disposent d’une marge d’appréciation pour déterminer l’issue la plus appropriée dans chaque cas. Bien qu’elle puisse susciter des inquiétudes quant aux risques de partialité ou d’incohérence, cette marge d’appréciation est un élément essentiel d’une prise de décision de qualité. Au quotidien, les bureaucrates de terrain sont confrontés à des situations ambiguës, incertaines et imprévisibles. Supprimer cette marge d’appréciation reviendrait à imposer une logique rigide et formelle à ces situations, empêchant ainsi les agents d’adapter leurs décisions à des cas complexes ou inédits.

Par ailleurs, imposer aux décideurs le respect de règles prescriptives violerait le principe normatif selon lequel les décisions doivent tenir compte de la situation et des besoins des individus. La marge d’appréciation est donc souhaitable, tant sur le plan pratique que normatif : elle permet aux décideurs de trouver un juste équilibre entre des valeurs et des objectifs contradictoires, en fonction des circonstances particulières.

Pour exercer leur pouvoir discrétionnaire de manière réfléchie et bénéfique pour la société, les décideurs doivent faire preuve d’un sens de la responsabilité morale quant à leurs choix. Craignant que cette marge d’appréciation ne favorise de mauvaises décisions ou des abus de pouvoir, les autorités imposent souvent des contraintes strictes aux actions des bureaucrates de terrain. Ces stratégies de contrôle et de conformité permettent généralement de prévenir les dérives les plus graves liées à l’exercice de ce pouvoir. Toutefois, leur efficacité est limitée – un contrôle précis s’avère très difficile dans ces contextes – et il a pour effet de démotiver les agents. Une stratégie bien plus efficace pour améliorer la prise de décision des agents publics consiste à responsabiliser les travailleurs et à leur accorder l’autonomie nécessaire pour exercer leur jugement de manière optimale », comme l’ont souligné bien des chercheurs tels que Michael Lipsky, Street-Level Bureaucracy: Dilemmas of the Individual in Public Services (Russell Sage Foundation, 1980), Bernardo Zacka, When the State Meets the Street: Public Service and Moral Agency (Harvard University Press, 2017) ou Dan Honig, Mission Driven Bureaucrats: Empowering People to Help Government Do Better (Oxford University Press, 2024). Le but d’un algorithme ne peut se réduire à améliorer sa précision (pour autant qu’il le permette réellement, comme le soulignaient les chercheurs Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024) et en pointant le fait que nombre de calculs n’améliorent que très marginalement leur résultats), mais doit prendre en compte nombre d’autres enjeux. Par exemple, un algorithme ne devrait pas chercher à « améliorer la précision des prédictions concernant la vulnérabilité des personnes sans-abri. » « À l’inverse, un projet intégrant des algorithmes dans la boucle décisionnelle déplacerait l’attention des prédictions vers les résultats concrets : « réduire le nombre de personnes vivant sans abri ou logement stable. » Par ailleurs, il conviendrait de prendre en compte les répercussions sur les travailleurs sociaux et sur les personnes sollicitant une aide au logement. Des objectifs connexes pourraient inclure : « améliorer le moral et le sentiment d’accomplissement des travailleurs sociaux » et « augmenter la proportion de personnes sans-abri estimant être traitées avec respect par l’organisme. » La nature multidimensionnelle de ces objectifs implique qu’il n’existera pas d’indicateur unique permettant de déterminer si le projet est une réussite.» D’une certaine manière, pourrait-on dire à la suite de Green, un système qui ne vise qu’à réduire le réel à une seule question sans ambiguïté, part d’une bien mauvaise analyse du réel et fournira par avance une mauvaise réponse. 

Pour améliorer la décision, estime Green, il n’est pas toujours nécessaire d’amener des informations nouvelles à ceux chargés de décisions, mais de comprendre ce qu’ils priorisent déjà. Les travailleurs sociaux chargés de la protection de l’enfance dans le comté d’Allegheny, en Pennsylvanie, privilégient la sécurité immédiate des enfants, tandis que l’algorithme dont ils reçoivent les conseils (l’Allegheny Family Screening Tool, qu’avait étudié Virginia Eubanks) prédit la sécurité des enfants sur une période de deux ans. Cette différence explique pourquoi les travailleurs sociaux ont tendance à ignorer les suggestions de l’algorithme. Nombre de professionnels hésitent à suivre les conseils algorithmiques pour des décisions à forts enjeux, estimant que ces modèles négligent la dimension humaine et la situation particulière des individus. Enfin, pour être exploitables, les enseignements tirés d’un algorithme doivent s’inscrire dans les pratiques quotidiennes et les flux d’information de l’organisation. Dans le domaine médical, par exemple, l’élaboration d’un plan de traitement pour un patient comporte de nombreux aspects allant au-delà de la simple prescription de médicaments. Les médecins doivent prendre des décisions telles que la fréquence des consultations de suivi et l’éventuelle intervention d’autres professionnels de santé (par exemple, des kinésithérapeutes ou des thérapeutes comportementaux). Ainsi, les médecins indiquent qu’ils préféreraient recevoir des recommandations algorithmiques liées à ces étapes organisationnelles, plutôt que de simples indications sur le médicament à prescrire. Ils souhaitent également que ces conseils facilitent les échanges avec les patients et les collègues, car ils élaborent souvent les plans de traitement en collaboration avec ces différents acteurs. 

Le développement d’un algorithme destiné à soutenir les conseillers d’une agence municipale de placement au Danemark met en lumière les avantages d’une collaboration étroite avec les décideurs et d’une ouverture d’esprit quant à la nature de la contribution à apporter. Dans ce cas précis, des spécialistes des données collaboraient avec des conseillers chargés d’aider les chômeurs à développer leurs compétences et à trouver un nouvel emploi. Au début du projet, les spécialistes des données prévoyaient de concevoir un algorithme capable de prédire quels demandeurs d’emploi présentaient le risque le plus élevé de chômage de longue durée. Il s’agissait là d’une approche classique en science des données, axée sur la prédiction de résultats individuels. Toutefois, les conseillers ont fait valoir qu’un tel outil entrerait en conflit avec leur éthique professionnelle. Pour eux, il est essentiel de croire en chaque chômeur et de l’aider à obtenir le meilleur résultat possible. Plutôt que des prédictions sur les comportements individuels, les conseillers ont demandé des prédictions concernant les processus organisationnels. Ils ont expliqué que l’un des principaux obstacles rencontrés par les usagers était la lenteur de l’avancement de leur dossier. Par exemple, des délais importants surviennent souvent lorsque l’agence doit rassembler les documents requis. Ces délais peuvent amener les demandeurs d’emploi à perdre confiance en eux et dans le processus d’accompagnement. Les spécialistes des données n’avaient jamais envisagé ce problème : ils supposaient que les dossiers étaient toujours traités rapidement. Or, les conseillers connaissaient bien ces délais longs et imprévisibles, qui constituaient un défi majeur dans leur travail. Pour y remédier, ils ont demandé un algorithme capable de prédire le temps d’attente estimé pour chaque personne. Cette information leur permettrait de préparer les demandeurs d’emploi au délai prévu et de les maintenir engagés dans des programmes tels que des thérapies ou des formations professionnelles durant cette période d’attente.

Cet exemple danois démontre que la contribution de la science des données qui semble la plus évidente n’est pas toujours la plus utile et l’importance à saisir les besoins de terrain. 

Tout cela nécessite une immersion totale avec le terrain, explique Green. Il faut comprendre comment les agents interprètent les informations, si certains éléments leur semblent confus… Mais surtout, pour Green, cela suppose de dépasser la seule explication. Par exemple en proposant des exemples similaires pour les inviter à mettre leur décision en perspective ou en les invitant à réfléchir par eux-même à une décision avant de recevoir les recommandations des systèmes. « L’idée sous-jacente est que si les individus réfléchissent de manière autonome à une décision, ils l’analyseront plus en profondeur et seront mieux à même d’évaluer les recommandations de l’algorithme. Plusieurs études ont montré que les fonctions de « contrainte cognitive » conduisent à des prédictions humaines plus précises que les scénarios où les utilisateurs ont un accès immédiat aux recommandations algorithmiques. » 

Une autre manière de faire consiste à guider le raisonnement sans recommander de décisions. Une autre manière encore consiste à proposer un éventail de choix par exemple en les rendant interactifs, permettant aux utilisateurs d’évaluer les conséquences des choix qu’ils ont à faire. « En encourageant une implication active – plutôt que passive – dans les systèmes intégrant l’humain dans la boucle algorithmique, l’interactivité aiderait les professionnels à préserver leur sens de la mission et leur autonomie lors de l’utilisation d’algorithmes, évitant ainsi de réduire leur pouvoir discrétionnaire à une simple formalité administrative.»

L’interactivité permet de conjuguer les capacités prédictives d’un algorithme aux connaissances spécifiques et contextuelles et à la démarche d’investigation du décideur. Ainsi, plutôt que de faire des recommandations de prescriptions pour traiter la dépression par exemple, les médecins devraient pouvoir adapter les systèmes aux situations individuelles. 

Dans son manuel, Green soutient que la clé réside dans une interaction profonde des data scientist avec les usagers et ceux qui déploient des outils. Leur intervention ne peut être ponctuelle, plaide-t-il, elle doit s’inscrire profondément dans les pratiques réelles. Il invite également à se défaire du solutionnisme pour produire des systèmes qui élargissent les choix plutôt qu’ils ne réduisent, comme il le disait déjà il y a quelques années. A observer ce que les praticiens en pensent, comment ils réagissent aux systèmes et pas seulement à les déployer voire à les imposer, au risque de leurs échecs. Le développement algorithmique ne peut pas se faire à l’encontre des missions que remplissent les gens. « Les défaillances persistantes des collaborations entre humains et algorithmes sapent la théorie du changement qui sous-tend de nombreux projets de science des données, laquelle vise à obtenir de meilleurs résultats sociaux en améliorant la prise de décision.»

Green termine son livre en prévenant les data scientists de se défier de l’IA générative. L’IA générative accélère et prolonge la logique du formalisme algorithmique. Le risque est de les considérer comme des outils polyvalents, susceptibles d’être appliqués à grande échelle, négligeant toutes les spécificités contextuelles qu’il met en avant dans son manuel.

« Si la science des données continue à suivre le formalisme algorithmique, le domaine produira des outils de plus en plus puissants sur le plan technique, mais souvent inutiles, voire nuisibles sur le plan sociétal. » Face à l’automatisation qui risque de rendre le scientifique des données obsolète, il est nécessaire de réarmer ses capacités. C’est ce que ce manuel propose. « Le réalisme algorithmique offre une piste pour permettre aux data scientists de se distinguer dans un monde où de nombreux aspects techniques de la science des données ont été automatisés. En concevant les algorithmes comme des outils opérationnels plutôt que comme des modèles mathématiques, le réalisme algorithmique redéfinit l’expertise qui caractérise un data scientist efficace.»

Pour l’instant, et cela risque d’être pire à mesure que l’IA se répand partout, « la plupart des data scientists sont formés et employés dans des environnements qui n’encouragent pas – et souvent découragent – le réalisme algorithmique. » De l’enseignement à la recherche, le domaine, pour ne pas disparaître sous les applications produites par l’IA, a besoin de s’ouvrir aux enjeux sociaux et aux applications concrètes, plaide Green. Or, « on continue d’enseigner aux étudiants des sciences de l’information que les dimensions sociales et éthiques des algorithmes sortent du cadre », comme l’expliquait l’ingénieur Jimmy Wu. Pour remédier à cela, il faut reconnecter l’éthique à la pratique. Nous devons sortir des façons dont on enseigne l’éthique dans les écoles d’ingénieurs que ce soit par leur mise en œuvre mathématique et formaliste comme par le biais de dissertations morales déconnectées des enjeux applicatifs. « Il ne s’agit pas d’enseigner l’éthique de manière abstraite aux étudiants en science des données, mais de leur transmettre les orientations et les compétences favorisant une pratique éthique de la discipline ». Il recommande également d’avoir plus de cours cliniques, c’est-à-dire de faire travailler les étudiants sur des projets réels. Et d’aider les étudiants à quitter le monde de la tech où le formalisme règne en maître ou sinon à leur apprendre à promouvoir des produits et des comportements éthiques au sein des entreprises et à faire face aux dilemmes éthiques auxquels ils sont confrontés. 

*

Green ne promet pas de révolution algorithmique. Il propose à la data science de se poser des questions que bien peu se posent, de faire un pas de côté. D’arrêter de croire que le calcul est la solution quand, bien souvent, il est le problème qui ne voit pas ses effets. 

Hubert Guillaud

L’avocate et anthropologue, Petra Molnar, spécialiste des droits humains et des questions de migration, co-fondatrice du Migration and Technology Monitor, directrice associée du Refugee Law Lab à l’université de York et autrice de The Walls Have Eyes: Surviving Migration in The Age of Artificial Intelligence (New Press, 2024, non traduit), vient de publier un nouvel ouvrage sur le développement des technologies aux frontières : Border Necrotechnics: Automation, Surveillance, and the Racial Politics of Migration Control (Springer, 2026, non traduit, mais disponible en libre accès). 

Pour elle, explique-t-elle dans une tribune pour Tech Policy Press, nous avons besoin d’un langage précis pour rendre visible les infrastructures numériques qui décident qui vit et qui meurt. Elle parle de nécrotechniques, de techniques pour produire de la mort. « La nécrotechnique des frontières désigne l’ensemble des systèmes automatisés, des bases de données et des architectures de surveillance par lesquels les États et les entreprises décident quelles vies sont rendues passibles de mort, d’expulsion ou de surveillance indéfinie, à la frontière et au-delà ». Les débats sur les politiques technologiques de surveillance et de contrôle des frontières n’abordent jamais la réalité des décès causés par ces systèmes. L’importation croissante de technologies frontalières rend les décisions politiques neutres et les réduit à une simple question de technologie ou de calcul, exonérant et diluant de toute responsabilité les États et les acteurs privés qui leur fournissent les technologies. Or, rappelle-t-elle, les décès engendrés par ces systèmes ne sont ni des dysfonctionnements ni des effets secondaires, mais bien « le fonctionnement normal du système ». 

« Le contrôle moderne des migrations découle directement de la gouvernance coloniale, de l’enregistrement biométrique des populations colonisées à la surveillance des communautés jugées suspectes et à la restriction collective de leurs déplacements. Les frontières contemporaines fonctionnent comme des mécanismes de réinscription et de préservation de la hiérarchie raciale mondiale, restreignant systématiquement la mobilité des personnes racialisées comme Africaines, Arabes, Musulmanes ou non occidentales, tandis que la circulation dans l’autre sens reste largement fluide.» 

« Les technologies numériques de contrôle des frontières contribuent à cette continuité en étendant la portée des opérations et en donnant une apparence d’objectivité à des processus décisionnels complexes qui soustraient les décisions racistes de tout examen critique. Des outils d’évaluation des risques classent les personnes en déplacement selon le danger perçu, les infrastructures biométriques catégorisent les individus comme suspects permanents, et l’analyse prédictive évalue les personnes non pas pour leurs actes passés, mais pour leurs actes potentiels. Ces technologies produisent une forme de punition sans crime, continue et préventive. Les technologies numériques confèrent également un vernis d’objectivité scientifique à des processus décisionnels opaques et complexes, transformant les choix politiques concernant les personnes en déplacement en décisions techniques, obscurcissant davantage les responsabilités. Ce que font les frontières numériques modernes n’est pas une nouvelle forme de racisme, mais plutôt une réinscription de l’ancien ordre racial, normalisé et plus difficile à contester. La logique raciale au cœur des frontières modernes n’est pas un simple effet secondaire malheureux, mais bien le principe organisateur fondamental de la frontière numérique elle-même.» 

A la suite de Frantz Fanon et d’Achille Mbembe qui ont conceptualisé la nécropolitique, comme un pouvoir souverain d’exposer certains à la mort ou de les reléguer à des mondes de mort, la « nécrotechnique frontalière », souligne, à la suite des travaux de la professeure de droit E. Tendayi Achiume, de la sociologue Simone Browne (auteure de Dark Matters, Duke university press, 2015) et Ruha Benjamin (auteure de Race After Technology, Polity, 2019, voire notre compte-rendu de lecture), que la hiérarchie raciale s’inscrit dans le droit, la surveillance et la technologie. « Alors que la violence souveraine exigeait autrefois une décision visible, la nécrotechnique frontalière dissémine désormais cette décision à travers des bases de données signalant les corps « à risque », des capteurs redirigeant les parcours vers des terrains hostiles et des plateformes administratives banalisant la détention des migrants et la rendant indéfinie. Dans ces environnements, l’exposition au danger devient structurelle, cumulative et diffuse – répartie entre de multiples acteurs, interfaces et choix de conception -, si bien que la violence se fragmente et se détache de tout acte ou décision unique, ce qui la rend plus difficile à contester. » 

Pourtant, cette violence est bien réelle. Des chercheurs – notamment les géographes Samuel Chambers et Geoffrey Boyce – ont depuis longtemps documenté la forte hausse du nombre de décès dans le désert de l’Arizona suite à l’installation de tours de surveillance « intelligentes », les traversées s’étant déplacées vers des zones toujours plus isolées et mortelles. Ce même « effet d’entonnoir » s’observe en mer Égée comme au Sahara. Plus récemment, fin juillet, des dizaines de milliers de personnes ont contourné à la nage les brise-lames de Ceuta (Espagne) – l’une des frontières les plus surveillées et fortifiées au monde ; plus d’une centaines d’entre elles ont péri dans des eaux pourtant scrutées par des caméras, des patrouilleurs et des capteurs. En quelques jours, vingt-deux États membres de l’UE ont réagi non pas en s’interrogeant sur les causes de ces décès aux frontières « intelligentes », mais en appelant au renforcement des frontières extérieures – ce qui, concrètement, revient à continuer le développement des infrastructures responsables de ces morts. 

Rob Nixon, dans son livre Slow Violence (Harvard university press, 2013), qualifie ce phénomène de « violence lente » : un préjudice progressif, qui s’inscrit dans la durée et ne saurait être attribué à un événement unique ; c’est précisément ce qui lui permet d’échapper à la mise en cause de responsabilité qu’un acte de violence ponctuel aurait inévitablement provoquée. Aucun responsable pris isolément ne tue qui que ce soit, et le système lui-même semble venir édulcorer la violence à l’œuvre.

Des technologies exclues de la régulation… et donc de toutes réformes

Le problème, estime Molnar, c’est qu’il semble impossible de réformer le déploiement de ces outils. L’IA Act de l’Union européenne – « la tentative la plus complète à ce jour de réguler ces technologies » – classe sur le papier les systèmes de contrôle aux frontières comme étant « à haut risque »… tout en excluant du champ de la loi les applications liées au maintien de l’ordre, à la sécurité nationale et au contrôle migratoire (domaines où les enjeux sont pourtant les plus critiques). « Cette exclusion se dédouane de ses impacts en confiant la supervision de leurs effets à des mécanismes d’auto-évaluation et de conformité interne, sans offrir de perspectives réelles de recours effectif ». Ces exceptions sont le fruit de compromis politiques : comme l’ont souligné des coalitions de la société civile telles que Protect Not Surveil. Pour Molnar, la manière dont le règlement européen sur l’IA traite la question migratoire reflète une trajectoire européenne plus large, s’éloignant de la protection des droits des personnes en mobilité pour privilégier la délocalisation des contrôles, les expulsions et l’enfermement. « Les préjudices structurels – qu’il s’agisse de personnes refoulées sans explication ou de demandeurs d’asile mal classés par des scores de risque opaques – sont ainsi requalifiés en simples défis de mise en œuvre appelant une réglementation plus robuste, tandis que les systèmes frontaliers eux-mêmes ne sont jamais remis en question. »

Pourtant, la nécrotechnique frontalière ne distribue pas la mort au hasard. « Au nom de la préservation des régimes d’apartheid, de la suprématie blanche et de l’extractivisme néocolonial occidental, le projet global de gestion moderne des frontières perpétue une répartition raciale de la richesse et de la mobilité, héritée de siècles d’impérialisme et de colonialisme – façonnée par l’extraction, l’esclavage et le tracé de ces mêmes frontières dont la traversée coûte aujourd’hui la vie à tant de personnes.»

Tendayi Achiume figure parmi les universitaires ayant avancé l’idée que le projet colonial n’a jamais vraiment pris fin, mais a simplement changé de forme. Pour elle, d’ailleurs, les migrations actuelles sont la conséquence de l’histoire coloniale et devraient être abordées comme une prolongation effective de la décolonisation, et considérer ces personnes comme des acteurs politiques exerçant leurs droits de décolonisation. « Le monde occidental demeure lié à des structures de commerce, d’extraction de ressources et d’intervention militaires qui sont autant de moyens par lesquels les États riches continuent de tirer profit des sociétés qu’ils ont autrefois officiellement dominées et d’exercer un pouvoir sur elles ». Les populations des pays anciennement colonisés ne sont pas des étrangères cherchant à intégrer des communautés politiques qui leur seraient étrangères, mais tentent, par leur migration, de reprendre du pouvoir sur un système international bâti sur leur dépossession. « À ce titre, leur migration constitue une affirmation de l’appartenance politique créée – mais jamais honorée – par l’empire ; elles revendiquent une part de la richesse et de la sécurité accumulées grâce à la subordination de leurs propres sociétés ».

La perspective réparatrice peut aller encore plus loin, rappelle Molnar. « Les pays du Nord global, qui se sont industrialisés grâce à l’extraction coloniale, sont les mêmes dont les émissions rendent aujourd’hui des régions entières du Sud global inhabitables, déplaçant ainsi les populations les moins responsables de la crise ; ce sont aussi ceux qui exportent des armes et financent les conflits poussant les gens à l’exil. Le déplacement de populations n’est pas un malheur survenant ailleurs et s’échouant par hasard à Ceuta. Il est orchestré par ces mêmes États qui, ensuite, déploient des drones et des algorithmes d’évaluation des risques contre les personnes déplacées. Or, envisager la migration sous l’angle de la réparation permet de ne plus percevoir la liberté de circulation comme un acte de charité, ni l’admission sur un territoire comme un geste de bienveillance ou de générosité. Le déplacement humain depuis les pays de la « majorité mondiale » devient alors le remboursement partiel d’une dette séculaire, une forme de réparation bien moins coûteuse pour les États d’accueil qu’un règlement formel des comptes liés à l’héritage colonial.»

« Les nécrotechnologies frontalières apparaissent clairement comme le bras armé d’un système de contrôle des frontières qui refuse de reconnaître la dette bien réelle contractée envers la majorité mondiale au fil des siècles de colonialisme et d’impérialisme. »

Molnar esquisse d’autres voies possibles pour bousculer les politiques publiques répressives envers les migrations, comme de mettre fin aux protections du secret des affaires qui permettent aux fournisseurs privés de dissimuler les taux d’erreur aux personnes qui en subissent les conséquences, exiger la transparence des marchés publics pour le complexe militaro-industriel frontalier – où des entreprises comme Elbit Systems commercialisent des technologies éprouvées au combat en Palestine pour les déployer en Arizona (comme l’avait montré le journaliste Antony Loewenstein dans son livre, The Palestine Laboratory, Penguin, 2024) – et s’engager à instaurer un moratoire sur les technologies frontalières contraires aux principes établis en matière de droits humains. Toutefois, constate l’avocate, « toute approche réformiste est vouée à l’échec si l’on ne s’attaque pas aux logiques fondamentales qui sous-tendent nos systèmes frontaliers ». En attendant, enquêter sur les nécrotechniques frontalières reste le seul moyen pour « rassembler des préjudices délibérément disséminés entre bases de données, capteurs et contrats pour en faire une structure de responsabilité unique et lisible ; c’est affirmer que les morts solitaires ne sont pas des accidents géographiques, mais bien les conséquences directes d’une conception délibérée ».

Nécrotechnologies de désinformation : de la manipulation et de l’ingérence étrangère… 

Dans un autre article pour Tech Policy Press, Petra Molnar (accompagnée de Liz Carolan de Digital Action) revient sur la crise de Ceuta de cet été, et notamment sur la désinformation qui a alimenté l’exode mortel des dizaines de milliers de Marocains vers l’enceinte espagnole. Suite à une enquête, le premier ministre espagnol, Pedro Sánchez, a accusé les réseaux de désinformation russes et israéliens qu’il a décrit comme un réseau international d’extrême droite qui « instrumentalise systématiquement les migrations pour attaquer l’Espagne et l’Europe ». M. Sánchez a affirmé que les deux gouvernements s’étaient emparés de cette affaire en raison des positions de Madrid sur les guerres en Ukraine et à Gaza, et que les enquêteurs n’avaient jusqu’à présent trouvé aucune preuve d’implication de l’État marocain. Si Israël et la Russie ont démenti, cette campagne de désinformation orchestrée sur les réseaux sociaux qui promettait un assouplissement des règles d’accueil dans l’enceinte de Ceuta, présente des similitudes frappantes avec les contenus ciblant les personnes tentant de rejoindre les États-Unis, estime Petra Molnar. « Dans les deux cas, le succès de ces campagnes de désinformation ne tient pas tant  à la crédulité des personnes qui y ont été soumises, qu’au manque de clarté, à la variabilité et à la mauvaise communication des règles de passage de frontière ». 

« Le média espagnol El Español a découvert des dizaines de faux profils sur TikTok et Instagram, se faisant passer pour de jeunes créateurs de contenu marocains ayant effectué le voyage et célébrant leur liberté retrouvée à Ceuta. Les vidéos, conçues comme du contenu d’influenceurs, contenaient souvent des conseils pratiques pour la traversée, allant de l’équipement nécessaire aux conseils pour les enfants et les personnes ne sachant pas nager. Si de nombreux comptes ont été fermés, ils ont ensuite réapparu sous de nouveaux pseudonymes. Selon un reportage de Reuters, des jeunes venus de tout le Maroc ont voyagé suite à des rumeurs et des récits circulant en ligne. C’est le cas de Dounia Kherradi, serveuse vivant à neuf heures et demie de route de Ceuta, et d’Ayoub El Abyad, 16 ans, qui a expliqué aux journalistes avoir décidé avec son cousin de faire douze heures de route jusqu’au point de passage après avoir vu des vidéos sur Instagram. La réalité était bien différente des images optimistes véhiculées par les Réels. Ceux qui avaient franchi la frontière ont raconté aux journalistes de DW News avoir dû croiser des cadavres lors de la périlleuse traversée à la nage jusqu’à Ceuta, avoir été confrontés à la violence à leur arrivée et s’être vu refuser de la nourriture dans les magasins. Ils ont ensuite compris qu’il leur était impossible de poursuivre leur route vers l’Europe et que les rumeurs étaient infondées. » 

Les techniques de désinformation utilisées à Ceuta ne sont pas nouvelles, et les vidéos partagées montrent des similitudes frappantes dans la manière dont les migrants tentent de rejoindre les États-Unis. En mars de l’année dernière, l’Associated Press a analysé des centaines de vidéos TikTok publiées par des réseaux mexicains de facilitation de l’immigration et y a retrouvé des thèmes similaires à ceux documentés par El Español du côté marocain du détroit : des musiques entraînantes, des légendes truffées d’émojis, des buggies fonçant vers le mur frontalier, des jet-skis, des hélicoptères et des tunnels proposés comme options haut de gamme, des passeurs ouvrant des cactus pour que leurs clients puissent boire, un champ de laitues avec la légende « Les champs américains sont prêts (à vous accueillir) ! », et, pour finir, le témoignage de clients des passeurs satisfaits. À Ceuta comme partout en Amérique, ces vidéos et images servent de publicité, présentant le passage de la frontière comme un simple problème logistique gérable et géré par les passeurs. La dimension commerciale de ce contenu est désormais bien établie. En Espagne, le Premier ministre avait d’abord accusé les réseaux de trafic d’êtres humains d’être responsables de cette désinformation, car ils avaient un intérêt financier aux tentatives de franchissement de la frontière. Des enquêtes ont révélé comment Meta a tiré profit du trafic de migrants et de publicités frauduleuses ciblant les personnes tentant de rejoindre les États-Unis. 

Le Tech Transparency Project a montré que Facebook et WhatsApp étaient saturés de fausses informations concernant des changements de politique et de prétendues dispositions spéciales pour les femmes enceintes et les parents voyageant avec des enfants. La rumeur ayant circulé au Maroc en juillet – selon laquelle une décision de justice aurait discrètement ouvert un passage – illustre parfaitement un schéma bien documenté ; c’est une difficulté que la couverture médiatique des événements de Ceuta a largement ignorée. « Les contenus trompeurs n’atteignent pas les migrants par un canal distinct des informations fiables ; ils leur parviennent via les mêmes fils d’actualité, sous la même forme visuelle, et souvent depuis des comptes impossibles à distinguer au premier coup d’œil. Par exemple, aux côtés des comptes éphémères, on trouve des créateurs vénézuéliens et colombiens ayant filmé leur propre traversée du bouchon du Darién (entre la Colombie et le Panama) ; certains ont accumulé des dizaines de millions de vues, leurs vidéos servant de guides pratiques indiquant les lieux d’hébergement, les coûts de transport, les points de traversée des rivières… Qu’importe si plusieurs d’entre eux précisaient explicitement qu’ils cherchaient à dissuader les gens plutôt qu’à les inciter au départ. Il s’agit de la même plateforme et du même format : pour beaucoup, les vidéos des réseaux sociaux sont la seule source d’information sur le voyage disponible dans une langue qu’ils comprennent, à un coût abordable et émanant d’une personne dont la situation ressemble à la leur. » 

… à l’exploitation de la précarité informationnelle 

Les travaux de recherche sur l’utilisation des smartphones par les réfugiés désignent par un terme précis la situation dans laquelle ils évoluent. Des chercheurs tels que Marie Gillespie, Souad Osseiran et Margie Cheesman parlent de « précarité informationnelle » : « un état d’instabilité chronique où les migrants s’appuient sur des réseaux de pairs précisément parce que les canaux officiels sont inaccessibles, non traduits, contradictoires ou ouvertement hostiles, et où ils sont exposés aux rumeurs et à la désinformation pour cette même raison. Cette vulnérabilité informationnelle résulte d’un cadre juridique qui n’apporte pratiquement aucune réponse fiable ou exploitable à la question de savoir qui peut entrer sur le territoire et selon quelles modalités.» Agir dans un contexte de pénurie d’informations reste une forme d’action autonome, mais il convient de veiller à ce que toute critique des campagnes de désinformation ne reproduise pas le vieux réflexe colonial consistant à situer le problème dans la prétendue crédulité des populations, plutôt que dans les systèmes qui, par conception, les maintiennent dans l’ignorance. 

Enfin, soulignent les chercheuses, n’oublions pas que les États sont parmi les acteurs les plus actifs de ce même écosystème informationnel. Leurs messages dissuasifs (voir cette publicité de 30 secondes passée sur les médias sociaux par la secrétaire à la sécurité intérieure américaine Kristi Noem avertissant les migrants de ne pas entrer illégalement sur le territoire américain que la présidente mexicaine a qualifié de propagande discriminatoire) passent par les mêmes canaux que la publicité des passeurs et visent les mêmes publics tout en formulant des promesses contradictoires quant à ce qui se passera à la frontière. Un double son qui finit certainement bien plus par instiller le doute qu’à le résoudre. Les messages des acteurs étatiques n’expliquent pas clairement ce qui attend les personnes qui souhaitent migrer autrement que sous formes de menaces. « Personne – ni à Rabat, ni à Madrid, ni à Washington – n’avait l’obligation de fournir aux gens des informations fiables, actualisées et accessibles ; par conséquent, personne ne l’a fait. »

Hubert Guillaud

PS : Dans une très riche enquête, la Technology Review  revient précisément sur les enjeux posés par Petra Molnar :  « Les États-Unis ont dépensé des milliards pour la surveillance des frontières. Pourquoi ne parviennent-ils pas à intercepter les personnes avant qu’elles ne meurent ? ». Lorsque José Morales Bernal a franchi la frontière pour entrer aux États-Unis le 8 avril 2024 en passant par le désert du sud du Nouveau-Mexique, il se trouvait à portée de trois tours de surveillance construites par Anduril pour le service des douanes et de la protection des frontières américain (CBP, Customs and Border Protection), équipées de caméras et de systèmes d’IA capables de détecter et suivre les individus. Mais ce ne sont pas les employés des douanes qui ont repéré M. Morales Bernal, mais des employés de la décharge locale qui l’ont retrouvé mort, à seulement 110 mètres de la tour de surveillance la plus proche.

Si le CBP affirme que ces dispositifs ont permis de sauver des vies, les décès de migrants dans le désert américain entre le Mexique et les Etats-Unis sont courants. En recoupant les informations sur quelques 4000 morts durant leur traversée collectés par les collectifs No More Deaths et Humane Borders et la base de données de localisation des 600 tours de surveillance identifiés par l’Electronic Frontier Foundation, les journalistes de la Technology Review, James O’Donnell et Eileen Guo, estiment qu’une véritable crise humanitaire se déroule sous l’oeil des caméras du gouvernement. Et ils en ont dressé la carte. Les journalistes ont recensé « 1 050 personnes décédées dans le rayon d’action des tours de surveillance frontalière entre 2015 et le début de l’année 2026. Ces décès ne résultent pas d’une défaillance de quelques tours ou technologies isolées : nous avons constaté des décès à l’intérieur de la portée annoncée de près des deux tiers des tours analysées. Notre analyse topographique – visant à déterminer dans quelle mesure le relief pouvait masquer la vue d’une tour sur un lieu de décès précis ou sur sa zone de surveillance globale – a révélé que certaines tours ne couvrent parfois que 10 % de leur zone de surveillance théorique ; toutefois, nous avons également constaté que la plupart des décès n’ont pas eu lieu dans les angles morts de ces tours. Ces décès ne sont pas la conséquence d’équipements obsolètes ». Pour les journalistes, le tableau d’ensemble révèle des défaillances répétées de l’une des fonctions de sécurité fondamentales de ce « mur virtuel », telle que décrite par le CBP dans ses communiqués : identifier et localiser efficacement les migrants entrant illégalement aux États-Unis. 

En réponse à ces accusations, Anduril a précisé qu’un incident survenant à proximité d’une de ses tours ne signifie pas nécessairement que la tour a manqué une détection, renvoyant le problème aux agents chargés de la surveillance de la CBP.  « La question cruciale, lors de tout décès survenant près du « mur virtuel », est de savoir si les autorités savaient qu’une personne se trouvait là sans parvenir à l’atteindre, ou si elles ignoraient totalement qu’une traversée était en cours. Dans les deux cas, il s’agit d’une défaillance du système. » L’enquête des journalistes souligne que les deux types de défaillances se produisent : la technologie échoue à détecter les intrusions, et les agents échouent à intervenir. 

Ces deux phénomènes illustrent les limites d’une approche consistant à miser uniquement sur la technologie pour résoudre un problème complexe. Ces conclusions mettent en lumière des problèmes inédits concernant le mur virtuel, alors même que celui-ci continue de bénéficier d’un large soutien politique et d’une augmentation des dépenses fédérales (le CBP a construit 803 tours à ce jour pour un coût de 6,2 milliards de dollars et prévoit d’en installer 1 497 autres d’ici 2034). Mais leur efficacité reste bien peu évaluée. Pour nombre de responsables politiques, les décès à proximité du mur virtuel seraient rares voire inexistants, alors que l’enquête montre que ce n’est pas le cas. Et le CBP ne mène pas d’enquête pour savoir dans ces cas si la personne avait été détectée ni pour comprendre la non intervention des agents. 

L’enquête de la Technology Review retrace l’histoire du mur virtuel pour surveiller la frontière mexicaine. L’histoire souligne que son développement tient surtout d’une volonté politique et d’une inflation de marchés publics, alors que la réalité, elle, est défaillante. Entre les caméras qui ne marchent pas et les agents qui ne veulent pas passer leur temps à regarder les images, la réalité de l’efficacité de la vidéosurveillance est toujours mise en défaut. Le CBP n’a pourtant cessé de justifier le déploiement de caméras pour assurer la sécurité des migrants, quand la réalité était plutôt leur défaillance (en 2024, des membres de la commission de la Sécurité intérieure de la Chambre des représentants ont indiqué que plus de 66 % des tours de première génération de la Border Patrol étaient hors service). 

Les tours de seconde génération ont intégré des radars pour mieux détecter les déplacements, via l’entreprise de défense israélienne Elbit, dont les systèmes de tours surveillent déjà les frontières d’Israël.  Mais là encore, cela n’a pas empêché des décès dans le champ de surveillance des tours. Enfin, si les radars étaient plus performants, la détection de mouvement générait à nouveau d’innombrables faux positifs, notamment causés par le bétail et les animaux en mouvement.

C’est Anduril qui a été retenu pour bâtir la troisième génération de tours. L’entreprise a surtout produit des algorithmes et des systèmes d’IA pour classer les éléments détectés par les radars et caméras. « Anduril a vanté la capacité de sa technologie à réduire les faux positifs, comme les cas où la faune sauvage est confondue avec des êtres humains. En revanche, l’entreprise a peu communiqué sur les faux négatifs : ces personnes que les systèmes ne parviennent pas à détecter », qui restent visiblement nombreux. Certains observateurs estiment que les tours d’Anduril auraient un taux d’erreur de 10 à 15%. Par exemple, une simple bâche recouvrant un canot pneumatique traversant le Rio Grande ou des couvertures recouvrant des marcheurs, pouvaient suffire pour que les tours détectent le mouvement sans identifier l’objet, ce qui ne déclenchait pas d’alerte. 

Le problème enfin, c’est que les données utilisées par la CBP ne sont pas accessibles pour contester ses actions et ses inactions. Pour les agents, l’efficacité des tours d’Anduril se heurte au problème récurrent du manque d’effectifs pour assurer la surveillance. Pour les journalistes cependant, « toute tentative de comprendre les dysfonctionnements est entravée par une réticence institutionnelle à mesurer le problème », concluent-ils. Seule la police des frontières peut réaliser un audit complet de ce mur virtuel, alors qu’elle en est le principal commanditaire et bénéficiaire. 

Quant à savoir si les tours dissuadent les passages, difficile à dire. Leur déploiement entraîne une baisse du nombre d’interpellations à proximité. Mais les recherches menées par le géographe Geoff Boyce montrent que leur présence incite les migrants à « emprunter des terrains plus difficiles d’accès, hors de vue », et donc possiblement plus dangereux. L’absence d’étude sur leur efficacité n’empêche pas nombre d’acteurs d’être convaincus de la nécessité de leur déploiement. Le produit phare d’Anduril semble surtout promettre à tous de déployer des solutions sans avoir à se poser de questions.

L’avocate et anthropologue, Petra Molnar, spécialiste des droits humains et des questions de migration, co-fondatrice du Migration and Technology Monitor, directrice associée du Refugee Law Lab à l’université de York et autrice de The Walls Have Eyes: Surviving Migration in The Age of Artificial Intelligence (New Press, 2024, non traduit), vient de publier un nouvel ouvrage sur le développement des technologies aux frontières : Border Necrotechnics: Automation, Surveillance, and the Racial Politics of Migration Control (Springer, 2026, non traduit, mais disponible en libre accès). 

Pour elle, explique-t-elle dans une tribune pour Tech Policy Press, nous avons besoin d’un langage précis pour rendre visible les infrastructures numériques qui décident qui vit et qui meurt. Elle parle de nécrotechniques, de techniques pour produire de la mort. « La nécrotechnique des frontières désigne l’ensemble des systèmes automatisés, des bases de données et des architectures de surveillance par lesquels les États et les entreprises décident quelles vies sont rendues passibles de mort, d’expulsion ou de surveillance indéfinie, à la frontière et au-delà ». Les débats sur les politiques technologiques de surveillance et de contrôle des frontières n’abordent jamais la réalité des décès causés par ces systèmes. L’importation croissante de technologies frontalières rend les décisions politiques neutres et les réduit à une simple question de technologie ou de calcul, exonérant et diluant de toute responsabilité les États et les acteurs privés qui leur fournissent les technologies. Or, rappelle-t-elle, les décès engendrés par ces systèmes ne sont ni des dysfonctionnements ni des effets secondaires, mais bien « le fonctionnement normal du système ». 

« Le contrôle moderne des migrations découle directement de la gouvernance coloniale, de l’enregistrement biométrique des populations colonisées à la surveillance des communautés jugées suspectes et à la restriction collective de leurs déplacements. Les frontières contemporaines fonctionnent comme des mécanismes de réinscription et de préservation de la hiérarchie raciale mondiale, restreignant systématiquement la mobilité des personnes racialisées comme Africaines, Arabes, Musulmanes ou non occidentales, tandis que la circulation dans l’autre sens reste largement fluide.» 

« Les technologies numériques de contrôle des frontières contribuent à cette continuité en étendant la portée des opérations et en donnant une apparence d’objectivité à des processus décisionnels complexes qui soustraient les décisions racistes de tout examen critique. Des outils d’évaluation des risques classent les personnes en déplacement selon le danger perçu, les infrastructures biométriques catégorisent les individus comme suspects permanents, et l’analyse prédictive évalue les personnes non pas pour leurs actes passés, mais pour leurs actes potentiels. Ces technologies produisent une forme de punition sans crime, continue et préventive. Les technologies numériques confèrent également un vernis d’objectivité scientifique à des processus décisionnels opaques et complexes, transformant les choix politiques concernant les personnes en déplacement en décisions techniques, obscurcissant davantage les responsabilités. Ce que font les frontières numériques modernes n’est pas une nouvelle forme de racisme, mais plutôt une réinscription de l’ancien ordre racial, normalisé et plus difficile à contester. La logique raciale au cœur des frontières modernes n’est pas un simple effet secondaire malheureux, mais bien le principe organisateur fondamental de la frontière numérique elle-même.» 

A la suite de Frantz Fanon et d’Achille Mbembe qui ont conceptualisé la nécropolitique, comme un pouvoir souverain d’exposer certains à la mort ou de les reléguer à des mondes de mort, la « nécrotechnique frontalière », souligne, à la suite des travaux de la professeure de droit E. Tendayi Achiume, de la sociologue Simone Browne (auteure de Dark Matters, Duke university press, 2015) et Ruha Benjamin (auteure de Race After Technology, Polity, 2019, voire notre compte-rendu de lecture), que la hiérarchie raciale s’inscrit dans le droit, la surveillance et la technologie. « Alors que la violence souveraine exigeait autrefois une décision visible, la nécrotechnique frontalière dissémine désormais cette décision à travers des bases de données signalant les corps « à risque », des capteurs redirigeant les parcours vers des terrains hostiles et des plateformes administratives banalisant la détention des migrants et la rendant indéfinie. Dans ces environnements, l’exposition au danger devient structurelle, cumulative et diffuse – répartie entre de multiples acteurs, interfaces et choix de conception -, si bien que la violence se fragmente et se détache de tout acte ou décision unique, ce qui la rend plus difficile à contester. » 

Pourtant, cette violence est bien réelle. Des chercheurs – notamment les géographes Samuel Chambers et Geoffrey Boyce – ont depuis longtemps documenté la forte hausse du nombre de décès dans le désert de l’Arizona suite à l’installation de tours de surveillance « intelligentes », les traversées s’étant déplacées vers des zones toujours plus isolées et mortelles. Ce même « effet d’entonnoir » s’observe en mer Égée comme au Sahara. Plus récemment, fin juillet, des dizaines de milliers de personnes ont contourné à la nage les brise-lames de Ceuta (Espagne) – l’une des frontières les plus surveillées et fortifiées au monde ; plus d’une centaines d’entre elles ont péri dans des eaux pourtant scrutées par des caméras, des patrouilleurs et des capteurs. En quelques jours, vingt-deux États membres de l’UE ont réagi non pas en s’interrogeant sur les causes de ces décès aux frontières « intelligentes », mais en appelant au renforcement des frontières extérieures – ce qui, concrètement, revient à continuer le développement des infrastructures responsables de ces morts. 

Rob Nixon, dans son livre Slow Violence (Harvard university press, 2013), qualifie ce phénomène de « violence lente » : un préjudice progressif, qui s’inscrit dans la durée et ne saurait être attribué à un événement unique ; c’est précisément ce qui lui permet d’échapper à la mise en cause de responsabilité qu’un acte de violence ponctuel aurait inévitablement provoquée. Aucun responsable pris isolément ne tue qui que ce soit, et le système lui-même semble venir édulcorer la violence à l’œuvre.

Des technologies exclues de la régulation… et donc de toutes réformes

Le problème, estime Molnar, c’est qu’il semble impossible de réformer le déploiement de ces outils. L’IA Act de l’Union européenne – « la tentative la plus complète à ce jour de réguler ces technologies » – classe sur le papier les systèmes de contrôle aux frontières comme étant « à haut risque »… tout en excluant du champ de la loi les applications liées au maintien de l’ordre, à la sécurité nationale et au contrôle migratoire (domaines où les enjeux sont pourtant les plus critiques). « Cette exclusion se dédouane de ses impacts en confiant la supervision de leurs effets à des mécanismes d’auto-évaluation et de conformité interne, sans offrir de perspectives réelles de recours effectif ». Ces exceptions sont le fruit de compromis politiques : comme l’ont souligné des coalitions de la société civile telles que Protect Not Surveil. Pour Molnar, la manière dont le règlement européen sur l’IA traite la question migratoire reflète une trajectoire européenne plus large, s’éloignant de la protection des droits des personnes en mobilité pour privilégier la délocalisation des contrôles, les expulsions et l’enfermement. « Les préjudices structurels – qu’il s’agisse de personnes refoulées sans explication ou de demandeurs d’asile mal classés par des scores de risque opaques – sont ainsi requalifiés en simples défis de mise en œuvre appelant une réglementation plus robuste, tandis que les systèmes frontaliers eux-mêmes ne sont jamais remis en question. »

Pourtant, la nécrotechnique frontalière ne distribue pas la mort au hasard. « Au nom de la préservation des régimes d’apartheid, de la suprématie blanche et de l’extractivisme néocolonial occidental, le projet global de gestion moderne des frontières perpétue une répartition raciale de la richesse et de la mobilité, héritée de siècles d’impérialisme et de colonialisme – façonnée par l’extraction, l’esclavage et le tracé de ces mêmes frontières dont la traversée coûte aujourd’hui la vie à tant de personnes.»

Tendayi Achiume figure parmi les universitaires ayant avancé l’idée que le projet colonial n’a jamais vraiment pris fin, mais a simplement changé de forme. Pour elle, d’ailleurs, les migrations actuelles sont la conséquence de l’histoire coloniale et devraient être abordées comme une prolongation effective de la décolonisation, et considérer ces personnes comme des acteurs politiques exerçant leurs droits de décolonisation. « Le monde occidental demeure lié à des structures de commerce, d’extraction de ressources et d’intervention militaires qui sont autant de moyens par lesquels les États riches continuent de tirer profit des sociétés qu’ils ont autrefois officiellement dominées et d’exercer un pouvoir sur elles ». Les populations des pays anciennement colonisés ne sont pas des étrangères cherchant à intégrer des communautés politiques qui leur seraient étrangères, mais tentent, par leur migration, de reprendre du pouvoir sur un système international bâti sur leur dépossession. « À ce titre, leur migration constitue une affirmation de l’appartenance politique créée – mais jamais honorée – par l’empire ; elles revendiquent une part de la richesse et de la sécurité accumulées grâce à la subordination de leurs propres sociétés ».

La perspective réparatrice peut aller encore plus loin, rappelle Molnar. « Les pays du Nord global, qui se sont industrialisés grâce à l’extraction coloniale, sont les mêmes dont les émissions rendent aujourd’hui des régions entières du Sud global inhabitables, déplaçant ainsi les populations les moins responsables de la crise ; ce sont aussi ceux qui exportent des armes et financent les conflits poussant les gens à l’exil. Le déplacement de populations n’est pas un malheur survenant ailleurs et s’échouant par hasard à Ceuta. Il est orchestré par ces mêmes États qui, ensuite, déploient des drones et des algorithmes d’évaluation des risques contre les personnes déplacées. Or, envisager la migration sous l’angle de la réparation permet de ne plus percevoir la liberté de circulation comme un acte de charité, ni l’admission sur un territoire comme un geste de bienveillance ou de générosité. Le déplacement humain depuis les pays de la « majorité mondiale » devient alors le remboursement partiel d’une dette séculaire, une forme de réparation bien moins coûteuse pour les États d’accueil qu’un règlement formel des comptes liés à l’héritage colonial.»

« Les nécrotechnologies frontalières apparaissent clairement comme le bras armé d’un système de contrôle des frontières qui refuse de reconnaître la dette bien réelle contractée envers la majorité mondiale au fil des siècles de colonialisme et d’impérialisme. »

Molnar esquisse d’autres voies possibles pour bousculer les politiques publiques répressives envers les migrations, comme de mettre fin aux protections du secret des affaires qui permettent aux fournisseurs privés de dissimuler les taux d’erreur aux personnes qui en subissent les conséquences, exiger la transparence des marchés publics pour le complexe militaro-industriel frontalier – où des entreprises comme Elbit Systems commercialisent des technologies éprouvées au combat en Palestine pour les déployer en Arizona (comme l’avait montré le journaliste Antony Loewenstein dans son livre, The Palestine Laboratory, Penguin, 2024) – et s’engager à instaurer un moratoire sur les technologies frontalières contraires aux principes établis en matière de droits humains. Toutefois, constate l’avocate, « toute approche réformiste est vouée à l’échec si l’on ne s’attaque pas aux logiques fondamentales qui sous-tendent nos systèmes frontaliers ». En attendant, enquêter sur les nécrotechniques frontalières reste le seul moyen pour « rassembler des préjudices délibérément disséminés entre bases de données, capteurs et contrats pour en faire une structure de responsabilité unique et lisible ; c’est affirmer que les morts solitaires ne sont pas des accidents géographiques, mais bien les conséquences directes d’une conception délibérée ».

Nécrotechnologies de désinformation : de la manipulation et de l’ingérence étrangère… 

Dans un autre article pour Tech Policy Press, Petra Molnar (accompagnée de Liz Carolan de Digital Action) revient sur la crise de Ceuta de cet été, et notamment sur la désinformation qui a alimenté l’exode mortel des dizaines de milliers de Marocains vers l’enceinte espagnole. Suite à une enquête, le premier ministre espagnol, Pedro Sánchez, a accusé les réseaux de désinformation russes et israéliens qu’il a décrit comme un réseau international d’extrême droite qui « instrumentalise systématiquement les migrations pour attaquer l’Espagne et l’Europe ». M. Sánchez a affirmé que les deux gouvernements s’étaient emparés de cette affaire en raison des positions de Madrid sur les guerres en Ukraine et à Gaza, et que les enquêteurs n’avaient jusqu’à présent trouvé aucune preuve d’implication de l’État marocain. Si Israël et la Russie ont démenti, cette campagne de désinformation orchestrée sur les réseaux sociaux qui promettait un assouplissement des règles d’accueil dans l’enceinte de Ceuta, présente des similitudes frappantes avec les contenus ciblant les personnes tentant de rejoindre les États-Unis, estime Petra Molnar. « Dans les deux cas, le succès de ces campagnes de désinformation ne tient pas tant  à la crédulité des personnes qui y ont été soumises, qu’au manque de clarté, à la variabilité et à la mauvaise communication des règles de passage de frontière ». 

« Le média espagnol El Español a découvert des dizaines de faux profils sur TikTok et Instagram, se faisant passer pour de jeunes créateurs de contenu marocains ayant effectué le voyage et célébrant leur liberté retrouvée à Ceuta. Les vidéos, conçues comme du contenu d’influenceurs, contenaient souvent des conseils pratiques pour la traversée, allant de l’équipement nécessaire aux conseils pour les enfants et les personnes ne sachant pas nager. Si de nombreux comptes ont été fermés, ils ont ensuite réapparu sous de nouveaux pseudonymes. Selon un reportage de Reuters, des jeunes venus de tout le Maroc ont voyagé suite à des rumeurs et des récits circulant en ligne. C’est le cas de Dounia Kherradi, serveuse vivant à neuf heures et demie de route de Ceuta, et d’Ayoub El Abyad, 16 ans, qui a expliqué aux journalistes avoir décidé avec son cousin de faire douze heures de route jusqu’au point de passage après avoir vu des vidéos sur Instagram. La réalité était bien différente des images optimistes véhiculées par les Réels. Ceux qui avaient franchi la frontière ont raconté aux journalistes de DW News avoir dû croiser des cadavres lors de la périlleuse traversée à la nage jusqu’à Ceuta, avoir été confrontés à la violence à leur arrivée et s’être vu refuser de la nourriture dans les magasins. Ils ont ensuite compris qu’il leur était impossible de poursuivre leur route vers l’Europe et que les rumeurs étaient infondées. » 

Les techniques de désinformation utilisées à Ceuta ne sont pas nouvelles, et les vidéos partagées montrent des similitudes frappantes dans la manière dont les migrants tentent de rejoindre les États-Unis. En mars de l’année dernière, l’Associated Press a analysé des centaines de vidéos TikTok publiées par des réseaux mexicains de facilitation de l’immigration et y a retrouvé des thèmes similaires à ceux documentés par El Español du côté marocain du détroit : des musiques entraînantes, des légendes truffées d’émojis, des buggies fonçant vers le mur frontalier, des jet-skis, des hélicoptères et des tunnels proposés comme options haut de gamme, des passeurs ouvrant des cactus pour que leurs clients puissent boire, un champ de laitues avec la légende « Les champs américains sont prêts (à vous accueillir) ! », et, pour finir, le témoignage de clients des passeurs satisfaits. À Ceuta comme partout en Amérique, ces vidéos et images servent de publicité, présentant le passage de la frontière comme un simple problème logistique gérable et géré par les passeurs. La dimension commerciale de ce contenu est désormais bien établie. En Espagne, le Premier ministre avait d’abord accusé les réseaux de trafic d’êtres humains d’être responsables de cette désinformation, car ils avaient un intérêt financier aux tentatives de franchissement de la frontière. Des enquêtes ont révélé comment Meta a tiré profit du trafic de migrants et de publicités frauduleuses ciblant les personnes tentant de rejoindre les États-Unis. 

Le Tech Transparency Project a montré que Facebook et WhatsApp étaient saturés de fausses informations concernant des changements de politique et de prétendues dispositions spéciales pour les femmes enceintes et les parents voyageant avec des enfants. La rumeur ayant circulé au Maroc en juillet – selon laquelle une décision de justice aurait discrètement ouvert un passage – illustre parfaitement un schéma bien documenté ; c’est une difficulté que la couverture médiatique des événements de Ceuta a largement ignorée. « Les contenus trompeurs n’atteignent pas les migrants par un canal distinct des informations fiables ; ils leur parviennent via les mêmes fils d’actualité, sous la même forme visuelle, et souvent depuis des comptes impossibles à distinguer au premier coup d’œil. Par exemple, aux côtés des comptes éphémères, on trouve des créateurs vénézuéliens et colombiens ayant filmé leur propre traversée du bouchon du Darién (entre la Colombie et le Panama) ; certains ont accumulé des dizaines de millions de vues, leurs vidéos servant de guides pratiques indiquant les lieux d’hébergement, les coûts de transport, les points de traversée des rivières… Qu’importe si plusieurs d’entre eux précisaient explicitement qu’ils cherchaient à dissuader les gens plutôt qu’à les inciter au départ. Il s’agit de la même plateforme et du même format : pour beaucoup, les vidéos des réseaux sociaux sont la seule source d’information sur le voyage disponible dans une langue qu’ils comprennent, à un coût abordable et émanant d’une personne dont la situation ressemble à la leur. » 

… à l’exploitation de la précarité informationnelle 

Les travaux de recherche sur l’utilisation des smartphones par les réfugiés désignent par un terme précis la situation dans laquelle ils évoluent. Des chercheurs tels que Marie Gillespie, Souad Osseiran et Margie Cheesman parlent de « précarité informationnelle » : « un état d’instabilité chronique où les migrants s’appuient sur des réseaux de pairs précisément parce que les canaux officiels sont inaccessibles, non traduits, contradictoires ou ouvertement hostiles, et où ils sont exposés aux rumeurs et à la désinformation pour cette même raison. Cette vulnérabilité informationnelle résulte d’un cadre juridique qui n’apporte pratiquement aucune réponse fiable ou exploitable à la question de savoir qui peut entrer sur le territoire et selon quelles modalités.» Agir dans un contexte de pénurie d’informations reste une forme d’action autonome, mais il convient de veiller à ce que toute critique des campagnes de désinformation ne reproduise pas le vieux réflexe colonial consistant à situer le problème dans la prétendue crédulité des populations, plutôt que dans les systèmes qui, par conception, les maintiennent dans l’ignorance. 

Enfin, soulignent les chercheuses, n’oublions pas que les États sont parmi les acteurs les plus actifs de ce même écosystème informationnel. Leurs messages dissuasifs (voir cette publicité de 30 secondes passée sur les médias sociaux par la secrétaire à la sécurité intérieure américaine Kristi Noem avertissant les migrants de ne pas entrer illégalement sur le territoire américain que la présidente mexicaine a qualifié de propagande discriminatoire) passent par les mêmes canaux que la publicité des passeurs et visent les mêmes publics tout en formulant des promesses contradictoires quant à ce qui se passera à la frontière. Un double son qui finit certainement bien plus par instiller le doute qu’à le résoudre. Les messages des acteurs étatiques n’expliquent pas clairement ce qui attend les personnes qui souhaitent migrer autrement que sous formes de menaces. « Personne – ni à Rabat, ni à Madrid, ni à Washington – n’avait l’obligation de fournir aux gens des informations fiables, actualisées et accessibles ; par conséquent, personne ne l’a fait. »

Hubert Guillaud

PS : Dans une très riche enquête, la Technology Review  revient précisément sur les enjeux posés par Petra Molnar :  « Les États-Unis ont dépensé des milliards pour la surveillance des frontières. Pourquoi ne parviennent-ils pas à intercepter les personnes avant qu’elles ne meurent ? ». Lorsque José Morales Bernal a franchi la frontière pour entrer aux États-Unis le 8 avril 2024 en passant par le désert du sud du Nouveau-Mexique, il se trouvait à portée de trois tours de surveillance construites par Anduril pour le service des douanes et de la protection des frontières américain (CBP, Customs and Border Protection), équipées de caméras et de systèmes d’IA capables de détecter et suivre les individus. Mais ce ne sont pas les employés des douanes qui ont repéré M. Morales Bernal, mais des employés de la décharge locale qui l’ont retrouvé mort, à seulement 110 mètres de la tour de surveillance la plus proche.

Si le CBP affirme que ces dispositifs ont permis de sauver des vies, les décès de migrants dans le désert américain entre le Mexique et les Etats-Unis sont courants. En recoupant les informations sur quelques 4000 morts durant leur traversée collectés par les collectifs No More Deaths et Humane Borders et la base de données de localisation des 600 tours de surveillance identifiés par l’Electronic Frontier Foundation, les journalistes de la Technology Review, James O’Donnell et Eileen Guo, estiment qu’une véritable crise humanitaire se déroule sous l’oeil des caméras du gouvernement. Et ils en ont dressé la carte. Les journalistes ont recensé « 1 050 personnes décédées dans le rayon d’action des tours de surveillance frontalière entre 2015 et le début de l’année 2026. Ces décès ne résultent pas d’une défaillance de quelques tours ou technologies isolées : nous avons constaté des décès à l’intérieur de la portée annoncée de près des deux tiers des tours analysées. Notre analyse topographique – visant à déterminer dans quelle mesure le relief pouvait masquer la vue d’une tour sur un lieu de décès précis ou sur sa zone de surveillance globale – a révélé que certaines tours ne couvrent parfois que 10 % de leur zone de surveillance théorique ; toutefois, nous avons également constaté que la plupart des décès n’ont pas eu lieu dans les angles morts de ces tours. Ces décès ne sont pas la conséquence d’équipements obsolètes ». Pour les journalistes, le tableau d’ensemble révèle des défaillances répétées de l’une des fonctions de sécurité fondamentales de ce « mur virtuel », telle que décrite par le CBP dans ses communiqués : identifier et localiser efficacement les migrants entrant illégalement aux États-Unis. 

En réponse à ces accusations, Anduril a précisé qu’un incident survenant à proximité d’une de ses tours ne signifie pas nécessairement que la tour a manqué une détection, renvoyant le problème aux agents chargés de la surveillance de la CBP.  « La question cruciale, lors de tout décès survenant près du « mur virtuel », est de savoir si les autorités savaient qu’une personne se trouvait là sans parvenir à l’atteindre, ou si elles ignoraient totalement qu’une traversée était en cours. Dans les deux cas, il s’agit d’une défaillance du système. » L’enquête des journalistes souligne que les deux types de défaillances se produisent : la technologie échoue à détecter les intrusions, et les agents échouent à intervenir. 

Ces deux phénomènes illustrent les limites d’une approche consistant à miser uniquement sur la technologie pour résoudre un problème complexe. Ces conclusions mettent en lumière des problèmes inédits concernant le mur virtuel, alors même que celui-ci continue de bénéficier d’un large soutien politique et d’une augmentation des dépenses fédérales (le CBP a construit 803 tours à ce jour pour un coût de 6,2 milliards de dollars et prévoit d’en installer 1 497 autres d’ici 2034). Mais leur efficacité reste bien peu évaluée. Pour nombre de responsables politiques, les décès à proximité du mur virtuel seraient rares voire inexistants, alors que l’enquête montre que ce n’est pas le cas. Et le CBP ne mène pas d’enquête pour savoir dans ces cas si la personne avait été détectée ni pour comprendre la non intervention des agents. 

L’enquête de la Technology Review retrace l’histoire du mur virtuel pour surveiller la frontière mexicaine. L’histoire souligne que son développement tient surtout d’une volonté politique et d’une inflation de marchés publics, alors que la réalité, elle, est défaillante. Entre les caméras qui ne marchent pas et les agents qui ne veulent pas passer leur temps à regarder les images, la réalité de l’efficacité de la vidéosurveillance est toujours mise en défaut. Le CBP n’a pourtant cessé de justifier le déploiement de caméras pour assurer la sécurité des migrants, quand la réalité était plutôt leur défaillance (en 2024, des membres de la commission de la Sécurité intérieure de la Chambre des représentants ont indiqué que plus de 66 % des tours de première génération de la Border Patrol étaient hors service). 

Les tours de seconde génération ont intégré des radars pour mieux détecter les déplacements, via l’entreprise de défense israélienne Elbit, dont les systèmes de tours surveillent déjà les frontières d’Israël.  Mais là encore, cela n’a pas empêché des décès dans le champ de surveillance des tours. Enfin, si les radars étaient plus performants, la détection de mouvement générait à nouveau d’innombrables faux positifs, notamment causés par le bétail et les animaux en mouvement.

C’est Anduril qui a été retenu pour bâtir la troisième génération de tours. L’entreprise a surtout produit des algorithmes et des systèmes d’IA pour classer les éléments détectés par les radars et caméras. « Anduril a vanté la capacité de sa technologie à réduire les faux positifs, comme les cas où la faune sauvage est confondue avec des êtres humains. En revanche, l’entreprise a peu communiqué sur les faux négatifs : ces personnes que les systèmes ne parviennent pas à détecter », qui restent visiblement nombreux. Certains observateurs estiment que les tours d’Anduril auraient un taux d’erreur de 10 à 15%. Par exemple, une simple bâche recouvrant un canot pneumatique traversant le Rio Grande ou des couvertures recouvrant des marcheurs, pouvaient suffire pour que les tours détectent le mouvement sans identifier l’objet, ce qui ne déclenchait pas d’alerte. 

Le problème enfin, c’est que les données utilisées par la CBP ne sont pas accessibles pour contester ses actions et ses inactions. Pour les agents, l’efficacité des tours d’Anduril se heurte au problème récurrent du manque d’effectifs pour assurer la surveillance. Pour les journalistes cependant, « toute tentative de comprendre les dysfonctionnements est entravée par une réticence institutionnelle à mesurer le problème », concluent-ils. Seule la police des frontières peut réaliser un audit complet de ce mur virtuel, alors qu’elle en est le principal commanditaire et bénéficiaire. 

Quant à savoir si les tours dissuadent les passages, difficile à dire. Leur déploiement entraîne une baisse du nombre d’interpellations à proximité. Mais les recherches menées par le géographe Geoff Boyce montrent que leur présence incite les migrants à « emprunter des terrains plus difficiles d’accès, hors de vue », et donc possiblement plus dangereux. L’absence d’étude sur leur efficacité n’empêche pas nombre d’acteurs d’être convaincus de la nécessité de leur déploiement. Le produit phare d’Anduril semble surtout promettre à tous de déployer des solutions sans avoir à se poser de questions.

Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus riches que ceux que nous pouvons avoir aujourd’hui sur ces sujets, ont été perdus. Et plus encore, qu’ils ne semblent pas plus avoir été résolus hier qu’ils ne le sont aujourd’hui. Le profilage semble embourbé dans ses limites sans parvenir à ouvrir de voies pour les résoudre. 

La rationalité statistique est au fondement des Etats modernes, rappelle Genicot à la suite d’Alain Desrosières (La politique des grands nombres, La découverte, 1993), d’Alain Supiot (La gouvernance par les nombres, Fayard, 2015) ou encore de Theodore Porter (The Rise of Statistical Thinking, 1820-1900, Princeton University Press, 2020). Mais elle est également au fondement de l’intelligence artificielle. Les statistiques permettent à la fois de quantifier le social et de le prédire, de profiler chacun « sous le prisme d’attributs qu’il partage avec d’autres ». Nous sommes non seulement statistifiés, mais également comparés. Le profilage dont nous sommes l’objet, bien souvent par devers nous, consiste à prédire notre comportement depuis la comparaison avec celui des autres à partir des régularités du passé. Partout, nous sommes notés, prédits, quelque soit la marge de certitude ou d’incertitude des traitements et inférences. Le calcul est normalisé, naturalisé par un score, une note. Que ce soit pour s’assurer, emprunter, se loger, obtenir un emploi, recevoir des allocations, être mis en relation avec d’autres…  Pour Genicot, ce profilage, ce scoring, les appariements qui en découlent, sont des techniques de régulation, des outils de gouvernementalité. Mais, alors que la loi s’applique à tous de la même façon, le profilage, lui, permettrait de s’adapter aux caractéristiques de chacun. Pour le philosophe du droit, il promet d’individualiser le droit pour « pleinement réaliser le principe d’égalité », pour produire des « règles sur mesure ». Tout l’enjeu du livre consiste justement à vérifier cela. Est-ce que le profilage remplit cette promesse ? Est-ce qu’il rend la justice plus juste ? 

Des débats de calculs

Pour déplier ses constats, Genicot observe trois milieux où se déploient, presque concomitant des techniques de profilage : le travail, l’assurance et le crédit. Dans chaque secteur, Genicot révèle, extirpe des archives les débats de l’époque. Et ceux-ci sont étonnement nourris. Les calculs d’alors viennent avec des questions. La science balbutiante s’interroge, quand l’ingénierie d’aujourd’hui semble avancer comme un rouleau compresseur, sans vraiment s’interroger des défaillances que ses calculs produisent ou des limites que la statistique atteint, comme le relevait danah boyd il y a quelques années (et qui vient de donner lieu à un livre qui sera publié le 29 septembre aux presses de l’université de Chicago, Data Are Made, Not Found: A Story of Politics, Power, and the Civil Servants Who Saved the US Census). 

Les pratiques de profilage, rappelle-t-il, sont antérieures à la naissance de l’informatique, même si l’informatique va leur permettre de se déployer et de s’étendre sans commune mesure. Les premières classifications sont produites pour distinguer les capacités des élèves en créant des tests mentaux et d’aptitudes avec la psychologie différentielle. Les mathématiques servent alors à mesurer l’intensité et la qualité des sensations, la vitesse de réaction… pour mesurer les différences interindividuelles et caractériser les populations en marge de la société : les aliénés, les criminels, les pauvres, les anormaux. Derrière ces tentatives pour améliorer la justice en permettant aux politiques publiques de s’adapter aux profils de chacun s’amalgame des capacités de discriminations inédites porté par tout un courant eugéniste comme le montrera le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme (Odile Jacob, 1997) ou plus récemment Kate Crawford dans son Contre-atlas de l’intelligence artificielle  (Zulma, 2022, voire également notre critique). Les tests mentaux visent à diagnostiquer les enfants anormaux dans le contexte de l’instauration de l’obligation scolaire, avec, pour ses promoteurs, une volonté d’améliorer la justice sociale. 

Le terme même de profilage naît pour décrire cette mise en nombre des individus, en 1909 et s’accompagne, dès l’origine, d’un mode de production graphique pour relier les résultats aux différents tests. Au-delà de l’école, les tests vont rapidement être appliqués à l’orientation et à la sélection professionnelle, pour mieux faire correspondre les profils psychologiques aux métiers. Genicot, en plongeant par exemple dans les travaux de Jean-Maurice Lahy, dans les années 30, nous montre que les ingénieurs de l’IA n’ont rien inventé. On produit des tests psychologiques sur deux groupes de travailleurs, les bons et les mauvais (selon une distinction déjà pleine de biais, puisqu’elle ne repose que sur l’appréciation de chefs de services et le nombre de fautes professionnelles recensées) pour produire des métriques distinctives. Test qu’on peut ensuite faire passer à tout requérant pour mesurer si ses caractéristiques sont plus proches de l’un ou l’autre groupe. On tente de mesurer l’énergie, l’endurance, la concentration, la capacité d’initiative… via des tests psychométriques qui ne vont cesser de s’affiner. On les fait passer à une galerie de métiers pour tenter d’identifier ce qui singularise chaque secteur… Le profilage est dès l’origine une comparaison aux attributs statistiques des autres. « L’essence du profilage consiste à prédire une variable cachée (ici : une aptitude) de manière probabiliste, c’est-à-dire sur la base de caractéristiques (ici : les résultats obtenus à des tests psychotechniques) qui sont fortement corrélées à cette variable ». On le voit, malgré leurs efforts à « désubjectiver les méthodes d’appréciation », ces techniques les réifient. Les conditions sociales sont invisibilisées dans les capacités des individus : « le profilage réduit des situations sociales à des propriétés individuelles » et les biais de l’entité qui profilent sont passés sous silence. 

Pas étonnant que ces tests professionnels soient donc contestés. Leur caractère discriminatoire en termes de genre, de niveau social, d’origine… se dévoile à mesure que ces profilages se répandent. Les tests d’aptitudes professionnels montrent par exemple que 58% des Américains blancs les réussissent contre seulement 6% des personnes noires. Les débats pour rétablir l’équité se démultiplient alors. Faut-il différencier ces tests selon l’âge, le genre, l’origine ? Ce n’est qu’en 1991 que les Etats-Unis tranchent en prohibant les pratiques d’ajustement des scores selon l’appartenance à un groupe protégé. Mais si le débat est tranché, il n’est pas réglé. J’ai l’impression que l’enjeu de corriger les biais reste entier. Aujourd’hui encore, on ne sait pas vraiment comment les corriger. Comme si les débats, tranchés par le droit, les avait arrêtés, sans stopper les pratiques ni les problèmes afférents. 

Avec le développement du numérique, le profilage va s’amplifier. Le big data permettant de démultiplier le profilage psychologique, malgré toutes les limites de ces tests, comme nous le disaient il y a quelques années déjà le psychologue Alexandre Saint-Jevin. En fait, le profilage va également s’étendre, comme celui des chercheurs d’emploi, initié au prétexte de mieux les accompagner et qui va surtout servir à les sanctionner et faire peser sur eux des contraintes plus importantes (sans que ce contrôle ne produise aucun horizon, comme nous disions en disséquant Chômeurs, vos papiers (Raisons d’agir, 2023), qui soulignait l’inefficacité du contrôle du chômage). Il va conduire également à un recrutement de plus en plus automatisé, où les systèmes calculent (un peu n’importe comment il faut le dire) la correspondance d’un CV à une annonce. Pour Genicot, la « logique corrélationnelle » se répand et s’impose partout, jusque dans l’évaluation des employés sur leurs lieux de travail. L’appréciation des individus par des variables qui ne lui sont jamais propres se couple d’une comparaison statistique des résultats de chacun évalués par rapport à ceux d’un groupe. Le profilage tient tout entier dans ce rapport étrange de soi aux autres, où les limites des métriques utilisées sont invisibilisées par les ratios et indicateurs produits. Comme si finalement les chiffres pouvaient assurer d’une neutralité de façade, d’une neutralité dont les limites ne sont plus interrogées. Les scores de risques sont partout défaillants, il n’empêche qu’ils ne cessent d’être produits et utilisés, comme nous le pointions en lisant Jathan Sadowski.  

En observant les débats du monde assurantiel comme ceux du secteur bancaire, Nathan Genicot montre les mêmes ambiguïtés. 

Quelles discriminations acceptons-nous ?

La sélection des assurés et la tarification des primes sont depuis longtemps rattachées au calcul de probabilités. L’assurance va prendre son essor au XVIIIe siècle après l’essor de l’arithmétique politique qui invente un siècle plus tôt les premières tables de mortalité qui décrivent le nombre de décès par âge. Le risque assurantiel s’est longtemps apprécié au niveau du groupe, plus qu’au niveau individuel, là où la condition de chacun est affectée par la condition des autres. Il faudra néanmoins attendre la loi de 1898 qui impose au patron d’indemniser les salariés victimes d’accidents du travail, pour faire de l’assurance le gage de la réparation. Les assureurs se mettent à sélectionner les risques qu’ils veulent couvrir comme les assurés. Ils comprennent vite que « plus le profilage est affiné, c’est-à-dire plus il y a sélection et tarification différenciées, moins il y a de solidarité ». Une constance simple que tout le monde semble avoir oublié à l’ère du Big Data. 

A défaut de parvenir à identifier d’autres attributs pertinents, l’âge s’impose souvent comme une catégorie principale, notamment pour l’assurance vie. Genicot souligne que le débat a été constant entre individualisation et solidarité. L’assurance n’a cessé de chercher des variables pertinentes. Derrière ces débats, on en voit poindre un autre, plus philosophique s’il en était : quelles segmentations – et donc quelles discriminations – acceptons-nous en tant que société ? Et lesquelles refusons-nous ? Si tout le monde semble accepter celle de l’âge, la discrimination de genre ou sociale par exemple le sont bien moins. Et les débats sur la discrimination d’origine, aux Etats-Unis, décalque des rapports de domination de la société, sont nourris. L’intégration du comportement et du mode de vie aujourd’hui dans le calcul assurantiel reste souvent polémique, à raison, puisqu’il incrimine l’individu et masque les différences créées par les rapports sociaux. 

Comme partout ailleurs, les assureurs produisent des scores pour calculer l’assurabilité de chacun. Les assureurs ne vont cesser de développer un discours pour justifier la segmentation qui leur profite en promouvant des calculs qui seraient dénués de connotation morale, alors que nombre d’entre eux vont user et abuser de pratiques problématiques, par exemple en tenant compte de la domiciliation pour faire grimper les primes des populations racisées par rapport à celles des riches (et blanches) banlieues américaines. Pourtant souligne Genicot, malgré les critiques acerbes contre les pratiques du secteur, peu de monde interroge « la prétention à atteindre l’objectivité dans l’évaluation des risques actuariels. La pertinence du recours aux classifications ne fait, à peu de choses près, pas l’objet de débats ». Pire, comme le soulignait la sociologue Greta Krippner, l’individualisation du risque semble bien plus la conséquence de la lutte contre les pratiques discriminatoires des marchés de l’assurance plutôt que liée à l’émergence du néolibéralisme. Bon, cela ne signifie pas pour autant que l’évolution du capitalisme est absente de la segmentation assurantielle. Celle est stimulée par la liberté tarifaire, et renforcée par les progrès de l’informatique qui va permettre de démultiplier les variables et de faire disparaître les discriminations derrières la complexité des critères. 

La régulation va bien sûr s’inviter dans ces innombrables débats, par exemple en encadrant les tarifs pour prémunir l’exclusion de certains publics, ou en écartant certaines formes de segmentation les plus criantes et problématiques, comme celles sur la religion, le sexe, l’origine ethnique ou la génétique… mais sans remettre en cause nombre de pratiques problématiques. En fait, derrière les débats nourris, la société semble n’être pas parvenue à fourbir de règles claires ne permettant pas les contournements. L’interdiction de faire des distinctions de genre par exemple n’a pas conduit à limiter les possibilités de segmentations, mais à conduit à utiliser des critères plus précis, comme s’y essaie l’assurance avec la prise en compte des comportements, à l’image de la conduite automobile elle-même. Une personnalisation dans laquelle l’assurance oublie sa fonction initiale : celle de mutualiser les risques. 

Genicot rappelle pourtant que l’assurance, pour fonctionner, doit reposer sur une segmentation modérée. Même constat quant au calcul du crédit et de son risque, né lui aussi avec l’essor des techniques statistiques. Dès l’origine, portés par les grands magasins pour faciliter la consommation, ceux-ci déploient des formulaires standardisés pour classer les performances de remboursements des clients. Là encore, « l’apparente objectivité de la classification n’empêche pas la présence d’une large part d’arbitraire dans l’attribution de la note ». Si la standardisation s’impose pour réduire le pouvoir discrétionnaire des agents, la statistique va s’y imposer dès les années 50 en développant des scores pour évaluer les capacités de remboursements de chacun. Enfin, pas seulement. A mesure qu’ils se déploient, là encore, les scores se complexifient, cachant dans leurs critères leurs innombrables jugements moraux et sociaux. En 1963 par exemple, les variables d’un fournisseur de score prennent en compte toute information disponible : le taux de crédit déjà engagé et les revenus bien sûr, mais aussi le statut marital et la profession, en passant par le fait d’être syndiqué. Derrière cette complexification des scores, c’est assurément notre compréhension commune qui s’éloigne, et avec elle, notre capacité à les réguler. Les innombrables facteurs pris en compte servent à obfusquer la discrimination raciale ou de classe à l’oeuvre. On apprend à utiliser des variables très éloignées des nécessités, simplement parce qu’elles peuvent être de bons prédicateurs, comme le fait d’avoir déjà un compte bancaire, ce qui est le cas de 87% de ceux qui paient leurs échéances de crédits… au risque que ces calculs accentuent les biais inhérents. Pas étonnant que, désormais, les économistes eux-mêmes estiment que les banques ne savent plus prêter à ceux qui en ont besoin. C’est comme si, à mesure qu’ils se perpétuent, les calculs se radicalisaient d’eux-mêmes. Comme l’IA semble s’écrouler à mesure qu’elle s’entraîne sur les données qu’elle produit, les calculs de la société semblent s’effondrer sur eux-mêmes à force d’être usés. Les scores de crédits, dont le célèbre Fico Score qui naît en 1956, se développent pourtant dans un contexte de compétition forte, promettant d’élargir le crédit aux plus pauvres. Il s’impose vite comme une métrique universelle… et immuable.

L’informatisation va permettre de renchérir le score de nouvelles variables, notamment cette des cartes de paiements électroniques qui permet de rendre les notes de risques dynamiques. Genicot rappelle que les notes ont une fonction disciplinaire. Elles font penser qu’elle dépend du comportement de chacun quand elles masquent d’abord des enjeux sociaux et de classe. Pire, malgré leurs lacunes intrinsèques, elles sont désormais utilisées pour d’innombrables autres services au prétexte d’un « besoin commercial légitime » : pour louer un logement, pour assurer une voiture, pour être embauché… « Tous utilisent la note de crédit comme un proxy, un indictateur du trait de comportement qu’ils cherchent à évaluer (tel que le fait d’être un bon locataire ou un bon employé) ». Le score de crédit devient un « outil de mesure de la moralité », alors qu’il est surtout, comme le disait Frank Pasquale dans Black Box Society (Fyp, 2015) opaque, arbitraire et discriminatoire. Les scores ne servent pas tant à clarifier les choses, disait-il, mais à les rendre plus obscures. 

Or, les scores modifient le réel qu’ils entendent décrire. Et à mesure que leur usage s’étend, radicalisent leurs effets. « Une mauvaise note entraînera un taux d’intérêt plus élevé, c’est-à-dire des conditions de remboursement plus difficiles pour la personne débitrice, ce qui accroîtra sa précarité économique. Si la note est prise en compte par des bailleurs ou des employeurs, l’incidence de cet effet de boucle sera d’autant plus significative. Une personne qui, à cause d’une mauvaise note, ne trouve pas d’emploi ou ne parvient pas à se loger, aura du mal à rembourser ses crédits et verra sa note diminuer encore davantage ». C’est en cela que les calculs se radicalisent, qu’ils renforcent le « lumpenscoretariat » qu’évoquaient Marion Fourcade et Kieran Healy. 

Là encore, des régulations seront votées pour encadrer les pratiques, mais sans vraiment parvenir à agir autrement qu’en limitant les pratiques les plus discriminantes. Derrière la neutralité des scores se cache l’accélération des biais. Même un score qui ne reposerait que sur les capacités financières des individus, serait foncièrement problématique puisque les capacités à rembourser sont loin d’être équitablement distribuées. Si l’enjeu est bien de prêter de l’argent aux gens, le score, par nature, vise bien plus à limiter le prêt qu’autre chose. Pas étonnant qu’on se retrouve donc avec des organismes bancaires incapables de faire leur métier : prêter de l’argent à ceux qui en ont besoin ! L’information sur les décisions de crédits prises par les organismes, sur leur distribution, la mesure de leur équité… elle est bien souvent inaccessible. Les critères des scoring ou l’étendu des situations où ils sont utilisés également. Les innombrables données peuvent être désormais utilisées comme des prédicteurs de votre capacité de remboursement, également. Partout, l’opacité du scoring est la règle. Quand on voit par exemple le nombre de gens débancarisés, on se dit que les scores de crédit semblent surtout avoir appris, eux, à masquer leurs lacunes. 

Le risque d’un droit… sur mesure

L’essai de Nathan Genicot est bien plus sage que ma lecture énervée. Il souligne néanmoins combien les modèles statistiques et algorithmiques s’imposent dans tous ces secteurs « pour optimiser la prise de décision en se substituant au jugement humain ». Ils imposent l’idée que l’individu est seul responsable de ses notes, faisant fi du contexte social. Mais plus encore, il estime que le risque de ces calculs, de ces profilages, consiste à produire des règles de plus en plus individualisées, au risque d’altérer notre conception du droit lui-même, pour remplacer la règle qui s’applique à tous, par un droit sur mesure, calculé selon le profil de chacun. 

Dans la dernière partie du livre, il revient sur la critique d’une conception mécanique du droit : les peines similaires, impersonnelles, uniformes, à tous ont longtemps été considérées comme un idéal d’objectivité et de justice. L’impersonnalité des processus décisionnels étant vu comme un rempart contre l’arbitraire et un gage de prévisibilité. Mais là encore, au début du XXe siècle, cette conception est critiquée au prétexte que les conditions et le contexte sont toujours significatifs. A l’égalité succède le principe d’équité, et avec lui, l’idée d’une individualisation des peines pour que le droit soit le même pour tous, à l’image de la critique de la TVA ou des contraventions et amendes, qui s’appliquent à tous au même taux, même à Bernard Arnault, alors que leur impact ne sont pas les mêmes selon les revenus des justiciables. Bon, il existe bien sûr des moyens d’y remédier, en fixant par exemples des critères ou des seuils. Car, comme le souligne très justement le philosophe, le problème de l’individualisation est qu’elle n’a pas de limite. On peut personnaliser selon d’innombrables variables, comme nous le montre le marketing numérique. 

Dans les revues académiques du droit, actuellement, le débat est visiblement vif sur ces questions. La rêve d’automatisation invite certains à imaginer d’adapter la loi aux situations au grès des circonstances, à ajuster et calibrer les standards. Mais comment trouver le bon niveau pour traiter à la fois « les mêmes situations de la même manière » et « traiter différemment des situations différentes » ? « Un consommateur impulsif qui réalise régulièrement des achats en ligne pourrait par exemple se voir imposer des conditions plus strictes avant de pouvoir renvoyer un produit et se faire rembourser qu’un consommateur qui aurait, au contraire, un tempérament responsable et prudent ». Certes, mais sur quelles données, quelles inférences serait produit ce jugement comportemental ? Et serait-il lui-même juste, opposable, redevable ? On a un peu l’impression que ces perspectives oublient toutes les limites pointées par les débats passés que l’auteur a mis en avant dans sa généalogie. 

Pour Genicot, « la substitution des systèmes normatifs classiques par des dispositifs de profilage est déjà à l’œuvre », notamment dans les rapports de l’Etat à ses administrés. C’était le cas notamment, dans les années 70 avec le système GAMIN, un des premiers dispositif public de profilage pour conditionner le versement d’allocation familiales. C’est également le cas avec le profilage des bénéficiaires de la CAF et nombre d’autres outils de gestion du social que nous évoquons souvent sur danslesalgorithmes.net. Du profilage des chômeurs aux contrôles des frontières, l’individualisation et le profilage sont partout, mais ils produisent assez peu d’équité et encore moins d’égalité, au contraire. Le profilage produit surtout des conditions plus dures pour les plus vulnérables. L’optimisation prédictive partout où elle se déploie fonctionne mal, cela n’empêche hélas pas le développement d’innombrables formes de notations sociales. 

Pour Genicot, l’interdiction des notations sociales dans ce contexte par l’IA Act est le bienvenue, mais c’est oublier que le texte les rend licite plus qu’elle ne les interdit. Le RIA ne propose que de les encadrer, que de veiller à ce que les notes ne soient ni disproportionnées ni dissociées du contexte de leur production. Le fait que certains soient à haut risque ne fait peser sur eux qu’une surveillance accrue. Il ne vise pas à rendre les notes plus justes qu’elles ne sont. Ils ne nous invitent finalement pas à questionner la société. Il ne nous invite pas à changer la manière dont on calcule, ni ne nous aide à nous défier de l’enkystement des calculs. Il ne nous invite pas à changer la société, alors que demain, pour changer la société, il faudra assurément changer la manière dont elle est calculée. La personnalisation du droit, le profilage administratif, nous invite seulement à continuer la société telle qu’elle est. « Le profilage est profondément conservateur », rappelle le philosophe. « Le profilage conduit donc à créer des traitements différenciés dont il prétend cependant qu’ils sont conformes à l’égalité », sans offrir à la société les moyens de le vérifier. Ce n’est là que la parole des profileurs. Les innombrables enquêtes sur le sujet, notamment sur le profilage social, depuis les travaux pionniers de Virginia Eubanks, montrent toutes l’exact inverse. Aucun n’est conforme à l’égalité. En reposant sur l’individualisation et la responsabilisation de chacun, il est « l’exact inverse de la solidarité ». Le profilage « conduit à l’oblitération des relations et, plus largement du social. Le rapport de l’individu aux autres n’est jamais compris comme celui d’une interdépendance, mais uniquement comme une comparaison à une classe, à une collection d’individus ». « Les notes obscurcissent la dimension structurelle des inégalités sociales ». Et en s’imposant, elles nous empêchent finalement de les remettre en question. 

Au final, l’enquête historique de Nathan Genicot nous rappelle que pour changer la société, il va falloir changer la manière dont elle calcule. 

Hubert Guillaud

Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus riches que ceux que nous pouvons avoir aujourd’hui sur ces sujets, ont été perdus. Et plus encore, qu’ils ne semblent pas plus avoir été résolus hier qu’ils ne le sont aujourd’hui. Le profilage semble embourbé dans ses limites sans parvenir à ouvrir de voies pour les résoudre. 

La rationalité statistique est au fondement des Etats modernes, rappelle Genicot à la suite d’Alain Desrosières (La politique des grands nombres, La découverte, 1993), d’Alain Supiot (La gouvernance par les nombres, Fayard, 2015) ou encore de Theodore Porter (The Rise of Statistical Thinking, 1820-1900, Princeton University Press, 2020). Mais elle est également au fondement de l’intelligence artificielle. Les statistiques permettent à la fois de quantifier le social et de le prédire, de profiler chacun « sous le prisme d’attributs qu’il partage avec d’autres ». Nous sommes non seulement statistifiés, mais également comparés. Le profilage dont nous sommes l’objet, bien souvent par devers nous, consiste à prédire notre comportement depuis la comparaison avec celui des autres à partir des régularités du passé. Partout, nous sommes notés, prédits, quelque soit la marge de certitude ou d’incertitude des traitements et inférences. Le calcul est normalisé, naturalisé par un score, une note. Que ce soit pour s’assurer, emprunter, se loger, obtenir un emploi, recevoir des allocations, être mis en relation avec d’autres…  Pour Genicot, ce profilage, ce scoring, les appariements qui en découlent, sont des techniques de régulation, des outils de gouvernementalité. Mais, alors que la loi s’applique à tous de la même façon, le profilage, lui, permettrait de s’adapter aux caractéristiques de chacun. Pour le philosophe du droit, il promet d’individualiser le droit pour « pleinement réaliser le principe d’égalité », pour produire des « règles sur mesure ». Tout l’enjeu du livre consiste justement à vérifier cela. Est-ce que le profilage remplit cette promesse ? Est-ce qu’il rend la justice plus juste ? 

Des débats de calculs

Pour déplier ses constats, Genicot observe trois milieux où se déploient, presque concomitant des techniques de profilage : le travail, l’assurance et le crédit. Dans chaque secteur, Genicot révèle, extirpe des archives les débats de l’époque. Et ceux-ci sont étonnement nourris. Les calculs d’alors viennent avec des questions. La science balbutiante s’interroge, quand l’ingénierie d’aujourd’hui semble avancer comme un rouleau compresseur, sans vraiment s’interroger des défaillances que ses calculs produisent ou des limites que la statistique atteint, comme le relevait danah boyd il y a quelques années (et qui vient de donner lieu à un livre qui sera publié le 29 septembre aux presses de l’université de Chicago, Data Are Made, Not Found: A Story of Politics, Power, and the Civil Servants Who Saved the US Census). 

Les pratiques de profilage, rappelle-t-il, sont antérieures à la naissance de l’informatique, même si l’informatique va leur permettre de se déployer et de s’étendre sans commune mesure. Les premières classifications sont produites pour distinguer les capacités des élèves en créant des tests mentaux et d’aptitudes avec la psychologie différentielle. Les mathématiques servent alors à mesurer l’intensité et la qualité des sensations, la vitesse de réaction… pour mesurer les différences interindividuelles et caractériser les populations en marge de la société : les aliénés, les criminels, les pauvres, les anormaux. Derrière ces tentatives pour améliorer la justice en permettant aux politiques publiques de s’adapter aux profils de chacun s’amalgame des capacités de discriminations inédites porté par tout un courant eugéniste comme le montrera le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme (Odile Jacob, 1997) ou plus récemment Kate Crawford dans son Contre-atlas de l’intelligence artificielle  (Zulma, 2022, voire également notre critique). Les tests mentaux visent à diagnostiquer les enfants anormaux dans le contexte de l’instauration de l’obligation scolaire, avec, pour ses promoteurs, une volonté d’améliorer la justice sociale. 

Le terme même de profilage naît pour décrire cette mise en nombre des individus, en 1909 et s’accompagne, dès l’origine, d’un mode de production graphique pour relier les résultats aux différents tests. Au-delà de l’école, les tests vont rapidement être appliqués à l’orientation et à la sélection professionnelle, pour mieux faire correspondre les profils psychologiques aux métiers. Genicot, en plongeant par exemple dans les travaux de Jean-Maurice Lahy, dans les années 30, nous montre que les ingénieurs de l’IA n’ont rien inventé. On produit des tests psychologiques sur deux groupes de travailleurs, les bons et les mauvais (selon une distinction déjà pleine de biais, puisqu’elle ne repose que sur l’appréciation de chefs de services et le nombre de fautes professionnelles recensées) pour produire des métriques distinctives. Test qu’on peut ensuite faire passer à tout requérant pour mesurer si ses caractéristiques sont plus proches de l’un ou l’autre groupe. On tente de mesurer l’énergie, l’endurance, la concentration, la capacité d’initiative… via des tests psychométriques qui ne vont cesser de s’affiner. On les fait passer à une galerie de métiers pour tenter d’identifier ce qui singularise chaque secteur… Le profilage est dès l’origine une comparaison aux attributs statistiques des autres. « L’essence du profilage consiste à prédire une variable cachée (ici : une aptitude) de manière probabiliste, c’est-à-dire sur la base de caractéristiques (ici : les résultats obtenus à des tests psychotechniques) qui sont fortement corrélées à cette variable ». On le voit, malgré leurs efforts à « désubjectiver les méthodes d’appréciation », ces techniques les réifient. Les conditions sociales sont invisibilisées dans les capacités des individus : « le profilage réduit des situations sociales à des propriétés individuelles » et les biais de l’entité qui profilent sont passés sous silence. 

Pas étonnant que ces tests professionnels soient donc contestés. Leur caractère discriminatoire en termes de genre, de niveau social, d’origine… se dévoile à mesure que ces profilages se répandent. Les tests d’aptitudes professionnels montrent par exemple que 58% des Américains blancs les réussissent contre seulement 6% des personnes noires. Les débats pour rétablir l’équité se démultiplient alors. Faut-il différencier ces tests selon l’âge, le genre, l’origine ? Ce n’est qu’en 1991 que les Etats-Unis tranchent en prohibant les pratiques d’ajustement des scores selon l’appartenance à un groupe protégé. Mais si le débat est tranché, il n’est pas réglé. J’ai l’impression que l’enjeu de corriger les biais reste entier. Aujourd’hui encore, on ne sait pas vraiment comment les corriger. Comme si les débats, tranchés par le droit, les avait arrêtés, sans stopper les pratiques ni les problèmes afférents. 

Avec le développement du numérique, le profilage va s’amplifier. Le big data permettant de démultiplier le profilage psychologique, malgré toutes les limites de ces tests, comme nous le disaient il y a quelques années déjà le psychologue Alexandre Saint-Jevin. En fait, le profilage va également s’étendre, comme celui des chercheurs d’emploi, initié au prétexte de mieux les accompagner et qui va surtout servir à les sanctionner et faire peser sur eux des contraintes plus importantes (sans que ce contrôle ne produise aucun horizon, comme nous disions en disséquant Chômeurs, vos papiers (Raisons d’agir, 2023), qui soulignait l’inefficacité du contrôle du chômage). Il va conduire également à un recrutement de plus en plus automatisé, où les systèmes calculent (un peu n’importe comment il faut le dire) la correspondance d’un CV à une annonce. Pour Genicot, la « logique corrélationnelle » se répand et s’impose partout, jusque dans l’évaluation des employés sur leurs lieux de travail. L’appréciation des individus par des variables qui ne lui sont jamais propres se couple d’une comparaison statistique des résultats de chacun évalués par rapport à ceux d’un groupe. Le profilage tient tout entier dans ce rapport étrange de soi aux autres, où les limites des métriques utilisées sont invisibilisées par les ratios et indicateurs produits. Comme si finalement les chiffres pouvaient assurer d’une neutralité de façade, d’une neutralité dont les limites ne sont plus interrogées. Les scores de risques sont partout défaillants, il n’empêche qu’ils ne cessent d’être produits et utilisés, comme nous le pointions en lisant Jathan Sadowski.  

En observant les débats du monde assurantiel comme ceux du secteur bancaire, Nathan Genicot montre les mêmes ambiguïtés. 

Quelles discriminations acceptons-nous ?

La sélection des assurés et la tarification des primes sont depuis longtemps rattachées au calcul de probabilités. L’assurance va prendre son essor au XVIIIe siècle après l’essor de l’arithmétique politique qui invente un siècle plus tôt les premières tables de mortalité qui décrivent le nombre de décès par âge. Le risque assurantiel s’est longtemps apprécié au niveau du groupe, plus qu’au niveau individuel, là où la condition de chacun est affectée par la condition des autres. Il faudra néanmoins attendre la loi de 1898 qui impose au patron d’indemniser les salariés victimes d’accidents du travail, pour faire de l’assurance le gage de la réparation. Les assureurs se mettent à sélectionner les risques qu’ils veulent couvrir comme les assurés. Ils comprennent vite que « plus le profilage est affiné, c’est-à-dire plus il y a sélection et tarification différenciées, moins il y a de solidarité ». Une constance simple que tout le monde semble avoir oublié à l’ère du Big Data. 

A défaut de parvenir à identifier d’autres attributs pertinents, l’âge s’impose souvent comme une catégorie principale, notamment pour l’assurance vie. Genicot souligne que le débat a été constant entre individualisation et solidarité. L’assurance n’a cessé de chercher des variables pertinentes. Derrière ces débats, on en voit poindre un autre, plus philosophique s’il en était : quelles segmentations – et donc quelles discriminations – acceptons-nous en tant que société ? Et lesquelles refusons-nous ? Si tout le monde semble accepter celle de l’âge, la discrimination de genre ou sociale par exemple le sont bien moins. Et les débats sur la discrimination d’origine, aux Etats-Unis, décalque des rapports de domination de la société, sont nourris. L’intégration du comportement et du mode de vie aujourd’hui dans le calcul assurantiel reste souvent polémique, à raison, puisqu’il incrimine l’individu et masque les différences créées par les rapports sociaux. 

Comme partout ailleurs, les assureurs produisent des scores pour calculer l’assurabilité de chacun. Les assureurs ne vont cesser de développer un discours pour justifier la segmentation qui leur profite en promouvant des calculs qui seraient dénués de connotation morale, alors que nombre d’entre eux vont user et abuser de pratiques problématiques, par exemple en tenant compte de la domiciliation pour faire grimper les primes des populations racisées par rapport à celles des riches (et blanches) banlieues américaines. Pourtant souligne Genicot, malgré les critiques acerbes contre les pratiques du secteur, peu de monde interroge « la prétention à atteindre l’objectivité dans l’évaluation des risques actuariels. La pertinence du recours aux classifications ne fait, à peu de choses près, pas l’objet de débats ». Pire, comme le soulignait la sociologue Greta Krippner, l’individualisation du risque semble bien plus la conséquence de la lutte contre les pratiques discriminatoires des marchés de l’assurance plutôt que liée à l’émergence du néolibéralisme. Bon, cela ne signifie pas pour autant que l’évolution du capitalisme est absente de la segmentation assurantielle. Celle est stimulée par la liberté tarifaire, et renforcée par les progrès de l’informatique qui va permettre de démultiplier les variables et de faire disparaître les discriminations derrières la complexité des critères. 

La régulation va bien sûr s’inviter dans ces innombrables débats, par exemple en encadrant les tarifs pour prémunir l’exclusion de certains publics, ou en écartant certaines formes de segmentation les plus criantes et problématiques, comme celles sur la religion, le sexe, l’origine ethnique ou la génétique… mais sans remettre en cause nombre de pratiques problématiques. En fait, derrière les débats nourris, la société semble n’être pas parvenue à fourbir de règles claires ne permettant pas les contournements. L’interdiction de faire des distinctions de genre par exemple n’a pas conduit à limiter les possibilités de segmentations, mais à conduit à utiliser des critères plus précis, comme s’y essaie l’assurance avec la prise en compte des comportements, à l’image de la conduite automobile elle-même. Une personnalisation dans laquelle l’assurance oublie sa fonction initiale : celle de mutualiser les risques. 

Genicot rappelle pourtant que l’assurance, pour fonctionner, doit reposer sur une segmentation modérée. Même constat quant au calcul du crédit et de son risque, né lui aussi avec l’essor des techniques statistiques. Dès l’origine, portés par les grands magasins pour faciliter la consommation, ceux-ci déploient des formulaires standardisés pour classer les performances de remboursements des clients. Là encore, « l’apparente objectivité de la classification n’empêche pas la présence d’une large part d’arbitraire dans l’attribution de la note ». Si la standardisation s’impose pour réduire le pouvoir discrétionnaire des agents, la statistique va s’y imposer dès les années 50 en développant des scores pour évaluer les capacités de remboursements de chacun. Enfin, pas seulement. A mesure qu’ils se déploient, là encore, les scores se complexifient, cachant dans leurs critères leurs innombrables jugements moraux et sociaux. En 1963 par exemple, les variables d’un fournisseur de score prennent en compte toute information disponible : le taux de crédit déjà engagé et les revenus bien sûr, mais aussi le statut marital et la profession, en passant par le fait d’être syndiqué. Derrière cette complexification des scores, c’est assurément notre compréhension commune qui s’éloigne, et avec elle, notre capacité à les réguler. Les innombrables facteurs pris en compte servent à obfusquer la discrimination raciale ou de classe à l’oeuvre. On apprend à utiliser des variables très éloignées des nécessités, simplement parce qu’elles peuvent être de bons prédicateurs, comme le fait d’avoir déjà un compte bancaire, ce qui est le cas de 87% de ceux qui paient leurs échéances de crédits… au risque que ces calculs accentuent les biais inhérents. Pas étonnant que, désormais, les économistes eux-mêmes estiment que les banques ne savent plus prêter à ceux qui en ont besoin. C’est comme si, à mesure qu’ils se perpétuent, les calculs se radicalisaient d’eux-mêmes. Comme l’IA semble s’écrouler à mesure qu’elle s’entraîne sur les données qu’elle produit, les calculs de la société semblent s’effondrer sur eux-mêmes à force d’être usés. Les scores de crédits, dont le célèbre Fico Score qui naît en 1956, se développent pourtant dans un contexte de compétition forte, promettant d’élargir le crédit aux plus pauvres. Il s’impose vite comme une métrique universelle… et immuable.

L’informatisation va permettre de renchérir le score de nouvelles variables, notamment cette des cartes de paiements électroniques qui permet de rendre les notes de risques dynamiques. Genicot rappelle que les notes ont une fonction disciplinaire. Elles font penser qu’elle dépend du comportement de chacun quand elles masquent d’abord des enjeux sociaux et de classe. Pire, malgré leurs lacunes intrinsèques, elles sont désormais utilisées pour d’innombrables autres services au prétexte d’un « besoin commercial légitime » : pour louer un logement, pour assurer une voiture, pour être embauché… « Tous utilisent la note de crédit comme un proxy, un indictateur du trait de comportement qu’ils cherchent à évaluer (tel que le fait d’être un bon locataire ou un bon employé) ». Le score de crédit devient un « outil de mesure de la moralité », alors qu’il est surtout, comme le disait Frank Pasquale dans Black Box Society (Fyp, 2015) opaque, arbitraire et discriminatoire. Les scores ne servent pas tant à clarifier les choses, disait-il, mais à les rendre plus obscures. 

Or, les scores modifient le réel qu’ils entendent décrire. Et à mesure que leur usage s’étend, radicalisent leurs effets. « Une mauvaise note entraînera un taux d’intérêt plus élevé, c’est-à-dire des conditions de remboursement plus difficiles pour la personne débitrice, ce qui accroîtra sa précarité économique. Si la note est prise en compte par des bailleurs ou des employeurs, l’incidence de cet effet de boucle sera d’autant plus significative. Une personne qui, à cause d’une mauvaise note, ne trouve pas d’emploi ou ne parvient pas à se loger, aura du mal à rembourser ses crédits et verra sa note diminuer encore davantage ». C’est en cela que les calculs se radicalisent, qu’ils renforcent le « lumpenscoretariat » qu’évoquaient Marion Fourcade et Kieran Healy. 

Là encore, des régulations seront votées pour encadrer les pratiques, mais sans vraiment parvenir à agir autrement qu’en limitant les pratiques les plus discriminantes. Derrière la neutralité des scores se cache l’accélération des biais. Même un score qui ne reposerait que sur les capacités financières des individus, serait foncièrement problématique puisque les capacités à rembourser sont loin d’être équitablement distribuées. Si l’enjeu est bien de prêter de l’argent aux gens, le score, par nature, vise bien plus à limiter le prêt qu’autre chose. Pas étonnant qu’on se retrouve donc avec des organismes bancaires incapables de faire leur métier : prêter de l’argent à ceux qui en ont besoin ! L’information sur les décisions de crédits prises par les organismes, sur leur distribution, la mesure de leur équité… elle est bien souvent inaccessible. Les critères des scoring ou l’étendu des situations où ils sont utilisés également. Les innombrables données peuvent être désormais utilisées comme des prédicteurs de votre capacité de remboursement, également. Partout, l’opacité du scoring est la règle. Quand on voit par exemple le nombre de gens débancarisés, on se dit que les scores de crédit semblent surtout avoir appris, eux, à masquer leurs lacunes. 

Le risque d’un droit… sur mesure

L’essai de Nathan Genicot est bien plus sage que ma lecture énervée. Il souligne néanmoins combien les modèles statistiques et algorithmiques s’imposent dans tous ces secteurs « pour optimiser la prise de décision en se substituant au jugement humain ». Ils imposent l’idée que l’individu est seul responsable de ses notes, faisant fi du contexte social. Mais plus encore, il estime que le risque de ces calculs, de ces profilages, consiste à produire des règles de plus en plus individualisées, au risque d’altérer notre conception du droit lui-même, pour remplacer la règle qui s’applique à tous, par un droit sur mesure, calculé selon le profil de chacun. 

Dans la dernière partie du livre, il revient sur la critique d’une conception mécanique du droit : les peines similaires, impersonnelles, uniformes, à tous ont longtemps été considérées comme un idéal d’objectivité et de justice. L’impersonnalité des processus décisionnels étant vu comme un rempart contre l’arbitraire et un gage de prévisibilité. Mais là encore, au début du XXe siècle, cette conception est critiquée au prétexte que les conditions et le contexte sont toujours significatifs. A l’égalité succède le principe d’équité, et avec lui, l’idée d’une individualisation des peines pour que le droit soit le même pour tous, à l’image de la critique de la TVA ou des contraventions et amendes, qui s’appliquent à tous au même taux, même à Bernard Arnault, alors que leur impact ne sont pas les mêmes selon les revenus des justiciables. Bon, il existe bien sûr des moyens d’y remédier, en fixant par exemples des critères ou des seuils. Car, comme le souligne très justement le philosophe, le problème de l’individualisation est qu’elle n’a pas de limite. On peut personnaliser selon d’innombrables variables, comme nous le montre le marketing numérique. 

Dans les revues académiques du droit, actuellement, le débat est visiblement vif sur ces questions. La rêve d’automatisation invite certains à imaginer d’adapter la loi aux situations au grès des circonstances, à ajuster et calibrer les standards. Mais comment trouver le bon niveau pour traiter à la fois « les mêmes situations de la même manière » et « traiter différemment des situations différentes » ? « Un consommateur impulsif qui réalise régulièrement des achats en ligne pourrait par exemple se voir imposer des conditions plus strictes avant de pouvoir renvoyer un produit et se faire rembourser qu’un consommateur qui aurait, au contraire, un tempérament responsable et prudent ». Certes, mais sur quelles données, quelles inférences serait produit ce jugement comportemental ? Et serait-il lui-même juste, opposable, redevable ? On a un peu l’impression que ces perspectives oublient toutes les limites pointées par les débats passés que l’auteur a mis en avant dans sa généalogie. 

Pour Genicot, « la substitution des systèmes normatifs classiques par des dispositifs de profilage est déjà à l’œuvre », notamment dans les rapports de l’Etat à ses administrés. C’était le cas notamment, dans les années 70 avec le système GAMIN, un des premiers dispositif public de profilage pour conditionner le versement d’allocation familiales. C’est également le cas avec le profilage des bénéficiaires de la CAF et nombre d’autres outils de gestion du social que nous évoquons souvent sur danslesalgorithmes.net. Du profilage des chômeurs aux contrôles des frontières, l’individualisation et le profilage sont partout, mais ils produisent assez peu d’équité et encore moins d’égalité, au contraire. Le profilage produit surtout des conditions plus dures pour les plus vulnérables. L’optimisation prédictive partout où elle se déploie fonctionne mal, cela n’empêche hélas pas le développement d’innombrables formes de notations sociales. 

Pour Genicot, l’interdiction des notations sociales dans ce contexte par l’IA Act est le bienvenue, mais c’est oublier que le texte les rend licite plus qu’elle ne les interdit. Le RIA ne propose que de les encadrer, que de veiller à ce que les notes ne soient ni disproportionnées ni dissociées du contexte de leur production. Le fait que certains soient à haut risque ne fait peser sur eux qu’une surveillance accrue. Il ne vise pas à rendre les notes plus justes qu’elles ne sont. Ils ne nous invitent finalement pas à questionner la société. Il ne nous invite pas à changer la manière dont on calcule, ni ne nous aide à nous défier de l’enkystement des calculs. Il ne nous invite pas à changer la société, alors que demain, pour changer la société, il faudra assurément changer la manière dont elle est calculée. La personnalisation du droit, le profilage administratif, nous invite seulement à continuer la société telle qu’elle est. « Le profilage est profondément conservateur », rappelle le philosophe. « Le profilage conduit donc à créer des traitements différenciés dont il prétend cependant qu’ils sont conformes à l’égalité », sans offrir à la société les moyens de le vérifier. Ce n’est là que la parole des profileurs. Les innombrables enquêtes sur le sujet, notamment sur le profilage social, depuis les travaux pionniers de Virginia Eubanks, montrent toutes l’exact inverse. Aucun n’est conforme à l’égalité. En reposant sur l’individualisation et la responsabilisation de chacun, il est « l’exact inverse de la solidarité ». Le profilage « conduit à l’oblitération des relations et, plus largement du social. Le rapport de l’individu aux autres n’est jamais compris comme celui d’une interdépendance, mais uniquement comme une comparaison à une classe, à une collection d’individus ». « Les notes obscurcissent la dimension structurelle des inégalités sociales ». Et en s’imposant, elles nous empêchent finalement de les remettre en question. 

Au final, l’enquête historique de Nathan Genicot nous rappelle que pour changer la société, il va falloir changer la manière dont elle calcule. 

Hubert Guillaud