Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».

Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.

La vitesse du progrès est plus linéaire qu’on le pense 

« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie« , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers: How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.

En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».

Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées. 

Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer. 

L’IA va rester sous contrôle 

Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – ​​qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisé pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en terme de vitesse, d’où le fait que nous les ayons développé surtout dans les domaines où la vitesse est en jeu.  

“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.

Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.

Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques. 

La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les Etats-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant. 

Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs. 

Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes. 

Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.

Politiques de l’IA

Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs. 

Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, il proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.

Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large. 

Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.

Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.

Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque. 

Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.

Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.

Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».

Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.

La vitesse du progrès est plus linéaire qu’on le pense 

« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie« , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers: How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.

En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».

Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées. 

Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer. 

L’IA va rester sous contrôle 

Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – ​​qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisé pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en terme de vitesse, d’où le fait que nous les ayons développé surtout dans les domaines où la vitesse est en jeu.  

“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.

Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.

Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques. 

La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les Etats-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant. 

Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs. 

Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes. 

Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.

Politiques de l’IA

Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs. 

Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, il proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.

Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large. 

Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.

Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.

Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque. 

Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.

Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.

“Le respect des droits fondamentaux des étrangers est un marqueur essentiel du degré de protection des droits et des libertés dans un pays”, disait très clairement le Défenseur des droits en 2016. Le rapport pointait déjà très bien nombre de dérives : atteintes aux droits constantes, exclusions du droit commun, surveillances spécifiques et invasives… Près de 10 ans plus tard, contexte politique aidant, on ne sera pas étonné que ces atteintes se soient dégradées. Les réformes législatives en continue (118 textes depuis 1945, dit un bilan du Monde) n’ont pas aidé et ne cessent de dégrader non seulement le droit, mais également les services publics dédiés. Ce qu’il se passe aux Etats-Unis n’est pas une exception. 

Voilà longtemps que le droit des étrangers en France est plus que malmené. Voilà longtemps que les associations et autorités indépendantes qui surveillent ses évolutions le dénoncent. Des travaux des associations comme la Cimade, à ceux des autorités indépendantes, comme le Défenseur des droits ou la Cour des comptes, en passant par les travaux de chercheurs et de journalistes, les preuves ne cessent de s’accumuler montrant l’instrumentalisation mortifère de ce qui ne devrait être pourtant qu’un droit parmi d’autres. 

Dans un petit livre simple et percutant, France, Terre d’écueils (Rue de l’échiquier, 2025, 112 pages), l’avocate Marianne Leloup-Dassonville explique, très concrètement, comment agit la maltraitance administrative à l’égard de 5,6 millions d’étrangers qui vivent en France. Marianne Leloup-Dassonville, avocate spécialisée en droit des étrangers et administratrice de l’association Droits d’urgence, nous montre depuis sa pratique les défaillances de l’administration à destination des étrangers. Une administration mise au pas, au service d’un propos politique de plus en plus déconnecté des réalités, qui concentre des pratiques mortifères et profondément dysfonctionnelles, dont nous devrions nous alarmer, car ces pratiques portent en elles des menaces pour le fonctionnement du droit et des services publics. A terme, les dysfonctionnements du droit des étrangers pourraient devenir un modèle de maltraitance à appliquer à tous les autres services publics. 

Le dysfonctionnement des services publics à destination des étrangers est caractérisé par plusieurs maux, détaille Marianne Leloup-Dassonville. Ce sont d’abord des services publics indisponibles, ce sont partout des droits à minima et qui se réduisent, ce sont partout des procédures à rallonge, où aucune instruction n’est disponible dans un délai “normal”. Ce sont enfin une suspicion et une persécution systématique. L’ensemble produit un empêchement organisé qui a pour but de diminuer l’accès au droit, d’entraver la régularisation. Ce que Marianne Leloup-Dassonville dessine dans son livre, c’est que nous ne sommes pas seulement confrontés à des pratiques problématiques, mais des pratiques systémiques qui finissent par faire modèle. 

Indisponibilité et lenteur systémique

France, Terre d’écueils décrit d’abord des chaînes de dysfonctionnements administratifs. Par des exemples simples et accessibles, l’avocate donne de l’épaisseur à l’absurdité qui nous saisit face à la déshumanisation des étrangers dans les parcours d’accès aux droits. Nul n’accepterait pour quiconque ce que ces services font subir aux publics auxquels ils s’adressent. L’une des pratiques les plus courantes dans ce domaine, c’est l’indisponibilité d’un service : service téléphonique qui ne répond jamais, site web de prise de rendez-vous sans proposition de rendez-vous, dépôts sans récépissés, dossier auquel il n’est pas possible d’accéder ou de mettre à jour… Autant de pratiques qui sont là pour faire patienter c’est-à-dire pour décourager… et qui nécessitent de connaître les mesures de contournements qui ne sont pas dans la procédure officielle donc, comme de documenter l’indisponibilité d’un site par la prise de capture d’écran répétée, permettant de faire un recours administratif pour obliger le service à proposer un rendez-vous à un requérant. 

Toutes les procédures que l’avocate décrit sont interminables. Toutes oeuvrent à décourager comme si ce découragement était le seul moyen pour désengorger des services partout incapables de répondre à l’afflux des demandes. Si tout est kafkaïen dans ce qui est décrit ici, on est surtout marqué par la terrible lenteur des procédures, rallongées de recours eux-mêmes interminables. Par exemple, l’Ofpra (Office Français de Protection des Réfugiés et Apatrides) statue en moyenne sur une demande d’asile en 4 mois, mais souvent par un refus. Pour une procédure de recours, la CNDA (Cour nationale du droit d’asile) met en moyenne 12 à 24 mois à réétudier un dossier. Quand un ressortissant étranger obtient le statut de réfugié, il devrait obtenir un titre de séjour dans les 3 mois. En réalité, les cartes de séjour et les actes d’état civils mettent de longs mois à être produits (douze mois en moyenne) ce qui prive les étrangers de nombreux droits sociaux, comme de pouvoir s’inscrire à France Travail ou de bénéficier des allocations familiales, du droit du travail. Même constat à l’AES (admission exceptionnelle au séjour). Depuis 2023, la demande d’AES se fait en ligne et consiste à enregistrer quelques documents pour amorcer la procédure. Mais les préfectures ne font de retour que 6 mois après le dépôt de la demande. Un rendez-vous n’est proposé bien souvent qu’encore une année plus tard, soit en moyenne 18 mois entre la demande initiale et le premier rendez-vous, et ce uniquement pour déposer un dossier. L’instruction qui suit, elle, prend entre 18 et 24 mois. Il faut donc compter à minima 3 à 4 années pour une demande de régularisation ! Sans compter qu’en cas de refus (ce qui est plutôt majoritairement le cas), il faut ajouter la durée de la procédure de recours au tribunal administratif. Même chose en cas de refus de visa injustifié, qui nécessite plus de 2 ans de procédure pour obtenir concrètement le papier permettant de revenir en France. 

C’est un peu comme s’il fallait patienter des années pour obtenir un rendez-vous chez un dermatologue pour vérifier un grain de beauté inquiétant ou plusieurs mois pour obtenir des papiers d’identité. Dans le domaine du droit des étrangers, la dégradation des services publics semble seulement plus prononcée qu’ailleurs.

Droits minimaux et décisions discrétionnaires

Le dysfonctionnement que décrit l’avocate n’est pas qu’administratif, il est également juridique. Dans le domaine de la demande d’asile par exemple, il n’existe pas de procédure d’appel, qui est pourtant une garantie simple et forte d’une justice équitable. Les demandeurs ayant été refusés peuvent demander un réexamen qui a souvent lieu dans le cadre de procédures « accélérées ». Mais cette accélération là ne consiste pas à aller plus vite, elle signifie seulement que la décision sera prise par un juge unique, et donc, potentiellement, moins équitable.

L’admission exceptionnelle au séjour (AES), autre possibilité pour obtenir une naturalisation, nécessite elle de faire une demande à la préfecture de son domicile. Même si cette admission est bornée de conditions concrètes très lourdes (promesse d’embauche, présence sur le territoire depuis 3 ans, bulletins de salaires sur au moins 2 ans…), le préfet exerce ici une compétence discrétionnaire, puisqu’il évalue seul les demandes. « En matière de naturalisation, l’administration a un très large pouvoir d’appréciation », souligne l’avocate. Même constat quant aux demandes de naturalisation, tout aussi compliquées que les autres demandes. L’entretien de naturalisation par exemple, qu’avait étudié le sociologue Abdellali Hajjat dans son livre, Les frontières de l’identité nationale, a tout d’une sinécure. Il consiste en un entretien discrétionnaire, sans procès verbal ni enregistrement, sans programme pour se préparer à y répondre. Ce n’est pas qu’un test de culture général d’ailleurs auquel nombre de Français auraient du mal à répondre, puisque de nombreuses questions ne relèvent pas d’un QCM, mais sont appréciatives. Il n’y a même pas de score minimal à obtenir, comme ce peut-être le cas dans d’autres pays, comme le Royaume-Uni. Vous pouvez répondre juste aux questions… et être refusé.

Suspicion, persécution et empêchement systématiques

Le fait de chercher à empêcher les demandeurs d’asile d’accéder à un travail (en janvier 2024, une loi anti-immigration, une de plus, est même venue interdire à ceux qui ne disposent pas de titre de séjour d’obtenir un statut d’entrepreneur individuel) créé en fait une surcouche de dysfonctionnements et de coûts qui sont non seulement contre-productifs, mais surtout rendent la vie impossible aux étrangers présents sur le territoire. Et ce alors que 90% des personnes en situation irrégulière travaillent quand même, comme le souligne France Stratégies dans son rapport sur l’impact de l’immigration sur le marché du travail. En fait, en les empêchant de travailler, nous produisons une surcouche de violences : pour travailler, les sans-papiers produisent les titres de séjour d’un tiers, à qui seront adressés les bulletins de salaires. Tiers qui prélèvent une commission de 30 à 50% sur ces revenus, comme le montrait l’excellent film de Boris Lokjine, L’histoire de Souleymane.

Parce que le lien de paternité ou de maternité créé un droit pour l’enfant et pour le compagnon ou la compagne, la suspicion de mariage blanc est devenue systématique quand elle était avant un signe d’intégration, comme le rappelait le rapport du mouvement des amoureux aux ban publics. Enquêtes intrusives, abusives, surveillance policière, maires qui s’opposent aux unions (sans en avoir le droit)… Alors qu’on ne comptait que 345 mariages annulés en 2009 (soit moins de 0,5% des unions mixtes) et une trentaine de condamnations pénales par an, 100% des couples mixtes subissent des discriminations administratives. Le soupçon mariage blanc permet surtout de masquer les défaillances et le racisme de l’administration française. Ici comme ailleurs, le soupçon de fraude permet de faire croire à tous que ce sont les individus qui sont coupables des lacunes de l’administration française. 

Une politique du non accueil perdu dans ses amalgames

France, terre d’écueils, nous montre le parcours du combattant que représente partout la demande à acquérir la nationalité. L’ouvrage nous montre ce que la France impose à ceux qui souhaitent y vivre, en notre nom. Une politique de non accueil qui a de quoi faire honte. 

Ces dérives juridiques et administratives sont nées de l’amalgame sans cesse renouvelé à nous faire confondre immigration et délinquance. C’est ce que symbolise aujourd’hui le délires sur les OQTF. L’OQTF est une décision administrative prise par les préfectures à l’encontre d’un étranger en situation irrégulière, lui imposant un départ avec ou sans délai. Or, contrairement à ce que l’on ne cesse de nous faire croire, les OQTF ne concernent pas uniquement des individus dangereux, bien au contraire. La grande majorité des personnes frappées par des OQTF ne sont coupables d’aucun délit, rappelle Marianne Leloup-Dassonville. Elles sont d’abord un objectif chiffré. Les préfectures les démultiplent alors qu’elles sont très souvent annulées par les tribunaux. La France en émet plus de 100 000 par an et en exécute moins de 7000. Elle émet 30% des OQTF de toute l’Europe. Les services préfectoraux dédiés sont surchargés et commettent des “erreurs de droit” comme le dit très pudiquement la Cour des comptes dans son rapport sur la lutte contre l’immigration irrégulière. Le contentieux des étrangers représente 41% des affaires des tribunaux administratifs en 2023 (contre 30% en 2016) et 55% des affaires des cours d’appel, comme le rappelait Mediapart. La plupart des OQTF concernent des ressortissants étrangers qui n’ont jamais commis d’infraction (ou des infractions mineures et anciennes). Nombre d’entre elles sont annulées, nombre d’autres ne peuvent pas être exécutées. Peut-on sortir de cette spirale inutile, se demande l’avocate ?

Nous misons désormais bien plus sur une fausse sécurité que sur la sûreté. La sûreté, rappelle l’avocate, c’est la garantie que les libertés individuelles soient respectées, contre une arrestation, un emprisonnement ou une condamnation arbitraire. La sûreté nous garantit une administration équitable et juste. C’est elle que nous perdons en nous enfermant dans un délire sécuritaire qui a perdu contact avec la réalité. Les témoignages que livre Marianne Leloup-Dassonville montrent des personnes plutôt privilégiées, traumatisées par leurs rapports à l’administration française. Les étrangers sont partout assimilés à des délinquants comme les bénéficiaires de droits sociaux sont assimilés à des fraudeurs.

A lire le court ouvrage de Marianne Leloup-Dassonville, on se dit que nous devrions nous doter d’un observatoire de la maltraitance administrative pour éviter qu’elle ne progresse et qu’elle ne contamine toutes les autres administrations. Nous devons réaffirmer que l’administration ne peut se substituer nulle part à la justice, car c’est assurément par ce glissement là qu’on entraîne tous les autres. 

Hubert Guillaud

PS : Au Royaume-Uni, le ministère de l’intérieur souhaite introduire deux outils d’IA dans les processus de décisions de demande d’asile d’après une étude pilote : une pour résumer les informations des dossiers, l’autre pour trouver des informations sur les pays d’origine des demandeurs d’asile. Une façon de renforcer là-bas, la boîte noire des décisions, au prétexte d’améliorer « la vitesse » de décision plutôt que leur qualité, comme le souligne une étude critique. Comme quoi, on peut toujours imaginer pire pour encore dégrader ce qui l’est déjà considérablement.

MAJ du 23/05/2025 : L’extension des prérogatives de l’administration au détriment du droit, permettant de contourner la justice sur l’application de mesures restreignant les libertés individuelles, à un nom, nous apprend Blast, l’« administrativisation », et permet des sanctions sans garanties de justice et d’appliquer des sanctions sans preuves.

“Le respect des droits fondamentaux des étrangers est un marqueur essentiel du degré de protection des droits et des libertés dans un pays”, disait très clairement le Défenseur des droits en 2016. Le rapport pointait déjà très bien nombre de dérives : atteintes aux droits constantes, exclusions du droit commun, surveillances spécifiques et invasives… Près de 10 ans plus tard, contexte politique aidant, on ne sera pas étonné que ces atteintes se soient dégradées. Les réformes législatives en continue (118 textes depuis 1945, dit un bilan du Monde) n’ont pas aidé et ne cessent de dégrader non seulement le droit, mais également les services publics dédiés. Ce qu’il se passe aux Etats-Unis n’est pas une exception. 

Voilà longtemps que le droit des étrangers en France est plus que malmené. Voilà longtemps que les associations et autorités indépendantes qui surveillent ses évolutions le dénoncent. Des travaux des associations comme la Cimade, à ceux des autorités indépendantes, comme le Défenseur des droits ou la Cour des comptes, en passant par les travaux de chercheurs et de journalistes, les preuves ne cessent de s’accumuler montrant l’instrumentalisation mortifère de ce qui ne devrait être pourtant qu’un droit parmi d’autres. 

Dans un petit livre simple et percutant, France, Terre d’écueils (Rue de l’échiquier, 2025, 112 pages), l’avocate Marianne Leloup-Dassonville explique, très concrètement, comment agit la maltraitance administrative à l’égard de 5,6 millions d’étrangers qui vivent en France. Marianne Leloup-Dassonville, avocate spécialisée en droit des étrangers et administratrice de l’association Droits d’urgence, nous montre depuis sa pratique les défaillances de l’administration à destination des étrangers. Une administration mise au pas, au service d’un propos politique de plus en plus déconnecté des réalités, qui concentre des pratiques mortifères et profondément dysfonctionnelles, dont nous devrions nous alarmer, car ces pratiques portent en elles des menaces pour le fonctionnement du droit et des services publics. A terme, les dysfonctionnements du droit des étrangers pourraient devenir un modèle de maltraitance à appliquer à tous les autres services publics. 

Le dysfonctionnement des services publics à destination des étrangers est caractérisé par plusieurs maux, détaille Marianne Leloup-Dassonville. Ce sont d’abord des services publics indisponibles, ce sont partout des droits à minima et qui se réduisent, ce sont partout des procédures à rallonge, où aucune instruction n’est disponible dans un délai “normal”. Ce sont enfin une suspicion et une persécution systématique. L’ensemble produit un empêchement organisé qui a pour but de diminuer l’accès au droit, d’entraver la régularisation. Ce que Marianne Leloup-Dassonville dessine dans son livre, c’est que nous ne sommes pas seulement confrontés à des pratiques problématiques, mais des pratiques systémiques qui finissent par faire modèle. 

Indisponibilité et lenteur systémique

France, Terre d’écueils décrit d’abord des chaînes de dysfonctionnements administratifs. Par des exemples simples et accessibles, l’avocate donne de l’épaisseur à l’absurdité qui nous saisit face à la déshumanisation des étrangers dans les parcours d’accès aux droits. Nul n’accepterait pour quiconque ce que ces services font subir aux publics auxquels ils s’adressent. L’une des pratiques les plus courantes dans ce domaine, c’est l’indisponibilité d’un service : service téléphonique qui ne répond jamais, site web de prise de rendez-vous sans proposition de rendez-vous, dépôts sans récépissés, dossier auquel il n’est pas possible d’accéder ou de mettre à jour… Autant de pratiques qui sont là pour faire patienter c’est-à-dire pour décourager… et qui nécessitent de connaître les mesures de contournements qui ne sont pas dans la procédure officielle donc, comme de documenter l’indisponibilité d’un site par la prise de capture d’écran répétée, permettant de faire un recours administratif pour obliger le service à proposer un rendez-vous à un requérant. 

Toutes les procédures que l’avocate décrit sont interminables. Toutes oeuvrent à décourager comme si ce découragement était le seul moyen pour désengorger des services partout incapables de répondre à l’afflux des demandes. Si tout est kafkaïen dans ce qui est décrit ici, on est surtout marqué par la terrible lenteur des procédures, rallongées de recours eux-mêmes interminables. Par exemple, l’Ofpra (Office Français de Protection des Réfugiés et Apatrides) statue en moyenne sur une demande d’asile en 4 mois, mais souvent par un refus. Pour une procédure de recours, la CNDA (Cour nationale du droit d’asile) met en moyenne 12 à 24 mois à réétudier un dossier. Quand un ressortissant étranger obtient le statut de réfugié, il devrait obtenir un titre de séjour dans les 3 mois. En réalité, les cartes de séjour et les actes d’état civils mettent de longs mois à être produits (douze mois en moyenne) ce qui prive les étrangers de nombreux droits sociaux, comme de pouvoir s’inscrire à France Travail ou de bénéficier des allocations familiales, du droit du travail. Même constat à l’AES (admission exceptionnelle au séjour). Depuis 2023, la demande d’AES se fait en ligne et consiste à enregistrer quelques documents pour amorcer la procédure. Mais les préfectures ne font de retour que 6 mois après le dépôt de la demande. Un rendez-vous n’est proposé bien souvent qu’encore une année plus tard, soit en moyenne 18 mois entre la demande initiale et le premier rendez-vous, et ce uniquement pour déposer un dossier. L’instruction qui suit, elle, prend entre 18 et 24 mois. Il faut donc compter à minima 3 à 4 années pour une demande de régularisation ! Sans compter qu’en cas de refus (ce qui est plutôt majoritairement le cas), il faut ajouter la durée de la procédure de recours au tribunal administratif. Même chose en cas de refus de visa injustifié, qui nécessite plus de 2 ans de procédure pour obtenir concrètement le papier permettant de revenir en France. 

C’est un peu comme s’il fallait patienter des années pour obtenir un rendez-vous chez un dermatologue pour vérifier un grain de beauté inquiétant ou plusieurs mois pour obtenir des papiers d’identité. Dans le domaine du droit des étrangers, la dégradation des services publics semble seulement plus prononcée qu’ailleurs.

Droits minimaux et décisions discrétionnaires

Le dysfonctionnement que décrit l’avocate n’est pas qu’administratif, il est également juridique. Dans le domaine de la demande d’asile par exemple, il n’existe pas de procédure d’appel, qui est pourtant une garantie simple et forte d’une justice équitable. Les demandeurs ayant été refusés peuvent demander un réexamen qui a souvent lieu dans le cadre de procédures « accélérées ». Mais cette accélération là ne consiste pas à aller plus vite, elle signifie seulement que la décision sera prise par un juge unique, et donc, potentiellement, moins équitable.

L’admission exceptionnelle au séjour (AES), autre possibilité pour obtenir une naturalisation, nécessite elle de faire une demande à la préfecture de son domicile. Même si cette admission est bornée de conditions concrètes très lourdes (promesse d’embauche, présence sur le territoire depuis 3 ans, bulletins de salaires sur au moins 2 ans…), le préfet exerce ici une compétence discrétionnaire, puisqu’il évalue seul les demandes. « En matière de naturalisation, l’administration a un très large pouvoir d’appréciation », souligne l’avocate. Même constat quant aux demandes de naturalisation, tout aussi compliquées que les autres demandes. L’entretien de naturalisation par exemple, qu’avait étudié le sociologue Abdellali Hajjat dans son livre, Les frontières de l’identité nationale, a tout d’une sinécure. Il consiste en un entretien discrétionnaire, sans procès verbal ni enregistrement, sans programme pour se préparer à y répondre. Ce n’est pas qu’un test de culture général d’ailleurs auquel nombre de Français auraient du mal à répondre, puisque de nombreuses questions ne relèvent pas d’un QCM, mais sont appréciatives. Il n’y a même pas de score minimal à obtenir, comme ce peut-être le cas dans d’autres pays, comme le Royaume-Uni. Vous pouvez répondre juste aux questions… et être refusé.

Suspicion, persécution et empêchement systématiques

Le fait de chercher à empêcher les demandeurs d’asile d’accéder à un travail (en janvier 2024, une loi anti-immigration, une de plus, est même venue interdire à ceux qui ne disposent pas de titre de séjour d’obtenir un statut d’entrepreneur individuel) créé en fait une surcouche de dysfonctionnements et de coûts qui sont non seulement contre-productifs, mais surtout rendent la vie impossible aux étrangers présents sur le territoire. Et ce alors que 90% des personnes en situation irrégulière travaillent quand même, comme le souligne France Stratégies dans son rapport sur l’impact de l’immigration sur le marché du travail. En fait, en les empêchant de travailler, nous produisons une surcouche de violences : pour travailler, les sans-papiers produisent les titres de séjour d’un tiers, à qui seront adressés les bulletins de salaires. Tiers qui prélèvent une commission de 30 à 50% sur ces revenus, comme le montrait l’excellent film de Boris Lokjine, L’histoire de Souleymane.

Parce que le lien de paternité ou de maternité créé un droit pour l’enfant et pour le compagnon ou la compagne, la suspicion de mariage blanc est devenue systématique quand elle était avant un signe d’intégration, comme le rappelait le rapport du mouvement des amoureux aux ban publics. Enquêtes intrusives, abusives, surveillance policière, maires qui s’opposent aux unions (sans en avoir le droit)… Alors qu’on ne comptait que 345 mariages annulés en 2009 (soit moins de 0,5% des unions mixtes) et une trentaine de condamnations pénales par an, 100% des couples mixtes subissent des discriminations administratives. Le soupçon mariage blanc permet surtout de masquer les défaillances et le racisme de l’administration française. Ici comme ailleurs, le soupçon de fraude permet de faire croire à tous que ce sont les individus qui sont coupables des lacunes de l’administration française. 

Une politique du non accueil perdu dans ses amalgames

France, terre d’écueils, nous montre le parcours du combattant que représente partout la demande à acquérir la nationalité. L’ouvrage nous montre ce que la France impose à ceux qui souhaitent y vivre, en notre nom. Une politique de non accueil qui a de quoi faire honte. 

Ces dérives juridiques et administratives sont nées de l’amalgame sans cesse renouvelé à nous faire confondre immigration et délinquance. C’est ce que symbolise aujourd’hui le délires sur les OQTF. L’OQTF est une décision administrative prise par les préfectures à l’encontre d’un étranger en situation irrégulière, lui imposant un départ avec ou sans délai. Or, contrairement à ce que l’on ne cesse de nous faire croire, les OQTF ne concernent pas uniquement des individus dangereux, bien au contraire. La grande majorité des personnes frappées par des OQTF ne sont coupables d’aucun délit, rappelle Marianne Leloup-Dassonville. Elles sont d’abord un objectif chiffré. Les préfectures les démultiplent alors qu’elles sont très souvent annulées par les tribunaux. La France en émet plus de 100 000 par an et en exécute moins de 7000. Elle émet 30% des OQTF de toute l’Europe. Les services préfectoraux dédiés sont surchargés et commettent des “erreurs de droit” comme le dit très pudiquement la Cour des comptes dans son rapport sur la lutte contre l’immigration irrégulière. Le contentieux des étrangers représente 41% des affaires des tribunaux administratifs en 2023 (contre 30% en 2016) et 55% des affaires des cours d’appel, comme le rappelait Mediapart. La plupart des OQTF concernent des ressortissants étrangers qui n’ont jamais commis d’infraction (ou des infractions mineures et anciennes). Nombre d’entre elles sont annulées, nombre d’autres ne peuvent pas être exécutées. Peut-on sortir de cette spirale inutile, se demande l’avocate ?

Nous misons désormais bien plus sur une fausse sécurité que sur la sûreté. La sûreté, rappelle l’avocate, c’est la garantie que les libertés individuelles soient respectées, contre une arrestation, un emprisonnement ou une condamnation arbitraire. La sûreté nous garantit une administration équitable et juste. C’est elle que nous perdons en nous enfermant dans un délire sécuritaire qui a perdu contact avec la réalité. Les témoignages que livre Marianne Leloup-Dassonville montrent des personnes plutôt privilégiées, traumatisées par leurs rapports à l’administration française. Les étrangers sont partout assimilés à des délinquants comme les bénéficiaires de droits sociaux sont assimilés à des fraudeurs.

A lire le court ouvrage de Marianne Leloup-Dassonville, on se dit que nous devrions nous doter d’un observatoire de la maltraitance administrative pour éviter qu’elle ne progresse et qu’elle ne contamine toutes les autres administrations. Nous devons réaffirmer que l’administration ne peut se substituer nulle part à la justice, car c’est assurément par ce glissement là qu’on entraîne tous les autres. 

Hubert Guillaud

PS : Au Royaume-Uni, le ministère de l’intérieur souhaite introduire deux outils d’IA dans les processus de décisions de demande d’asile d’après une étude pilote : une pour résumer les informations des dossiers, l’autre pour trouver des informations sur les pays d’origine des demandeurs d’asile. Une façon de renforcer là-bas, la boîte noire des décisions, au prétexte d’améliorer « la vitesse » de décision plutôt que leur qualité, comme le souligne une étude critique. Comme quoi, on peut toujours imaginer pire pour encore dégrader ce qui l’est déjà considérablement.

MAJ du 23/05/2025 : L’extension des prérogatives de l’administration au détriment du droit, permettant de contourner la justice sur l’application de mesures restreignant les libertés individuelles, à un nom, nous apprend Blast, l’« administrativisation », et permet des sanctions sans garanties de justice et d’appliquer des sanctions sans preuves.

A l’heure où, aux Etats-Unis, le FBI, les services d’immigration et de police se mettent à poursuivre les ressortissants étrangers pour les reconduire aux frontières, sur Tech Policy Press, l’activiste Dia Kayyali rappelle que les Etats-Unis ont une longue histoire de chasse aux opposants politiques et aux étrangers. Du MacCarthysme au 11 septembre, les crises politiques ont toujours renforcé la surveillance des citoyens et plus encore des ressortissants d’origine étrangère. Le Brennan Center for Justice a publié en 2022 un rapport sur la montée de l’utilisation des réseaux sociaux dans ces activités de surveillance et rappelle que ceux-ci sont massivement mobilisés pour la surveillance des opposants politiques, notamment depuis Occupy et depuis 2014 pour le contrôle des demandes d’immigration et les contrôles aux frontières, rappelle The Verge. 

Le premier projet de loi du second mandat de Donald Trump était un texte concernant l’immigration clandestine, nous rappelle Le Monde. C’est un texte qui propose la détention automatique par les forces de l’ordre fédérales de migrants en situation irrégulière qui ont été accusés, condamnés ou inculpés pour certains délits, mêmes mineurs, comme le vol à l’étalage. 

La lutte contre l’immigration est au cœur de la politique du président américain, qui dénonce une “invasion” et annonce vouloir déporter 11 millions d’immigrants illégaux, au risque que le tissu social des Etats-Unis, nation d’immigrants, se déchire, rappelait The Guardian. Dès janvier, l’administration Trump a mis fin à l’application CBP One, seule voie pour les demandeurs d’asile désirant entrer légalement sur le territoire des Etats-Unis pour prendre rendez-vous avec l’administration douanière américaine et régulariser leur situation. La suppression unilatérale de l’application a laissé tous les demandeurs d’asile en attente d’un rendez-vous sans recours, rapportait Le Monde. 

Une opération de fusion des informations sans précédent

Cette politique est en train de s’accélérer, notamment en mobilisant toutes les données numériques à sa disposition, rapporte Wired. Le Doge est en train de construire une base de données dédiée aux étrangers, collectant les données de plusieurs administrations, afin de créer un outil de surveillance d’une portée sans précédent. L’enjeu est de recouper toutes les données disponibles, non seulement pour mieux caractériser les situations des étrangers en situation régulière comme irrégulière, mais également les géolocaliser afin d’aider les services de police chargés des arrestations et de la déportation, d’opérer. 

Jusqu’à présent, il existait d’innombrables bases de données disparates entre les différentes agences et au sein des agences. Si certaines pouvaient être partagées, à des fins policières, celles-ci n’ont jamais été regroupées par défaut, parce qu’elles sont souvent utilisées à des fins spécifiques. Le service de l’immigration et des douanes (ICE, Immigration and Customs Enforcement) et le département d’investigation de la sécurité intérieure (HSI, Homeland Security Investigations), par exemple, sont des organismes chargés de l’application de la loi et ont parfois besoin d’ordonnances du tribunal pour accéder aux informations sur un individu dans le cadre d’enquêtes criminelles, tandis que le service de citoyenneté et d’immigration des États-Unis (USCIS, United States Citizenship and Immigration Services) des États-Unis collecte des informations sensibles dans le cadre de la délivrance régulière de visas et de cartes vertes. 

Des agents du Doge ont obtenu l’accès aux systèmes de l’USCIS. Ces bases de données  contiennent des informations sur les réfugiés et les demandeurs d’asile, des données sur les titulaires de cartes vertes, les citoyens américains naturalisés et les bénéficiaires du programme d’action différée pour les arrivées d’enfants. Le Doge souhaite également télécharger des informations depuis les bases de données de myUSCIS, le portail en ligne où les immigrants peuvent déposer des demandes, communiquer avec l’USCIS, consulter l’historique de leurs demandes et répondre aux demandes de preuves à l’appui de leur dossier. Associées aux informations d’adresse IP des personnes qui consultent leurs données, elles pourraient servir à géolocaliser les immigrants. 

Le département de sécurité intérieur (DHS, Department of Homeland Security) dont dépendent certaines de ces agences a toujours été très prudent en matière de partage de données. Ce n’est plus le cas. Le 20 mars, le président Trump a d’ailleurs signé un décret exigeant que toutes les agences fédérales facilitent « le partage intra- et inter-agences et la consolidation des dossiers non classifiés des agences », afin d’entériner la politique de récupération de données tout azimut du Doge. Jusqu’à présent, il était historiquement « extrêmement difficile » d’accéder aux données que le DHS possédait déjà dans ses différents départements. L’agrégation de toutes les données disponibles « représenterait une rupture significative dans les normes et les politiques en matière de données », rappelle un expert. Les agents du Doge ont eu accès à d’innombrables bases, comme à Save, un système de l’USCIS permettant aux administrations locales et étatiques, ainsi qu’au gouvernement fédéral, de vérifier le statut d’immigration d’une personne. Le Doge a également eu accès à des données de la sécurité sociale et des impôts pour recouper toutes les informations disponibles. 

Le problème, c’est que la surveillance et la protection des données est également rendue plus difficile. Les coupes budgétaires et les licenciements ont affecté trois services clés qui constituaient des garde-fous importants contre l’utilisation abusive des données par les services fédéraux, à savoir le Bureau des droits civils et des libertés civiles (CRCL, Office for Civil Rights and Civil Liberties), le Bureau du médiateur chargé de la détention des immigrants et le Bureau du médiateur des services de citoyenneté et d’immigration. Le CRCL, qui enquête sur d’éventuelles violations des droits de l’homme par le DHS et dont la création a été mandatée par le Congrès est depuis longtemps dans le collimateur du Doge. 

Le 5 avril, le DHS a conclu un accord avec les services fiscaux (IRS) pour utiliser les données fiscales. Plus de sept millions de migrants travaillent et vivent aux États-Unis. L’ICE a également récemment versé des millions de dollars à l’entreprise privée Palantir pour mettre à jour et modifier une base de données de l’ICE destinée à traquer les immigrants, a rapporté 404 Media. Le Washington Post a rapporté également que des représentants de Doge au sein d’agences gouvernementales – du Département du Logement et du Développement urbain à l’Administration de la Sécurité sociale – utilisent des données habituellement confidentielles pour identifier les immigrants sans papiers. Selon Wired, au Département du Travail, le Doge a obtenu l’accès à des données sensibles sur les immigrants et les ouvriers agricoles. La fusion de toutes les données entre elles pour permettre un accès panoptique aux informations est depuis l’origine le projet même du ministère de l’efficacité américain, qui espère que l’IA va lui permettre de rendre le traitement omniscient. 

Le changement de finalités de la collecte de données, moteur d’une défiance généralisée

L’administration des impôts a donc accepté un accord de partage d’information et de données avec les services d’immigration, rapporte la NPR, permettant aux agents de l’immigration de demander des informations sur les immigrants faisant l’objet d’une ordonnance d’expulsion. Derrière ce qui paraît comme un simple accès à des données, il faut voir un changement majeur dans l’utilisation des dossiers fiscaux. Les modalités de ce partage d’information ne sont pas claires puisque la communication du cadre de partage a été expurgée de très nombreuses informations. Pour Murad Awawdeh, responsable de la New York Immigration Coalition, ce partage risque d’instaurer un haut niveau de défiance à respecter ses obligations fiscales, alors que les immigrants paient des impôts comme les autres et que les services fiscaux assuraient jusqu’à présent aux contribuables sans papiers la confidentialité de leurs informations et la sécurité de leur déclaration de revenus.

La NPR revient également sur un autre changement de finalité, particulièrement problématique : celle de l’application CBP One. Cette application lancée en 2020 par l’administration Biden visait à permettre aux immigrants de faire une demande d’asile avant de pénétrer aux Etats-Unis. Avec l’arrivée de l’administration Trump, les immigrants qui ont candidaté à une demande d’asile ont reçu une notification les enjoignants à quitter les Etats-Unis et les données de l’application ont été partagées avec les services de police pour localiser les demandeurs d’asile et les arrêter pour les reconduire aux frontières. Pour le dire simplement : une application de demande d’asile est désormais utilisée par les services de police pour identifier ces mêmes demandeurs et les expulser. Les finalités sociales sont transformées en finalités policières. La confidentialité même des données est détruite.

CBP One n’est pas la seule application dont la finalité a été modifiée. Une belle enquête du New York Times évoque une application administrée par Geo Group, l’un des principaux gestionnaires privés de centres pénitentiaires et d’établissements psychiatriques aux Etats-Unis. Une application que des étrangers doivent utiliser pour se localiser et s’identifier régulièrement, à la manière d’un bracelet électronique. Récemment, des utilisateurs de cette application ont été convoqués à un centre d’immigration pour mise à jour de l’application. En fait, ils ont été arrêtés. 

Geo Group a développé une activité lucrative d’applications et de bracelets électroniques pour surveiller les immigrants pour le compte du gouvernement fédéral qui ont tous été mis au service des procédures d’expulsion lancées par l’administration Trump, constatent nombre d’associations d’aides aux étrangers. “Alors même que M. Trump réduit les dépenses du gouvernement fédéral, ses agences ont attribué à Geo Group de nouveaux contrats fédéraux pour héberger des immigrants sans papiers. Le DHS envisage également de renouveler un contrat de longue date avec l’entreprise – d’une valeur d’environ 350 millions de dollars l’an dernier – pour suivre les quelque 180 000 personnes actuellement sous surveillance”. Ce programme “d’alternative à la détention en centre de rétention » que Noor Zafar, avocate principale à l’American Civil Liberties Union, estime relever plutôt d’une “extension à la détention”, consiste en des applications et bracelets électroniques. Les programmes de Geo Group, coûteux, n’ont pas été ouverts à la concurrence, rapporte le New York Times, qui explique également que ses programmes sont en plein boom. Ces applications permettent aux employés de Geo Group de savoir en temps réel où se trouvent leurs porteurs, leur permettent de délimiter des zones dont ils ne peuvent pas sortir sans déclencher des alertes. 

Une confiance impossible !

Ces exemples américains de changement de finalités sont emblématiques et profondément problématiques. Ils ne se posent pourtant pas que de l’autre côté de l’Atlantique. Utiliser des données produites dans un contexte pour d’autres enjeux et d’autres contextes est au cœur des fonctionnements des systèmes numériques, comme nous l’avions vu à l’époque du Covid. Les finalités des traitements des services numériques qu’on utilise sont rarement claires, notamment parce qu’elles peuvent être mises à jour unilatéralement et ce, sans garantie. Et le changement de finalité peut intervenir à tout moment, quelque soit l’application que vous utilisez. Remplir un simple questionnaire d’évaluation peut finalement, demain, être utilisé par le service qui le conçoit ou d’autres pour une toute autre finalité, et notamment pour réduire les droits des utilisateurs qui y ont répondu. Répondre à un questionnaire de satisfaction de votre banque ou d’un service public, qui semble anodin, peut divulguer des données qui seront utilisées pour d’autres enjeux. Sans renforcer la protection absolue des données, le risque est que ces exemples démultiplient la méfiance voire le rejet des citoyens et des administrés. A quoi va être utilisé le questionnaire qu’on me propose ? Pourra-t-il être utilisé contre moi ? Qu’est-ce qui me garantie qu’il ne le sera pas ? 

La confiance dans l’utilisation qui est faite des données par les services, est en train d’être profondément remise en question par l’exemple américain et pourrait avoir des répercussions sur tous les services numériques, bien au-delà des Etats-Unis. La spécialiste de la sécurité informatique, Susan Landau, nous l’avait pourtant rappelé quand elle avait étudié les défaillances des applications de suivi de contact durant la pandémie : la confidentialité est toujours critique. Elle parlait bien sûr des données de santé des gens, mais on comprend qu’assurer la confidentialité des données personnelles que les autorités détiennent sur les gens est tout aussi critique. Les défaillances de confidentialité sapent la confiance des autorités qui sont censées pourtant être les premières garantes des données personnelles des citoyens. 

Aurait-on oublié pourquoi les données sont cloisonnées ?

« Ces systèmes sont cloisonnés pour une raison », rappelle Victoria Noble, avocate à l’Electronic Frontier Foundation. « Lorsque vous centralisez toutes les données d’une agence dans un référentiel central accessible à tous les membres de l’agence, voire à d’autres agences, vous augmentez considérablement le risque que ces informations soient consultées par des personnes qui n’en ont pas besoin et qui les utilisent à des fins inappropriées ou répressives, pour les instrumentaliser, les utiliser contre des personnes qu’elles détestent, des dissidents, surveiller des immigrants ou d’autres groupes. »

« La principale inquiétude désormais est la création d’une base de données fédérale unique contenant tout ce que le gouvernement sait sur chaque personne de ce pays », estime Cody Venzke de l’Union américaine pour les libertés civiles (ACLU). « Ce que nous voyons est probablement la première étape vers la création d’un dossier centralisé sur chaque habitant.» Wired rapporte d’ailleurs que l’ACLU a déposé plainte contre l’Administration de la Sécurité Sociale (SSA) et le Département des Anciens Combattants (VA) qui ont ouvert des accès de données sensibles au Doge en violation de la loi sur la liberté d’information, après en avoir déjà déposé une en février contre le Trésor américain pour les mêmes raisons (alors que ce n’est pas nécessairement la seule manière de procéder. Confronté aux demandes du Doge, le régulateur des marchés financiers américains, rapporte Reuters, a pour l’instant pu créer une équipe de liaison spécifique pour répondre aux demandes d’information du Doge, afin que ses équipes n’aient pas accès aux données de l’autorité des marchés financiers). 

En déposant plainte, l’ACLU cherche notamment à obtenir des documents pour saisir exactement ce à quoi a accès le Doge. “Les Américains méritent de savoir qui a accès à leurs numéros de sécurité sociale, à leurs informations bancaires et à leurs dossiers médicaux”, explique une avocate de l’ACLU. 

Le cloisonnement des données, des bases, selon leurs finalités et les agences qui les administrent, est un moyen non seulement d’en préserver l’intégrité, mais également d’en assurer la sécurité et la confidentialité. Ce sont ces verrous qui sont en train de sauter dans toutes les administrations sous la pression du Doge, posant des questions de sécurité inédites, comme nous nous en inquiétons avec Jean Cattan dans une lettre du Conseil national du numérique. Ce sont les mesures de protection d’une démocratie numérique qui sont en train de voler en éclat. 

Pour Wired, Brian Barrett estime que les données qu’agrège le Doge ne sont pas tant un outil pour produire une hypothétique efficacité, qu’une arme au service des autorités. La question de l’immigration n’est qu’un terrain d’application parmi d’autres. La brutalité qui s’abat sur les étrangers, les plus vulnérables, les plus démunis, est bien souvent une préfiguration de son extension à toutes les autres populations, nous disait le philosophe Achille Mbembe dans Brutalisme. 

Et maintenant que les croisements de données sont opérationnels, que les données ont été récupérées par les équipes du Doge, l’enjeu va être de les faire parler, de les mettre en pratique. 

Finalement, le départ annoncé ou probable de Musk de son poste en première ligne du Doge ne signe certainement pas la fin de cette politique, toute impopulaire qu’elle soit (enfin, Musk est bien plus impopulaire que les économies dans les services publics qu’il propose), mais au contraire, le passage à une autre phase. Le Doge a pris le contrôle, et il s’agit désormais de rendre les données productives. L’efficacité n’est plus de réduire les dépenses publiques de 2 000 milliards de dollars, comme le promettait Musk à son arrivée. Il a lui-même reconnu qu’il ne visait plus que 150 milliards de dollars de coupe en 2025, soit 15 % de l’objectif initial, comme le soulignait Le Monde. Mais le débat sur les coupes et l’efficacité, sont d’abord un quolifichet qu’on agite pour détourner l’attention de ce qui se déroule vraiment, à savoir la fin de la vie privée aux Etats-Unis. En fait, la politique initiée par le Doge ne s’arrêtera pas avec le retrait probable de Musk. IL n’en a été que le catalyseur.

Elizabeth Lopatto pour The Verge explique elle aussi que l’ère du Doge ne fait que commencer. Malgré ses échecs patents et l’explosion des plaintes judiciaires à son encontre (Bloomberg a dénombré plus de 300 actions en justice contre les décisions prises par le président Trump : dans 128 affaires, ils ont suspendu les décisions de l’administration Trump). Pour elle, Musk ne va pas moins s’immiscer dans la politique publique. Son implication risque surtout d’être moins publique et moins visible dans ses ingérences, afin de préserver son égo et surtout son portefeuille. Mais surtout, estime-t-elle, les tribunaux ne sauveront pas les Américains des actions du Doge, notamment parce que dans la plupart des cas, les décisions tardent à être prises et à être effectives. Pourtant, si les tribunaux étaient favorables à « l’élimination de la fraude et des abus », comme le dit Musk – à ce stade, ils devraient surtout œuvrer à “éliminer le Doge” !

Ce n’est malgré tout pas la direction qui est prise, au contraire. Même si Musk s’en retire, l’administration continue à renforcer le pouvoir du Doge qu’à l’éteindre. C’est ainsi qu’il faut lire le récent hackathon aux services fiscaux ou le projet qui s’esquisse avec Palantir. L’ICE, sous la coupe du Doge, vient de demander à Palantir, la sulfureuse entreprise de Thiel, de construire une plateforme dédiée, explique Wired : “ImmigrationOS”, « le système d’exploitation de l’immigration » (sic). Un outil pour “choisir les personnes à expulser”, en accordant une priorité particulière aux personnes dont le visa est dépassé qui doivent, selon la demande de l’administration, prendre leurs dispositions pour “s’expulser elles-mêmes des Etats-Unis”. L’outil qui doit être livré en septembre a pour fonction de cibler et prioriser les mesures d’application, c’est-à-dire d’aider à sélectionner les étrangers en situation irrégulière, les localiser pour les arrêter. Il doit permettre de suivre que les étrangers en situation irrégulière prennent bien leur disposition pour quitter les Etats-Unis, afin de mesurer la réalité des départs, et venir renforcer les efforts des polices locales, bras armées des mesures de déportation, comme le pointait The Markup. 

De ImmigrationOS au panoptique américain : le démantèlement des mesures de protection de la vie privée

Dans un article pour Gizmodo qui donne la parole à nombre d’opposants à la politique de destructions des silos de données, plusieurs rappellent les propos du sénateur démocrate Sam Ervin, auteur de la loi sur la protection des informations personnelles suite au scandale du Watergate, qui redoutait le caractère totalitaire des informations gouvernementales sur les citoyens. Pour Victoria Noble de l’Electronic Frontier Foundation, ce contrôle pourrait conduire les autorités à « exercer des représailles contre les critiques adressées aux représentants du gouvernement, à affaiblir les opposants politiques ou les ennemis personnels perçus, et à cibler les groupes marginalisés. » N’oubliez pas qu’il s’agit du même président qui a qualifié d’« ennemis » les agents électoraux, les journalistes, les juges et, en fait, toute personne en désaccord avec lui. Selon Reuters, le Doge a déjà utilisé l’IA pour détecter les cas de déloyauté parmi les fonctionnaires fédéraux. Pour les défenseurs des libertés et de la confidentialité, il est encore temps de renforcer les protections citoyennes. Et de rappeler que le passage de la sûreté à la sécurité, de la défense contre l’arbitraire à la défense de l’arbitraire, vient de ce que les élus ont passé bien plus d’énergie à légiférer pour la surveillance qu’à établir des garde-fous contre celle-ci, autorisant toujours plus de dérives, comme d’autoriser la surveillance des individus sans mandats de justice.

Pour The Atlantic, Ian Bogost et Charlie Warzel estiment que le Doge est en train de construire le panoptique américain. Ils rappellent que l’administration est l’univers de l’information, composée de constellations de bases de données. Des impôts au travail, toutes les administrations collectent et produisent des données sur les Américains, et notamment des données particulièrement sensibles et personnelles. Jusqu’à présent, de vieilles lois et des normes fragiles ont empêché que les dépôts de données ne soient regroupés. Mais le Doge vient de faire voler cela en éclat, préparant la construction d’un Etat de surveillance centralisé. En mars, le président Trump a publié un décret visant à éliminer les silos de données qui maintiennent les informations séparément. 

Dans leur article, Bogost et Warzel listent d’innombrables bases de données maintenues par des agences administratives : bases de données de revenus, bases de données sur les lanceurs d’alerte, bases de données sur la santé mentale d’anciens militaires… L’IA promet de transformer ces masses de données en outils “consultables, exploitables et rentables”. Mais surtout croisables, interconnectables. Les entreprises bénéficiant de prêts fédéraux et qui ont du mal à rembourser, pourraient désormais être punies au-delà de ce qui est possible, par la révocation de leurs licences, le gel des aides ou de leurs comptes bancaires. Une forme d’application universelle permettant de tout croiser et de tout inter-relier. Elles pourraient permettre de cibler la population en fonction d’attributs spécifiques. L’utilisation actuelle par le gouvernement de ces données pour expulser des étrangers, et son refus de fournir des preuves d’actes répréhensibles reprochées à certaines personnes expulsées, suggère que l’administration a déjà franchi la ligne rouge de l’utilisation des données à des fins politiques. 

Le Doge ne se contente pas de démanteler les mesures de protection de la vie privée, il ignore qu’elles ont été rédigées. Beaucoup de bases ont été conçues sans interconnectivité par conception, pour protéger la vie privée. “Dans les cas où le partage d’informations ou de données est nécessaire, la loi sur la protection de la vie privée de 1974 exige un accord de correspondance informatique (Computer Matching Agreement, CMA), un contrat écrit qui définit les conditions de ce partage et assure la protection des informations personnelles. Un CMA est « un véritable casse-tête », explique un fonctionnaire, et constitue l’un des moyens utilisés par le gouvernement pour décourager l’échange d’informations comme mode de fonctionnement par défaut”. 

La centralisation des données pourrait peut-être permettre d’améliorer l’efficacité gouvernementale, disent bien trop rapidement Bogost et Warzel, alors que rien ne prouve que ces croisements de données produiront autre chose qu’une discrimination toujours plus étendue car parfaitement granulaire. La protection de la vie privée vise à limiter les abus de pouvoir, notamment pour protéger les citoyens de mesures de surveillance illégales du gouvernement. 

Derrière les bases de données, rappellent encore les deux journalistes, les données ne sont pas toujours ce que l’on imagine. Toutes les données de ces bases ne sont pas nécessairement numérisées. Les faire parler et les croiser ne sera pas si simple. Mais le Doge a eu accès à des informations inédites. “Ce que nous ignorons, c’est ce qu’ils ont copié, exfiltré ou emporté avec eux”. 

“Doge constitue l’aboutissement logique du mouvement Big Data” : les données sont un actif. Les collecter et les croiser est un moyen de leur donner de la valeur. Nous sommes en train de passer d’une administration pour servir les citoyens à une administration pour les exploiter, suggèrent certains agents publics. Ce renversement de perspective “correspond parfaitement à l’éthique transactionnelle de Trump”. Ce ne sont plus les intérêts des américains qui sont au centre de l’équation, mais ceux des intérêts commerciaux des services privés, des intérêts des amis et alliés de Trump et Musk.

La menace totalitaire de l’accaparement des données personnelles gouvernementales

C’est la même inquiétude qu’exprime la politiste Allison Stanger dans un article pour The Conversation, qui rappelle que l’accès aux données gouvernementales n’a rien à voir avec les données personnelles que collectent les entreprises privées. Les référentiels gouvernementaux sont des enregistrements vérifiés du comportement humain réel de populations entières. « Les publications sur les réseaux sociaux et les historiques de navigation web révèlent des comportements ciblés ou intentionnels, tandis que les bases de données gouvernementales capturent les décisions réelles et leurs conséquences. Par exemple, les dossiers Medicare révèlent les choix et les résultats en matière de soins de santé. Les données de l’IRS et du Trésor révèlent les décisions financières et leurs impacts à long terme. Les statistiques fédérales sur l’emploi et l’éducation révèlent les parcours scolaires et les trajectoires professionnelles. » Ces données là, capturées pour faire tourner et entraîner des IA sont à la fois longitudinales et fiables. « Chaque versement de la Sécurité sociale, chaque demande de remboursement Medicare et chaque subvention fédérale constituent un point de données vérifié sur les comportements réels. Ces données n’existent nulle part ailleurs aux États-Unis avec une telle ampleur et une telle authenticité. » « Les bases de données gouvernementales suivent des populations entières au fil du temps, et pas seulement les utilisateurs actifs en ligne. Elles incluent les personnes qui n’utilisent jamais les réseaux sociaux, n’achètent pas en ligne ou évitent activement les services numériques. Pour une entreprise d’IA, cela impliquerait de former les systèmes à la diversité réelle de l’expérience humaine, plutôt qu’aux simples reflets numériques que les gens projettent en ligne.«  A terme, explique Stanger, ce n’est pas la même IA à laquelle nous serions confrontés. « Imaginez entraîner un système d’IA non seulement sur les opinions concernant les soins de santé, mais aussi sur les résultats réels des traitements de millions de patients. Imaginez la différence entre tirer des enseignements des discussions sur les réseaux sociaux concernant les politiques économiques et analyser leurs impacts réels sur différentes communautés et groupes démographiques sur des décennies ». Pour une entreprise développant des IA, l’accès à ces données constituerait un avantage quasi insurmontable. « Un modèle d’IA, entraîné à partir de ces données gouvernementales pourrait identifier les schémas thérapeutiques qui réussissent là où d’autres échouent, et ainsi dominer le secteur de la santé. Un tel modèle pourrait comprendre comment différentes interventions affectent différentes populations au fil du temps, en tenant compte de facteurs tels que la localisation géographique, le statut socio-économique et les pathologies concomitantes. » Une entreprise d’IA qui aurait accès aux données fiscales, pourrait « développer des capacités exceptionnelles de prévision économique et de prévision des marchés. Elle pourrait modéliser les effets en cascade des changements réglementaires, prédire les vulnérabilités économiques avant qu’elles ne se transforment en crises et optimiser les stratégies d’investissement avec une précision impossible à atteindre avec les méthodes traditionnelles ». Explique Stanger, en étant peut-être un peu trop dithyrambique sur les potentialités de l’IA, quand rien ne prouve qu’elles puissent faire mieux que nos approches plus classiques. Pour Stanger, la menace de l’accès aux données gouvernementales par une entreprise privée transcende les préoccupations relatives à la vie privée des individus. Nous deviendrons des sujets numériques plutôt que des citoyens, prédit-elle. Les données absolues corrompt absolument, rappelle Stanger. Oubliant peut-être un peu rapidement que ce pouvoir totalitaire est une menace non seulement si une entreprise privée se l’accapare, mais également si un Etat le déploie. La menace d’un Etat totalitaire par le croisement de toutes les données ne réside pas seulement par l’accaparement de cette puissance au profit d’une entreprise, comme celles de Musk, mais également au profit d’un Etat. 

Nombre de citoyens étaient déjà résignés face à l’accumulation de données du secteur privé, face à leur exploitation sans leur consentement, concluent Bogost et Warzel. L’idée que le gouvernement cède à son tour ses données à des fins privées est scandaleuse, mais est finalement prévisible. La surveillance privée comme publique n’a cessé de se développer et de se renforcer. La rupture du barrage, la levée des barrières morales, limitant la possibilité à recouper l’ensemble des données disponibles, n’était peut-être qu’une question de temps. Certes, le pire est désormais devant nous, car cette rupture de barrière morale en annonce d’autres. Dans la kleptocratie des données qui s’est ouverte, celles-ci pourront être utilisées contre chacun, puisqu’elles permettront désormais de trouver une justification rétroactive voire de l’inventer, puisque l’intégrité des bases de données publiques ne saurait plus être garantie. Bogost et Warzel peuvent imaginer des modalités, en fait, désormais, les systèmes n’ont même pas besoin de corréler vos dons à des associations pro-palestiniennes pour vous refuser une demande de prêt ou de subvention. Il suffit de laisser croire que désormais, le croisement de données le permet. 

Pire encore, “les Américains sont tenus de fournir de nombreuses données sensibles au gouvernement, comme des informations sur le divorce d’une personne pour garantir le versement d’une pension alimentaire, ou des dossiers détaillés sur son handicap pour percevoir les prestations d’assurance invalidité de la Sécurité sociale”, rappelle Sarah Esty, ancienne conseillère principale pour la technologie et la prestation de services au ministère américain de la Santé et des Services sociaux. “Ils ont agi ainsi en étant convaincus que le gouvernement protégerait ces données et que seules les personnes autorisées et absolument nécessaires à la prestation des services y auraient accès. Si ces garanties sont violées, ne serait-ce qu’une seule fois, la population perdra confiance dans le gouvernement, ce qui compromettra à jamais sa capacité à gérer ces services”. C’est exactement là où l’Amérique est plongée. Et le risque, devant nous, est que ce qui se passe aux Etats-Unis devienne un modèle pour saper partout les garanties et la protection des données personnelles. 

Hubert Guillaud

A l’heure où, aux Etats-Unis, le FBI, les services d’immigration et de police se mettent à poursuivre les ressortissants étrangers pour les reconduire aux frontières, sur Tech Policy Press, l’activiste Dia Kayyali rappelle que les Etats-Unis ont une longue histoire de chasse aux opposants politiques et aux étrangers. Du MacCarthysme au 11 septembre, les crises politiques ont toujours renforcé la surveillance des citoyens et plus encore des ressortissants d’origine étrangère. Le Brennan Center for Justice a publié en 2022 un rapport sur la montée de l’utilisation des réseaux sociaux dans ces activités de surveillance et rappelle que ceux-ci sont massivement mobilisés pour la surveillance des opposants politiques, notamment depuis Occupy et depuis 2014 pour le contrôle des demandes d’immigration et les contrôles aux frontières, rappelle The Verge. 

Le premier projet de loi du second mandat de Donald Trump était un texte concernant l’immigration clandestine, nous rappelle Le Monde. C’est un texte qui propose la détention automatique par les forces de l’ordre fédérales de migrants en situation irrégulière qui ont été accusés, condamnés ou inculpés pour certains délits, mêmes mineurs, comme le vol à l’étalage. 

La lutte contre l’immigration est au cœur de la politique du président américain, qui dénonce une “invasion” et annonce vouloir déporter 11 millions d’immigrants illégaux, au risque que le tissu social des Etats-Unis, nation d’immigrants, se déchire, rappelait The Guardian. Dès janvier, l’administration Trump a mis fin à l’application CBP One, seule voie pour les demandeurs d’asile désirant entrer légalement sur le territoire des Etats-Unis pour prendre rendez-vous avec l’administration douanière américaine et régulariser leur situation. La suppression unilatérale de l’application a laissé tous les demandeurs d’asile en attente d’un rendez-vous sans recours, rapportait Le Monde. 

Une opération de fusion des informations sans précédent

Cette politique est en train de s’accélérer, notamment en mobilisant toutes les données numériques à sa disposition, rapporte Wired. Le Doge est en train de construire une base de données dédiée aux étrangers, collectant les données de plusieurs administrations, afin de créer un outil de surveillance d’une portée sans précédent. L’enjeu est de recouper toutes les données disponibles, non seulement pour mieux caractériser les situations des étrangers en situation régulière comme irrégulière, mais également les géolocaliser afin d’aider les services de police chargés des arrestations et de la déportation, d’opérer. 

Jusqu’à présent, il existait d’innombrables bases de données disparates entre les différentes agences et au sein des agences. Si certaines pouvaient être partagées, à des fins policières, celles-ci n’ont jamais été regroupées par défaut, parce qu’elles sont souvent utilisées à des fins spécifiques. Le service de l’immigration et des douanes (ICE, Immigration and Customs Enforcement) et le département d’investigation de la sécurité intérieure (HSI, Homeland Security Investigations), par exemple, sont des organismes chargés de l’application de la loi et ont parfois besoin d’ordonnances du tribunal pour accéder aux informations sur un individu dans le cadre d’enquêtes criminelles, tandis que le service de citoyenneté et d’immigration des États-Unis (USCIS, United States Citizenship and Immigration Services) des États-Unis collecte des informations sensibles dans le cadre de la délivrance régulière de visas et de cartes vertes. 

Des agents du Doge ont obtenu l’accès aux systèmes de l’USCIS. Ces bases de données  contiennent des informations sur les réfugiés et les demandeurs d’asile, des données sur les titulaires de cartes vertes, les citoyens américains naturalisés et les bénéficiaires du programme d’action différée pour les arrivées d’enfants. Le Doge souhaite également télécharger des informations depuis les bases de données de myUSCIS, le portail en ligne où les immigrants peuvent déposer des demandes, communiquer avec l’USCIS, consulter l’historique de leurs demandes et répondre aux demandes de preuves à l’appui de leur dossier. Associées aux informations d’adresse IP des personnes qui consultent leurs données, elles pourraient servir à géolocaliser les immigrants. 

Le département de sécurité intérieur (DHS, Department of Homeland Security) dont dépendent certaines de ces agences a toujours été très prudent en matière de partage de données. Ce n’est plus le cas. Le 20 mars, le président Trump a d’ailleurs signé un décret exigeant que toutes les agences fédérales facilitent « le partage intra- et inter-agences et la consolidation des dossiers non classifiés des agences », afin d’entériner la politique de récupération de données tout azimut du Doge. Jusqu’à présent, il était historiquement « extrêmement difficile » d’accéder aux données que le DHS possédait déjà dans ses différents départements. L’agrégation de toutes les données disponibles « représenterait une rupture significative dans les normes et les politiques en matière de données », rappelle un expert. Les agents du Doge ont eu accès à d’innombrables bases, comme à Save, un système de l’USCIS permettant aux administrations locales et étatiques, ainsi qu’au gouvernement fédéral, de vérifier le statut d’immigration d’une personne. Le Doge a également eu accès à des données de la sécurité sociale et des impôts pour recouper toutes les informations disponibles. 

Le problème, c’est que la surveillance et la protection des données est également rendue plus difficile. Les coupes budgétaires et les licenciements ont affecté trois services clés qui constituaient des garde-fous importants contre l’utilisation abusive des données par les services fédéraux, à savoir le Bureau des droits civils et des libertés civiles (CRCL, Office for Civil Rights and Civil Liberties), le Bureau du médiateur chargé de la détention des immigrants et le Bureau du médiateur des services de citoyenneté et d’immigration. Le CRCL, qui enquête sur d’éventuelles violations des droits de l’homme par le DHS et dont la création a été mandatée par le Congrès est depuis longtemps dans le collimateur du Doge. 

Le 5 avril, le DHS a conclu un accord avec les services fiscaux (IRS) pour utiliser les données fiscales. Plus de sept millions de migrants travaillent et vivent aux États-Unis. L’ICE a également récemment versé des millions de dollars à l’entreprise privée Palantir pour mettre à jour et modifier une base de données de l’ICE destinée à traquer les immigrants, a rapporté 404 Media. Le Washington Post a rapporté également que des représentants de Doge au sein d’agences gouvernementales – du Département du Logement et du Développement urbain à l’Administration de la Sécurité sociale – utilisent des données habituellement confidentielles pour identifier les immigrants sans papiers. Selon Wired, au Département du Travail, le Doge a obtenu l’accès à des données sensibles sur les immigrants et les ouvriers agricoles. La fusion de toutes les données entre elles pour permettre un accès panoptique aux informations est depuis l’origine le projet même du ministère de l’efficacité américain, qui espère que l’IA va lui permettre de rendre le traitement omniscient. 

Le changement de finalités de la collecte de données, moteur d’une défiance généralisée

L’administration des impôts a donc accepté un accord de partage d’information et de données avec les services d’immigration, rapporte la NPR, permettant aux agents de l’immigration de demander des informations sur les immigrants faisant l’objet d’une ordonnance d’expulsion. Derrière ce qui paraît comme un simple accès à des données, il faut voir un changement majeur dans l’utilisation des dossiers fiscaux. Les modalités de ce partage d’information ne sont pas claires puisque la communication du cadre de partage a été expurgée de très nombreuses informations. Pour Murad Awawdeh, responsable de la New York Immigration Coalition, ce partage risque d’instaurer un haut niveau de défiance à respecter ses obligations fiscales, alors que les immigrants paient des impôts comme les autres et que les services fiscaux assuraient jusqu’à présent aux contribuables sans papiers la confidentialité de leurs informations et la sécurité de leur déclaration de revenus.

La NPR revient également sur un autre changement de finalité, particulièrement problématique : celle de l’application CBP One. Cette application lancée en 2020 par l’administration Biden visait à permettre aux immigrants de faire une demande d’asile avant de pénétrer aux Etats-Unis. Avec l’arrivée de l’administration Trump, les immigrants qui ont candidaté à une demande d’asile ont reçu une notification les enjoignants à quitter les Etats-Unis et les données de l’application ont été partagées avec les services de police pour localiser les demandeurs d’asile et les arrêter pour les reconduire aux frontières. Pour le dire simplement : une application de demande d’asile est désormais utilisée par les services de police pour identifier ces mêmes demandeurs et les expulser. Les finalités sociales sont transformées en finalités policières. La confidentialité même des données est détruite.

CBP One n’est pas la seule application dont la finalité a été modifiée. Une belle enquête du New York Times évoque une application administrée par Geo Group, l’un des principaux gestionnaires privés de centres pénitentiaires et d’établissements psychiatriques aux Etats-Unis. Une application que des étrangers doivent utiliser pour se localiser et s’identifier régulièrement, à la manière d’un bracelet électronique. Récemment, des utilisateurs de cette application ont été convoqués à un centre d’immigration pour mise à jour de l’application. En fait, ils ont été arrêtés. 

Geo Group a développé une activité lucrative d’applications et de bracelets électroniques pour surveiller les immigrants pour le compte du gouvernement fédéral qui ont tous été mis au service des procédures d’expulsion lancées par l’administration Trump, constatent nombre d’associations d’aides aux étrangers. “Alors même que M. Trump réduit les dépenses du gouvernement fédéral, ses agences ont attribué à Geo Group de nouveaux contrats fédéraux pour héberger des immigrants sans papiers. Le DHS envisage également de renouveler un contrat de longue date avec l’entreprise – d’une valeur d’environ 350 millions de dollars l’an dernier – pour suivre les quelque 180 000 personnes actuellement sous surveillance”. Ce programme “d’alternative à la détention en centre de rétention » que Noor Zafar, avocate principale à l’American Civil Liberties Union, estime relever plutôt d’une “extension à la détention”, consiste en des applications et bracelets électroniques. Les programmes de Geo Group, coûteux, n’ont pas été ouverts à la concurrence, rapporte le New York Times, qui explique également que ses programmes sont en plein boom. Ces applications permettent aux employés de Geo Group de savoir en temps réel où se trouvent leurs porteurs, leur permettent de délimiter des zones dont ils ne peuvent pas sortir sans déclencher des alertes. 

Une confiance impossible !

Ces exemples américains de changement de finalités sont emblématiques et profondément problématiques. Ils ne se posent pourtant pas que de l’autre côté de l’Atlantique. Utiliser des données produites dans un contexte pour d’autres enjeux et d’autres contextes est au cœur des fonctionnements des systèmes numériques, comme nous l’avions vu à l’époque du Covid. Les finalités des traitements des services numériques qu’on utilise sont rarement claires, notamment parce qu’elles peuvent être mises à jour unilatéralement et ce, sans garantie. Et le changement de finalité peut intervenir à tout moment, quelque soit l’application que vous utilisez. Remplir un simple questionnaire d’évaluation peut finalement, demain, être utilisé par le service qui le conçoit ou d’autres pour une toute autre finalité, et notamment pour réduire les droits des utilisateurs qui y ont répondu. Répondre à un questionnaire de satisfaction de votre banque ou d’un service public, qui semble anodin, peut divulguer des données qui seront utilisées pour d’autres enjeux. Sans renforcer la protection absolue des données, le risque est que ces exemples démultiplient la méfiance voire le rejet des citoyens et des administrés. A quoi va être utilisé le questionnaire qu’on me propose ? Pourra-t-il être utilisé contre moi ? Qu’est-ce qui me garantie qu’il ne le sera pas ? 

La confiance dans l’utilisation qui est faite des données par les services, est en train d’être profondément remise en question par l’exemple américain et pourrait avoir des répercussions sur tous les services numériques, bien au-delà des Etats-Unis. La spécialiste de la sécurité informatique, Susan Landau, nous l’avait pourtant rappelé quand elle avait étudié les défaillances des applications de suivi de contact durant la pandémie : la confidentialité est toujours critique. Elle parlait bien sûr des données de santé des gens, mais on comprend qu’assurer la confidentialité des données personnelles que les autorités détiennent sur les gens est tout aussi critique. Les défaillances de confidentialité sapent la confiance des autorités qui sont censées pourtant être les premières garantes des données personnelles des citoyens. 

Aurait-on oublié pourquoi les données sont cloisonnées ?

« Ces systèmes sont cloisonnés pour une raison », rappelle Victoria Noble, avocate à l’Electronic Frontier Foundation. « Lorsque vous centralisez toutes les données d’une agence dans un référentiel central accessible à tous les membres de l’agence, voire à d’autres agences, vous augmentez considérablement le risque que ces informations soient consultées par des personnes qui n’en ont pas besoin et qui les utilisent à des fins inappropriées ou répressives, pour les instrumentaliser, les utiliser contre des personnes qu’elles détestent, des dissidents, surveiller des immigrants ou d’autres groupes. »

« La principale inquiétude désormais est la création d’une base de données fédérale unique contenant tout ce que le gouvernement sait sur chaque personne de ce pays », estime Cody Venzke de l’Union américaine pour les libertés civiles (ACLU). « Ce que nous voyons est probablement la première étape vers la création d’un dossier centralisé sur chaque habitant.» Wired rapporte d’ailleurs que l’ACLU a déposé plainte contre l’Administration de la Sécurité Sociale (SSA) et le Département des Anciens Combattants (VA) qui ont ouvert des accès de données sensibles au Doge en violation de la loi sur la liberté d’information, après en avoir déjà déposé une en février contre le Trésor américain pour les mêmes raisons (alors que ce n’est pas nécessairement la seule manière de procéder. Confronté aux demandes du Doge, le régulateur des marchés financiers américains, rapporte Reuters, a pour l’instant pu créer une équipe de liaison spécifique pour répondre aux demandes d’information du Doge, afin que ses équipes n’aient pas accès aux données de l’autorité des marchés financiers). 

En déposant plainte, l’ACLU cherche notamment à obtenir des documents pour saisir exactement ce à quoi a accès le Doge. “Les Américains méritent de savoir qui a accès à leurs numéros de sécurité sociale, à leurs informations bancaires et à leurs dossiers médicaux”, explique une avocate de l’ACLU. 

Le cloisonnement des données, des bases, selon leurs finalités et les agences qui les administrent, est un moyen non seulement d’en préserver l’intégrité, mais également d’en assurer la sécurité et la confidentialité. Ce sont ces verrous qui sont en train de sauter dans toutes les administrations sous la pression du Doge, posant des questions de sécurité inédites, comme nous nous en inquiétons avec Jean Cattan dans une lettre du Conseil national du numérique. Ce sont les mesures de protection d’une démocratie numérique qui sont en train de voler en éclat. 

Pour Wired, Brian Barrett estime que les données qu’agrège le Doge ne sont pas tant un outil pour produire une hypothétique efficacité, qu’une arme au service des autorités. La question de l’immigration n’est qu’un terrain d’application parmi d’autres. La brutalité qui s’abat sur les étrangers, les plus vulnérables, les plus démunis, est bien souvent une préfiguration de son extension à toutes les autres populations, nous disait le philosophe Achille Mbembe dans Brutalisme. 

Et maintenant que les croisements de données sont opérationnels, que les données ont été récupérées par les équipes du Doge, l’enjeu va être de les faire parler, de les mettre en pratique. 

Finalement, le départ annoncé ou probable de Musk de son poste en première ligne du Doge ne signe certainement pas la fin de cette politique, toute impopulaire qu’elle soit (enfin, Musk est bien plus impopulaire que les économies dans les services publics qu’il propose), mais au contraire, le passage à une autre phase. Le Doge a pris le contrôle, et il s’agit désormais de rendre les données productives. L’efficacité n’est plus de réduire les dépenses publiques de 2 000 milliards de dollars, comme le promettait Musk à son arrivée. Il a lui-même reconnu qu’il ne visait plus que 150 milliards de dollars de coupe en 2025, soit 15 % de l’objectif initial, comme le soulignait Le Monde. Mais le débat sur les coupes et l’efficacité, sont d’abord un quolifichet qu’on agite pour détourner l’attention de ce qui se déroule vraiment, à savoir la fin de la vie privée aux Etats-Unis. En fait, la politique initiée par le Doge ne s’arrêtera pas avec le retrait probable de Musk. IL n’en a été que le catalyseur.

Elizabeth Lopatto pour The Verge explique elle aussi que l’ère du Doge ne fait que commencer. Malgré ses échecs patents et l’explosion des plaintes judiciaires à son encontre (Bloomberg a dénombré plus de 300 actions en justice contre les décisions prises par le président Trump : dans 128 affaires, ils ont suspendu les décisions de l’administration Trump). Pour elle, Musk ne va pas moins s’immiscer dans la politique publique. Son implication risque surtout d’être moins publique et moins visible dans ses ingérences, afin de préserver son égo et surtout son portefeuille. Mais surtout, estime-t-elle, les tribunaux ne sauveront pas les Américains des actions du Doge, notamment parce que dans la plupart des cas, les décisions tardent à être prises et à être effectives. Pourtant, si les tribunaux étaient favorables à « l’élimination de la fraude et des abus », comme le dit Musk – à ce stade, ils devraient surtout œuvrer à “éliminer le Doge” !

Ce n’est malgré tout pas la direction qui est prise, au contraire. Même si Musk s’en retire, l’administration continue à renforcer le pouvoir du Doge qu’à l’éteindre. C’est ainsi qu’il faut lire le récent hackathon aux services fiscaux ou le projet qui s’esquisse avec Palantir. L’ICE, sous la coupe du Doge, vient de demander à Palantir, la sulfureuse entreprise de Thiel, de construire une plateforme dédiée, explique Wired : “ImmigrationOS”, « le système d’exploitation de l’immigration » (sic). Un outil pour “choisir les personnes à expulser”, en accordant une priorité particulière aux personnes dont le visa est dépassé qui doivent, selon la demande de l’administration, prendre leurs dispositions pour “s’expulser elles-mêmes des Etats-Unis”. L’outil qui doit être livré en septembre a pour fonction de cibler et prioriser les mesures d’application, c’est-à-dire d’aider à sélectionner les étrangers en situation irrégulière, les localiser pour les arrêter. Il doit permettre de suivre que les étrangers en situation irrégulière prennent bien leur disposition pour quitter les Etats-Unis, afin de mesurer la réalité des départs, et venir renforcer les efforts des polices locales, bras armées des mesures de déportation, comme le pointait The Markup. 

De ImmigrationOS au panoptique américain : le démantèlement des mesures de protection de la vie privée

Dans un article pour Gizmodo qui donne la parole à nombre d’opposants à la politique de destructions des silos de données, plusieurs rappellent les propos du sénateur démocrate Sam Ervin, auteur de la loi sur la protection des informations personnelles suite au scandale du Watergate, qui redoutait le caractère totalitaire des informations gouvernementales sur les citoyens. Pour Victoria Noble de l’Electronic Frontier Foundation, ce contrôle pourrait conduire les autorités à « exercer des représailles contre les critiques adressées aux représentants du gouvernement, à affaiblir les opposants politiques ou les ennemis personnels perçus, et à cibler les groupes marginalisés. » N’oubliez pas qu’il s’agit du même président qui a qualifié d’« ennemis » les agents électoraux, les journalistes, les juges et, en fait, toute personne en désaccord avec lui. Selon Reuters, le Doge a déjà utilisé l’IA pour détecter les cas de déloyauté parmi les fonctionnaires fédéraux. Pour les défenseurs des libertés et de la confidentialité, il est encore temps de renforcer les protections citoyennes. Et de rappeler que le passage de la sûreté à la sécurité, de la défense contre l’arbitraire à la défense de l’arbitraire, vient de ce que les élus ont passé bien plus d’énergie à légiférer pour la surveillance qu’à établir des garde-fous contre celle-ci, autorisant toujours plus de dérives, comme d’autoriser la surveillance des individus sans mandats de justice.

Pour The Atlantic, Ian Bogost et Charlie Warzel estiment que le Doge est en train de construire le panoptique américain. Ils rappellent que l’administration est l’univers de l’information, composée de constellations de bases de données. Des impôts au travail, toutes les administrations collectent et produisent des données sur les Américains, et notamment des données particulièrement sensibles et personnelles. Jusqu’à présent, de vieilles lois et des normes fragiles ont empêché que les dépôts de données ne soient regroupés. Mais le Doge vient de faire voler cela en éclat, préparant la construction d’un Etat de surveillance centralisé. En mars, le président Trump a publié un décret visant à éliminer les silos de données qui maintiennent les informations séparément. 

Dans leur article, Bogost et Warzel listent d’innombrables bases de données maintenues par des agences administratives : bases de données de revenus, bases de données sur les lanceurs d’alerte, bases de données sur la santé mentale d’anciens militaires… L’IA promet de transformer ces masses de données en outils “consultables, exploitables et rentables”. Mais surtout croisables, interconnectables. Les entreprises bénéficiant de prêts fédéraux et qui ont du mal à rembourser, pourraient désormais être punies au-delà de ce qui est possible, par la révocation de leurs licences, le gel des aides ou de leurs comptes bancaires. Une forme d’application universelle permettant de tout croiser et de tout inter-relier. Elles pourraient permettre de cibler la population en fonction d’attributs spécifiques. L’utilisation actuelle par le gouvernement de ces données pour expulser des étrangers, et son refus de fournir des preuves d’actes répréhensibles reprochées à certaines personnes expulsées, suggère que l’administration a déjà franchi la ligne rouge de l’utilisation des données à des fins politiques. 

Le Doge ne se contente pas de démanteler les mesures de protection de la vie privée, il ignore qu’elles ont été rédigées. Beaucoup de bases ont été conçues sans interconnectivité par conception, pour protéger la vie privée. “Dans les cas où le partage d’informations ou de données est nécessaire, la loi sur la protection de la vie privée de 1974 exige un accord de correspondance informatique (Computer Matching Agreement, CMA), un contrat écrit qui définit les conditions de ce partage et assure la protection des informations personnelles. Un CMA est « un véritable casse-tête », explique un fonctionnaire, et constitue l’un des moyens utilisés par le gouvernement pour décourager l’échange d’informations comme mode de fonctionnement par défaut”. 

La centralisation des données pourrait peut-être permettre d’améliorer l’efficacité gouvernementale, disent bien trop rapidement Bogost et Warzel, alors que rien ne prouve que ces croisements de données produiront autre chose qu’une discrimination toujours plus étendue car parfaitement granulaire. La protection de la vie privée vise à limiter les abus de pouvoir, notamment pour protéger les citoyens de mesures de surveillance illégales du gouvernement. 

Derrière les bases de données, rappellent encore les deux journalistes, les données ne sont pas toujours ce que l’on imagine. Toutes les données de ces bases ne sont pas nécessairement numérisées. Les faire parler et les croiser ne sera pas si simple. Mais le Doge a eu accès à des informations inédites. “Ce que nous ignorons, c’est ce qu’ils ont copié, exfiltré ou emporté avec eux”. 

“Doge constitue l’aboutissement logique du mouvement Big Data” : les données sont un actif. Les collecter et les croiser est un moyen de leur donner de la valeur. Nous sommes en train de passer d’une administration pour servir les citoyens à une administration pour les exploiter, suggèrent certains agents publics. Ce renversement de perspective “correspond parfaitement à l’éthique transactionnelle de Trump”. Ce ne sont plus les intérêts des américains qui sont au centre de l’équation, mais ceux des intérêts commerciaux des services privés, des intérêts des amis et alliés de Trump et Musk.

La menace totalitaire de l’accaparement des données personnelles gouvernementales

C’est la même inquiétude qu’exprime la politiste Allison Stanger dans un article pour The Conversation, qui rappelle que l’accès aux données gouvernementales n’a rien à voir avec les données personnelles que collectent les entreprises privées. Les référentiels gouvernementaux sont des enregistrements vérifiés du comportement humain réel de populations entières. « Les publications sur les réseaux sociaux et les historiques de navigation web révèlent des comportements ciblés ou intentionnels, tandis que les bases de données gouvernementales capturent les décisions réelles et leurs conséquences. Par exemple, les dossiers Medicare révèlent les choix et les résultats en matière de soins de santé. Les données de l’IRS et du Trésor révèlent les décisions financières et leurs impacts à long terme. Les statistiques fédérales sur l’emploi et l’éducation révèlent les parcours scolaires et les trajectoires professionnelles. » Ces données là, capturées pour faire tourner et entraîner des IA sont à la fois longitudinales et fiables. « Chaque versement de la Sécurité sociale, chaque demande de remboursement Medicare et chaque subvention fédérale constituent un point de données vérifié sur les comportements réels. Ces données n’existent nulle part ailleurs aux États-Unis avec une telle ampleur et une telle authenticité. » « Les bases de données gouvernementales suivent des populations entières au fil du temps, et pas seulement les utilisateurs actifs en ligne. Elles incluent les personnes qui n’utilisent jamais les réseaux sociaux, n’achètent pas en ligne ou évitent activement les services numériques. Pour une entreprise d’IA, cela impliquerait de former les systèmes à la diversité réelle de l’expérience humaine, plutôt qu’aux simples reflets numériques que les gens projettent en ligne.«  A terme, explique Stanger, ce n’est pas la même IA à laquelle nous serions confrontés. « Imaginez entraîner un système d’IA non seulement sur les opinions concernant les soins de santé, mais aussi sur les résultats réels des traitements de millions de patients. Imaginez la différence entre tirer des enseignements des discussions sur les réseaux sociaux concernant les politiques économiques et analyser leurs impacts réels sur différentes communautés et groupes démographiques sur des décennies ». Pour une entreprise développant des IA, l’accès à ces données constituerait un avantage quasi insurmontable. « Un modèle d’IA, entraîné à partir de ces données gouvernementales pourrait identifier les schémas thérapeutiques qui réussissent là où d’autres échouent, et ainsi dominer le secteur de la santé. Un tel modèle pourrait comprendre comment différentes interventions affectent différentes populations au fil du temps, en tenant compte de facteurs tels que la localisation géographique, le statut socio-économique et les pathologies concomitantes. » Une entreprise d’IA qui aurait accès aux données fiscales, pourrait « développer des capacités exceptionnelles de prévision économique et de prévision des marchés. Elle pourrait modéliser les effets en cascade des changements réglementaires, prédire les vulnérabilités économiques avant qu’elles ne se transforment en crises et optimiser les stratégies d’investissement avec une précision impossible à atteindre avec les méthodes traditionnelles ». Explique Stanger, en étant peut-être un peu trop dithyrambique sur les potentialités de l’IA, quand rien ne prouve qu’elles puissent faire mieux que nos approches plus classiques. Pour Stanger, la menace de l’accès aux données gouvernementales par une entreprise privée transcende les préoccupations relatives à la vie privée des individus. Nous deviendrons des sujets numériques plutôt que des citoyens, prédit-elle. Les données absolues corrompt absolument, rappelle Stanger. Oubliant peut-être un peu rapidement que ce pouvoir totalitaire est une menace non seulement si une entreprise privée se l’accapare, mais également si un Etat le déploie. La menace d’un Etat totalitaire par le croisement de toutes les données ne réside pas seulement par l’accaparement de cette puissance au profit d’une entreprise, comme celles de Musk, mais également au profit d’un Etat. 

Nombre de citoyens étaient déjà résignés face à l’accumulation de données du secteur privé, face à leur exploitation sans leur consentement, concluent Bogost et Warzel. L’idée que le gouvernement cède à son tour ses données à des fins privées est scandaleuse, mais est finalement prévisible. La surveillance privée comme publique n’a cessé de se développer et de se renforcer. La rupture du barrage, la levée des barrières morales, limitant la possibilité à recouper l’ensemble des données disponibles, n’était peut-être qu’une question de temps. Certes, le pire est désormais devant nous, car cette rupture de barrière morale en annonce d’autres. Dans la kleptocratie des données qui s’est ouverte, celles-ci pourront être utilisées contre chacun, puisqu’elles permettront désormais de trouver une justification rétroactive voire de l’inventer, puisque l’intégrité des bases de données publiques ne saurait plus être garantie. Bogost et Warzel peuvent imaginer des modalités, en fait, désormais, les systèmes n’ont même pas besoin de corréler vos dons à des associations pro-palestiniennes pour vous refuser une demande de prêt ou de subvention. Il suffit de laisser croire que désormais, le croisement de données le permet. 

Pire encore, “les Américains sont tenus de fournir de nombreuses données sensibles au gouvernement, comme des informations sur le divorce d’une personne pour garantir le versement d’une pension alimentaire, ou des dossiers détaillés sur son handicap pour percevoir les prestations d’assurance invalidité de la Sécurité sociale”, rappelle Sarah Esty, ancienne conseillère principale pour la technologie et la prestation de services au ministère américain de la Santé et des Services sociaux. “Ils ont agi ainsi en étant convaincus que le gouvernement protégerait ces données et que seules les personnes autorisées et absolument nécessaires à la prestation des services y auraient accès. Si ces garanties sont violées, ne serait-ce qu’une seule fois, la population perdra confiance dans le gouvernement, ce qui compromettra à jamais sa capacité à gérer ces services”. C’est exactement là où l’Amérique est plongée. Et le risque, devant nous, est que ce qui se passe aux Etats-Unis devienne un modèle pour saper partout les garanties et la protection des données personnelles. 

Hubert Guillaud

Il reste difficile de suivre ce qui se déroule de l’autre côté de l’Atlantique depuis l’arrivée de Trump au pouvoir, ce démantèlement de l’Amérique, comme nous l’appelions. Nous avons tenté également de faire le point de ce qu’était le Doge, de quelle efficacité il était le nom, à savoir un piratage, un remplacement démocratique, une porte ouverte pour la corruption et l’escroquerie… Depuis, les articles s’accumulent encore. Un son de cloche complémentaire le présente souvent comme une privatisation inédite des services publics. Explorons cette piste. 

Une privatisation inédite : les délégataires aux commandes

Le Doge tient d’une privatisation inédite des services publics, assène Brett Heinz pour The American Prospect, rappelant que si Musk a dépensé 290 millions de dollars pour l’élection de Trump, ses entreprises ont reçu plus de 38 milliards de dollars d’aides gouvernementales au cours des deux dernières décennies. 

En fait, le Doge ne vise pas à accroître l’efficacité gouvernementale, mais bien à démanteler la fonction publique en ciblant les dépenses que Musk et Trump désapprouvent, tout en centralisant le pouvoir décisionnel à la Maison Blanche. Mais surtout, le Doge entérine une nouvelle stratégie : « l’accession de sous-traitants gouvernementaux comme Musk au rang de décideurs politiques ». Ce sont ceux qu’on appellerait en France les délégataires des services publics qui prennent les commandes. 

« La seule classe parasitaire qui profite de l’inefficacité du gouvernement est constituée de sous-traitants gouvernementaux à but lucratif comme Musk, qui s’enrichissent sur l’argent des contribuables en fournissant des services hors de prix pour compenser le manque de capacités de l’État, tout en utilisant leurs milliards pour manipuler le système à leur avantage. Permettre à des sous-traitants comme lui de décider de la façon dont le gouvernement dépense l’argent est à la fois un affront à la démocratie et une invitation ouverte à davantage de corruption », explique Heinz.

« La plupart des Américains ignorent à quel point leur gouvernement a déjà été privatisé. On estimait en 2017 que plus de 40 % des personnes travaillant pour le gouvernement ne sont pas réellement des fonctionnaires. Ce sont des sous-traitants d’entreprises privées, embauchés pour prendre en charge une tâche particulière du secteur public. Dans certains secteurs gouvernementaux, comme l’armée, le recours aux sous-traitants est monnaie courante : en 2019, on comptait 1,5 sous-traitant pour chaque soldat américain en Irak et en Afghanistan. »

Pour le dire autrement, le gouvernement fédéral ne souffre pas d’un effectif pléthorique, au contraire : il y a moins d’employés fédéraux en 2015 qu’en 1984. Par contre, la sous-traitance privée, elle, a explosé. « Entre 2013 et 2023, les dépenses totales consacrées à l’attribution de contrats fédéraux ont augmenté de près de 65 % ». 

La croyance dans l’efficacité de la sous-traitance privée n’a jamais été corroborée par des preuves solides, rappelle Heinz. Reste que, désormais, ces contractants ne veulent pas seulement résoudre pour plus cher les problèmes du secteur public, ils veulent aussi pouvoir décider, pour le gouvernement, de la nature du problème. « Les entrepreneurs ne veulent pas simplement obéir aux ordres du gouvernement, mais fonctionner comme un para-État capable d’influencer les ordres que le gouvernement leur donne. À l’instar du rêve de Musk de construire des voitures autonomes, l’industrie rêve d’un entrepreneur auto-contractant. Et Musk lui-même teste ce concept. » Brett Heinz rappelle que les rafles de données du Doge ont d’abord ciblé des agences fédérales où Musk avait des conflits d’intérêts. « En le qualifiant d’ailleurs d’« employé spécial du gouvernement », la Maison Blanche lui impose des normes éthiques moins strictes que la plupart des fonctionnaires qu’il licencie. » Et Musk n’est pas le seul sous-traitant du gouvernement à y étendre son pouvoir. « On entend souvent dire que le gouvernement devrait être géré « davantage comme une entreprise ». Le cas du Doge nous montre pourtant le contraire. Si nous voulions réellement un gouvernement plus efficace, il faudrait réduire le nombre de sous-traitants et embaucher davantage de fonctionnaires, souvent plus rentables et toujours plus responsables et transparents. Musk fait le contraire, offrant à ses entreprises et alliés davantage d’opportunités d’intervenir et de proposer des travaux surévalués et de qualité douteuse. »

L’effondrement des services publics

Le Washington Post raconte l’effondrement de la Sécurité sociale américaine. L’agence fédérale, qui verse 1 500 milliards de dollars par an en prestations sociales à 73 millions de retraités, à leurs survivants et aux Américains pauvres et handicapés a vu ses effectifs fondre. Son site web est souvent en panne depuis que le Doge a pris les commandes, empêchant de nombreux bénéficiaires de mettre à jour leurs demandes ou d’obtenir des informations sur des aides qui ne viennent plus. 12% des 57 000 employés ont été licenciés. Des milliers d’Américains s’inquiètent auprès de leurs députés ou de l’agence des versements à venir. « La sécurité sociale est la principale source de revenus d’environ 40 % des Américains âgés ». En sous-effectif et en manque de budgets de fonctionnement depuis longtemps, la purge est en train de laminer ce qu’il restait du service. Mais, face aux retraités inquiets, les employés ont peu de réponses à apporter, et ce alors que les escroqueries en ligne se multiplient, profitant de l’aubaine que l’inquiétude génère auprès d’eux. Certains bureaux estiment que les gens pourraient être privés de prestations pendant des mois. 

Wired rapporte que le Doge a décidé de réécrire le code du système de la Sécurité sociale américaine, afin de se débarrasser du langage Cobol avec lequel il a été écrit depuis l’origine et que peu de développeurs maîtrisent. Réécrire ce code en toute sécurité prendrait des années : le Doge souhaite que cela se fasse en quelques mois. Qu’importe si cela bloque les versements d’allocation de millions d’Américains. 

En 2020, pour Logic Mag, Mar Hicks avait exploré les enjeux du langage Cobol depuis lequel nombre d’applications des services publics sont construites (et pas seulement aux Etats-Unis, notamment parce que ces systèmes sont souvent anciens, héritages de formes de calcul précédant l’arrivée d’internet). Mar Hicks rappelait déjà que ce vieux langage de programmation avait été, durant la pandémie, un bouc-émissaire idéal pour expliquer la défaillance de nombre de services publics à répondre à l’accroissement des demandes d’aides des administrés. Pourtant depuis 6 décennies, les programmes écrits en Cobol se sont révélés extrêmement robustes, très transparents et très accessibles. C’est sa grande accessibilité et sa grande lisibilité qui a conduit les informaticiens à le dénigrer d’ailleurs, lui préférant des langages plus complexes, valorisant leurs expertises d’informaticiens. Le problème c’est que ces systèmes nécessitent surtout une maintenance constante. Or, c’est celle-ci qui a fait souvent défaut, notamment du fait des logiques d’austérité qui ont réduit le personnel en charge de la maintenance des programmes. “C’est ce manque d’investissement dans le personnel, dû à l’austérité, plutôt que la fiction répandue selon laquelle les programmeurs aux compétences obsolètes partaient à la retraite, qui a éliminé les programmeurs Cobol des années avant cette récente crise.“ Hicks souligne que nous ne manquons pas de programmeurs Cobol. En fait, explique-t-elle : “la technologie actuelle pourrait bénéficier davantage de la résilience et de l’accessibilité que Cobol a apportées à l’informatique, en particulier pour les systèmes à fort impact”. 

“Les systèmes anciens ont de la valeur, et construire constamment de nouveaux systèmes technologiques pour des profits à court terme au détriment des infrastructures existantes n’est pas un progrès. En réalité, c’est l’une des voies les plus régressives qu’une société puisse emprunter ». “Le bonheur et le malheur d’une bonne infrastructure, c’est que lorsqu’elle fonctionne, elle est invisible : ce qui signifie que trop souvent, nous n’y accordons pas beaucoup d’attention. Jusqu’à ce qu’elle s’effondre”.

Il reste difficile de suivre ce qui se déroule de l’autre côté de l’Atlantique depuis l’arrivée de Trump au pouvoir, ce démantèlement de l’Amérique, comme nous l’appelions. Nous avons tenté également de faire le point de ce qu’était le Doge, de quelle efficacité il était le nom, à savoir un piratage, un remplacement démocratique, une porte ouverte pour la corruption et l’escroquerie… Depuis, les articles s’accumulent encore. Un son de cloche complémentaire le présente souvent comme une privatisation inédite des services publics. Explorons cette piste. 

Une privatisation inédite : les délégataires aux commandes

Le Doge tient d’une privatisation inédite des services publics, assène Brett Heinz pour The American Prospect, rappelant que si Musk a dépensé 290 millions de dollars pour l’élection de Trump, ses entreprises ont reçu plus de 38 milliards de dollars d’aides gouvernementales au cours des deux dernières décennies. 

En fait, le Doge ne vise pas à accroître l’efficacité gouvernementale, mais bien à démanteler la fonction publique en ciblant les dépenses que Musk et Trump désapprouvent, tout en centralisant le pouvoir décisionnel à la Maison Blanche. Mais surtout, le Doge entérine une nouvelle stratégie : « l’accession de sous-traitants gouvernementaux comme Musk au rang de décideurs politiques ». Ce sont ceux qu’on appellerait en France les délégataires des services publics qui prennent les commandes. 

« La seule classe parasitaire qui profite de l’inefficacité du gouvernement est constituée de sous-traitants gouvernementaux à but lucratif comme Musk, qui s’enrichissent sur l’argent des contribuables en fournissant des services hors de prix pour compenser le manque de capacités de l’État, tout en utilisant leurs milliards pour manipuler le système à leur avantage. Permettre à des sous-traitants comme lui de décider de la façon dont le gouvernement dépense l’argent est à la fois un affront à la démocratie et une invitation ouverte à davantage de corruption », explique Heinz.

« La plupart des Américains ignorent à quel point leur gouvernement a déjà été privatisé. On estimait en 2017 que plus de 40 % des personnes travaillant pour le gouvernement ne sont pas réellement des fonctionnaires. Ce sont des sous-traitants d’entreprises privées, embauchés pour prendre en charge une tâche particulière du secteur public. Dans certains secteurs gouvernementaux, comme l’armée, le recours aux sous-traitants est monnaie courante : en 2019, on comptait 1,5 sous-traitant pour chaque soldat américain en Irak et en Afghanistan. »

Pour le dire autrement, le gouvernement fédéral ne souffre pas d’un effectif pléthorique, au contraire : il y a moins d’employés fédéraux en 2015 qu’en 1984. Par contre, la sous-traitance privée, elle, a explosé. « Entre 2013 et 2023, les dépenses totales consacrées à l’attribution de contrats fédéraux ont augmenté de près de 65 % ». 

La croyance dans l’efficacité de la sous-traitance privée n’a jamais été corroborée par des preuves solides, rappelle Heinz. Reste que, désormais, ces contractants ne veulent pas seulement résoudre pour plus cher les problèmes du secteur public, ils veulent aussi pouvoir décider, pour le gouvernement, de la nature du problème. « Les entrepreneurs ne veulent pas simplement obéir aux ordres du gouvernement, mais fonctionner comme un para-État capable d’influencer les ordres que le gouvernement leur donne. À l’instar du rêve de Musk de construire des voitures autonomes, l’industrie rêve d’un entrepreneur auto-contractant. Et Musk lui-même teste ce concept. » Brett Heinz rappelle que les rafles de données du Doge ont d’abord ciblé des agences fédérales où Musk avait des conflits d’intérêts. « En le qualifiant d’ailleurs d’« employé spécial du gouvernement », la Maison Blanche lui impose des normes éthiques moins strictes que la plupart des fonctionnaires qu’il licencie. » Et Musk n’est pas le seul sous-traitant du gouvernement à y étendre son pouvoir. « On entend souvent dire que le gouvernement devrait être géré « davantage comme une entreprise ». Le cas du Doge nous montre pourtant le contraire. Si nous voulions réellement un gouvernement plus efficace, il faudrait réduire le nombre de sous-traitants et embaucher davantage de fonctionnaires, souvent plus rentables et toujours plus responsables et transparents. Musk fait le contraire, offrant à ses entreprises et alliés davantage d’opportunités d’intervenir et de proposer des travaux surévalués et de qualité douteuse. »

L’effondrement des services publics

Le Washington Post raconte l’effondrement de la Sécurité sociale américaine. L’agence fédérale, qui verse 1 500 milliards de dollars par an en prestations sociales à 73 millions de retraités, à leurs survivants et aux Américains pauvres et handicapés a vu ses effectifs fondre. Son site web est souvent en panne depuis que le Doge a pris les commandes, empêchant de nombreux bénéficiaires de mettre à jour leurs demandes ou d’obtenir des informations sur des aides qui ne viennent plus. 12% des 57 000 employés ont été licenciés. Des milliers d’Américains s’inquiètent auprès de leurs députés ou de l’agence des versements à venir. « La sécurité sociale est la principale source de revenus d’environ 40 % des Américains âgés ». En sous-effectif et en manque de budgets de fonctionnement depuis longtemps, la purge est en train de laminer ce qu’il restait du service. Mais, face aux retraités inquiets, les employés ont peu de réponses à apporter, et ce alors que les escroqueries en ligne se multiplient, profitant de l’aubaine que l’inquiétude génère auprès d’eux. Certains bureaux estiment que les gens pourraient être privés de prestations pendant des mois. 

Wired rapporte que le Doge a décidé de réécrire le code du système de la Sécurité sociale américaine, afin de se débarrasser du langage Cobol avec lequel il a été écrit depuis l’origine et que peu de développeurs maîtrisent. Réécrire ce code en toute sécurité prendrait des années : le Doge souhaite que cela se fasse en quelques mois. Qu’importe si cela bloque les versements d’allocation de millions d’Américains. 

En 2020, pour Logic Mag, Mar Hicks avait exploré les enjeux du langage Cobol depuis lequel nombre d’applications des services publics sont construites (et pas seulement aux Etats-Unis, notamment parce que ces systèmes sont souvent anciens, héritages de formes de calcul précédant l’arrivée d’internet). Mar Hicks rappelait déjà que ce vieux langage de programmation avait été, durant la pandémie, un bouc-émissaire idéal pour expliquer la défaillance de nombre de services publics à répondre à l’accroissement des demandes d’aides des administrés. Pourtant depuis 6 décennies, les programmes écrits en Cobol se sont révélés extrêmement robustes, très transparents et très accessibles. C’est sa grande accessibilité et sa grande lisibilité qui a conduit les informaticiens à le dénigrer d’ailleurs, lui préférant des langages plus complexes, valorisant leurs expertises d’informaticiens. Le problème c’est que ces systèmes nécessitent surtout une maintenance constante. Or, c’est celle-ci qui a fait souvent défaut, notamment du fait des logiques d’austérité qui ont réduit le personnel en charge de la maintenance des programmes. “C’est ce manque d’investissement dans le personnel, dû à l’austérité, plutôt que la fiction répandue selon laquelle les programmeurs aux compétences obsolètes partaient à la retraite, qui a éliminé les programmeurs Cobol des années avant cette récente crise.“ Hicks souligne que nous ne manquons pas de programmeurs Cobol. En fait, explique-t-elle : “la technologie actuelle pourrait bénéficier davantage de la résilience et de l’accessibilité que Cobol a apportées à l’informatique, en particulier pour les systèmes à fort impact”. 

“Les systèmes anciens ont de la valeur, et construire constamment de nouveaux systèmes technologiques pour des profits à court terme au détriment des infrastructures existantes n’est pas un progrès. En réalité, c’est l’une des voies les plus régressives qu’une société puisse emprunter ». “Le bonheur et le malheur d’une bonne infrastructure, c’est que lorsqu’elle fonctionne, elle est invisible : ce qui signifie que trop souvent, nous n’y accordons pas beaucoup d’attention. Jusqu’à ce qu’elle s’effondre”.

En 2019, dans une tribune pour le New Yorker, Miriam Posner explique le rôle du logiciel dans les chaînes d’approvisionnement, pour mieux nous en pointer les limites. Si les chaînes logistiques ne sont pas éthiques, c’est parce que l’éthique n’est pas une donnée que traite leurs logiciels. Explication.

Professeure à l’université de Californie et spécialiste des questions technologiques, Miriam Posner signe dans le New Yorker une très intéressante tribune sur la transformation logicielle de la chaîne logistique.

En consultant un rapport (« cauchemardesque ») du China Labor Watch (l’Observatoire du travail en Chine, une association qui informe et dénonce les conditions de travail sur les chaînes de fabrication des usines chinoises) sur les conditions de fabrication de jouets en Chine, Miriam Posner s’interrogeait : comment se fait-il que nous ne sachions pas mieux tracer l’origine des produits que nous consommons ?

De l’abstraction des chaînes d’approvisionnements

Quand elle a demandé à ses étudiants de travailler sur la question de la chaîne d’approvisionnement de matériel électronique, elle s’est rendu compte que, quand bien même certaines entreprises se vantent de connaître et maîtriser leur chaîne logistique de bout en bout, aucune ne sait exactement d’où proviennent les composants qu’elles utilisent. « Cette ignorance est inhérente au mode de fonctionnement des chaînes d’approvisionnement ». La coque de plastique d’une télévision par exemple peut-être construite dans une petite usine n’employant que quelques personnes qui n’interagit qu’avec des fournisseurs et acheteurs adjacents (un fournisseur de plastique et une entreprise de montage par exemple). Cette intrication favorise la modularité : si une entreprise cesse son activité, ses partenaires immédiats peuvent la remplacer rapidement, sans nécessairement avoir à consulter qui que ce soit, ce qui rend la chaîne très souple et adaptable… Mais rend également très difficile l’identification des multiples maillons de la chaîne logistique.

Nous avons une vision souvent abstraite des chaînes d’approvisionnements que nous n’imaginons que comme des chaînes physiques. Or leur gestion est devenue complètement virtuelle, logicielle. Les personnes qui conçoivent et coordonnent ces chaînes logicielles elles non plus ne voient ni les usines, ni les entrepôts, ni les travailleurs. Elles regardent des écrans et des tableurs : leur vision de la chaîne d’approvisionnement est tout aussi abstraite que la nôtre, explique la chercheuse.

Le leader logiciel de la chaîne d’approvisionnement est l’allemand SAP. SAP est une suite logicielle que vous ne pouvez pas télécharger sur l’App Store. C’est un logiciel industriel spécialisé qui se déploie à l’échelle d’entreprises pour piloter la chaîne d’approvisionnement (et qui comprend de nombreux modules additionnels de comptabilité ou de ressources humaines). Pour comprendre son fonctionnement, Miriam Posner a suivi une formation en ligne dédiée.

Le logiciel est complexe. Il se présente comme un ensemble de dossiers de fichiers qu’on peut agencer pour former la chaîne d’approvisionnement (commande, fabrication, emballage, expéditions…). La conception d’une chaîne est un processus qui implique plusieurs opérateurs et entreprises, sous forme de « composants ». Un spécialiste de la demande par exemple entre des informations sur les ventes passées (variations saisonnières, promotions planifiées, etc.) et le logiciel calcule combien de produits doivent être fabriqués. Un autre spécialiste utilise des informations sur les délais d’expéditions, les coûts de stockage, les capacités d’usine pour créer un « plan de réseau logistique » qui détermine le moment où chaque engrenage du processus de fabrication doit tourner. Ce plan est ensuite transmis à un autre spécialiste pour planifier la production et calculer le calendrier détaillé qui vont déterminer la manière dont le processus se déroulera sur le terrain le plus précisément possible. Tout cela prend la forme de séries de feuilles de calcul, de cases à cocher, de fenêtres contextuelles… qui n’est pas sans rappeler l’analyse que faisait Paul Dourish sur la matérialité de l’information qui s’incarne aujourd’hui dans le tableur. C’est « pourtant là que les prévisions de marchés sont traduites en ordre de marche des travailleurs », explique Posner. La planification de la production et le calendrier détaillé reposent sur des « heuristiques », des algorithmes intégrés qui répartissent la production et donc la main d’oeuvre pour que les installations fonctionnent à leur capacité maximale. D’ailleurs, souligne Miriam Posner, l’exécution d’une heuristique implique de cliquer sur un bouton de l’interface qui ressemble à une petite baguette magique, comme s’il suffisait d’une action simple pour activer la chaîne.

L’utilisation de SAP est difficile reconnaît la chercheuse. Chaque tâche est compliquée à configurer, avec d’innombrables paramètres à valider. Le plus souvent, ce travail est divisé et nécessite de multiples interventions différentes. En fait, « aucun individu ne possède une image détaillée de l’ensemble de la chaîne d’approvisionnement. Au lieu de cela, chaque spécialiste sait seulement ce dont ses voisins ont besoin. »

« Dans un tel système, un sentiment d’inévitabilité s’installe. Les données dictent un ensemble de conditions qui doivent être remplies, mais rien n’explique comment ces données ont été obtenues. Pendant ce temps, le logiciel joue un rôle actif, en peaufinant le plan pour répondre aux conditions le plus efficacement possible. Les optimiseurs intégrés de SAP déterminent comment répondre aux besoins de la production avec le moins de « latence » et au moindre coût possible (le logiciel suggère même comment optimiser un conteneur pour économiser sur les frais d’expédition). Cela implique que des composants particuliers deviennent disponibles à des moments particuliers. Les conséquences de cette optimisation incessante sont bien documentées. Les sociétés qui commandent des produits transmettent leurs demandes déterminées par calcul à leurs sous-traitants, qui exercent ensuite une pression extraordinaire sur leurs employés. Ainsi, China Labour Watch a constaté que les travailleurs de la ville de Heyuan en Chine chargés de fabriquer une poupée Disney que Miriam a achetée à ses enfants (vendue au prix 26,40 $) travaillent vingt-six jours par mois, assemblent entre 1800 et 2500 poupées par jour et gagnent un centime pour chaque poupée qu’ils complètent. »

De la distance spatiale, temporelle et informationnelle

Pour la chercheuse, le défi majeur dans la gestion de la chaîne d’approvisionnement est la grande distance – « spatiale, temporelle et informationnelle » – qui sépare le processus du monde réel de la fabrication et de la consommation. Ces distances introduisent de nombreux problèmes, comme l’effet « coup de fouet », qui consiste à ce que chaque niveau produise plus que prévu pour mieux répondre à la demande ou ajuster ses bénéfices avec ses coûts. Le battement d’ailes d’un consommateur peut-être amplifié de manière démesurée par la chaîne. En fait, la demande temps réel du pilotage que produit le logiciel ne correspond pas vraiment à la réalité effective des multiples chaînes de production, où chaque acteur fait ses ajustements (qui prennent en compte d’autres commandes, des délais, la disponibilité de fournitures ou la surproduction pour réduire les coûts…). Pourtant, le logiciel procède d’une vision qui maximise le temps réel et donne l’illusion d’être au coeur de la tour de contrôle de la production.

L’autre effet coup de fouet, bien sûr, s’applique directement aux travailleurs des différentes usines prestataires de la chaîne. Quand les exigences des commandes parviennent jusqu’aux travailleurs, elles se révèlent plus exigeantes et plus punitives.

Dans le numéro 4 de l’excellent magazine Logic, Miriam Posner avait déjà livré une réflexion sur le sujet. Elle y rappelait déjà que si les questions de l’architecture physique de la chaîne d’approvisionnement mondialisée était souvent étudiée (notamment dans The Box de Marc Levinson qui s’intéressait au rôle du conteneur ou encore dans The Deadly life of logistics de Deborah Cowen), ce n’était pas beaucoup le cas de son aspect logiciel comme des échanges de données et d’informations qui la sous-tendent. L’industrie logicielle de la gestion de la chaîne d’approvisionnement est pourtant l’un des domaines d’activité qui connaît la plus forte croissance, mais qui opère de manière assez discrète, car les informations qu’elle traite sont très concurrentielles. Amazon, par exemple, n’est pas tant un commerçant qu’une chaîne d’approvisionnement incarnée et peu de personnes connaissent le logiciel qui l’optimise. Pour Leonardo Bonanni, PDG de Sourcemap, une entreprise qui aide les entreprises à construire leurs chaînes d’approvisionnement, l’incapacité des entreprises à visualiser cette chaîne est une fonction même de l’architecture logicielle. Pour Miriam Posner, le terme de chaîne d’approvisionnement est finalement trompeur : cette chaîne « ressemble beaucoup plus à un réseau de voies navigables, avec des milliers de minuscules affluents composés de sous-traitants qui s’écoulent dans de plus grandes rivières d’assemblage, de production et de distribution. »

Pour Bonanni, nous ne voyons qu’une parcelle des abus sur les lieux de travail qui sont portés à notre connaissance : c’est surtout le cas de quelques chaînes prestigieuses, comme dans l’électronique grand public. Mais les conditions de travail sont souvent plus opaques et les abus plus répandus dans d’autres industries, comme l’habillement ou l’agriculture, des lieux où la chaîne se recompose à chaque approvisionnement, à chaque saison, avec un nombre de noeuds et de sous-traitants, qui sont loin d’être tous intégrés à la chaîne logicielle. Les usines géantes de Foxcon masquent d’innombrables petits ateliers et usines beaucoup moins présentables qui permettent à la chaîne d’être extrêmement résiliente et robuste. En fait, « il n’y a pas de tour de contrôle supervisant les réseaux d’approvisionnement », les noeuds ne parlent qu’à leurs voisins immédiats.

Du rôle de l’échelle pour gérer l’information et de la modularité pour gérer la complexité

« Ces infrastructures physiques distribuées ressemblent finalement beaucoup au réseau invisible qui les rend possibles : internet ». À chaque étape de la transformation, le produit est transformé en marchandise. Et l’information qui l’accompagnait transformée à son tour. Du plastique devient une coque qui devient une télévision… En fait, la transformation et l’échelle d’action impliquent une perte d’information. Pour récupérer une tonne d’or, vous devez en acheter à plein d’endroits différents que la fonte va transformer en une marchandise unique : la tonne d’or que vous vendez.

Un fonctionnement assez proche de la programmation modulaire, remarque Miriam Posner. La programmation modulaire est une méthode familière à tout programmeur et architecte de systèmes. Elle consiste à gérer la complexité par des unités fonctionnelles distinctes. Chaque programmeur travaille ainsi sur un module qui s’interface aux autres en spécifiant les entrées et sorties où les modalités qu’il prend en charge. Les systèmes modulaires permettent notamment de gérer la complexité et d’améliorer un module sans avoir à toucher les autres : chacun étant une sorte de « boite noire » vis-à-vis des autres.

Comme l’explique Andrew Russell, historien de l’informatique, la modularité, née dans l’architecture, a été un moyen de structurer les organisations comme l’économie. « C’est une sorte de caractéristique de la modernité ». Et les chaînes d’approvisionnement sont hautement modulaires, à l’image du conteneur, standardisé et interchangeable, qui peut contenir n’importe quoi pour se rendre n’importe où, ce qui permet aux marchandises transportées de passer à l’échelle globale.

« Les informations sur la provenance, les conditions de travail et l’impact sur l’environnement sont difficiles à gérer lorsque l’objectif de votre système est simplement de fournir et d’assembler des produits rapidement. « Vous pouvez imaginer une manière différente de faire les choses, de sorte que vous sachiez tout cela », explique Russell, « afin que votre regard soit plus immersif et continu. Mais ce que cela fait, c’est inhiber l’échelle ». Et l’échelle, bien sûr, est la clé d’une économie mondialisée. »

Pour Miriam Posner, le passage à l’échelle – la fameuse scalabilité – explique pourquoi les branches d’un réseau d’approvisionnement disparaissent. Cela aide également à expliquer pourquoi la syndicalisation transnationale a été si difficile : pour répondre aux demandes du marché, les ateliers ont appris à se rendre interchangeables. Un peu comme si « nous avions assimilé les leçons de la modularité d’une manière psychologique ».

La traçabilité de bout en bout ! Mais pour quelle transparence ?

Reste à savoir si la technologie peut remédier au problème qu’elle a créé. Miriam Posner constate que l’internet des objets et la blockchain sont deux technologies qui ont reçu beaucoup d’engouements chez les praticiens des systèmes de gestion de la chaîne d’approvisionnement.

La première permet de localiser et tracer les composants alors que la seconde permet d’y attacher un numéro d’identification et un journal qui enregistre chaque fois qu’une fourniture change de main. Leurs partisans affirment que ces technologies pourraient apporter une transparence radicale aux chaînes d’approvisionnement mondiales. Le problème est que l’une comme l’autre peuvent vite être vidées de leurs sens si elles ne sont qu’une chaîne d’enregistrement de prestataires, sans informations sur leurs pratiques. Et ni l’une ni l’autre ne résolvent les problèmes liés à la transformation de produits. Pour Bonanni, elles ne résolvent pas non plus le manque de visibilité : quand tout le monde est incité à agir toujours plus rapidement et efficacement, il est difficile d’imaginer qui sera chargé de fournir plus d’informations que nécessaire. Si ces technologies pourraient certes fournir des informations détaillées sur les conditions de travail et le respect des normes de sécurité, il reste difficile de croire que l’internet des objets et la blockchain, qui sont surtout des objets techniques visant à accroître l’efficacité, le contrôle, la rapidité et la sécurité des informations puissent devenir demain des moyens pour s’assurer de chaînes d’approvisionnement socialement responsables.

Dans le domaine de la gestion des chaînes d’approvisionnement, l’autre technologie source d’innovation, c’est bien sûr l’apprentissage automatique, via des algorithmes capables de faire de meilleures prévisions et de prendre des décisions. Appliqué à la chaîne logistique, le machine learning pourrait aider à déterminer les fournisseurs et les itinéraires qui livreront les marchandises de la manière la plus rapide et la plus fiable. Les algorithmes pourraient prédire les performances des fournisseurs et des transporteurs, en leur attribuant des scores de risques selon l’historique de leurs résultats. Et demain, les réseaux d’approvisionnement pourraient se reconfigurer automatiquement, de manière dynamique, selon cette évaluation de risques… Pas sûr que cette piste améliore la cécité collective des outils, pointe Posner. Pas sûr non plus qu’elle soit si accessible quand déjà les données utilisées ne savent pas grand-chose de la qualité des fournisseurs.

En fait, ces technologies nous montrent que les spécialistes de la gestion de la chaîne logistique ne parlent pas de la même transparence ou de la même visibilité que le consommateur final. La transparence de la chaîne logistique ne vise pas à aider à comprendre d’où vient un produit, mais vise à améliorer son efficacité : diminuer le coût tout en maximisant la rapidité.

Quel levier pour transformer l’approvisionnement ?

Les défis politiques pour transformer ces constats sont immenses, conclut Miriam Posner. En l’absence de véritables efforts pour créer un contrôle démocratique des chaînes d’approvisionnement, nous en sommes venus à les considérer comme fonctionnant de manière autonome – davantage comme des forces naturelles que des forces que nous avons créées nous-mêmes.

En 2014, le Guardian a signalé que des migrants birmans travaillaient dans des conditions qui tenaient de l’esclavagisme à bord de crevettiers au large des côtes thaïlandaises. Pour un importateur de crevettes, l’esclavagisme semblait un symptôme plus qu’une cause des modalités d’approvisionnement elles-mêmes. Et effectivement, il est possible d’avoir une chaîne d’approvisionnement parfaitement efficace, mais également parfaitement ignorante des conditions de travail qu’elle implique.

Reste que nous avons construit les réseaux décentralisés tels qu’ils opèrent, rappelle la chercheuse. L’anthropologue Anna Tsing dans ses travaux sur la chaîne d’approvisionnement souligne que Walmart par exemple exige un contrôle parfait sur certains aspects de sa chaîne d’approvisionnement : notamment sur les prix et les délais de livraison, et ce au détriment d’autres aspects comme les pratiques de travail. L’absence d’information sur certains aspects de la chaîne d’approvisionnement est profondément liée à un système conçu pour s’adapter à la variété de produits que nous produisons et à la rapidité avec lesquelles nous les produisons. Et cette absence d’information est intégrée dans les logiciels mêmes qui produisent la mondialisation. Exiger une chaîne logistique plus transparente et plus juste nécessite d’intégrer des informations que peu d’entreprises souhaitent utiliser, notamment parce que par nature, elles remettent en question les paradigmes de l’efficacité et de la scalabilité qui les font fonctionner.

Hubert Guillaud

Cet article a été publié originellement sur InternetActu.net, le 17 mars 2019.

En 2019, dans une tribune pour le New Yorker, Miriam Posner explique le rôle du logiciel dans les chaînes d’approvisionnement, pour mieux nous en pointer les limites. Si les chaînes logistiques ne sont pas éthiques, c’est parce que l’éthique n’est pas une donnée que traite leurs logiciels. Explication.

Professeure à l’université de Californie et spécialiste des questions technologiques, Miriam Posner signe dans le New Yorker une très intéressante tribune sur la transformation logicielle de la chaîne logistique.

En consultant un rapport (« cauchemardesque ») du China Labor Watch (l’Observatoire du travail en Chine, une association qui informe et dénonce les conditions de travail sur les chaînes de fabrication des usines chinoises) sur les conditions de fabrication de jouets en Chine, Miriam Posner s’interrogeait : comment se fait-il que nous ne sachions pas mieux tracer l’origine des produits que nous consommons ?

De l’abstraction des chaînes d’approvisionnements

Quand elle a demandé à ses étudiants de travailler sur la question de la chaîne d’approvisionnement de matériel électronique, elle s’est rendu compte que, quand bien même certaines entreprises se vantent de connaître et maîtriser leur chaîne logistique de bout en bout, aucune ne sait exactement d’où proviennent les composants qu’elles utilisent. « Cette ignorance est inhérente au mode de fonctionnement des chaînes d’approvisionnement ». La coque de plastique d’une télévision par exemple peut-être construite dans une petite usine n’employant que quelques personnes qui n’interagit qu’avec des fournisseurs et acheteurs adjacents (un fournisseur de plastique et une entreprise de montage par exemple). Cette intrication favorise la modularité : si une entreprise cesse son activité, ses partenaires immédiats peuvent la remplacer rapidement, sans nécessairement avoir à consulter qui que ce soit, ce qui rend la chaîne très souple et adaptable… Mais rend également très difficile l’identification des multiples maillons de la chaîne logistique.

Nous avons une vision souvent abstraite des chaînes d’approvisionnements que nous n’imaginons que comme des chaînes physiques. Or leur gestion est devenue complètement virtuelle, logicielle. Les personnes qui conçoivent et coordonnent ces chaînes logicielles elles non plus ne voient ni les usines, ni les entrepôts, ni les travailleurs. Elles regardent des écrans et des tableurs : leur vision de la chaîne d’approvisionnement est tout aussi abstraite que la nôtre, explique la chercheuse.

Le leader logiciel de la chaîne d’approvisionnement est l’allemand SAP. SAP est une suite logicielle que vous ne pouvez pas télécharger sur l’App Store. C’est un logiciel industriel spécialisé qui se déploie à l’échelle d’entreprises pour piloter la chaîne d’approvisionnement (et qui comprend de nombreux modules additionnels de comptabilité ou de ressources humaines). Pour comprendre son fonctionnement, Miriam Posner a suivi une formation en ligne dédiée.

Le logiciel est complexe. Il se présente comme un ensemble de dossiers de fichiers qu’on peut agencer pour former la chaîne d’approvisionnement (commande, fabrication, emballage, expéditions…). La conception d’une chaîne est un processus qui implique plusieurs opérateurs et entreprises, sous forme de « composants ». Un spécialiste de la demande par exemple entre des informations sur les ventes passées (variations saisonnières, promotions planifiées, etc.) et le logiciel calcule combien de produits doivent être fabriqués. Un autre spécialiste utilise des informations sur les délais d’expéditions, les coûts de stockage, les capacités d’usine pour créer un « plan de réseau logistique » qui détermine le moment où chaque engrenage du processus de fabrication doit tourner. Ce plan est ensuite transmis à un autre spécialiste pour planifier la production et calculer le calendrier détaillé qui vont déterminer la manière dont le processus se déroulera sur le terrain le plus précisément possible. Tout cela prend la forme de séries de feuilles de calcul, de cases à cocher, de fenêtres contextuelles… qui n’est pas sans rappeler l’analyse que faisait Paul Dourish sur la matérialité de l’information qui s’incarne aujourd’hui dans le tableur. C’est « pourtant là que les prévisions de marchés sont traduites en ordre de marche des travailleurs », explique Posner. La planification de la production et le calendrier détaillé reposent sur des « heuristiques », des algorithmes intégrés qui répartissent la production et donc la main d’oeuvre pour que les installations fonctionnent à leur capacité maximale. D’ailleurs, souligne Miriam Posner, l’exécution d’une heuristique implique de cliquer sur un bouton de l’interface qui ressemble à une petite baguette magique, comme s’il suffisait d’une action simple pour activer la chaîne.

L’utilisation de SAP est difficile reconnaît la chercheuse. Chaque tâche est compliquée à configurer, avec d’innombrables paramètres à valider. Le plus souvent, ce travail est divisé et nécessite de multiples interventions différentes. En fait, « aucun individu ne possède une image détaillée de l’ensemble de la chaîne d’approvisionnement. Au lieu de cela, chaque spécialiste sait seulement ce dont ses voisins ont besoin. »

« Dans un tel système, un sentiment d’inévitabilité s’installe. Les données dictent un ensemble de conditions qui doivent être remplies, mais rien n’explique comment ces données ont été obtenues. Pendant ce temps, le logiciel joue un rôle actif, en peaufinant le plan pour répondre aux conditions le plus efficacement possible. Les optimiseurs intégrés de SAP déterminent comment répondre aux besoins de la production avec le moins de « latence » et au moindre coût possible (le logiciel suggère même comment optimiser un conteneur pour économiser sur les frais d’expédition). Cela implique que des composants particuliers deviennent disponibles à des moments particuliers. Les conséquences de cette optimisation incessante sont bien documentées. Les sociétés qui commandent des produits transmettent leurs demandes déterminées par calcul à leurs sous-traitants, qui exercent ensuite une pression extraordinaire sur leurs employés. Ainsi, China Labour Watch a constaté que les travailleurs de la ville de Heyuan en Chine chargés de fabriquer une poupée Disney que Miriam a achetée à ses enfants (vendue au prix 26,40 $) travaillent vingt-six jours par mois, assemblent entre 1800 et 2500 poupées par jour et gagnent un centime pour chaque poupée qu’ils complètent. »

De la distance spatiale, temporelle et informationnelle

Pour la chercheuse, le défi majeur dans la gestion de la chaîne d’approvisionnement est la grande distance – « spatiale, temporelle et informationnelle » – qui sépare le processus du monde réel de la fabrication et de la consommation. Ces distances introduisent de nombreux problèmes, comme l’effet « coup de fouet », qui consiste à ce que chaque niveau produise plus que prévu pour mieux répondre à la demande ou ajuster ses bénéfices avec ses coûts. Le battement d’ailes d’un consommateur peut-être amplifié de manière démesurée par la chaîne. En fait, la demande temps réel du pilotage que produit le logiciel ne correspond pas vraiment à la réalité effective des multiples chaînes de production, où chaque acteur fait ses ajustements (qui prennent en compte d’autres commandes, des délais, la disponibilité de fournitures ou la surproduction pour réduire les coûts…). Pourtant, le logiciel procède d’une vision qui maximise le temps réel et donne l’illusion d’être au coeur de la tour de contrôle de la production.

L’autre effet coup de fouet, bien sûr, s’applique directement aux travailleurs des différentes usines prestataires de la chaîne. Quand les exigences des commandes parviennent jusqu’aux travailleurs, elles se révèlent plus exigeantes et plus punitives.

Dans le numéro 4 de l’excellent magazine Logic, Miriam Posner avait déjà livré une réflexion sur le sujet. Elle y rappelait déjà que si les questions de l’architecture physique de la chaîne d’approvisionnement mondialisée était souvent étudiée (notamment dans The Box de Marc Levinson qui s’intéressait au rôle du conteneur ou encore dans The Deadly life of logistics de Deborah Cowen), ce n’était pas beaucoup le cas de son aspect logiciel comme des échanges de données et d’informations qui la sous-tendent. L’industrie logicielle de la gestion de la chaîne d’approvisionnement est pourtant l’un des domaines d’activité qui connaît la plus forte croissance, mais qui opère de manière assez discrète, car les informations qu’elle traite sont très concurrentielles. Amazon, par exemple, n’est pas tant un commerçant qu’une chaîne d’approvisionnement incarnée et peu de personnes connaissent le logiciel qui l’optimise. Pour Leonardo Bonanni, PDG de Sourcemap, une entreprise qui aide les entreprises à construire leurs chaînes d’approvisionnement, l’incapacité des entreprises à visualiser cette chaîne est une fonction même de l’architecture logicielle. Pour Miriam Posner, le terme de chaîne d’approvisionnement est finalement trompeur : cette chaîne « ressemble beaucoup plus à un réseau de voies navigables, avec des milliers de minuscules affluents composés de sous-traitants qui s’écoulent dans de plus grandes rivières d’assemblage, de production et de distribution. »

Pour Bonanni, nous ne voyons qu’une parcelle des abus sur les lieux de travail qui sont portés à notre connaissance : c’est surtout le cas de quelques chaînes prestigieuses, comme dans l’électronique grand public. Mais les conditions de travail sont souvent plus opaques et les abus plus répandus dans d’autres industries, comme l’habillement ou l’agriculture, des lieux où la chaîne se recompose à chaque approvisionnement, à chaque saison, avec un nombre de noeuds et de sous-traitants, qui sont loin d’être tous intégrés à la chaîne logicielle. Les usines géantes de Foxcon masquent d’innombrables petits ateliers et usines beaucoup moins présentables qui permettent à la chaîne d’être extrêmement résiliente et robuste. En fait, « il n’y a pas de tour de contrôle supervisant les réseaux d’approvisionnement », les noeuds ne parlent qu’à leurs voisins immédiats.

Du rôle de l’échelle pour gérer l’information et de la modularité pour gérer la complexité

« Ces infrastructures physiques distribuées ressemblent finalement beaucoup au réseau invisible qui les rend possibles : internet ». À chaque étape de la transformation, le produit est transformé en marchandise. Et l’information qui l’accompagnait transformée à son tour. Du plastique devient une coque qui devient une télévision… En fait, la transformation et l’échelle d’action impliquent une perte d’information. Pour récupérer une tonne d’or, vous devez en acheter à plein d’endroits différents que la fonte va transformer en une marchandise unique : la tonne d’or que vous vendez.

Un fonctionnement assez proche de la programmation modulaire, remarque Miriam Posner. La programmation modulaire est une méthode familière à tout programmeur et architecte de systèmes. Elle consiste à gérer la complexité par des unités fonctionnelles distinctes. Chaque programmeur travaille ainsi sur un module qui s’interface aux autres en spécifiant les entrées et sorties où les modalités qu’il prend en charge. Les systèmes modulaires permettent notamment de gérer la complexité et d’améliorer un module sans avoir à toucher les autres : chacun étant une sorte de « boite noire » vis-à-vis des autres.

Comme l’explique Andrew Russell, historien de l’informatique, la modularité, née dans l’architecture, a été un moyen de structurer les organisations comme l’économie. « C’est une sorte de caractéristique de la modernité ». Et les chaînes d’approvisionnement sont hautement modulaires, à l’image du conteneur, standardisé et interchangeable, qui peut contenir n’importe quoi pour se rendre n’importe où, ce qui permet aux marchandises transportées de passer à l’échelle globale.

« Les informations sur la provenance, les conditions de travail et l’impact sur l’environnement sont difficiles à gérer lorsque l’objectif de votre système est simplement de fournir et d’assembler des produits rapidement. « Vous pouvez imaginer une manière différente de faire les choses, de sorte que vous sachiez tout cela », explique Russell, « afin que votre regard soit plus immersif et continu. Mais ce que cela fait, c’est inhiber l’échelle ». Et l’échelle, bien sûr, est la clé d’une économie mondialisée. »

Pour Miriam Posner, le passage à l’échelle – la fameuse scalabilité – explique pourquoi les branches d’un réseau d’approvisionnement disparaissent. Cela aide également à expliquer pourquoi la syndicalisation transnationale a été si difficile : pour répondre aux demandes du marché, les ateliers ont appris à se rendre interchangeables. Un peu comme si « nous avions assimilé les leçons de la modularité d’une manière psychologique ».

La traçabilité de bout en bout ! Mais pour quelle transparence ?

Reste à savoir si la technologie peut remédier au problème qu’elle a créé. Miriam Posner constate que l’internet des objets et la blockchain sont deux technologies qui ont reçu beaucoup d’engouements chez les praticiens des systèmes de gestion de la chaîne d’approvisionnement.

La première permet de localiser et tracer les composants alors que la seconde permet d’y attacher un numéro d’identification et un journal qui enregistre chaque fois qu’une fourniture change de main. Leurs partisans affirment que ces technologies pourraient apporter une transparence radicale aux chaînes d’approvisionnement mondiales. Le problème est que l’une comme l’autre peuvent vite être vidées de leurs sens si elles ne sont qu’une chaîne d’enregistrement de prestataires, sans informations sur leurs pratiques. Et ni l’une ni l’autre ne résolvent les problèmes liés à la transformation de produits. Pour Bonanni, elles ne résolvent pas non plus le manque de visibilité : quand tout le monde est incité à agir toujours plus rapidement et efficacement, il est difficile d’imaginer qui sera chargé de fournir plus d’informations que nécessaire. Si ces technologies pourraient certes fournir des informations détaillées sur les conditions de travail et le respect des normes de sécurité, il reste difficile de croire que l’internet des objets et la blockchain, qui sont surtout des objets techniques visant à accroître l’efficacité, le contrôle, la rapidité et la sécurité des informations puissent devenir demain des moyens pour s’assurer de chaînes d’approvisionnement socialement responsables.

Dans le domaine de la gestion des chaînes d’approvisionnement, l’autre technologie source d’innovation, c’est bien sûr l’apprentissage automatique, via des algorithmes capables de faire de meilleures prévisions et de prendre des décisions. Appliqué à la chaîne logistique, le machine learning pourrait aider à déterminer les fournisseurs et les itinéraires qui livreront les marchandises de la manière la plus rapide et la plus fiable. Les algorithmes pourraient prédire les performances des fournisseurs et des transporteurs, en leur attribuant des scores de risques selon l’historique de leurs résultats. Et demain, les réseaux d’approvisionnement pourraient se reconfigurer automatiquement, de manière dynamique, selon cette évaluation de risques… Pas sûr que cette piste améliore la cécité collective des outils, pointe Posner. Pas sûr non plus qu’elle soit si accessible quand déjà les données utilisées ne savent pas grand-chose de la qualité des fournisseurs.

En fait, ces technologies nous montrent que les spécialistes de la gestion de la chaîne logistique ne parlent pas de la même transparence ou de la même visibilité que le consommateur final. La transparence de la chaîne logistique ne vise pas à aider à comprendre d’où vient un produit, mais vise à améliorer son efficacité : diminuer le coût tout en maximisant la rapidité.

Quel levier pour transformer l’approvisionnement ?

Les défis politiques pour transformer ces constats sont immenses, conclut Miriam Posner. En l’absence de véritables efforts pour créer un contrôle démocratique des chaînes d’approvisionnement, nous en sommes venus à les considérer comme fonctionnant de manière autonome – davantage comme des forces naturelles que des forces que nous avons créées nous-mêmes.

En 2014, le Guardian a signalé que des migrants birmans travaillaient dans des conditions qui tenaient de l’esclavagisme à bord de crevettiers au large des côtes thaïlandaises. Pour un importateur de crevettes, l’esclavagisme semblait un symptôme plus qu’une cause des modalités d’approvisionnement elles-mêmes. Et effectivement, il est possible d’avoir une chaîne d’approvisionnement parfaitement efficace, mais également parfaitement ignorante des conditions de travail qu’elle implique.

Reste que nous avons construit les réseaux décentralisés tels qu’ils opèrent, rappelle la chercheuse. L’anthropologue Anna Tsing dans ses travaux sur la chaîne d’approvisionnement souligne que Walmart par exemple exige un contrôle parfait sur certains aspects de sa chaîne d’approvisionnement : notamment sur les prix et les délais de livraison, et ce au détriment d’autres aspects comme les pratiques de travail. L’absence d’information sur certains aspects de la chaîne d’approvisionnement est profondément liée à un système conçu pour s’adapter à la variété de produits que nous produisons et à la rapidité avec lesquelles nous les produisons. Et cette absence d’information est intégrée dans les logiciels mêmes qui produisent la mondialisation. Exiger une chaîne logistique plus transparente et plus juste nécessite d’intégrer des informations que peu d’entreprises souhaitent utiliser, notamment parce que par nature, elles remettent en question les paradigmes de l’efficacité et de la scalabilité qui les font fonctionner.

Hubert Guillaud

Cet article a été publié originellement sur InternetActu.net, le 17 mars 2019.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

Privatisation partout, justice nulle part

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Coincés dans les tuyaux

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Coincés dans les plateformes

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Coincés dans les profits !

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter l’alternet !

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

Privatisation partout, justice nulle part

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Coincés dans les tuyaux

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Coincés dans les plateformes

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Coincés dans les profits !

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter l’alternet !

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

“Plus de technologie signifie d’abord moins de démocratie”

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

4 stratégies pour améliorer la gouvernance des systèmes

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

• Élargir la participation des parties prenantes
• Renforcer la transparence
• Améliorer la prévision d’impact des systèmes
• Assurer l’audit en continu

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

Une histoire algorithmique exemplaire : affecter des reins à ceux qui en ont besoin

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

De l’introduction des questions éthiques

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

Un algorithme, mais sûr quels critères ?

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Des critères qui évoluent avec la science et le débat public

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

L’utilité contre l’équité : l’efficacité en question

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

La lente déprise géographique

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Le scoring en ses limites

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Faire mieux

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Gérer la pénurie pour l’accélérer… et faire semblant d’arbitrer

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

Participer c’est transformer

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Le risque d’une anesthésie morale par les chiffres

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

“Plus de technologie signifie d’abord moins de démocratie”

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

4 stratégies pour améliorer la gouvernance des systèmes

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

• Élargir la participation des parties prenantes
• Renforcer la transparence
• Améliorer la prévision d’impact des systèmes
• Assurer l’audit en continu

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

Une histoire algorithmique exemplaire : affecter des reins à ceux qui en ont besoin

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

De l’introduction des questions éthiques

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

Un algorithme, mais sûr quels critères ?

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Des critères qui évoluent avec la science et le débat public

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

L’utilité contre l’équité : l’efficacité en question

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

La lente déprise géographique

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Le scoring en ses limites

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Faire mieux

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Gérer la pénurie pour l’accélérer… et faire semblant d’arbitrer

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

Participer c’est transformer

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Le risque d’une anesthésie morale par les chiffres

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action. 

Opacité et défaillance généralisée

En 2020 déjà, la grande association européenne de défense des droits numériques, Algorithm Watch, expliquait dans un rapport que ces systèmes se généralisaient dans la plus grande opacité. Alors que le calcul est partout, l’association soulignait que si ces déploiements pouvaient être utiles, très peu de cas montraient de « manière convaincante un impact positif ». La plupart des systèmes de décision automatisés mettent les gens en danger plus qu’ils ne les protègent, disait déjà l’association.

Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.

Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.

Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher. 

A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder. 

3 problèmes récurrents

S’il est difficile de faire un constat global sur les défaillances spécifiques de tous les systèmes automatisés, qu’ils s’appliquent à la santé, l’éducation, le social ou l’économie, on peut néanmoins noter 3 problèmes récurrents. 

Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. Dans les systèmes bancaires par exemple, comme l’a montré une belle enquête de l’AFP et d’Algorithm Watch, certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.

Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.

Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit. 

Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. Alors que, si ces erreurs ne sont pas un problème pour les structures qui les produisent, elles le sont pour les individus qui voient leurs comptes clôturés, sans raison et avec peu de possibilités de recours. Il est nécessaire pourtant que les taux de risques détectés restent proportionnels aux taux effectifs de condamnation, afin que les niveaux de réduction des risques ne soient pas portés par les individus.

Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…

Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. D’où l’importance de mettre en place un ratio d’impact sur les différents groupes démographiques et des taux de faux positifs pour limiter leur explosion. La justesse des calculs doit être améliorée.

Pour cela, il est nécessaire de mieux contrôler le taux de détection des outils et de trouver les modalités pour que ces taux ne soient pas disproportionnés. Sans cela, on le comprend, la maltraitance institutionnelle que dénonce ATD Quart Monde est en roue libre dans les systèmes, quels qu’ils soient.

Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.

A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. Dans la plateforme dématérialisée pour les demandes de titres de séjour dont le Défenseur des droits pointait les lacunes dans un récent rapport, les usagers ne peuvent pas signaler un changement de lieu de résidence quand une demande est en cours.

Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. Outre les explications lacunaires des services, les possibilités de recours sont réduites quand elles devraient être augmentées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir. 

Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. Ces difficultés nécessitent de mieux faire valoir les droits d’opposition des calculés. La prise en compte d’innombrables données pour produire des calculs toujours plus granulaires, pour atténuer les risques, produit surtout des faux positifs et une complexité de plus en plus problématique pour les usagers. 

Responsabiliser les calculs du social

Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. 

Renforcer le contrôle des systèmes, notamment mesurer leur ratio d’impact et les taux de faux positifs. Améliorer les droits de recours des usagers, notamment quand ces systèmes les ciblent et les désignent. Et surtout, améliorer la participation des publics aux calculs, comme nous y invitent le récent rapport du Défenseur des droits sur la dématérialisation et les algorithmes publics. 

A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées.

On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. 

Hubert Guillaud

Cet édito a été publié originellement sous forme de tribune pour le Club de Mediapart, le 4 avril 2025 à l’occasion de la publication du livre, Les algorithmes contre la société aux éditions La Fabrique.

Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action. 

Opacité et défaillance généralisée

En 2020 déjà, la grande association européenne de défense des droits numériques, Algorithm Watch, expliquait dans un rapport que ces systèmes se généralisaient dans la plus grande opacité. Alors que le calcul est partout, l’association soulignait que si ces déploiements pouvaient être utiles, très peu de cas montraient de « manière convaincante un impact positif ». La plupart des systèmes de décision automatisés mettent les gens en danger plus qu’ils ne les protègent, disait déjà l’association.

Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.

Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.

Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher. 

A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder. 

3 problèmes récurrents

S’il est difficile de faire un constat global sur les défaillances spécifiques de tous les systèmes automatisés, qu’ils s’appliquent à la santé, l’éducation, le social ou l’économie, on peut néanmoins noter 3 problèmes récurrents. 

Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. Dans les systèmes bancaires par exemple, comme l’a montré une belle enquête de l’AFP et d’Algorithm Watch, certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.

Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.

Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit. 

Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. Alors que, si ces erreurs ne sont pas un problème pour les structures qui les produisent, elles le sont pour les individus qui voient leurs comptes clôturés, sans raison et avec peu de possibilités de recours. Il est nécessaire pourtant que les taux de risques détectés restent proportionnels aux taux effectifs de condamnation, afin que les niveaux de réduction des risques ne soient pas portés par les individus.

Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…

Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. D’où l’importance de mettre en place un ratio d’impact sur les différents groupes démographiques et des taux de faux positifs pour limiter leur explosion. La justesse des calculs doit être améliorée.

Pour cela, il est nécessaire de mieux contrôler le taux de détection des outils et de trouver les modalités pour que ces taux ne soient pas disproportionnés. Sans cela, on le comprend, la maltraitance institutionnelle que dénonce ATD Quart Monde est en roue libre dans les systèmes, quels qu’ils soient.

Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.

A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. Dans la plateforme dématérialisée pour les demandes de titres de séjour dont le Défenseur des droits pointait les lacunes dans un récent rapport, les usagers ne peuvent pas signaler un changement de lieu de résidence quand une demande est en cours.

Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. Outre les explications lacunaires des services, les possibilités de recours sont réduites quand elles devraient être augmentées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir. 

Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. Ces difficultés nécessitent de mieux faire valoir les droits d’opposition des calculés. La prise en compte d’innombrables données pour produire des calculs toujours plus granulaires, pour atténuer les risques, produit surtout des faux positifs et une complexité de plus en plus problématique pour les usagers. 

Responsabiliser les calculs du social

Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. 

Renforcer le contrôle des systèmes, notamment mesurer leur ratio d’impact et les taux de faux positifs. Améliorer les droits de recours des usagers, notamment quand ces systèmes les ciblent et les désignent. Et surtout, améliorer la participation des publics aux calculs, comme nous y invitent le récent rapport du Défenseur des droits sur la dématérialisation et les algorithmes publics. 

A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées.

On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. 

Hubert Guillaud

Cet édito a été publié originellement sous forme de tribune pour le Club de Mediapart, le 4 avril 2025 à l’occasion de la publication du livre, Les algorithmes contre la société aux éditions La Fabrique.