L’AI Now Institute vient de publier son rapport 2025. Et autant dire, qu’il frappe fort. “La trajectoire actuelle de l’IA ouvre la voie à un avenir économique et politique peu enviable : un avenir qui prive de leurs droits une grande partie du public, rend les systèmes plus obscurs pour ceux qu’ils affectent, dévalorise notre savoir-faire, compromet notre sécurité et restreint nos perspectives d’innovation”. 

La bonne nouvelle, c’est que la voie offerte par l’industrie technologique n’est pas la seule qui s’offre à nous. “Ce rapport explique pourquoi la lutte contre la vision de l’IA défendue par l’industrie est un combat qui en vaut la peine”. Comme le rappelait leur rapport 2023, l’IA est d’abord une question de concentration du pouvoir entre les mains de quelques géants. “La question que nous devrions nous poser n’est pas de savoir si ChatGPT est utile ou non, mais si le pouvoir irréfléchi d’OpenAI, lié au monopole de Microsoft et au modèle économique de l’économie technologique, est bénéfique à la société”. 

“L’avènement de ChatGPT en 2023 ne marque pas tant une rupture nette dans l’histoire de l’IA, mais plutôt le renforcement d’un paradigme du « plus c’est grand, mieux c’est », ancré dans la perpétuation des intérêts des entreprises qui ont bénéficié du laxisme réglementaire et des faibles taux d’intérêt de la Silicon Valley”. Mais ce pouvoir ne leur suffit pas : du démantèlement des gouvernements au pillage des données, de la dévalorisation du travail pour le rendre compatible à l’IA, à la réorientation des infrastructures énergétiques en passant par le saccage de l’information et de la démocratie… l’avènement de l’IA exige le démantèlement de nos infrastructures sociales, politiques et économiques au profit des entreprises de l’IA. L’IA remet au goût du jour des stratégies anciennes d’extraction d’expertises et de valeurs pour concentrer le pouvoir entre les mains des extracteurs au profit du développement de leurs empires. 

Mais pourquoi la société accepterait-elle un tel compromis, une telle remise en cause ? Pour les chercheurs.ses de l’AI Now Institute ce pouvoir doit et peut être perturbé, notamment parce qu’il est plus fragile qu’il n’y paraît. “Les entreprises d’IA perdent de l’argent pour chaque utilisateur qu’elles gagnent” et le coût de l’IA à grande échelle va être très élevé au risque qu’une bulle d’investissement ne finisse par éclater. L’affirmation de la révolution de l’IA générative, elle, contraste avec la grande banalité de ses intégrations et les difficultés qu’elle engendre : de la publicité automatisée chez Meta, à la production de code via Copilot (au détriment des compétences des développeurs), ou via la production d’agents IA, en passant par l’augmentation des prix du Cloud par l’intégration automatique de fonctionnalités IA… tout en laissant les clients se débrouiller des hallucinations, des erreurs et des imperfactions de leurs produits. Or, appliqués en contexte réel les systèmes d’IA échouent profondément même sur des tâches élémentaires, rappellent les auteurs du rapport : les fonctionnalités de l’IA relèvent souvent d’illusions sur leur efficacité, masquant bien plus leurs défaillances qu’autre chose, comme l’expliquent les chercheurs Inioluwa Deborah Raji, Elizabeth Kumar, Aaron Horowitz et Andrew D. Selbst. Dans de nombreux cas d’utilisation, “l’IA est déployée par ceux qui ont le pouvoir contre ceux qui n’en ont pas” sans possibilité de se retirer ou de demander réparation en cas d’erreur.

L’IA : un outil défaillant au service de ceux qui la déploie

Pour l’AI Now Institute, les avantages de l’IA sont à la fois surestimés et sous-estimés, des traitements contre le cancer à une hypothétique croissance économique, tandis que certains de ses défauts sont réels, immédiats et se répandent. Le solutionnisme de l’IA occulte les problèmes systémiques auxquels nos économies sont confrontées, occultant la concentration économique à l’oeuvre et servant de canal pour le déploiement de mesures d’austérité sous prétexte d’efficacité, à l’image du très problématique chatbot mis en place par la ville New York. Des millions de dollars d’argent public ont été investis dans des solutions d’IA défaillantes. “Le mythe de la productivité occulte une vérité fondamentale : les avantages de l’IA profitent aux entreprises, et non aux travailleurs ou au grand public. Et L’IA agentive rendra les lieux de travail encore plus bureaucratiques et surveillés, réduisant l’autonomie au lieu de l’accroître”. 

“L’utilisation de l’IA est souvent coercitive”, violant les droits et compromettant les procédures régulières à l’image de l’essor débridé de l’utilisation de l’IA dans le contrôle de l’immigration aux Etats-Unis (voir notre article sur la fin du cloisonnement des données ainsi que celui sur l’IA générative, nouvelle couche d’exploitation du travail). Le rapport consacre d’ailleurs tout un chapitre aux défaillances de l’IA. Pour les thuriféraires de l’IA, celle-ci est appelée à guérir tous nos maux, permettant à la fois de transformer la science, la logistique, l’éducation… Mais, si les géants de la tech veulent que l’IA soit accessible à tous, alors l’IA devrait pouvoir bénéficier à tous. C’est loin d’être le cas. 

Le rapport prend l’exemple de la promesse que l’IA pourrait parvenir, à terme, à guérir les cancers. Si l’IA a bien le potentiel de contribuer aux recherches dans le domaine, notamment en améliorant le dépistage, la détection et le diagnostic. Il est probable cependant que loin d’être une révolution, les améliorations soient bien plus incrémentales qu’on le pense. Mais ce qui est contestable dans ce tableau, estiment les chercheurs de l’AI Now Institute, c’est l’hypothèse selon laquelle ces avancées scientifiques nécessitent la croissance effrénée des hyperscalers du secteur de l’IA. Or, c’est précisément le lien que ces dirigeants d’entreprise tentent d’établir. « Le prétexte que l’IA pourrait révolutionner la santé sert à promouvoir la déréglementation de l’IA pour dynamiser son développement ». Les perspectives scientifiques montées en promesses inéluctables sont utilisées pour abattre les résistances à discuter des enjeux de l’IA et des transformations qu’elle produit sur la société toute entière.

Or, dans le régime des défaillances de l’IA, bien peu de leurs promesses relèvent de preuves scientifiques. Nombre de recherches du secteur s’appuient sur un régime de “véritude” comme s’en moque l’humoriste Stephen Colbert, c’est-à-dire sur des recherches qui ne sont pas validées par les pairs, à l’image des robots infirmiers qu’a pu promouvoir Nvidia en affirmant qu’ils surpasseraient les infirmières elles-mêmes… Une affirmation qui ne reposait que sur une étude de Nvidia. Nous manquons d’une science de l’évaluation de l’IA générative. En l’absence de benchmarks indépendants et largement reconnus pour mesurer des attributs clés tels que la précision ou la qualité des réponses, les entreprises inventent leurs propres benchmarks et, dans certains cas, vendent à la fois le produit et les plateformes de validation des benchmarks au même client. Par exemple, Scale AI détient des contrats de plusieurs centaines de millions de dollars avec le Pentagone pour la production de modèles d’IA destinés au déploiement militaire, dont un contrat de 20 millions de dollars pour la plateforme qui servira à évaluer la précision des modèles d’IA destinés aux agences de défense. Fournir la solution et son évaluation est effectivement bien plus simple. 

Autre défaillance systémique : partout, les outils marginalisent les professionnels. Dans l’éducation, les Moocs ont promis la démocratisation de l’accès aux cours. Il n’en a rien été. Désormais, le technosolutionnisme promet la démocratisation par l’IA générative via des offres dédiées comme ChatGPT Edu d’OpenAI, au risque de compromettre la finalité même de l’éducation. En fait, rappellent les auteurs du rapport, dans l’éducation comme ailleurs, l’IA est bien souvent adoptée par des administrateurs, sans discussion ni implication des concernés. A l’université, les administrateurs achètent des solutions non éprouvées et non testées pour des sommes considérables afin de supplanter les technologies existantes gérées par les services technologiques universitaires. Même constat dans ses déploiements au travail, où les pénuries de main d’œuvre sont souvent évoquées comme une raison pour développer l’IA, alors que le problème n’est pas tant la pénurie que le manque de protection ou le régime austéritaire de bas salaires. Les solutions technologiques permettent surtout de rediriger les financements au détriment des travailleurs et des bénéficiaires. L’IA sert souvent de vecteur pour le déploiement de mesures d’austérité sous un autre nom. Les systèmes d’IA appliqués aux personnes à faibles revenus n’améliorent presque jamais l’accès aux prestations sociales ou à d’autres opportunités, disait le rapport de Techtonic Justice. “L’IA n’est pas un ensemble cohérent de technologies capables d’atteindre des objectifs sociaux complexes”. Elle est son exact inverse, explique le rapport en pointant par exemple les défaillances du Doge (que nous avons nous-mêmes documentés). Cela n’empêche pourtant pas le solutionnisme de prospérer. L’objectif du chatbot newyorkais par exemple, “n’est peut-être pas, en réalité, de servir les citoyens, mais plutôt d’encourager et de centraliser l’accès aux données des citoyens ; de privatiser et d’externaliser les tâches gouvernementales ; et de consolider le pouvoir des entreprises sans mécanismes de responsabilisation significatifs”, comme l’explique le travail du Surveillance resistance Lab, très opposé au projet.

Le mythe de la productivité enfin, que répètent et anônnent les développeurs d’IA, nous fait oublier que les bénéfices de l’IA vont bien plus leur profiter à eux qu’au public. « La productivité est un euphémisme pour désigner la relation économique mutuellement bénéfique entre les entreprises et leurs actionnaires, et non entre les entreprises et leurs salariés. Non seulement les salariés ne bénéficient pas des gains de productivité liés à l’IA, mais pour beaucoup, leurs conditions de travail vont surtout empirer. L’IA ne bénéficie pas aux salariés, mais dégrade leurs conditions de travail, en augmentant la surveillance, notamment via des scores de productivité individuels et collectifs. Les entreprises utilisent la logique des gains de productivité de l’IA pour justifier la fragmentation, l’automatisation et, dans certains cas, la suppression du travail. » Or, la logique selon laquelle la productivité des entreprises mènera inévitablement à une prospérité partagée est profondément erronée. Par le passé, lorsque l’automatisation a permis des gains de productivité et des salaires plus élevés, ce n’était pas grâce aux capacités intrinsèques de la technologie, mais parce que les politiques des entreprises et les réglementations étaient conçues de concert pour soutenir les travailleurs et limiter leur pouvoir, comme l’expliquent Daron Acemoglu et Simon Johnson, dans Pouvoir et progrès (Pearson 2024). L’essor de l’automatisation des machines-outils autour de la Seconde Guerre mondiale est instructif : malgré les craintes de pertes d’emplois, les politiques fédérales et le renforcement du mouvement ouvrier ont protégé les intérêts des travailleurs et exigé des salaires plus élevés pour les ouvriers utilisant les nouvelles machines. Les entreprises ont à leur tour mis en place des politiques pour fidéliser les travailleurs, comme la redistribution des bénéfices et la formation, afin de réduire les turbulences et éviter les grèves. « Malgré l’automatisation croissante pendant cette période, la part des travailleurs dans le revenu national est restée stable, les salaires moyens ont augmenté et la demande de travailleurs a augmenté. Ces gains ont été annulés par les politiques de l’ère Reagan, qui ont donné la priorité aux intérêts des actionnaires, utilisé les menaces commerciales pour déprécier les normes du travail et les normes réglementaires, et affaibli les politiques pro-travailleurs et syndicales, ce qui a permis aux entreprises technologiques d’acquérir une domination du marché et un contrôle sur des ressources clés. L’industrie de l’IA est un produit décisif de cette histoire ». La discrimination salariale algorithmique optimise les salaires à la baisse. D’innombrables pratiques sont mobilisées pour isoler les salariés et contourner les lois en vigueur, comme le documente le rapport 2025 de FairWork. La promesse que les agents IA automatiseront les tâches routinières est devenue un point central du développement de produits, même si cela suppose que les entreprises qui s’y lancent deviennent plus processuelles et bureaucratiques pour leur permettre d’opérer. Enfin, nous interagissons de plus en plus fréquemment avec des technologies d’IA utilisées non pas par nous, mais sur nous, qui façonnent notre accès aux ressources dans des domaines allant de la finance à l’embauche en passant par le logement, et ce au détriment de la transparence et au détriment de la possibilité même de pouvoir faire autrement.

Le risque de l’IA partout est bien de nous soumettre aux calculs, plus que de nous en libérer. Par exemple, l’intégration de l’IA dans les agences chargées de l’immigration, malgré l’édiction de principes d’utilisation vertueux, montre combien ces principes sont profondément contournés, comme le montrait le rapport sur la déportation automatisée aux Etats-Unis du collectif de défense des droits des latino-américains, Mijente. Les Services de citoyenneté et d’immigration des États-Unis (USCIS) utilisent des outils prédictifs pour automatiser leurs prises de décision, comme « Asylum Text Analytics », qui interroge les demandes d’asile afin de déterminer celles qui sont frauduleuses. Ces outils ont démontré, entre autres défauts, des taux élevés d’erreurs de classification lorsqu’ils sont utilisés sur des personnes dont l’anglais n’est pas la langue maternelle. Les conséquences d’une identification erronée de fraude sont importantes : elles peuvent entraîner l’expulsion, l’interdiction à vie du territoire américain et une peine d’emprisonnement pouvant aller jusqu’à dix ans. « Pourtant, la transparence pour les personnes concernées par ces systèmes est plus que limitée, sans possibilité de se désinscrire ou de demander réparation lorsqu’ils sont utilisés pour prendre des décisions erronées, et, tout aussi important, peu de preuves attestent que l’efficacité de ces outils a été, ou peut être, améliorée ». 

Malgré la légalité douteuse et les failles connues de nombre de ces systèmes que le rapport documente, l’intégration de l’IA dans les contrôles d’immigration ne semble vouée qu’à s’intensifier. L’utilisation de ces outils offre un vernis d’objectivité qui masque non seulement un racisme et une xénophobie flagrants, mais aussi la forte pression politique exercée sur les agences d’immigration pour restreindre l’asile. « L‘IA permet aux agences fédérales de mener des contrôles d’immigration de manière profondément et de plus en plus opaque, ce qui complique encore davantage la tâche des personnes susceptibles d’être arrêtées ou accusées à tort. Nombre de ces outils ne sont connus du public que par le biais de documents juridiques et ne figurent pas dans l’inventaire d’IA du DHS. Mais même une fois connus, nous disposons de très peu d’informations sur leur étalonnage ou sur les données sur lesquelles ils sont basés, ce qui réduit encore davantage la capacité des individus à faire valoir leurs droits à une procédure régulière. Ces outils s’appuient également sur une surveillance invasive du public, allant du filtrage des publications sur les réseaux sociaux à l’utilisation de la reconnaissance faciale, de la surveillance aérienne et d’autres techniques de surveillance, à l’achat massif d’informations publiques auprès de courtiers en données ». Nous sommes à la fois confrontés à des systèmes coercitifs et opaques, foncièrement défaillants. Mais ces défaillances se déploient parce qu’elles donnent du pouvoir aux forces de l’ordre, leur permettant d’atteindre leurs objectifs d’expulsion et d’arrestation. Avec l’IA, le pouvoir devient l’objectif.

Les leviers pour renverser l’empire de l’IA et faire converger les luttes contre son monde

La dernière partie du rapport de l’AI Now Institute tente de déployer une autre vision de l’IA par des propositions, en dessinant une feuille de route pour l’action. “L’IA est une lutte de pouvoir et non un levier de progrès”, expliquent les auteurs qui invitent à “reprendre le contrôle de la trajectoire de l’IA”, en contestant son utilisation actuelle. Le rapport présente 5 leviers pour reprendre du pouvoir sur l’IA. 

Démontrer que l’IA agit contre les intérêts des individus et de la société

Le premier objectif, pour reprendre la main, consiste à mieux démontrer que l’industrie de l’IA agit contre les intérêts des citoyens ordinaires. Mais ce discours est encore peu partagé, notamment parce que le discours sur les risques porte surtout sur les biais techniques ou les risques existentiels, des enjeux déconnectés des réalités matérielles des individus. Pour l’AI Now Institute, “nous devons donner la priorité aux enjeux politiques ancrés dans le vécu des citoyens avec l’IA”, montrer les systèmes d’IA comme des infrastructures invisibles qui régissent les vies de chacun. En cela, la résistance au démantèlement des agences publiques initiée par les politiques du Doge a justement permis d’ouvrir un front de résistance. La résistance et l’indignation face aux coupes budgétaires et à l’accaparement des données a permis de montrer qu’améliorer l’efficacité des services n’était pas son objectif, que celui-ci a toujours été de démanteler les services gouvernementaux et centraliser le pouvoir. La dégradation des services sociaux et la privation des droits est un moyen de remobilisation à exploiter.

La construction des data centers pour l’IA est également un nouvel espace de mobilisation locale pour faire progresser la question de la justice environnementale, à l’image de celles que tentent de faire entendre la Citizen Action Coalition de l’Indiana ou la Memphis Community Against Pollution dans le Tennessee.

La question de l’augmentation des prix et de l’inflation, et le développements de prix et salaires algorithmiques est un autre levier de mobilisation, comme le montrait un rapport de l’AI Now Institute sur le sujet datant de février qui invitait à l’interdiction pure et simple de la surveillance individualisée des prix et des salaires. 

Faire progresser l’organisation des travailleurs 

Le second levier consiste à faire progresser l’organisation des travailleurs. Lorsque les travailleurs et leurs syndicats s’intéressent sérieusement à la manière dont l’IA transforme la nature du travail et s’engagent résolument par le biais de négociations collectives, de l’application des contrats, de campagnes et de plaidoyer politique, ils peuvent influencer la manière dont leurs employeurs développent et déploient ces technologies. Les campagnes syndicales visant à contester l’utilisation de l’IA générative à Hollywood, les mobilisations pour dénoncer la gestion algorithmique des employés des entrepôts de la logistique et des plateformes de covoiturage et de livraison ont joué un rôle essentiel dans la sensibilisation du public à l’impact de l’IA et des technologies de données sur le lieu de travail. La lutte pour limiter l’augmentation des cadences dans les entrepôts ou celles des chauffeurs menées par Gig Workers Rising, Los Deliversistas Unidos, Rideshare Drivers United, ou le SEIU, entre autres, a permis d’établir des protections, de lutter contre la précarité organisée par les plateformes… Pour cela, il faut à la fois que les organisations puissent analyser l’impact de l’IA sur les conditions de travail et sur les publics, pour permettre aux deux luttes de se rejoindre à l’image de ce qu’à accompli le syndicat des infirmières qui a montré que le déploiement de l’IA affaiblit le jugement clinique des infirmières et menace la sécurité des patients. Cette lutte a donné lieu à une « Déclaration des droits des infirmières et des patients », un ensemble de principes directeurs visant à garantir une application juste et sûre de l’IA dans les établissements de santé. Les infirmières ont stoppé le déploiement d’EPIC Acuity, un système qui sous-estimait l’état de santé des patients et le nombre d’infirmières nécessaires, et ont contraint l’entreprise qui déployait le système à créer un comité de surveillance pour sa mise en œuvre. 

Une autre tactique consiste à contester le déploiement d’IA austéritaires dans le secteur public à l’image du réseau syndicaliste fédéral, qui mène une campagne pour sauver les services fédéraux et met en lumière l’impact des coupes budgétaires du Doge. En Pennsylvanie, le SEIU a mis en place un conseil des travailleurs pour superviser le déploiement de solutions d’IA génératives dans les services publics. 

Une autre tactique consiste à mener des campagnes plus globales pour contester le pouvoir des grandes entreprises technologiques, comme la Coalition Athena qui demande le démantèlement d’Amazon, en reliant les questions de surveillance des travailleurs, le fait que la multinationale vende ses services à la police, les questions écologiques liées au déploiement des plateformes logistiques ainsi que l’impact des systèmes algorithmiques sur les petites entreprises et les prix que payent les consommateurs. 

Bref, l’enjeu est bien de relier les luttes entre elles, de relier les syndicats aux organisations de défense de la vie privée à celles œuvrant pour la justice raciale ou sociale, afin de mener des campagnes organisées sur ces enjeux. Mais également de l’étendre à l’ensemble de la chaîne de valeur et d’approvisionnement de l’IA, au-delà des questions américaines, même si pour l’instant “aucune tentative sérieuse d’organisation du secteur impacté par le déploiement de l’IA à grande échelle n’a été menée”. Des initiatives existent pourtant comme l’Amazon Employees for Climate Justice, l’African Content Moderators Union ou l’African Tech Workers Rising, le Data Worker’s Inquiry Project, le Tech Equity Collaborative ou l’Alphabet Workers Union (qui font campagne sur les différences de traitement entre les employés et les travailleurs contractuels). 

Nous avons désespérément besoin de projets de lutte plus ambitieux et mieux dotés en ressources, constate le rapport. Les personnes qui construisent et forment les systèmes d’IA – et qui, par conséquent, les connaissent intimement – ​​ont une opportunité particulière d’utiliser leur position de pouvoir pour demander des comptes aux entreprises technologiques sur la manière dont ces systèmes sont utilisés. “S’organiser et mener des actions collectives depuis ces postes aura un impact profond sur l’évolution de l’IA”.

“À l’instar du mouvement ouvrier du siècle dernier, le mouvement ouvrier d’aujourd’hui peut se battre pour un nouveau pacte social qui place l’IA et les technologies numériques au service de l’intérêt public et oblige le pouvoir irresponsable d’aujourd’hui à rendre des comptes.”

Confiance zéro envers les entreprises de l’IA !

Le troisième levier que défend l’AI Now Institute est plus radical encore puisqu’il propose d’adopter un programme politique “confiance zéro” envers l’IA. En 2023, L’AI Now, l’Electronic Privacy Information Center et d’Accountable Tech affirmaient déjà “qu’une confiance aveugle dans la bienveillance des entreprises technologiques n’était pas envisageable ». Pour établir ce programme, le rapport égraine 6 leviers à activer.

Tout d’abord, le rapport plaide pour “des règles audacieuses et claires qui restreignent les applications d’IA nuisibles”. C’est au public de déterminer si, dans quels contextes et comment, les systèmes d’IA seront utilisés. “Comparées aux cadres reposant sur des garanties basées sur les processus (comme les audits d’IA ou les régimes d’évaluation des risques) qui, dans la pratique, ont souvent eu tendance à renforcer les pouvoirs des leaders du secteur et à s’appuyer sur une solide capacité réglementaire pour une application efficace, ces règles claires présentent l’avantage d’être facilement administrables et de cibler les préjudices qui ne peuvent être ni évités ni réparés par de simples garanties”. Pour l’AI Now Institute, l’IA doit être interdite pour la reconnaissance des émotions, la notation sociale, la fixation des prix et des salaires, refuser des demandes d’indemnisation, remplacer les enseignants, générer des deepfakes. Et les données de surveillance des travailleurs ne doivent pas pouvoir pas être vendues à des fournisseurs tiers. L’enjeu premier est d’augmenter le spectre des interdictions. 

Ensuite, le rapport propose de réglementer tout le cycle de vie de l’IA. L’IA doit être réglementée tout au long de son cycle de développement, de la collecte des données au déploiement, en passant par le processus de formation, le perfectionnement et le développement des applications, comme le proposait l’Ada Lovelace Institute. Le rapport rappelle que si la transparence est au fondement d’une réglementation efficace, la résistante des entreprises est forte, tout le long des développements, des données d’entraînement utilisées, aux fonctionnement des applications. La transparence et l’explication devraient être proactives, suggère le rapport : les utilisateurs ne devraient pas avoir besoin de demander individuellement des informations sur les traitements dont ils sont l’objet. Notamment, le rapport insiste sur le besoin que “les développeurs documentent et rendent publiques leurs techniques d’atténuation des risques, et que le régulateur exige la divulgation de tout risque anticipé qu’ils ne sont pas en mesure d’atténuer, afin que cela soit transparent pour les autres acteurs de la chaîne d’approvisionnement”. Le rapport recommande également d’inscrire un « droit de dérogation » aux décisions et l’obligation d’intégrer des conseils d’usagers pour qu’ils aient leur mot à dire sur les développements et l’utilisation des systèmes. 

Le rapport rappelle également que la supervision des développements doit être indépendante. Ce n’est pas à l’industrie d’évaluer ce qu’elle fait. Le “red teaming” et les “models cards” ignorent les conflits d’intérêts en jeu et mobilisent des méthodologies finalement peu robustes (voir notre article). Autre levier encore, s’attaquer aux racines du pouvoir de ces entreprises et par exemple qu’elles suppriment les données acquises illégalement et les modèles entraînés sur ces données (certains chercheurs parlent d’effacement de modèles et de destruction algorithmique !) ; limiter la conservation des données pour le réentraînement ; limiter les partenariats entre les hyperscalers et les startups d’IA et le rachat d’entreprise pour limiter la constitution de monopoles. 

Le rapport propose également de construire une boîte à outils pour favoriser la concurrence. De nombreuses enquêtes pointent les limites des grandes entreprises de la tech à assurer le respect du droit à la concurrence, mais les poursuites peinent à s’appliquer et peinent à construire des changements législatifs pour renforcer le droit à la concurrence et limiter la construction de monopoles, alors que toute intervention sur le marché est toujours dénoncé par les entreprises de la tech comme relevant de mesures contre l’innovation. Le rapport plaide pour une plus grande séparation structurelle des activités (les entreprises du cloud ne doivent pas pouvoir participer au marché des modèles fondamentaux de l’IA par exemple, interdiction des représentations croisées dans les conseils d’administration des startups et des développeurs de modèles, etc.). Interdire aux fournisseurs de cloud d’exploiter les données qu’ils obtiennent de leurs clients en hébergeant des infrastructures pour développer des produits concurrents. 

Enfin, le rapport recommande une supervision rigoureuse du développement et de l’exploitation des centres de données, alors que les entreprises qui les développent se voient exonérées de charge et que leurs riverains en subissent des impacts disproportionnés (concurrence sur les ressources, augmentation des tarifs de l’électricité…). Les communautés touchées ont besoin de mécanismes de transparence et de protections environnementales solides. Les régulateurs devraient plafonner les subventions en fonction des protections concédées et des emplois créés. Initier des règles pour interdire de faire porter l’augmentation des tarifs sur les usagers.

Décloisonner !

Le cloisonnement des enjeux de l’IA est un autre problème qu’il faut lever. C’est le cas notamment de l’obsession à la sécurité nationale qui justifient à la fois des mesures de régulation et des programmes d’accélération et d’expansion du secteur et des infrastructures de l’IA. Mais pour décloisonner, il faut surtout venir perturber le processus de surveillance à l’œuvre et renforcer la vie privée comme un enjeu de justice économique. La montée de la surveillance pour renforcer l’automatisation “place les outils traditionnels de protection de la vie privée (tels que le consentement, les options de retrait, les finalités non autorisées et la minimisation des données) au cœur de la mise en place de conditions économiques plus justes”. La chercheuse Ifeoma Ajunwa soutient que les données des travailleurs devraient être considérées comme du « capital capturé » par les entreprises : leurs données sont  utilisées pour former des technologies qui finiront par les remplacer (ou créer les conditions pour réduire leurs salaires), ou vendues au plus offrant via un réseau croissant de courtiers en données, sans contrôle ni compensation. Des travailleurs ubérisés aux travailleurs du clic, l’exploitation des données nécessite de repositionner la protection de la vie privée des travailleurs au cœur du programme de justice économique pour limiter sa capture par l’IA. Les points de collecte, les points de surveillance, doivent être “la cible appropriée de la résistance”, car ils seront instrumentalisés contre les intérêts des travailleurs. Sur le plan réglementaire, cela pourrait impliquer de privilégier des règles de minimisation des données qui restreignent la collecte et l’utilisation des données, renforcer la confidentialité (par exemple en interdisant le partage de données sur les salariés avec des tiers), le droit à ne pas consentir, etc. Renforcer la minimisation, sécuriser les données gouvernementales sur les individus qui sont de haute qualité et particulièrement sensibles, est plus urgent que jamais. 

“Nous devons nous réapproprier l’agenda positif de l’innovation centrée sur le public, et l’IA ne devrait pas en être le centre”, concluent les auteurs. La trajectoire actuelle de l’IA, axée sur le marché, est préjudiciable au public alors que l’espace de solutions alternatives se réduit. Nous devons rejeter le paradigme d’une IA à grande échelle qui ne profitera qu’aux plus puissants.

L’IA publique demeure un espace fertile pour promouvoir le débat sur des trajectoires alternatives pour l’IA, structurellement plus alignées sur l’intérêt public, et garantir que tout financement public dans ce domaine soit conditionné à des objectifs d’intérêt général. Mais pour cela, encore faut-il que l’IA publique ne limite pas sa politique à l’achat de solutions privées, mais développe ses propres capacités d’IA, réinvestisse sa capacité d’expertise pour ne pas céder au solutionnisme de l’IA, favorise partout la discussion avec les usagers, cultive une communauté de pratique autour de l’innovation d’intérêt général qui façonnera l’émergence d’un espace alternatif par exemple en exigeant des méthodes d’implication des publics et aussi en élargissant l’intérêt de l’Etat à celui de l’intérêt collectif et pas seulement à ses intérêts propres (par exemple en conditionnant à la promotion des objectifs climatiques, au soutien syndical et citoyen…), ainsi qu’à redéfinir les conditions concrètes du financement public de l’IA, en veillant à ce que les investissements répondent aux besoins des communautés plutôt qu’aux intérêts des entreprises.   

Changer l’agenda : pour une IA publique !

Enfin, le rapport conclut en affirmant que l’innovation devrait être centrée sur les besoins des publics et que l’IA ne devrait pas en être le centre. Le développement de l’IA devrait être guidé par des impératifs non marchands et les capitaux publics et philanthropiques devraient contribuer à la création d’un écosystème d’innovation extérieur à l’industrie, comme l’ont réclamé Public AI Network dans un rapport, l’Ada Lovelace Institute, dans un autre, Lawrence Lessig ou encore Bruce Schneier et Nathan Sanders ou encore Ganesh Sitaraman et Tejas N. Narechania…  qui parlent d’IA publique plus que d’IA souveraine, pour orienter les investissement non pas tant vers des questions de sécurité nationale et de compétitivité, mais vers des enjeux de justice sociale. 

Ces discours confirment que la trajectoire de l’IA, axée sur le marché, est préjudiciable au public. Si les propositions alternatives ne manquent pas, elles ne parviennent pas à relever le défi de la concentration du pouvoir au profit des grandes entreprises. « Rejeter le paradigme actuel de l’IA à grande échelle est nécessaire pour lutter contre les asymétries d’information et de pouvoir inhérentes à l’IA. C’est la partie cachée qu’il faut exprimer haut et fort. C’est la réalité à laquelle nous devons faire face si nous voulons rassembler la volonté et la créativité nécessaires pour façonner la situation différemment ». Un rapport du National AI Research Resource (NAIRR) américain de 2021, d’une commission indépendante présidée par l’ancien PDG de Google, Eric Schmidt, et composée de dirigeants de nombreuses grandes entreprises technologiques, avait parfaitement formulé le risque : « la consolidation du secteur de l’IA menace la compétitivité technologique des États-Unis. » Et la commission proposait de créer des ressources publiques pour l’IA. 

« L’IA publique demeure un espace fertile pour promouvoir le débat sur des trajectoires alternatives pour l’IA, structurellement plus alignées sur l’intérêt général, et garantir que tout financement public dans ce domaine soit conditionné à des objectifs d’intérêt général ». Un projet de loi californien a récemment relancé une proposition de cluster informatique public, hébergé au sein du système de l’Université de Californie, appelé CalCompute. L’État de New York a lancé une initiative appelée Empire AI visant à construire une infrastructure de cloud public dans sept institutions de recherche de l’État, rassemblant plus de 400 millions de dollars de fonds publics et privés. Ces deux initiatives créent des espaces de plaidoyer importants pour garantir que leurs ressources répondent aux besoins des communautés et ne servent pas à enrichir davantage les ressources des géants de la technologie.

Et le rapport de se conclure en appelant à défendre l’IA publique, en soutenant les universités, en investissant dans ces infrastructures d’IA publique et en veillant que les groupes défavorisés disposent d’une autorité dans ces projets. Nous devons cultiver une communauté de pratique autour de l’innovation d’intérêt général. 

***

Le rapport de l’AI Now Institute a la grande force de nous rappeler que les luttes contre l’IA existent et qu’elles ne sont pas que des luttes de collectifs technocritiques, mais qu’elles s’incarnent déjà dans des projets politiques, qui peinent à s’interelier et à se structurer. Des luttes qui sont souvent invisibilisées, tant la parole est toute entière donnée aux promoteurs de l’IA. Le rapport est extrêmement riche et rassemble une documentation à nulle autre pareille. 

« L’IA ne nous promet ni de nous libérer du cycle incessant de guerres, des pandémies et des crises environnementales et financières qui caractérisent notre présent », conclut le rapport  L’IA ne crée rien de tout cela, ne créé rien de ce que nous avons besoin. “Lier notre avenir commun à l’IA rend cet avenir plus difficile à réaliser, car cela nous enferme dans une voie résolument sombre, nous privant non seulement de la capacité de choisir quoi construire et comment le construire, mais nous privant également de la joie que nous pourrions éprouver à construire un avenir différent”. L’IA comme seule perspective d’avenir “nous éloigne encore davantage d’une vie digne, où nous aurions l’autonomie de prendre nos propres décisions et où des structures démocratiquement responsables répartiraient le pouvoir et les infrastructures technologiques de manière robuste, responsable et protégée des chocs systémiques”. L’IA ne fait que consolider et amplifier les asymétries de pouvoir existantes. “Elle naturalise l’inégalité et le mérite comme une fatalité, ​tout en rendant les schémas et jugements sous-jacents qui les façonnent impénétrables pour ceux qui sont affectés par les jugements de l’IA”.

Pourtant, une autre IA est possible, estiment les chercheurs.ses de l’AI Now Institute. Nous ne pouvons pas lutter contre l’oligarchie technologique sans rejeter la trajectoire actuelle de l’industrie autour de l’IA à grande échelle. Nous ne devons pas oublier que l’opinion publique s’oppose résolument au pouvoir bien établi des entreprises technologiques. Certes, le secteur technologique dispose de ressources plus importantes que jamais et le contexte politique est plus sombre que jamais, concèdent les chercheurs de l’AI Now Institute. Cela ne les empêche pas de faire des propositions, comme d’adopter un programme politique de « confiance zéro » pour l’IA. Adopter un programme politique fondé sur des règles claires qui restreignent les utilisations les plus néfastes de l’IA, encadrent son cycle de vie de bout en bout et garantissent que l’industrie qui crée et exploite actuellement l’IA ne soit pas laissée à elle-même pour s’autoréguler et s’autoévaluer. Repenser les leviers traditionnels de la confidentialité des données comme outils clés dans la lutte contre l’automatisation et la lutte contre le pouvoir de marché.

Revendiquer un programme positif d’innovation centrée sur le public, sans IA au centre. 

« La trajectoire actuelle de l’IA place le public sous la coupe d’oligarques technologiques irresponsables. Mais leur succès n’est pas inéluctable. En nous libérant de l’idée que l’IA à grande échelle est inévitable, nous pouvons retrouver l’espace nécessaire à une véritable innovation et promouvoir des voies alternatives stimulantes et novatrices qui exploitent la technologie pour façonner un monde au service du public et gouverné par notre volonté collective ».

La trajectoire actuelle de l’IA vers sa suprématie ne nous mènera pas au monde que nous voulons. Sa suprématie n’est pourtant pas encore là. “Avec l’adoption de la vision actuelle de l’IA, nous perdons un avenir où l’IA favoriserait des emplois stables, dignes et valorisants. Nous perdons un avenir où l’IA favoriserait des salaires justes et décents, au lieu de les déprécier ; où l’IA garantirait aux travailleurs le contrôle de l’impact des nouvelles technologies sur leur carrière, au lieu de saper leur expertise et leur connaissance de leur propre travail ; où nous disposons de politiques fortes pour soutenir les travailleurs si et quand les nouvelles technologies automatisent les fonctions existantes – y compris des lois élargissant le filet de sécurité sociale – au lieu de promoteurs de l’IA qui se vantent auprès des actionnaires des économies réalisées grâce à l’automatisation ; où des prestations sociales et des politiques de congés solides garantissent le bien-être à long terme des employés, au lieu que l’IA soit utilisée pour surveiller et exploiter les travailleurs à tout va ; où l’IA contribue à protéger les employés des risques pour la santé et la sécurité au travail, au lieu de perpétuer des conditions de travail dangereuses et de féliciter les employeurs qui exploitent les failles du marché du travail pour se soustraire à leurs responsabilités ; et où l’IA favorise des liens significatifs par le travail, au lieu de favoriser des cultures de peur et d’aliénation.”

Pour l’AI Now Institute, l’enjeu est d’aller vers une prospérité partagée, et ce n’est pas la direction que prennent les empires de l’IA. La prolifération de toute nouvelle technologie a le potentiel d’accroître les opportunités économiques et de conduire à une prospérité partagée généralisée. Mais cette prospérité partagée est incompatible avec la trajectoire actuelle de l’IA, qui vise à maximiser le profit des actionnaires. “Le mythe insidieux selon lequel l’IA mènera à la « productivité » pour tous, alors qu’il s’agit en réalité de la productivité d’un nombre restreint d’entreprises, nous pousse encore plus loin sur la voie du profit actionnarial comme unique objectif économique. Même les politiques gouvernementales bien intentionnées, conçues pour stimuler le secteur de l’IA, volent les poches des travailleurs. Par exemple, les incitations gouvernementales destinées à revitaliser l’industrie de la fabrication de puces électroniques ont été contrecarrées par des dispositions de rachat d’actions par les entreprises, envoyant des millions de dollars aux entreprises, et non aux travailleurs ou à la création d’emplois. Et malgré quelques initiatives significatives pour enquêter sur le secteur de l’IA sous l’administration Biden, les entreprises restent largement incontrôlées, ce qui signifie que les nouveaux entrants ne peuvent pas contester ces pratiques.”

“Cela implique de démanteler les grandes entreprises, de restructurer la structure de financement financée par le capital-risque afin que davantage d’entreprises puissent prospérer, d’investir dans les biens publics pour garantir que les ressources technologiques ne dépendent pas des grandes entreprises privées, et d’accroître les investissements institutionnels pour intégrer une plus grande diversité de personnes – et donc d’idées – au sein de la main-d’œuvre technologique.”

“Nous méritons un avenir technologique qui soutienne des valeurs et des institutions démocratiques fortes.” Nous devons de toute urgence restaurer les structures institutionnelles qui protègent les intérêts du public contre l’oligarchie. Cela nécessitera de s’attaquer au pouvoir technologique sur plusieurs fronts, et notamment par la mise en place de mesures de responsabilisation des entreprises pour contrôler les oligarques de la tech. Nous ne pouvons les laisser s’accaparer l’avenir. 

Sur ce point, comme sur les autres, nous sommes d’accord.

Hubert Guillaud

L’AI Now Institute vient de publier son rapport 2025. Et autant dire, qu’il frappe fort. “La trajectoire actuelle de l’IA ouvre la voie à un avenir économique et politique peu enviable : un avenir qui prive de leurs droits une grande partie du public, rend les systèmes plus obscurs pour ceux qu’ils affectent, dévalorise notre savoir-faire, compromet notre sécurité et restreint nos perspectives d’innovation”. 

La bonne nouvelle, c’est que la voie offerte par l’industrie technologique n’est pas la seule qui s’offre à nous. “Ce rapport explique pourquoi la lutte contre la vision de l’IA défendue par l’industrie est un combat qui en vaut la peine”. Comme le rappelait leur rapport 2023, l’IA est d’abord une question de concentration du pouvoir entre les mains de quelques géants. “La question que nous devrions nous poser n’est pas de savoir si ChatGPT est utile ou non, mais si le pouvoir irréfléchi d’OpenAI, lié au monopole de Microsoft et au modèle économique de l’économie technologique, est bénéfique à la société”. 

“L’avènement de ChatGPT en 2023 ne marque pas tant une rupture nette dans l’histoire de l’IA, mais plutôt le renforcement d’un paradigme du « plus c’est grand, mieux c’est », ancré dans la perpétuation des intérêts des entreprises qui ont bénéficié du laxisme réglementaire et des faibles taux d’intérêt de la Silicon Valley”. Mais ce pouvoir ne leur suffit pas : du démantèlement des gouvernements au pillage des données, de la dévalorisation du travail pour le rendre compatible à l’IA, à la réorientation des infrastructures énergétiques en passant par le saccage de l’information et de la démocratie… l’avènement de l’IA exige le démantèlement de nos infrastructures sociales, politiques et économiques au profit des entreprises de l’IA. L’IA remet au goût du jour des stratégies anciennes d’extraction d’expertises et de valeurs pour concentrer le pouvoir entre les mains des extracteurs au profit du développement de leurs empires. 

Mais pourquoi la société accepterait-elle un tel compromis, une telle remise en cause ? Pour les chercheurs.ses de l’AI Now Institute ce pouvoir doit et peut être perturbé, notamment parce qu’il est plus fragile qu’il n’y paraît. “Les entreprises d’IA perdent de l’argent pour chaque utilisateur qu’elles gagnent” et le coût de l’IA à grande échelle va être très élevé au risque qu’une bulle d’investissement ne finisse par éclater. L’affirmation de la révolution de l’IA générative, elle, contraste avec la grande banalité de ses intégrations et les difficultés qu’elle engendre : de la publicité automatisée chez Meta, à la production de code via Copilot (au détriment des compétences des développeurs), ou via la production d’agents IA, en passant par l’augmentation des prix du Cloud par l’intégration automatique de fonctionnalités IA… tout en laissant les clients se débrouiller des hallucinations, des erreurs et des imperfactions de leurs produits. Or, appliqués en contexte réel les systèmes d’IA échouent profondément même sur des tâches élémentaires, rappellent les auteurs du rapport : les fonctionnalités de l’IA relèvent souvent d’illusions sur leur efficacité, masquant bien plus leurs défaillances qu’autre chose, comme l’expliquent les chercheurs Inioluwa Deborah Raji, Elizabeth Kumar, Aaron Horowitz et Andrew D. Selbst. Dans de nombreux cas d’utilisation, “l’IA est déployée par ceux qui ont le pouvoir contre ceux qui n’en ont pas” sans possibilité de se retirer ou de demander réparation en cas d’erreur.

L’IA : un outil défaillant au service de ceux qui la déploie

Pour l’AI Now Institute, les avantages de l’IA sont à la fois surestimés et sous-estimés, des traitements contre le cancer à une hypothétique croissance économique, tandis que certains de ses défauts sont réels, immédiats et se répandent. Le solutionnisme de l’IA occulte les problèmes systémiques auxquels nos économies sont confrontées, occultant la concentration économique à l’oeuvre et servant de canal pour le déploiement de mesures d’austérité sous prétexte d’efficacité, à l’image du très problématique chatbot mis en place par la ville New York. Des millions de dollars d’argent public ont été investis dans des solutions d’IA défaillantes. “Le mythe de la productivité occulte une vérité fondamentale : les avantages de l’IA profitent aux entreprises, et non aux travailleurs ou au grand public. Et L’IA agentive rendra les lieux de travail encore plus bureaucratiques et surveillés, réduisant l’autonomie au lieu de l’accroître”. 

“L’utilisation de l’IA est souvent coercitive”, violant les droits et compromettant les procédures régulières à l’image de l’essor débridé de l’utilisation de l’IA dans le contrôle de l’immigration aux Etats-Unis (voir notre article sur la fin du cloisonnement des données ainsi que celui sur l’IA générative, nouvelle couche d’exploitation du travail). Le rapport consacre d’ailleurs tout un chapitre aux défaillances de l’IA. Pour les thuriféraires de l’IA, celle-ci est appelée à guérir tous nos maux, permettant à la fois de transformer la science, la logistique, l’éducation… Mais, si les géants de la tech veulent que l’IA soit accessible à tous, alors l’IA devrait pouvoir bénéficier à tous. C’est loin d’être le cas. 

Le rapport prend l’exemple de la promesse que l’IA pourrait parvenir, à terme, à guérir les cancers. Si l’IA a bien le potentiel de contribuer aux recherches dans le domaine, notamment en améliorant le dépistage, la détection et le diagnostic. Il est probable cependant que loin d’être une révolution, les améliorations soient bien plus incrémentales qu’on le pense. Mais ce qui est contestable dans ce tableau, estiment les chercheurs de l’AI Now Institute, c’est l’hypothèse selon laquelle ces avancées scientifiques nécessitent la croissance effrénée des hyperscalers du secteur de l’IA. Or, c’est précisément le lien que ces dirigeants d’entreprise tentent d’établir. « Le prétexte que l’IA pourrait révolutionner la santé sert à promouvoir la déréglementation de l’IA pour dynamiser son développement ». Les perspectives scientifiques montées en promesses inéluctables sont utilisées pour abattre les résistances à discuter des enjeux de l’IA et des transformations qu’elle produit sur la société toute entière.

Or, dans le régime des défaillances de l’IA, bien peu de leurs promesses relèvent de preuves scientifiques. Nombre de recherches du secteur s’appuient sur un régime de “véritude” comme s’en moque l’humoriste Stephen Colbert, c’est-à-dire sur des recherches qui ne sont pas validées par les pairs, à l’image des robots infirmiers qu’a pu promouvoir Nvidia en affirmant qu’ils surpasseraient les infirmières elles-mêmes… Une affirmation qui ne reposait que sur une étude de Nvidia. Nous manquons d’une science de l’évaluation de l’IA générative. En l’absence de benchmarks indépendants et largement reconnus pour mesurer des attributs clés tels que la précision ou la qualité des réponses, les entreprises inventent leurs propres benchmarks et, dans certains cas, vendent à la fois le produit et les plateformes de validation des benchmarks au même client. Par exemple, Scale AI détient des contrats de plusieurs centaines de millions de dollars avec le Pentagone pour la production de modèles d’IA destinés au déploiement militaire, dont un contrat de 20 millions de dollars pour la plateforme qui servira à évaluer la précision des modèles d’IA destinés aux agences de défense. Fournir la solution et son évaluation est effectivement bien plus simple. 

Autre défaillance systémique : partout, les outils marginalisent les professionnels. Dans l’éducation, les Moocs ont promis la démocratisation de l’accès aux cours. Il n’en a rien été. Désormais, le technosolutionnisme promet la démocratisation par l’IA générative via des offres dédiées comme ChatGPT Edu d’OpenAI, au risque de compromettre la finalité même de l’éducation. En fait, rappellent les auteurs du rapport, dans l’éducation comme ailleurs, l’IA est bien souvent adoptée par des administrateurs, sans discussion ni implication des concernés. A l’université, les administrateurs achètent des solutions non éprouvées et non testées pour des sommes considérables afin de supplanter les technologies existantes gérées par les services technologiques universitaires. Même constat dans ses déploiements au travail, où les pénuries de main d’œuvre sont souvent évoquées comme une raison pour développer l’IA, alors que le problème n’est pas tant la pénurie que le manque de protection ou le régime austéritaire de bas salaires. Les solutions technologiques permettent surtout de rediriger les financements au détriment des travailleurs et des bénéficiaires. L’IA sert souvent de vecteur pour le déploiement de mesures d’austérité sous un autre nom. Les systèmes d’IA appliqués aux personnes à faibles revenus n’améliorent presque jamais l’accès aux prestations sociales ou à d’autres opportunités, disait le rapport de Techtonic Justice. “L’IA n’est pas un ensemble cohérent de technologies capables d’atteindre des objectifs sociaux complexes”. Elle est son exact inverse, explique le rapport en pointant par exemple les défaillances du Doge (que nous avons nous-mêmes documentés). Cela n’empêche pourtant pas le solutionnisme de prospérer. L’objectif du chatbot newyorkais par exemple, “n’est peut-être pas, en réalité, de servir les citoyens, mais plutôt d’encourager et de centraliser l’accès aux données des citoyens ; de privatiser et d’externaliser les tâches gouvernementales ; et de consolider le pouvoir des entreprises sans mécanismes de responsabilisation significatifs”, comme l’explique le travail du Surveillance resistance Lab, très opposé au projet.

Le mythe de la productivité enfin, que répètent et anônnent les développeurs d’IA, nous fait oublier que les bénéfices de l’IA vont bien plus leur profiter à eux qu’au public. « La productivité est un euphémisme pour désigner la relation économique mutuellement bénéfique entre les entreprises et leurs actionnaires, et non entre les entreprises et leurs salariés. Non seulement les salariés ne bénéficient pas des gains de productivité liés à l’IA, mais pour beaucoup, leurs conditions de travail vont surtout empirer. L’IA ne bénéficie pas aux salariés, mais dégrade leurs conditions de travail, en augmentant la surveillance, notamment via des scores de productivité individuels et collectifs. Les entreprises utilisent la logique des gains de productivité de l’IA pour justifier la fragmentation, l’automatisation et, dans certains cas, la suppression du travail. » Or, la logique selon laquelle la productivité des entreprises mènera inévitablement à une prospérité partagée est profondément erronée. Par le passé, lorsque l’automatisation a permis des gains de productivité et des salaires plus élevés, ce n’était pas grâce aux capacités intrinsèques de la technologie, mais parce que les politiques des entreprises et les réglementations étaient conçues de concert pour soutenir les travailleurs et limiter leur pouvoir, comme l’expliquent Daron Acemoglu et Simon Johnson, dans Pouvoir et progrès (Pearson 2024). L’essor de l’automatisation des machines-outils autour de la Seconde Guerre mondiale est instructif : malgré les craintes de pertes d’emplois, les politiques fédérales et le renforcement du mouvement ouvrier ont protégé les intérêts des travailleurs et exigé des salaires plus élevés pour les ouvriers utilisant les nouvelles machines. Les entreprises ont à leur tour mis en place des politiques pour fidéliser les travailleurs, comme la redistribution des bénéfices et la formation, afin de réduire les turbulences et éviter les grèves. « Malgré l’automatisation croissante pendant cette période, la part des travailleurs dans le revenu national est restée stable, les salaires moyens ont augmenté et la demande de travailleurs a augmenté. Ces gains ont été annulés par les politiques de l’ère Reagan, qui ont donné la priorité aux intérêts des actionnaires, utilisé les menaces commerciales pour déprécier les normes du travail et les normes réglementaires, et affaibli les politiques pro-travailleurs et syndicales, ce qui a permis aux entreprises technologiques d’acquérir une domination du marché et un contrôle sur des ressources clés. L’industrie de l’IA est un produit décisif de cette histoire ». La discrimination salariale algorithmique optimise les salaires à la baisse. D’innombrables pratiques sont mobilisées pour isoler les salariés et contourner les lois en vigueur, comme le documente le rapport 2025 de FairWork. La promesse que les agents IA automatiseront les tâches routinières est devenue un point central du développement de produits, même si cela suppose que les entreprises qui s’y lancent deviennent plus processuelles et bureaucratiques pour leur permettre d’opérer. Enfin, nous interagissons de plus en plus fréquemment avec des technologies d’IA utilisées non pas par nous, mais sur nous, qui façonnent notre accès aux ressources dans des domaines allant de la finance à l’embauche en passant par le logement, et ce au détriment de la transparence et au détriment de la possibilité même de pouvoir faire autrement.

Le risque de l’IA partout est bien de nous soumettre aux calculs, plus que de nous en libérer. Par exemple, l’intégration de l’IA dans les agences chargées de l’immigration, malgré l’édiction de principes d’utilisation vertueux, montre combien ces principes sont profondément contournés, comme le montrait le rapport sur la déportation automatisée aux Etats-Unis du collectif de défense des droits des latino-américains, Mijente. Les Services de citoyenneté et d’immigration des États-Unis (USCIS) utilisent des outils prédictifs pour automatiser leurs prises de décision, comme « Asylum Text Analytics », qui interroge les demandes d’asile afin de déterminer celles qui sont frauduleuses. Ces outils ont démontré, entre autres défauts, des taux élevés d’erreurs de classification lorsqu’ils sont utilisés sur des personnes dont l’anglais n’est pas la langue maternelle. Les conséquences d’une identification erronée de fraude sont importantes : elles peuvent entraîner l’expulsion, l’interdiction à vie du territoire américain et une peine d’emprisonnement pouvant aller jusqu’à dix ans. « Pourtant, la transparence pour les personnes concernées par ces systèmes est plus que limitée, sans possibilité de se désinscrire ou de demander réparation lorsqu’ils sont utilisés pour prendre des décisions erronées, et, tout aussi important, peu de preuves attestent que l’efficacité de ces outils a été, ou peut être, améliorée ». 

Malgré la légalité douteuse et les failles connues de nombre de ces systèmes que le rapport documente, l’intégration de l’IA dans les contrôles d’immigration ne semble vouée qu’à s’intensifier. L’utilisation de ces outils offre un vernis d’objectivité qui masque non seulement un racisme et une xénophobie flagrants, mais aussi la forte pression politique exercée sur les agences d’immigration pour restreindre l’asile. « L‘IA permet aux agences fédérales de mener des contrôles d’immigration de manière profondément et de plus en plus opaque, ce qui complique encore davantage la tâche des personnes susceptibles d’être arrêtées ou accusées à tort. Nombre de ces outils ne sont connus du public que par le biais de documents juridiques et ne figurent pas dans l’inventaire d’IA du DHS. Mais même une fois connus, nous disposons de très peu d’informations sur leur étalonnage ou sur les données sur lesquelles ils sont basés, ce qui réduit encore davantage la capacité des individus à faire valoir leurs droits à une procédure régulière. Ces outils s’appuient également sur une surveillance invasive du public, allant du filtrage des publications sur les réseaux sociaux à l’utilisation de la reconnaissance faciale, de la surveillance aérienne et d’autres techniques de surveillance, à l’achat massif d’informations publiques auprès de courtiers en données ». Nous sommes à la fois confrontés à des systèmes coercitifs et opaques, foncièrement défaillants. Mais ces défaillances se déploient parce qu’elles donnent du pouvoir aux forces de l’ordre, leur permettant d’atteindre leurs objectifs d’expulsion et d’arrestation. Avec l’IA, le pouvoir devient l’objectif.

Les leviers pour renverser l’empire de l’IA et faire converger les luttes contre son monde

La dernière partie du rapport de l’AI Now Institute tente de déployer une autre vision de l’IA par des propositions, en dessinant une feuille de route pour l’action. “L’IA est une lutte de pouvoir et non un levier de progrès”, expliquent les auteurs qui invitent à “reprendre le contrôle de la trajectoire de l’IA”, en contestant son utilisation actuelle. Le rapport présente 5 leviers pour reprendre du pouvoir sur l’IA. 

Démontrer que l’IA agit contre les intérêts des individus et de la société

Le premier objectif, pour reprendre la main, consiste à mieux démontrer que l’industrie de l’IA agit contre les intérêts des citoyens ordinaires. Mais ce discours est encore peu partagé, notamment parce que le discours sur les risques porte surtout sur les biais techniques ou les risques existentiels, des enjeux déconnectés des réalités matérielles des individus. Pour l’AI Now Institute, “nous devons donner la priorité aux enjeux politiques ancrés dans le vécu des citoyens avec l’IA”, montrer les systèmes d’IA comme des infrastructures invisibles qui régissent les vies de chacun. En cela, la résistance au démantèlement des agences publiques initiée par les politiques du Doge a justement permis d’ouvrir un front de résistance. La résistance et l’indignation face aux coupes budgétaires et à l’accaparement des données a permis de montrer qu’améliorer l’efficacité des services n’était pas son objectif, que celui-ci a toujours été de démanteler les services gouvernementaux et centraliser le pouvoir. La dégradation des services sociaux et la privation des droits est un moyen de remobilisation à exploiter.

La construction des data centers pour l’IA est également un nouvel espace de mobilisation locale pour faire progresser la question de la justice environnementale, à l’image de celles que tentent de faire entendre la Citizen Action Coalition de l’Indiana ou la Memphis Community Against Pollution dans le Tennessee.

La question de l’augmentation des prix et de l’inflation, et le développements de prix et salaires algorithmiques est un autre levier de mobilisation, comme le montrait un rapport de l’AI Now Institute sur le sujet datant de février qui invitait à l’interdiction pure et simple de la surveillance individualisée des prix et des salaires. 

Faire progresser l’organisation des travailleurs 

Le second levier consiste à faire progresser l’organisation des travailleurs. Lorsque les travailleurs et leurs syndicats s’intéressent sérieusement à la manière dont l’IA transforme la nature du travail et s’engagent résolument par le biais de négociations collectives, de l’application des contrats, de campagnes et de plaidoyer politique, ils peuvent influencer la manière dont leurs employeurs développent et déploient ces technologies. Les campagnes syndicales visant à contester l’utilisation de l’IA générative à Hollywood, les mobilisations pour dénoncer la gestion algorithmique des employés des entrepôts de la logistique et des plateformes de covoiturage et de livraison ont joué un rôle essentiel dans la sensibilisation du public à l’impact de l’IA et des technologies de données sur le lieu de travail. La lutte pour limiter l’augmentation des cadences dans les entrepôts ou celles des chauffeurs menées par Gig Workers Rising, Los Deliversistas Unidos, Rideshare Drivers United, ou le SEIU, entre autres, a permis d’établir des protections, de lutter contre la précarité organisée par les plateformes… Pour cela, il faut à la fois que les organisations puissent analyser l’impact de l’IA sur les conditions de travail et sur les publics, pour permettre aux deux luttes de se rejoindre à l’image de ce qu’à accompli le syndicat des infirmières qui a montré que le déploiement de l’IA affaiblit le jugement clinique des infirmières et menace la sécurité des patients. Cette lutte a donné lieu à une « Déclaration des droits des infirmières et des patients », un ensemble de principes directeurs visant à garantir une application juste et sûre de l’IA dans les établissements de santé. Les infirmières ont stoppé le déploiement d’EPIC Acuity, un système qui sous-estimait l’état de santé des patients et le nombre d’infirmières nécessaires, et ont contraint l’entreprise qui déployait le système à créer un comité de surveillance pour sa mise en œuvre. 

Une autre tactique consiste à contester le déploiement d’IA austéritaires dans le secteur public à l’image du réseau syndicaliste fédéral, qui mène une campagne pour sauver les services fédéraux et met en lumière l’impact des coupes budgétaires du Doge. En Pennsylvanie, le SEIU a mis en place un conseil des travailleurs pour superviser le déploiement de solutions d’IA génératives dans les services publics. 

Une autre tactique consiste à mener des campagnes plus globales pour contester le pouvoir des grandes entreprises technologiques, comme la Coalition Athena qui demande le démantèlement d’Amazon, en reliant les questions de surveillance des travailleurs, le fait que la multinationale vende ses services à la police, les questions écologiques liées au déploiement des plateformes logistiques ainsi que l’impact des systèmes algorithmiques sur les petites entreprises et les prix que payent les consommateurs. 

Bref, l’enjeu est bien de relier les luttes entre elles, de relier les syndicats aux organisations de défense de la vie privée à celles œuvrant pour la justice raciale ou sociale, afin de mener des campagnes organisées sur ces enjeux. Mais également de l’étendre à l’ensemble de la chaîne de valeur et d’approvisionnement de l’IA, au-delà des questions américaines, même si pour l’instant “aucune tentative sérieuse d’organisation du secteur impacté par le déploiement de l’IA à grande échelle n’a été menée”. Des initiatives existent pourtant comme l’Amazon Employees for Climate Justice, l’African Content Moderators Union ou l’African Tech Workers Rising, le Data Worker’s Inquiry Project, le Tech Equity Collaborative ou l’Alphabet Workers Union (qui font campagne sur les différences de traitement entre les employés et les travailleurs contractuels). 

Nous avons désespérément besoin de projets de lutte plus ambitieux et mieux dotés en ressources, constate le rapport. Les personnes qui construisent et forment les systèmes d’IA – et qui, par conséquent, les connaissent intimement – ​​ont une opportunité particulière d’utiliser leur position de pouvoir pour demander des comptes aux entreprises technologiques sur la manière dont ces systèmes sont utilisés. “S’organiser et mener des actions collectives depuis ces postes aura un impact profond sur l’évolution de l’IA”.

“À l’instar du mouvement ouvrier du siècle dernier, le mouvement ouvrier d’aujourd’hui peut se battre pour un nouveau pacte social qui place l’IA et les technologies numériques au service de l’intérêt public et oblige le pouvoir irresponsable d’aujourd’hui à rendre des comptes.”

Confiance zéro envers les entreprises de l’IA !

Le troisième levier que défend l’AI Now Institute est plus radical encore puisqu’il propose d’adopter un programme politique “confiance zéro” envers l’IA. En 2023, L’AI Now, l’Electronic Privacy Information Center et d’Accountable Tech affirmaient déjà “qu’une confiance aveugle dans la bienveillance des entreprises technologiques n’était pas envisageable ». Pour établir ce programme, le rapport égraine 6 leviers à activer.

Tout d’abord, le rapport plaide pour “des règles audacieuses et claires qui restreignent les applications d’IA nuisibles”. C’est au public de déterminer si, dans quels contextes et comment, les systèmes d’IA seront utilisés. “Comparées aux cadres reposant sur des garanties basées sur les processus (comme les audits d’IA ou les régimes d’évaluation des risques) qui, dans la pratique, ont souvent eu tendance à renforcer les pouvoirs des leaders du secteur et à s’appuyer sur une solide capacité réglementaire pour une application efficace, ces règles claires présentent l’avantage d’être facilement administrables et de cibler les préjudices qui ne peuvent être ni évités ni réparés par de simples garanties”. Pour l’AI Now Institute, l’IA doit être interdite pour la reconnaissance des émotions, la notation sociale, la fixation des prix et des salaires, refuser des demandes d’indemnisation, remplacer les enseignants, générer des deepfakes. Et les données de surveillance des travailleurs ne doivent pas pouvoir pas être vendues à des fournisseurs tiers. L’enjeu premier est d’augmenter le spectre des interdictions. 

Ensuite, le rapport propose de réglementer tout le cycle de vie de l’IA. L’IA doit être réglementée tout au long de son cycle de développement, de la collecte des données au déploiement, en passant par le processus de formation, le perfectionnement et le développement des applications, comme le proposait l’Ada Lovelace Institute. Le rapport rappelle que si la transparence est au fondement d’une réglementation efficace, la résistante des entreprises est forte, tout le long des développements, des données d’entraînement utilisées, aux fonctionnement des applications. La transparence et l’explication devraient être proactives, suggère le rapport : les utilisateurs ne devraient pas avoir besoin de demander individuellement des informations sur les traitements dont ils sont l’objet. Notamment, le rapport insiste sur le besoin que “les développeurs documentent et rendent publiques leurs techniques d’atténuation des risques, et que le régulateur exige la divulgation de tout risque anticipé qu’ils ne sont pas en mesure d’atténuer, afin que cela soit transparent pour les autres acteurs de la chaîne d’approvisionnement”. Le rapport recommande également d’inscrire un « droit de dérogation » aux décisions et l’obligation d’intégrer des conseils d’usagers pour qu’ils aient leur mot à dire sur les développements et l’utilisation des systèmes. 

Le rapport rappelle également que la supervision des développements doit être indépendante. Ce n’est pas à l’industrie d’évaluer ce qu’elle fait. Le “red teaming” et les “models cards” ignorent les conflits d’intérêts en jeu et mobilisent des méthodologies finalement peu robustes (voir notre article). Autre levier encore, s’attaquer aux racines du pouvoir de ces entreprises et par exemple qu’elles suppriment les données acquises illégalement et les modèles entraînés sur ces données (certains chercheurs parlent d’effacement de modèles et de destruction algorithmique !) ; limiter la conservation des données pour le réentraînement ; limiter les partenariats entre les hyperscalers et les startups d’IA et le rachat d’entreprise pour limiter la constitution de monopoles. 

Le rapport propose également de construire une boîte à outils pour favoriser la concurrence. De nombreuses enquêtes pointent les limites des grandes entreprises de la tech à assurer le respect du droit à la concurrence, mais les poursuites peinent à s’appliquer et peinent à construire des changements législatifs pour renforcer le droit à la concurrence et limiter la construction de monopoles, alors que toute intervention sur le marché est toujours dénoncé par les entreprises de la tech comme relevant de mesures contre l’innovation. Le rapport plaide pour une plus grande séparation structurelle des activités (les entreprises du cloud ne doivent pas pouvoir participer au marché des modèles fondamentaux de l’IA par exemple, interdiction des représentations croisées dans les conseils d’administration des startups et des développeurs de modèles, etc.). Interdire aux fournisseurs de cloud d’exploiter les données qu’ils obtiennent de leurs clients en hébergeant des infrastructures pour développer des produits concurrents. 

Enfin, le rapport recommande une supervision rigoureuse du développement et de l’exploitation des centres de données, alors que les entreprises qui les développent se voient exonérées de charge et que leurs riverains en subissent des impacts disproportionnés (concurrence sur les ressources, augmentation des tarifs de l’électricité…). Les communautés touchées ont besoin de mécanismes de transparence et de protections environnementales solides. Les régulateurs devraient plafonner les subventions en fonction des protections concédées et des emplois créés. Initier des règles pour interdire de faire porter l’augmentation des tarifs sur les usagers.

Décloisonner !

Le cloisonnement des enjeux de l’IA est un autre problème qu’il faut lever. C’est le cas notamment de l’obsession à la sécurité nationale qui justifient à la fois des mesures de régulation et des programmes d’accélération et d’expansion du secteur et des infrastructures de l’IA. Mais pour décloisonner, il faut surtout venir perturber le processus de surveillance à l’œuvre et renforcer la vie privée comme un enjeu de justice économique. La montée de la surveillance pour renforcer l’automatisation “place les outils traditionnels de protection de la vie privée (tels que le consentement, les options de retrait, les finalités non autorisées et la minimisation des données) au cœur de la mise en place de conditions économiques plus justes”. La chercheuse Ifeoma Ajunwa soutient que les données des travailleurs devraient être considérées comme du « capital capturé » par les entreprises : leurs données sont  utilisées pour former des technologies qui finiront par les remplacer (ou créer les conditions pour réduire leurs salaires), ou vendues au plus offrant via un réseau croissant de courtiers en données, sans contrôle ni compensation. Des travailleurs ubérisés aux travailleurs du clic, l’exploitation des données nécessite de repositionner la protection de la vie privée des travailleurs au cœur du programme de justice économique pour limiter sa capture par l’IA. Les points de collecte, les points de surveillance, doivent être “la cible appropriée de la résistance”, car ils seront instrumentalisés contre les intérêts des travailleurs. Sur le plan réglementaire, cela pourrait impliquer de privilégier des règles de minimisation des données qui restreignent la collecte et l’utilisation des données, renforcer la confidentialité (par exemple en interdisant le partage de données sur les salariés avec des tiers), le droit à ne pas consentir, etc. Renforcer la minimisation, sécuriser les données gouvernementales sur les individus qui sont de haute qualité et particulièrement sensibles, est plus urgent que jamais. 

“Nous devons nous réapproprier l’agenda positif de l’innovation centrée sur le public, et l’IA ne devrait pas en être le centre”, concluent les auteurs. La trajectoire actuelle de l’IA, axée sur le marché, est préjudiciable au public alors que l’espace de solutions alternatives se réduit. Nous devons rejeter le paradigme d’une IA à grande échelle qui ne profitera qu’aux plus puissants.

L’IA publique demeure un espace fertile pour promouvoir le débat sur des trajectoires alternatives pour l’IA, structurellement plus alignées sur l’intérêt public, et garantir que tout financement public dans ce domaine soit conditionné à des objectifs d’intérêt général. Mais pour cela, encore faut-il que l’IA publique ne limite pas sa politique à l’achat de solutions privées, mais développe ses propres capacités d’IA, réinvestisse sa capacité d’expertise pour ne pas céder au solutionnisme de l’IA, favorise partout la discussion avec les usagers, cultive une communauté de pratique autour de l’innovation d’intérêt général qui façonnera l’émergence d’un espace alternatif par exemple en exigeant des méthodes d’implication des publics et aussi en élargissant l’intérêt de l’Etat à celui de l’intérêt collectif et pas seulement à ses intérêts propres (par exemple en conditionnant à la promotion des objectifs climatiques, au soutien syndical et citoyen…), ainsi qu’à redéfinir les conditions concrètes du financement public de l’IA, en veillant à ce que les investissements répondent aux besoins des communautés plutôt qu’aux intérêts des entreprises.   

Changer l’agenda : pour une IA publique !

Enfin, le rapport conclut en affirmant que l’innovation devrait être centrée sur les besoins des publics et que l’IA ne devrait pas en être le centre. Le développement de l’IA devrait être guidé par des impératifs non marchands et les capitaux publics et philanthropiques devraient contribuer à la création d’un écosystème d’innovation extérieur à l’industrie, comme l’ont réclamé Public AI Network dans un rapport, l’Ada Lovelace Institute, dans un autre, Lawrence Lessig ou encore Bruce Schneier et Nathan Sanders ou encore Ganesh Sitaraman et Tejas N. Narechania…  qui parlent d’IA publique plus que d’IA souveraine, pour orienter les investissement non pas tant vers des questions de sécurité nationale et de compétitivité, mais vers des enjeux de justice sociale. 

Ces discours confirment que la trajectoire de l’IA, axée sur le marché, est préjudiciable au public. Si les propositions alternatives ne manquent pas, elles ne parviennent pas à relever le défi de la concentration du pouvoir au profit des grandes entreprises. « Rejeter le paradigme actuel de l’IA à grande échelle est nécessaire pour lutter contre les asymétries d’information et de pouvoir inhérentes à l’IA. C’est la partie cachée qu’il faut exprimer haut et fort. C’est la réalité à laquelle nous devons faire face si nous voulons rassembler la volonté et la créativité nécessaires pour façonner la situation différemment ». Un rapport du National AI Research Resource (NAIRR) américain de 2021, d’une commission indépendante présidée par l’ancien PDG de Google, Eric Schmidt, et composée de dirigeants de nombreuses grandes entreprises technologiques, avait parfaitement formulé le risque : « la consolidation du secteur de l’IA menace la compétitivité technologique des États-Unis. » Et la commission proposait de créer des ressources publiques pour l’IA. 

« L’IA publique demeure un espace fertile pour promouvoir le débat sur des trajectoires alternatives pour l’IA, structurellement plus alignées sur l’intérêt général, et garantir que tout financement public dans ce domaine soit conditionné à des objectifs d’intérêt général ». Un projet de loi californien a récemment relancé une proposition de cluster informatique public, hébergé au sein du système de l’Université de Californie, appelé CalCompute. L’État de New York a lancé une initiative appelée Empire AI visant à construire une infrastructure de cloud public dans sept institutions de recherche de l’État, rassemblant plus de 400 millions de dollars de fonds publics et privés. Ces deux initiatives créent des espaces de plaidoyer importants pour garantir que leurs ressources répondent aux besoins des communautés et ne servent pas à enrichir davantage les ressources des géants de la technologie.

Et le rapport de se conclure en appelant à défendre l’IA publique, en soutenant les universités, en investissant dans ces infrastructures d’IA publique et en veillant que les groupes défavorisés disposent d’une autorité dans ces projets. Nous devons cultiver une communauté de pratique autour de l’innovation d’intérêt général. 

***

Le rapport de l’AI Now Institute a la grande force de nous rappeler que les luttes contre l’IA existent et qu’elles ne sont pas que des luttes de collectifs technocritiques, mais qu’elles s’incarnent déjà dans des projets politiques, qui peinent à s’interelier et à se structurer. Des luttes qui sont souvent invisibilisées, tant la parole est toute entière donnée aux promoteurs de l’IA. Le rapport est extrêmement riche et rassemble une documentation à nulle autre pareille. 

« L’IA ne nous promet ni de nous libérer du cycle incessant de guerres, des pandémies et des crises environnementales et financières qui caractérisent notre présent », conclut le rapport  L’IA ne crée rien de tout cela, ne créé rien de ce que nous avons besoin. “Lier notre avenir commun à l’IA rend cet avenir plus difficile à réaliser, car cela nous enferme dans une voie résolument sombre, nous privant non seulement de la capacité de choisir quoi construire et comment le construire, mais nous privant également de la joie que nous pourrions éprouver à construire un avenir différent”. L’IA comme seule perspective d’avenir “nous éloigne encore davantage d’une vie digne, où nous aurions l’autonomie de prendre nos propres décisions et où des structures démocratiquement responsables répartiraient le pouvoir et les infrastructures technologiques de manière robuste, responsable et protégée des chocs systémiques”. L’IA ne fait que consolider et amplifier les asymétries de pouvoir existantes. “Elle naturalise l’inégalité et le mérite comme une fatalité, ​tout en rendant les schémas et jugements sous-jacents qui les façonnent impénétrables pour ceux qui sont affectés par les jugements de l’IA”.

Pourtant, une autre IA est possible, estiment les chercheurs.ses de l’AI Now Institute. Nous ne pouvons pas lutter contre l’oligarchie technologique sans rejeter la trajectoire actuelle de l’industrie autour de l’IA à grande échelle. Nous ne devons pas oublier que l’opinion publique s’oppose résolument au pouvoir bien établi des entreprises technologiques. Certes, le secteur technologique dispose de ressources plus importantes que jamais et le contexte politique est plus sombre que jamais, concèdent les chercheurs de l’AI Now Institute. Cela ne les empêche pas de faire des propositions, comme d’adopter un programme politique de « confiance zéro » pour l’IA. Adopter un programme politique fondé sur des règles claires qui restreignent les utilisations les plus néfastes de l’IA, encadrent son cycle de vie de bout en bout et garantissent que l’industrie qui crée et exploite actuellement l’IA ne soit pas laissée à elle-même pour s’autoréguler et s’autoévaluer. Repenser les leviers traditionnels de la confidentialité des données comme outils clés dans la lutte contre l’automatisation et la lutte contre le pouvoir de marché.

Revendiquer un programme positif d’innovation centrée sur le public, sans IA au centre. 

« La trajectoire actuelle de l’IA place le public sous la coupe d’oligarques technologiques irresponsables. Mais leur succès n’est pas inéluctable. En nous libérant de l’idée que l’IA à grande échelle est inévitable, nous pouvons retrouver l’espace nécessaire à une véritable innovation et promouvoir des voies alternatives stimulantes et novatrices qui exploitent la technologie pour façonner un monde au service du public et gouverné par notre volonté collective ».

La trajectoire actuelle de l’IA vers sa suprématie ne nous mènera pas au monde que nous voulons. Sa suprématie n’est pourtant pas encore là. “Avec l’adoption de la vision actuelle de l’IA, nous perdons un avenir où l’IA favoriserait des emplois stables, dignes et valorisants. Nous perdons un avenir où l’IA favoriserait des salaires justes et décents, au lieu de les déprécier ; où l’IA garantirait aux travailleurs le contrôle de l’impact des nouvelles technologies sur leur carrière, au lieu de saper leur expertise et leur connaissance de leur propre travail ; où nous disposons de politiques fortes pour soutenir les travailleurs si et quand les nouvelles technologies automatisent les fonctions existantes – y compris des lois élargissant le filet de sécurité sociale – au lieu de promoteurs de l’IA qui se vantent auprès des actionnaires des économies réalisées grâce à l’automatisation ; où des prestations sociales et des politiques de congés solides garantissent le bien-être à long terme des employés, au lieu que l’IA soit utilisée pour surveiller et exploiter les travailleurs à tout va ; où l’IA contribue à protéger les employés des risques pour la santé et la sécurité au travail, au lieu de perpétuer des conditions de travail dangereuses et de féliciter les employeurs qui exploitent les failles du marché du travail pour se soustraire à leurs responsabilités ; et où l’IA favorise des liens significatifs par le travail, au lieu de favoriser des cultures de peur et d’aliénation.”

Pour l’AI Now Institute, l’enjeu est d’aller vers une prospérité partagée, et ce n’est pas la direction que prennent les empires de l’IA. La prolifération de toute nouvelle technologie a le potentiel d’accroître les opportunités économiques et de conduire à une prospérité partagée généralisée. Mais cette prospérité partagée est incompatible avec la trajectoire actuelle de l’IA, qui vise à maximiser le profit des actionnaires. “Le mythe insidieux selon lequel l’IA mènera à la « productivité » pour tous, alors qu’il s’agit en réalité de la productivité d’un nombre restreint d’entreprises, nous pousse encore plus loin sur la voie du profit actionnarial comme unique objectif économique. Même les politiques gouvernementales bien intentionnées, conçues pour stimuler le secteur de l’IA, volent les poches des travailleurs. Par exemple, les incitations gouvernementales destinées à revitaliser l’industrie de la fabrication de puces électroniques ont été contrecarrées par des dispositions de rachat d’actions par les entreprises, envoyant des millions de dollars aux entreprises, et non aux travailleurs ou à la création d’emplois. Et malgré quelques initiatives significatives pour enquêter sur le secteur de l’IA sous l’administration Biden, les entreprises restent largement incontrôlées, ce qui signifie que les nouveaux entrants ne peuvent pas contester ces pratiques.”

“Cela implique de démanteler les grandes entreprises, de restructurer la structure de financement financée par le capital-risque afin que davantage d’entreprises puissent prospérer, d’investir dans les biens publics pour garantir que les ressources technologiques ne dépendent pas des grandes entreprises privées, et d’accroître les investissements institutionnels pour intégrer une plus grande diversité de personnes – et donc d’idées – au sein de la main-d’œuvre technologique.”

“Nous méritons un avenir technologique qui soutienne des valeurs et des institutions démocratiques fortes.” Nous devons de toute urgence restaurer les structures institutionnelles qui protègent les intérêts du public contre l’oligarchie. Cela nécessitera de s’attaquer au pouvoir technologique sur plusieurs fronts, et notamment par la mise en place de mesures de responsabilisation des entreprises pour contrôler les oligarques de la tech. Nous ne pouvons les laisser s’accaparer l’avenir. 

Sur ce point, comme sur les autres, nous sommes d’accord.

Hubert Guillaud

Suite de notre dossier sur IA et éducation (voir la première partie).

La bataille éducative est-elle perdue ?

Une grande enquête de 404 media montre qu’à l’arrivée de ChatGPT, les écoles publiques américaines étaient totalement démunies face à l’adoption généralisée de ChatGPT par les élèves. Le problème est d’ailleurs loin d’être résolu. Le New York Mag a récemment publié un article qui se désole de la triche généralisée qu’ont introduit les IA génératives à l’école. De partout, les élèves utilisent les chatbots pour prendre des notes pendant les cours, pour concevoir des tests, résumer des livres ou des articles, planifier et rédiger leurs essais, résoudre les exercices qui leurs sont demandés. Le plafond de la triche a été pulvérisé, explique un étudiant. “Un nombre considérable d’étudiants sortiront diplômés de l’université et entreront sur le marché du travail en étant essentiellement analphabètes”, se désole un professeur qui constate le court-circuitage du processus même d’apprentissage. La triche semblait pourtant déjà avoir atteint son apogée, avant l’arrivée de ChatGPT, notamment avec les plateformes d’aides au devoir en ligne comme Chegg et Course Hero. “Pour 15,95 $ par mois, Chegg promettait des réponses à toutes les questions de devoirs en seulement 30 minutes, 24h/24 et 7j/7, grâce aux 150 000 experts diplômés de l’enseignement supérieur qu’elle employait, principalement en Inde”. 

Chaque école a proposé sa politique face à ces nouveaux outils, certains prônant l’interdiction, d’autres non. Depuis, les politiques se sont plus souvent assouplies, qu’endurcies. Nombre de profs autorisent l’IA, à condition de la citer, ou ne l’autorisent que pour aide conceptuelle et en demandant aux élèves de détailler la manière dont ils l’ont utilisé. Mais cela ne dessine pas nécessairement de limites claires à leurs usages. L’article souligne que si les professeurs se croient doués pour détecter les écrits générés par l’IA, des études ont démontré qu’ils ne le sont pas. L’une d’elles, publiée en juin 2024, utilisait de faux profils d’étudiants pour glisser des travaux entièrement générés par l’IA dans les piles de correction des professeurs d’une université britannique. Les professeurs n’ont pas signalé 97 % des essais génératifs. En fait, souligne l’article, les professeurs ont plutôt abandonné l’idée de pouvoir détecter le fait que les devoirs soient rédigés par des IA. “De nombreux enseignants semblent désormais désespérés”. “Ce n’est pas ce pour quoi nous nous sommes engagés”, explique l’un d’entre eux. La prise de contrôle de l’enseignement par l’IA tient d’une crise existentielle de l’éducation. Désormais, les élèves ne tentent même plus de se battre contre eux-mêmes. Ils se replient sur la facilité. “Toute tentative de responsabilisation reste vaine”, constatent les professeurs. 

L’IA a mis à jour les défaillances du système éducatif. Bien sûr, l’idéal de l’université et de l’école comme lieu de développement intellectuel, où les étudiants abordent des idées profondes a disparu depuis longtemps. La perspective que les IA des professeurs évaluent désormais les travaux produits par les IA des élèves, finit de réduire l’absurdité de la situation, en laissant chacun sans plus rien à apprendre. Plusieurs études (comme celle de chercheurs de Microsoft) ont établi un lien entre l’utilisation de l’IA et une détérioration de l’esprit critique. Pour le psychologue, Robert Sternberg, l’IA générative compromet déjà la créativité et l’intelligence. “La bataille est perdue”, se désole un autre professeur. 

Reste à savoir si l’usage “raisonnable” de l’IA est possible. Dans une longue enquête pour le New Yorker, le journaliste Hua Hsu constate que tous les étudiants qu’il a interrogé pour comprendre leur usage de l’IA ont commencé par l’utiliser pour se donner des idées, en promettant de veiller à un usage responsable et ont très vite basculé vers des usages peu modérés, au détriment de leur réflexion. L’utilisation judicieuse de l’IA ne tient pas longtemps. Dans un rapport sur l’usage de Claude par des étudiants, Anthropic a montré que la moitié des interactions des étudiants avec son outil serait extractive, c’est-à-dire servent à produire des contenus. 404 media est allé discuter avec les participants de groupes de soutien en ligne de gens qui se déclarent comme “dépendants à l’IA”. Rien n’est plus simple que de devenir accro à un chatbot, confient des utilisateurs de tout âge. OpenAI en est conscient, comme le pointait une étude du MIT sur les utilisateurs les plus assidus, sans proposer pourtant de remèdes.

Comment apprendre aux enfants à faire des choses difficiles ? Le journaliste Clay Shirky, devenu responsable de l’IA en éducation à la New York University, dans le Chronicle of Higher Education, s’interroge : l’IA améliore-t-elle l’éducation ou la remplace-t-elle ? “Chaque année, environ 15 millions d’étudiants de premier cycle aux États-Unis produisent des travaux et des examens de plusieurs milliards de mots. Si le résultat d’un cours est constitué de travaux d’étudiants (travaux, examens, projets de recherche, etc.), le produit de ce cours est l’expérience étudiante”. Un devoir n’a de valeur que ”pour stimuler l’effort et la réflexion de l’élève”. “L’utilité des devoirs écrits repose sur deux hypothèses : la première est que pour écrire sur un sujet, l’élève doit comprendre le sujet et organiser ses pensées. La seconde est que noter les écrits d’un élève revient à évaluer l’effort et la réflexion qui y ont été consacrés”. Avec l’IA générative, la logique de cette proposition, qui semblait pourtant à jamais inébranlable, s’est complètement effondrée. 

Pour Shirky, il ne fait pas de doute que l’IA générative peut être utile à l’apprentissage. “Ces outils sont efficaces pour expliquer des concepts complexes, proposer des quiz pratiques, des guides d’étude, etc. Les étudiants peuvent rédiger un devoir et demander des commentaires, voir à quoi ressemble une réécriture à différents niveaux de lecture, ou encore demander un résumé pour vérifier la clarté”… “Mais le fait que l’IA puisse aider les étudiants à apprendre ne garantit pas qu’elle le fera”. Pour le grand théoricien de l’éducation, Herbert Simon, “l’enseignant ne peut faire progresser l’apprentissage qu’en incitant l’étudiant à apprendre”. “Face à l’IA générative dans nos salles de classe, la réponse évidente est d’inciter les étudiants à adopter les utilisations utiles de l’IA tout en les persuadant d’éviter les utilisations néfastes. Notre problème est que nous ne savons pas comment y parvenir”, souligne pertinemment Shirky. Pour lui aussi, aujourd’hui, les professeurs sont en passe d’abandonner. Mettre l’accent sur le lien entre effort et apprentissage ne fonctionne pas, se désole-t-il. Les étudiants eux aussi sont déboussolés et finissent par se demander où l’utilisation de l’IA les mène. Shirky fait son mea culpa. L’utilisation engagée de l’IA conduit à son utilisation paresseuse. Nous ne savons pas composer avec les difficultés. Mais c’était déjà le cas avant ChatGPT. Les étudiants déclarent régulièrement apprendre davantage grâce à des cours magistraux bien présentés qu’avec un apprentissage plus actif, alors que de nombreuses études démontrent l’inverse. “Un outil qui améliore le rendement mais dégrade l’expérience est un mauvais compromis”. 

C’est le sens même de l’éducation qui est en train d’être perdu. Le New York Times revenait récemment sur le fait que certaines écoles interdisent aux élèves d’utiliser ces outils, alors que les professeurs, eux, les surutilisent. Selon une étude auprès de 1800 enseignants de l’enseignement supérieur, 18 % déclaraient utiliser fréquemment ces outils pour faire leur cours, l’année dernière – un chiffre qui aurait doublé depuis. Les étudiants ne lisent plus ce qu’ils écrivent et les professeurs non plus. Si les profs sont prompts à critiquer l’usage de l’IA par leurs élèves, nombre d’entre eux l’apprécient pour eux-mêmes, remarque un autre article du New York Times. A PhotoMath ou Google Lens qui viennent aider les élèves, répondent MagicSchool et Brisk Teaching qui proposent déjà des produits d’IA qui fournissent un retour instantané sur les écrits des élèves. L’Etat du Texas a signé un contrat de 5 ans avec l’entreprise Cambium Assessment pour fournir aux professeurs un outil de notation automatisée des écrits des élèves. 

Pour Jason Koebler de 404 media : “la société dans son ensemble n’a pas très bien résisté à l’IA générative, car les grandes entreprises technologiques s’obstinent à nous l’imposer. Il est donc très difficile pour un système scolaire public sous-financé de contrôler son utilisation”. Pourtant, peu après le lancement public de ChatGPT, certains districts scolaires locaux et d’État ont fait appel à des consultants pro-IA pour produire des formations et des présentations “encourageant largement les enseignants à utiliser l’IA générative en classe”, mais “aucun n’anticipait des situations aussi extrêmes que celles décrites dans l’article du New York Mag, ni aussi problématiques que celles que j’ai entendues de mes amis enseignants, qui affirment que certains élèves désormais sont totalement dépendants de ChatGPT”. Les documents rassemblés par 404media montrent surtout que les services d’éducation américains ont tardé à réagir et à proposer des perspectives aux enseignants sur le terrain. 

Dans un autre article de 404 media, Koebler a demandé à des professeurs américains d’expliquer ce que l’IA a changé à leur travail. Les innombrables témoignages recueillis montrent que les professeurs ne sont pas restés les bras ballants, même s’ils se sentent très dépourvus face à l’intrusion d’une technologie qu’ils n’ont pas voulu. Tous expliquent qu’ils passent des heures à corriger des devoirs que les élèves mettent quelques secondes à produire. Tous dressent un constat similaire fait d’incohérences, de confusions, de démoralisations, entre préoccupations et exaspérations. Quelles limites mettre en place ? Comment s’assurer qu’elles soient respectées ? “Je ne veux pas que les étudiants qui n’utilisent pas de LLM soient désavantagés. Et je ne veux pas donner de bonnes notes à des étudiants qui ne font pratiquement rien”, témoigne un prof. Beaucoup ont désormais recours à l’écriture en classe, au papier. Quelques-uns disent qu’ils sont passés de la curiosité au rejet catégorique de ces outils. Beaucoup pointent que leur métier est plus difficile que jamais. “ChatGPT n’est pas un problème isolé. C’est le symptôme d’un paradigme culturel totalitaire où la consommation passive et la régurgitation de contenu deviennent le statu quo.”

L’IA place la déqualification au coeur de l’apprentissage 

Nicholas Carr, qui vient de faire paraître Superbloom : How Technologies of Connection Tear Us Apart (Norton, 2025, non traduit) rappelle dans sa newsletter que “la véritable menace que représente l’IA pour l’éducation n’est pas qu’elle encourage la triche, mais qu’elle décourage l’apprentissage”. Pour Carr, lorsque les gens utilisent une machine pour réaliser une tâche, soit leurs compétences augmentent, soit elles s’atrophient, soit elles ne se développent jamais. C’est la piste qu’il avait d’ailleurs exploré dans Remplacer l’humain (L’échapée, 2017, traduction de The Glass Cage) en montrant comment les logiciels transforment concrètement les métiers, des architectes aux pilotes d’avions). “Si un travailleur maîtrise déjà l’activité à automatiser, la machine peut l’aider à développer ses compétences” et relever des défis plus complexes. Dans les mains d’un mathématicien, une calculatrice devient un “amplificateur d’intelligence”. A l’inverse, si le maintien d’une compétence exige une pratique fréquente, combinant dextérité manuelle et mentale, alors l’automatisation peut menacer le talent même de l’expert. C’est le cas des pilotes d’avion confrontés aux systèmes de pilotage automatique qui connaissent un “affaissement des compétences” face aux situations difficiles. Mais l’automatisation est plus pernicieuse encore lorsqu’une machine prend les commandes d’une tâche avant que la personne qui l’utilise n’ait acquis l’expérience de la tâche en question. “C’est l’histoire du phénomène de « déqualification » du début de la révolution industrielle. Les artisans qualifiés ont été remplacés par des opérateurs de machines non qualifiés. Le travail s’est accéléré, mais la seule compétence acquise par ces opérateurs était celle de faire fonctionner la machine, ce qui, dans la plupart des cas, n’était quasiment pas une compétence. Supprimez la machine, et le travail s’arrête”. 

Bien évidemment que les élèves qui utilisent des chatbots pour faire leurs devoirs font moins d’effort mental que ceux qui ne les utilisent pas, comme le pointait une très épaisse étude du MIT (synthétisée par Le Grand Continent), tout comme ceux qui utilisent une calculatrice plutôt que le calcul mental vont moins se souvenir des opérations qu’ils ont effectuées. Mais le problème est surtout que ceux qui les utilisent sont moins méfiants de leurs résultats (comme le pointait l’étude des chercheurs de Microsoft), alors que contrairement à ceux d’une calculatrice, ils sont beaucoup moins fiables. Le problème de l’usage des LLM à l’école, c’est à la fois qu’il empêche d’apprendre à faire, mais plus encore que leur usage nécessite des compétences pour les évaluer. 

L’IA générative étant une technologie polyvalente permettant d’automatiser toutes sortes de tâches et d’emplois, nous verrons probablement de nombreux exemples de chacun des trois scénarios de compétences dans les années à venir, estime Carr. Mais l’utilisation de l’IA par les lycéens et les étudiants pour réaliser des travaux écrits, pour faciliter ou éviter le travail de lecture et d’écriture, constitue un cas particulier. “Elle place le processus de déqualification au cœur de l’éducation. Automatiser l’apprentissage revient à le subvertir”. 

En éducation, plus vous effectuez de recherches, plus vous vous améliorez en recherche, et plus vous rédigez d’articles, plus vous améliorez votre rédaction. “Cependant, la valeur pédagogique d’un devoir d’écriture ne réside pas dans le produit tangible du travail – le devoir rendu à la fin du devoir. Elle réside dans le travail lui-même : la lecture critique des sources, la synthèse des preuves et des idées, la formulation d’une thèse et d’un argument, et l’expression de la pensée dans un texte cohérent. Le devoir est un indicateur que l’enseignant utilise pour évaluer la réussite du travail de l’étudiant – le travail d’apprentissage. Une fois noté et rendu à l’étudiant, le devoir peut être jeté”. 

L’IA générative permet aux étudiants de produire le produit sans effectuer le travail. Le travail remis par un étudiant ne témoigne plus du travail d’apprentissage qu’il a nécessité. “Il s’y substitue ». Le travail d’apprentissage est ardu par nature : sans remise en question, l’esprit n’apprend rien. Les étudiants ont toujours cherché des raccourcis bien sûr, mais l’IA générative est différente, pas son ampleur, par sa nature. “Sa rapidité, sa simplicité d’utilisation, sa flexibilité et, surtout, sa large adoption dans la société rendent normal, voire nécessaire, l’automatisation de la lecture et de l’écriture, et l’évitement du travail d’apprentissage”. Grâce à l’IA générative, un élève médiocre peut produire un travail remarquable tout en se retrouvant en situation de faiblesse. Or, pointe très justement Carr, “la conséquence ironique de cette perte d’apprentissage est qu’elle empêche les élèves d’utiliser l’IA avec habileté. Rédiger une bonne consigne, un prompt efficace, nécessite une compréhension du sujet abordé. Le dispensateur doit connaître le contexte de la consigne. Le développement de cette compréhension est précisément ce que la dépendance à l’IA entrave”. “L’effet de déqualification de l’outil s’étend à son utilisation”. Pour Carr, “nous sommes obnubilés par la façon dont les étudiants utilisent l’IA pour tricher. Alors que ce qui devrait nous préoccuper davantage, c’est la façon dont l’IA trompe les étudiants”. 

Nous sommes d’accord. Mais cette conclusion n’aide pas pour autant à avancer ! 

Passer du malaise moral au malaise social ! 

Utiliser ou non l’IA semble surtout relever d’un malaise moral (qui en rappelle un autre), révélateur, comme le souligne l’obsession sur la « triche » des élèves. Mais plus qu’un dilemme moral, peut-être faut-il inverser notre regard, et le poser autrement : comme un malaise social. C’est la proposition que fait le sociologue Bilel Benbouzid dans un remarquable article pour AOC (première et seconde partie). 

Pour Benbouzid, l’IA générative à l’université ébranle les fondements de « l’auctorialité », c’est-à-dire qu’elle modifie la position d’auteur et ses repères normatifs et déontologiques. Dans le monde de l’enseignement supérieur, depuis le lancement de ChatGPT, tout le monde s’interroge pour savoir que faire de ces outils, souvent dans un choix un peu binaire, entre leur autorisation et leur interdiction. Or, pointe justement Benbouzid, l’usage de l’IA a été « perçu » très tôt comme une transgression morale. Très tôt, les utiliser a été associé à de la triche, d’autant qu’on ne peut pas les citer, contrairement à tout autre matériel écrit. 

Face à leur statut ambiguë, Benbouzid pose une question de fond : quelle est la nature de l’effort intellectuel légitime à fournir pour ses études ? Comment distinguer un usage « passif » de l’IA d’un usage « actif », comme l’évoquait Ethan Mollick dans la première partie de ce dossier ? Comment contrôler et s’assurer d’une utilisation active et éthique et non pas passive et moralement condamnable ? 

Pour Benbouzid, il se joue une réflexion éthique sur le rapport à soi qui nécessite d’être authentique. Mais peut-on être authentique lorsqu’on se construit, interroge le sociologue, en évoquant le fait que les étudiants doivent d’abord acquérir des compétences avant de s’individualiser. Or l’outil n’est pas qu’une machine pour résumer ou copier. Pour Benbouzid, comme pour Mollick, bien employée, elle peut-être un vecteur de stimulation intellectuelle, tout en exerçant une influence diffuse mais réelle. « Face aux influences tacites des IAG, il est difficile de discerner les lignes de partage entre l’expression authentique de soi et les effets normatifs induits par la machine. » L’enjeu ici est bien celui de la capacité de persuasion de ces machines sur ceux qui les utilisent. 

Pour les professeurs de philosophie et d’éthique Mark Coeckelbergh et David Gunkel, comme ils l’expliquent dans un article (qui a depuis donné lieu à un livre, Communicative AI, Polity, 2025), l’enjeu n’est pourtant plus de savoir qui est l’auteur d’un texte (même si, comme le remarque Antoine Compagnon, sans cette figure, la lecture devient indéchiffrable, puisque nul ne sait plus qui parle, ni depuis quels savoirs), mais bien plus de comprendre les effets que les textes produisent. Pourtant, ce déplacement, s’il est intéressant (et peut-être peu adapté à l’IA générative, tant les textes produits sont rarement pertinents), il ne permet pas de cadrer les usages des IA génératives qui bousculent le cadre ancien de régulation des textes académiques. Reste que l’auteur d’un texte doit toujours en répondre, rappelle Benbouzid, et c’est désormais bien plus le cas des étudiants qui utilisent l’IA que de ceux qui déploient ces systèmes d’IA. L’autonomie qu’on attend d’eux est à la fois un idéal éducatif et une obligation morale envers soi-même, permettant de développer ses propres capacités de réflexion. « L’acte d’écriture n’est pas un simple exercice technique ou une compétence instrumentale. Il devient un acte de formation éthique ». Le problème, estiment les professeurs de philosophie Timothy Aylsworth et Clinton Castro, dans un article qui s’interroge sur l’usage de ChatGPT, c’est que l’autonomie comme finalité morale de l’éducation n’est pas la même que celle qui permet à un étudiant de décider des moyens qu’il souhaite mobiliser pour atteindre son but. Pour Aylsworth et Castro, les étudiants ont donc obligation morale de ne pas utiliser ChatGPT, car écrire soi-même ses textes est essentiel à la construction de son autonomie. Pour eux, l’école doit imposer une morale de la responsabilité envers soi-même où écrire par soi-même n’est pas seulement une tâche scolaire, mais également un moyen d’assurer sa dignité morale. « Écrire, c’est penser. Penser, c’est se construire. Et se construire, c’est honorer l’humanité en soi. »

Pour Benbouzid, les contradictions de ces deux dilemmes résument bien le choix cornélien des étudiants et des enseignants. Elle leur impose une liberté de ne pas utiliser. Mais cette liberté de ne pas utiliser, elle, ne relève-t-elle pas d’abord et avant tout d’un jugement social ?

L’IA générative ne sera pas le grand égalisateur social !

C’est la piste fructueuse qu’explore Bilel Benbouzid dans la seconde partie de son article. En explorant qui à recours à l’IA et pourquoi, le sociologue permet d’entrouvrir une autre réponse que la réponse morale. Ceux qui promeuvent l’usage de l’IA pour les étudiants, comme Ethan Mollick, estiment que l’IA pourrait agir comme une égaliseur de chances, permettant de réduire les différences cognitives entre les élèves. C’est là une référence aux travaux d’Erik Brynjolfsson, Generative AI at work, qui souligne que l’IA diminue le besoin d’expérience, permet la montée en compétence accélérée des travailleurs et réduit les écarts de compétence des travailleurs (une théorie qui a été en partie critiquée, notamment parce que ces avantages sont compensés par l’uniformisation des pratiques et leur surveillance – voir ce que nous en disions en mobilisant les travaux de David Autor). Mais sommes-nous confrontés à une homogénéisation des performances d’écritures ? N’assiste-t-on pas plutôt à un renforcement des inégalités entre les meilleurs qui sauront mieux que d’autres tirer partie de l’IA générative et les moins pourvus socialement ? 

Pour John Danaher, l’IA générative pourrait redéfinir pas moins que l’égalité, puisque les compétences traditionnelles (rédaction, programmation, analyses…) permettraient aux moins dotés d’égaler les meilleurs. Pour Danaher, le risque, c’est que l’égalité soit alors reléguée au second plan : « d’autres valeurs comme l’efficacité économique ou la liberté individuelle prendraient le dessus, entraînant une acceptation accrue des inégalités. L’efficacité économique pourrait être mise en avant si l’IA permet une forte augmentation de la productivité et de la richesse globale, même si cette richesse est inégalement répartie. Dans ce scénario, plutôt que de chercher à garantir une répartition équitable des ressources, la société pourrait accepter des écarts grandissants de richesse et de statut, tant que l’ensemble progresse. Ce serait une forme d’acceptation de l’inégalité sous prétexte que la technologie génère globalement des bénéfices pour tous, même si ces bénéfices ne sont pas partagés de manière égale. De la même manière, la liberté individuelle pourrait être privilégiée si l’IA permet à chacun d’accéder à des outils puissants qui augmentent ses capacités, mais sans garantir que tout le monde en bénéficie de manière équivalente. Certains pourraient considérer qu’il est plus important de laisser les individus utiliser ces technologies comme ils le souhaitent, même si cela crée de nouvelles hiérarchies basées sur l’usage différencié de l’IA ». Pour Danaher comme pour Benbouzid, l’intégration de l’IA dans l’enseignement doit poser la question de ses conséquences sociales !

Les LLM ne produisent pas un langage neutre mais tendent à reproduire les « les normes linguistiques dominantes des groupes sociaux les plus favorisés », rappelle Bilel Benbouzid. Une étude comparant les lettres de motivation d’étudiants avec des textes produits par des IA génératives montre que ces dernières correspondent surtout à des productions de CSP+. Pour Benbouzid, le risque est que la délégation de l’écriture à ces machines renforce les hiérarchies existantes plus qu’elles ne les distribue. D’où l’enjeu d’une enquête en cours pour comprendre l’usage de l’IA générative des étudiants et leur rapport social au langage. 

Les premiers résultats de cette enquête montrent par exemple que les étudiants rechignent à copier-collé directement le texte créé par les IA, non seulement par peur de sanctions, mais plus encore parce qu’ils comprennent que le ton et le style ne leur correspondent pas. « Les étudiants comparent souvent ChatGPT à l’aide parentale. On comprend que la légitimité ne réside pas tant dans la nature de l’assistance que dans la relation sociale qui la sous-tend. Une aide humaine, surtout familiale, est investie d’une proximité culturelle qui la rend acceptable, voire valorisante, là où l’assistance algorithmique est perçue comme une rupture avec le niveau académique et leur propre maîtrise de la langue ». Et effectivement, la perception de l’apport des LLM dépend du capital culturel des étudiants. Pour les plus dotés, ChatGPT est un outil utilitaire, limité voire vulgaire, qui standardise le langage. Pour les moins dotés, il leur permet d’accéder à des éléments de langages valorisés et valorisants, tout en l’adaptant pour qu’elle leur corresponde socialement. 

Dans ce rapport aux outils de génération, pointe un rapport social à la langue, à l’écriture, à l’éducation. Pour Benbouzid, l’utilisation de l’IA devient alors moins un problème moral qu’un dilemme social. « Ces pratiques, loin d’être homogènes, traduisent une appropriation différenciée de l’outil en fonction des trajectoires sociales et des attentes symboliques qui structurent le rapport social à l’éducation. Ce qui est en jeu, finalement, c’est une remise en question de la manière dont les étudiants se positionnent socialement, lorsqu’ils utilisent les robots conversationnels, dans les hiérarchies culturelles et sociales de l’université. » En fait, les étudiants utilisent les outils non pas pour se dépasser, comme l’estime Mollick, mais pour produire un contenu socialement légitime. « En déléguant systématiquement leurs compétences de lecture, d’analyse et d’écriture à ces modèles, les étudiants peuvent contourner les processus essentiels d’intériorisation et d’adaptation aux normes discursives et épistémologiques propres à chaque domaine. En d’autres termes, l’étudiant pourrait perdre l’occasion de développer authentiquement son propre capital culturel académique, substitué par un habitus dominant produit artificiellement par l’IA. »

L’apparence d’égalité instrumentale que permettent les LLM pourrait donc paradoxalement renforcer une inégalité structurelle accrue. Les outils creusant l’écart entre des étudiants qui ont déjà internalisé les normes dominantes et ceux qui les singent. Le fait que les textes générés manquent d’originalité et de profondeur critique, que les IA produisent des textes superficiels, ne rend pas tous les étudiants égaux face à ces outils. D’un côté, les grandes écoles renforcent les compétences orales et renforcent leurs exigences d’originalité face à ces outils. De l’autre, d’autres devront y avoir recours par nécessité. « Pour les mieux établis, l’IA représentera un outil optionnel d’optimisation ; pour les plus précaires, elle deviendra une condition de survie dans un univers concurrentiel. Par ailleurs, même si l’IA profitera relativement davantage aux moins qualifiés, cette amélioration pourrait simultanément accentuer une forme de dépendance technologique parmi les populations les plus défavorisées, creusant encore le fossé avec les élites, mieux armées pour exercer un discernement critique face aux contenus générés par les machines ».

Bref, loin de l’égalisation culturelle que les outils permettraient, le risque est fort que tous n’en profitent pas d’une manière égale. On le constate très bien ailleurs. Le fait d’être capable de rédiger un courrier administratif est loin d’être partagé. Si ces outils améliorent les courriers des moins dotés socialement, ils ne renversent en rien les différences sociales. C’est le même constat qu’on peut faire entre ceux qui subliment ces outils parce qu’ils les maîtrisent finement, et tous les autres qui ne font que les utiliser, comme l’évoquait Gregory Chatonsky, en distinguant les utilisateurs mémétiques et les utilisateurs productifs. Ces outils, qui se présentent comme des outils qui seraient capables de dépasser les inégalités sociales, risquent avant tout de mieux les amplifier. Plus que de permettre de personnaliser l’apprentissage, pour s’adapter à chacun, il semble que l’IA donne des superpouvoirs d’apprentissage à ceux qui maîtrisent leurs apprentissages, plus qu’aux autres.  

L’IApocalypse scolaire, coincée dans le droit

Les questions de l’usage de l’IA à l’école que nous avons tenté de dérouler dans ce dossier montrent l’enjeu à débattre d’une politique publique d’usage de l’IA générative à l’école, du primaire au supérieur. Mais, comme le montre notre enquête, toute la communauté éducative est en attente d’un cadre. En France, on attend les recommandations de la mission confiée à François Taddéi et Sarah Cohen-Boulakia sur les pratiques pédagogiques de l’IA dans l’enseignement supérieur, rapportait le Monde. 

Un premier cadre d’usage de l’IA à l’école vient pourtant d’être publié par le ministère de l’Education nationale. Autant dire que ce cadrage processuel n’est pas du tout à la hauteur des enjeux. Le document consiste surtout en un rappel des règles et, pour l’essentiel, elles expliquent d’abord que l’usage de l’IA générative est contraint si ce n’est impossible, de fait. « Aucun membre du personnel ne doit demander aux élèves d’utiliser des services d’IA grand public impliquant la création d’un compte personnel » rappelle le document. La note recommande également de ne pas utiliser l’IA générative avec les élèves avant la 4e et souligne que « l’utilisation d’une intelligence artificielle générative pour réaliser tout ou partie d’un devoir scolaire, sans autorisation explicite de l’enseignant et sans qu’elle soit suivie d’un travail personnel d’appropriation à partir des contenus produits, constitue une fraude ». Autant dire que ce cadre d’usage ne permet rien, sinon l’interdiction. Loin d’être un cadre de développement ouvert à l’envahissement de l’IA, comme s’en plaint le SNES-FSU, le document semble surtout continuer à produire du déni, tentant de rappeler des règles sur des usages qui les débordent déjà très largement. 

Sur Linked-in, Yann Houry, prof dans un Institut privé suisse, était très heureux de partager sa recette pour permettre aux profs de corriger des copies avec une IA en local, rappelant que pour des questions de légalité et de confidentialité, les professeurs ne devraient pas utiliser les services d’IA génératives en ligne pour corriger les copies. Dans les commentaires, nombreux sont pourtant venu lui signaler que cela ne suffit pas, rappelant qu’utiliser l’IA pour corriger les copies, donner des notes et classer les élèves peut-être classée comme un usage à haut-risque selon l’IA Act, ou encore qu’un formateur qui utiliserait l’IA en ce sens devrait en informer les apprenants afin qu’ils exercent un droit de recours en cas de désaccord sur une évaluation, sans compter que le professeur doit également être transparent sur ce qu’il utilise pour rester en conformité et l’inscrire au registre des traitements. Bref, d’un côté comme de l’autre, tant du côté des élèves qui sont renvoyé à la fraude quelque soit la façon dont ils l’utilisent, que des professeurs, qui ne doivent l’utiliser qu’en pleine transparence, on se rend vite compte que l’usage de l’IA dans l’éducation reste, formellement, très contraint, pour ne pas dire impossible. 

D’autres cadres et rapports ont été publiés. comme celui de l’inspection générale, du Sénat ou de la Commission européenne et de l’OCDE, mais qui se concentrent surtout sur ce qu’un enseignement à l’IA devrait être, plus que de donner un cadre aux débordements des usages actuels. Bref, pour l’instant, le cadrage de l’IApocalypse scolaire reste à construire, avec les professeurs… et avec les élèves.  

Hubert Guillaud

Suite de notre dossier sur IA et éducation (voir la première partie).

La bataille éducative est-elle perdue ?

Une grande enquête de 404 media montre qu’à l’arrivée de ChatGPT, les écoles publiques américaines étaient totalement démunies face à l’adoption généralisée de ChatGPT par les élèves. Le problème est d’ailleurs loin d’être résolu. Le New York Mag a récemment publié un article qui se désole de la triche généralisée qu’ont introduit les IA génératives à l’école. De partout, les élèves utilisent les chatbots pour prendre des notes pendant les cours, pour concevoir des tests, résumer des livres ou des articles, planifier et rédiger leurs essais, résoudre les exercices qui leurs sont demandés. Le plafond de la triche a été pulvérisé, explique un étudiant. “Un nombre considérable d’étudiants sortiront diplômés de l’université et entreront sur le marché du travail en étant essentiellement analphabètes”, se désole un professeur qui constate le court-circuitage du processus même d’apprentissage. La triche semblait pourtant déjà avoir atteint son apogée, avant l’arrivée de ChatGPT, notamment avec les plateformes d’aides au devoir en ligne comme Chegg et Course Hero. “Pour 15,95 $ par mois, Chegg promettait des réponses à toutes les questions de devoirs en seulement 30 minutes, 24h/24 et 7j/7, grâce aux 150 000 experts diplômés de l’enseignement supérieur qu’elle employait, principalement en Inde”. 

Chaque école a proposé sa politique face à ces nouveaux outils, certains prônant l’interdiction, d’autres non. Depuis, les politiques se sont plus souvent assouplies, qu’endurcies. Nombre de profs autorisent l’IA, à condition de la citer, ou ne l’autorisent que pour aide conceptuelle et en demandant aux élèves de détailler la manière dont ils l’ont utilisé. Mais cela ne dessine pas nécessairement de limites claires à leurs usages. L’article souligne que si les professeurs se croient doués pour détecter les écrits générés par l’IA, des études ont démontré qu’ils ne le sont pas. L’une d’elles, publiée en juin 2024, utilisait de faux profils d’étudiants pour glisser des travaux entièrement générés par l’IA dans les piles de correction des professeurs d’une université britannique. Les professeurs n’ont pas signalé 97 % des essais génératifs. En fait, souligne l’article, les professeurs ont plutôt abandonné l’idée de pouvoir détecter le fait que les devoirs soient rédigés par des IA. “De nombreux enseignants semblent désormais désespérés”. “Ce n’est pas ce pour quoi nous nous sommes engagés”, explique l’un d’entre eux. La prise de contrôle de l’enseignement par l’IA tient d’une crise existentielle de l’éducation. Désormais, les élèves ne tentent même plus de se battre contre eux-mêmes. Ils se replient sur la facilité. “Toute tentative de responsabilisation reste vaine”, constatent les professeurs. 

L’IA a mis à jour les défaillances du système éducatif. Bien sûr, l’idéal de l’université et de l’école comme lieu de développement intellectuel, où les étudiants abordent des idées profondes a disparu depuis longtemps. La perspective que les IA des professeurs évaluent désormais les travaux produits par les IA des élèves, finit de réduire l’absurdité de la situation, en laissant chacun sans plus rien à apprendre. Plusieurs études (comme celle de chercheurs de Microsoft) ont établi un lien entre l’utilisation de l’IA et une détérioration de l’esprit critique. Pour le psychologue, Robert Sternberg, l’IA générative compromet déjà la créativité et l’intelligence. “La bataille est perdue”, se désole un autre professeur. 

Reste à savoir si l’usage “raisonnable” de l’IA est possible. Dans une longue enquête pour le New Yorker, le journaliste Hua Hsu constate que tous les étudiants qu’il a interrogé pour comprendre leur usage de l’IA ont commencé par l’utiliser pour se donner des idées, en promettant de veiller à un usage responsable et ont très vite basculé vers des usages peu modérés, au détriment de leur réflexion. L’utilisation judicieuse de l’IA ne tient pas longtemps. Dans un rapport sur l’usage de Claude par des étudiants, Anthropic a montré que la moitié des interactions des étudiants avec son outil serait extractive, c’est-à-dire servent à produire des contenus. 404 media est allé discuter avec les participants de groupes de soutien en ligne de gens qui se déclarent comme “dépendants à l’IA”. Rien n’est plus simple que de devenir accro à un chatbot, confient des utilisateurs de tout âge. OpenAI en est conscient, comme le pointait une étude du MIT sur les utilisateurs les plus assidus, sans proposer pourtant de remèdes.

Comment apprendre aux enfants à faire des choses difficiles ? Le journaliste Clay Shirky, devenu responsable de l’IA en éducation à la New York University, dans le Chronicle of Higher Education, s’interroge : l’IA améliore-t-elle l’éducation ou la remplace-t-elle ? “Chaque année, environ 15 millions d’étudiants de premier cycle aux États-Unis produisent des travaux et des examens de plusieurs milliards de mots. Si le résultat d’un cours est constitué de travaux d’étudiants (travaux, examens, projets de recherche, etc.), le produit de ce cours est l’expérience étudiante”. Un devoir n’a de valeur que ”pour stimuler l’effort et la réflexion de l’élève”. “L’utilité des devoirs écrits repose sur deux hypothèses : la première est que pour écrire sur un sujet, l’élève doit comprendre le sujet et organiser ses pensées. La seconde est que noter les écrits d’un élève revient à évaluer l’effort et la réflexion qui y ont été consacrés”. Avec l’IA générative, la logique de cette proposition, qui semblait pourtant à jamais inébranlable, s’est complètement effondrée. 

Pour Shirky, il ne fait pas de doute que l’IA générative peut être utile à l’apprentissage. “Ces outils sont efficaces pour expliquer des concepts complexes, proposer des quiz pratiques, des guides d’étude, etc. Les étudiants peuvent rédiger un devoir et demander des commentaires, voir à quoi ressemble une réécriture à différents niveaux de lecture, ou encore demander un résumé pour vérifier la clarté”… “Mais le fait que l’IA puisse aider les étudiants à apprendre ne garantit pas qu’elle le fera”. Pour le grand théoricien de l’éducation, Herbert Simon, “l’enseignant ne peut faire progresser l’apprentissage qu’en incitant l’étudiant à apprendre”. “Face à l’IA générative dans nos salles de classe, la réponse évidente est d’inciter les étudiants à adopter les utilisations utiles de l’IA tout en les persuadant d’éviter les utilisations néfastes. Notre problème est que nous ne savons pas comment y parvenir”, souligne pertinemment Shirky. Pour lui aussi, aujourd’hui, les professeurs sont en passe d’abandonner. Mettre l’accent sur le lien entre effort et apprentissage ne fonctionne pas, se désole-t-il. Les étudiants eux aussi sont déboussolés et finissent par se demander où l’utilisation de l’IA les mène. Shirky fait son mea culpa. L’utilisation engagée de l’IA conduit à son utilisation paresseuse. Nous ne savons pas composer avec les difficultés. Mais c’était déjà le cas avant ChatGPT. Les étudiants déclarent régulièrement apprendre davantage grâce à des cours magistraux bien présentés qu’avec un apprentissage plus actif, alors que de nombreuses études démontrent l’inverse. “Un outil qui améliore le rendement mais dégrade l’expérience est un mauvais compromis”. 

C’est le sens même de l’éducation qui est en train d’être perdu. Le New York Times revenait récemment sur le fait que certaines écoles interdisent aux élèves d’utiliser ces outils, alors que les professeurs, eux, les surutilisent. Selon une étude auprès de 1800 enseignants de l’enseignement supérieur, 18 % déclaraient utiliser fréquemment ces outils pour faire leur cours, l’année dernière – un chiffre qui aurait doublé depuis. Les étudiants ne lisent plus ce qu’ils écrivent et les professeurs non plus. Si les profs sont prompts à critiquer l’usage de l’IA par leurs élèves, nombre d’entre eux l’apprécient pour eux-mêmes, remarque un autre article du New York Times. A PhotoMath ou Google Lens qui viennent aider les élèves, répondent MagicSchool et Brisk Teaching qui proposent déjà des produits d’IA qui fournissent un retour instantané sur les écrits des élèves. L’Etat du Texas a signé un contrat de 5 ans avec l’entreprise Cambium Assessment pour fournir aux professeurs un outil de notation automatisée des écrits des élèves. 

Pour Jason Koebler de 404 media : “la société dans son ensemble n’a pas très bien résisté à l’IA générative, car les grandes entreprises technologiques s’obstinent à nous l’imposer. Il est donc très difficile pour un système scolaire public sous-financé de contrôler son utilisation”. Pourtant, peu après le lancement public de ChatGPT, certains districts scolaires locaux et d’État ont fait appel à des consultants pro-IA pour produire des formations et des présentations “encourageant largement les enseignants à utiliser l’IA générative en classe”, mais “aucun n’anticipait des situations aussi extrêmes que celles décrites dans l’article du New York Mag, ni aussi problématiques que celles que j’ai entendues de mes amis enseignants, qui affirment que certains élèves désormais sont totalement dépendants de ChatGPT”. Les documents rassemblés par 404media montrent surtout que les services d’éducation américains ont tardé à réagir et à proposer des perspectives aux enseignants sur le terrain. 

Dans un autre article de 404 media, Koebler a demandé à des professeurs américains d’expliquer ce que l’IA a changé à leur travail. Les innombrables témoignages recueillis montrent que les professeurs ne sont pas restés les bras ballants, même s’ils se sentent très dépourvus face à l’intrusion d’une technologie qu’ils n’ont pas voulu. Tous expliquent qu’ils passent des heures à corriger des devoirs que les élèves mettent quelques secondes à produire. Tous dressent un constat similaire fait d’incohérences, de confusions, de démoralisations, entre préoccupations et exaspérations. Quelles limites mettre en place ? Comment s’assurer qu’elles soient respectées ? “Je ne veux pas que les étudiants qui n’utilisent pas de LLM soient désavantagés. Et je ne veux pas donner de bonnes notes à des étudiants qui ne font pratiquement rien”, témoigne un prof. Beaucoup ont désormais recours à l’écriture en classe, au papier. Quelques-uns disent qu’ils sont passés de la curiosité au rejet catégorique de ces outils. Beaucoup pointent que leur métier est plus difficile que jamais. “ChatGPT n’est pas un problème isolé. C’est le symptôme d’un paradigme culturel totalitaire où la consommation passive et la régurgitation de contenu deviennent le statu quo.”

L’IA place la déqualification au coeur de l’apprentissage 

Nicholas Carr, qui vient de faire paraître Superbloom : How Technologies of Connection Tear Us Apart (Norton, 2025, non traduit) rappelle dans sa newsletter que “la véritable menace que représente l’IA pour l’éducation n’est pas qu’elle encourage la triche, mais qu’elle décourage l’apprentissage”. Pour Carr, lorsque les gens utilisent une machine pour réaliser une tâche, soit leurs compétences augmentent, soit elles s’atrophient, soit elles ne se développent jamais. C’est la piste qu’il avait d’ailleurs exploré dans Remplacer l’humain (L’échapée, 2017, traduction de The Glass Cage) en montrant comment les logiciels transforment concrètement les métiers, des architectes aux pilotes d’avions). “Si un travailleur maîtrise déjà l’activité à automatiser, la machine peut l’aider à développer ses compétences” et relever des défis plus complexes. Dans les mains d’un mathématicien, une calculatrice devient un “amplificateur d’intelligence”. A l’inverse, si le maintien d’une compétence exige une pratique fréquente, combinant dextérité manuelle et mentale, alors l’automatisation peut menacer le talent même de l’expert. C’est le cas des pilotes d’avion confrontés aux systèmes de pilotage automatique qui connaissent un “affaissement des compétences” face aux situations difficiles. Mais l’automatisation est plus pernicieuse encore lorsqu’une machine prend les commandes d’une tâche avant que la personne qui l’utilise n’ait acquis l’expérience de la tâche en question. “C’est l’histoire du phénomène de « déqualification » du début de la révolution industrielle. Les artisans qualifiés ont été remplacés par des opérateurs de machines non qualifiés. Le travail s’est accéléré, mais la seule compétence acquise par ces opérateurs était celle de faire fonctionner la machine, ce qui, dans la plupart des cas, n’était quasiment pas une compétence. Supprimez la machine, et le travail s’arrête”. 

Bien évidemment que les élèves qui utilisent des chatbots pour faire leurs devoirs font moins d’effort mental que ceux qui ne les utilisent pas, comme le pointait une très épaisse étude du MIT (synthétisée par Le Grand Continent), tout comme ceux qui utilisent une calculatrice plutôt que le calcul mental vont moins se souvenir des opérations qu’ils ont effectuées. Mais le problème est surtout que ceux qui les utilisent sont moins méfiants de leurs résultats (comme le pointait l’étude des chercheurs de Microsoft), alors que contrairement à ceux d’une calculatrice, ils sont beaucoup moins fiables. Le problème de l’usage des LLM à l’école, c’est à la fois qu’il empêche d’apprendre à faire, mais plus encore que leur usage nécessite des compétences pour les évaluer. 

L’IA générative étant une technologie polyvalente permettant d’automatiser toutes sortes de tâches et d’emplois, nous verrons probablement de nombreux exemples de chacun des trois scénarios de compétences dans les années à venir, estime Carr. Mais l’utilisation de l’IA par les lycéens et les étudiants pour réaliser des travaux écrits, pour faciliter ou éviter le travail de lecture et d’écriture, constitue un cas particulier. “Elle place le processus de déqualification au cœur de l’éducation. Automatiser l’apprentissage revient à le subvertir”. 

En éducation, plus vous effectuez de recherches, plus vous vous améliorez en recherche, et plus vous rédigez d’articles, plus vous améliorez votre rédaction. “Cependant, la valeur pédagogique d’un devoir d’écriture ne réside pas dans le produit tangible du travail – le devoir rendu à la fin du devoir. Elle réside dans le travail lui-même : la lecture critique des sources, la synthèse des preuves et des idées, la formulation d’une thèse et d’un argument, et l’expression de la pensée dans un texte cohérent. Le devoir est un indicateur que l’enseignant utilise pour évaluer la réussite du travail de l’étudiant – le travail d’apprentissage. Une fois noté et rendu à l’étudiant, le devoir peut être jeté”. 

L’IA générative permet aux étudiants de produire le produit sans effectuer le travail. Le travail remis par un étudiant ne témoigne plus du travail d’apprentissage qu’il a nécessité. “Il s’y substitue ». Le travail d’apprentissage est ardu par nature : sans remise en question, l’esprit n’apprend rien. Les étudiants ont toujours cherché des raccourcis bien sûr, mais l’IA générative est différente, pas son ampleur, par sa nature. “Sa rapidité, sa simplicité d’utilisation, sa flexibilité et, surtout, sa large adoption dans la société rendent normal, voire nécessaire, l’automatisation de la lecture et de l’écriture, et l’évitement du travail d’apprentissage”. Grâce à l’IA générative, un élève médiocre peut produire un travail remarquable tout en se retrouvant en situation de faiblesse. Or, pointe très justement Carr, “la conséquence ironique de cette perte d’apprentissage est qu’elle empêche les élèves d’utiliser l’IA avec habileté. Rédiger une bonne consigne, un prompt efficace, nécessite une compréhension du sujet abordé. Le dispensateur doit connaître le contexte de la consigne. Le développement de cette compréhension est précisément ce que la dépendance à l’IA entrave”. “L’effet de déqualification de l’outil s’étend à son utilisation”. Pour Carr, “nous sommes obnubilés par la façon dont les étudiants utilisent l’IA pour tricher. Alors que ce qui devrait nous préoccuper davantage, c’est la façon dont l’IA trompe les étudiants”. 

Nous sommes d’accord. Mais cette conclusion n’aide pas pour autant à avancer ! 

Passer du malaise moral au malaise social ! 

Utiliser ou non l’IA semble surtout relever d’un malaise moral (qui en rappelle un autre), révélateur, comme le souligne l’obsession sur la « triche » des élèves. Mais plus qu’un dilemme moral, peut-être faut-il inverser notre regard, et le poser autrement : comme un malaise social. C’est la proposition que fait le sociologue Bilel Benbouzid dans un remarquable article pour AOC (première et seconde partie). 

Pour Benbouzid, l’IA générative à l’université ébranle les fondements de « l’auctorialité », c’est-à-dire qu’elle modifie la position d’auteur et ses repères normatifs et déontologiques. Dans le monde de l’enseignement supérieur, depuis le lancement de ChatGPT, tout le monde s’interroge pour savoir que faire de ces outils, souvent dans un choix un peu binaire, entre leur autorisation et leur interdiction. Or, pointe justement Benbouzid, l’usage de l’IA a été « perçu » très tôt comme une transgression morale. Très tôt, les utiliser a été associé à de la triche, d’autant qu’on ne peut pas les citer, contrairement à tout autre matériel écrit. 

Face à leur statut ambiguë, Benbouzid pose une question de fond : quelle est la nature de l’effort intellectuel légitime à fournir pour ses études ? Comment distinguer un usage « passif » de l’IA d’un usage « actif », comme l’évoquait Ethan Mollick dans la première partie de ce dossier ? Comment contrôler et s’assurer d’une utilisation active et éthique et non pas passive et moralement condamnable ? 

Pour Benbouzid, il se joue une réflexion éthique sur le rapport à soi qui nécessite d’être authentique. Mais peut-on être authentique lorsqu’on se construit, interroge le sociologue, en évoquant le fait que les étudiants doivent d’abord acquérir des compétences avant de s’individualiser. Or l’outil n’est pas qu’une machine pour résumer ou copier. Pour Benbouzid, comme pour Mollick, bien employée, elle peut-être un vecteur de stimulation intellectuelle, tout en exerçant une influence diffuse mais réelle. « Face aux influences tacites des IAG, il est difficile de discerner les lignes de partage entre l’expression authentique de soi et les effets normatifs induits par la machine. » L’enjeu ici est bien celui de la capacité de persuasion de ces machines sur ceux qui les utilisent. 

Pour les professeurs de philosophie et d’éthique Mark Coeckelbergh et David Gunkel, comme ils l’expliquent dans un article (qui a depuis donné lieu à un livre, Communicative AI, Polity, 2025), l’enjeu n’est pourtant plus de savoir qui est l’auteur d’un texte (même si, comme le remarque Antoine Compagnon, sans cette figure, la lecture devient indéchiffrable, puisque nul ne sait plus qui parle, ni depuis quels savoirs), mais bien plus de comprendre les effets que les textes produisent. Pourtant, ce déplacement, s’il est intéressant (et peut-être peu adapté à l’IA générative, tant les textes produits sont rarement pertinents), il ne permet pas de cadrer les usages des IA génératives qui bousculent le cadre ancien de régulation des textes académiques. Reste que l’auteur d’un texte doit toujours en répondre, rappelle Benbouzid, et c’est désormais bien plus le cas des étudiants qui utilisent l’IA que de ceux qui déploient ces systèmes d’IA. L’autonomie qu’on attend d’eux est à la fois un idéal éducatif et une obligation morale envers soi-même, permettant de développer ses propres capacités de réflexion. « L’acte d’écriture n’est pas un simple exercice technique ou une compétence instrumentale. Il devient un acte de formation éthique ». Le problème, estiment les professeurs de philosophie Timothy Aylsworth et Clinton Castro, dans un article qui s’interroge sur l’usage de ChatGPT, c’est que l’autonomie comme finalité morale de l’éducation n’est pas la même que celle qui permet à un étudiant de décider des moyens qu’il souhaite mobiliser pour atteindre son but. Pour Aylsworth et Castro, les étudiants ont donc obligation morale de ne pas utiliser ChatGPT, car écrire soi-même ses textes est essentiel à la construction de son autonomie. Pour eux, l’école doit imposer une morale de la responsabilité envers soi-même où écrire par soi-même n’est pas seulement une tâche scolaire, mais également un moyen d’assurer sa dignité morale. « Écrire, c’est penser. Penser, c’est se construire. Et se construire, c’est honorer l’humanité en soi. »

Pour Benbouzid, les contradictions de ces deux dilemmes résument bien le choix cornélien des étudiants et des enseignants. Elle leur impose une liberté de ne pas utiliser. Mais cette liberté de ne pas utiliser, elle, ne relève-t-elle pas d’abord et avant tout d’un jugement social ?

L’IA générative ne sera pas le grand égalisateur social !

C’est la piste fructueuse qu’explore Bilel Benbouzid dans la seconde partie de son article. En explorant qui à recours à l’IA et pourquoi, le sociologue permet d’entrouvrir une autre réponse que la réponse morale. Ceux qui promeuvent l’usage de l’IA pour les étudiants, comme Ethan Mollick, estiment que l’IA pourrait agir comme une égaliseur de chances, permettant de réduire les différences cognitives entre les élèves. C’est là une référence aux travaux d’Erik Brynjolfsson, Generative AI at work, qui souligne que l’IA diminue le besoin d’expérience, permet la montée en compétence accélérée des travailleurs et réduit les écarts de compétence des travailleurs (une théorie qui a été en partie critiquée, notamment parce que ces avantages sont compensés par l’uniformisation des pratiques et leur surveillance – voir ce que nous en disions en mobilisant les travaux de David Autor). Mais sommes-nous confrontés à une homogénéisation des performances d’écritures ? N’assiste-t-on pas plutôt à un renforcement des inégalités entre les meilleurs qui sauront mieux que d’autres tirer partie de l’IA générative et les moins pourvus socialement ? 

Pour John Danaher, l’IA générative pourrait redéfinir pas moins que l’égalité, puisque les compétences traditionnelles (rédaction, programmation, analyses…) permettraient aux moins dotés d’égaler les meilleurs. Pour Danaher, le risque, c’est que l’égalité soit alors reléguée au second plan : « d’autres valeurs comme l’efficacité économique ou la liberté individuelle prendraient le dessus, entraînant une acceptation accrue des inégalités. L’efficacité économique pourrait être mise en avant si l’IA permet une forte augmentation de la productivité et de la richesse globale, même si cette richesse est inégalement répartie. Dans ce scénario, plutôt que de chercher à garantir une répartition équitable des ressources, la société pourrait accepter des écarts grandissants de richesse et de statut, tant que l’ensemble progresse. Ce serait une forme d’acceptation de l’inégalité sous prétexte que la technologie génère globalement des bénéfices pour tous, même si ces bénéfices ne sont pas partagés de manière égale. De la même manière, la liberté individuelle pourrait être privilégiée si l’IA permet à chacun d’accéder à des outils puissants qui augmentent ses capacités, mais sans garantir que tout le monde en bénéficie de manière équivalente. Certains pourraient considérer qu’il est plus important de laisser les individus utiliser ces technologies comme ils le souhaitent, même si cela crée de nouvelles hiérarchies basées sur l’usage différencié de l’IA ». Pour Danaher comme pour Benbouzid, l’intégration de l’IA dans l’enseignement doit poser la question de ses conséquences sociales !

Les LLM ne produisent pas un langage neutre mais tendent à reproduire les « les normes linguistiques dominantes des groupes sociaux les plus favorisés », rappelle Bilel Benbouzid. Une étude comparant les lettres de motivation d’étudiants avec des textes produits par des IA génératives montre que ces dernières correspondent surtout à des productions de CSP+. Pour Benbouzid, le risque est que la délégation de l’écriture à ces machines renforce les hiérarchies existantes plus qu’elles ne les distribue. D’où l’enjeu d’une enquête en cours pour comprendre l’usage de l’IA générative des étudiants et leur rapport social au langage. 

Les premiers résultats de cette enquête montrent par exemple que les étudiants rechignent à copier-collé directement le texte créé par les IA, non seulement par peur de sanctions, mais plus encore parce qu’ils comprennent que le ton et le style ne leur correspondent pas. « Les étudiants comparent souvent ChatGPT à l’aide parentale. On comprend que la légitimité ne réside pas tant dans la nature de l’assistance que dans la relation sociale qui la sous-tend. Une aide humaine, surtout familiale, est investie d’une proximité culturelle qui la rend acceptable, voire valorisante, là où l’assistance algorithmique est perçue comme une rupture avec le niveau académique et leur propre maîtrise de la langue ». Et effectivement, la perception de l’apport des LLM dépend du capital culturel des étudiants. Pour les plus dotés, ChatGPT est un outil utilitaire, limité voire vulgaire, qui standardise le langage. Pour les moins dotés, il leur permet d’accéder à des éléments de langages valorisés et valorisants, tout en l’adaptant pour qu’elle leur corresponde socialement. 

Dans ce rapport aux outils de génération, pointe un rapport social à la langue, à l’écriture, à l’éducation. Pour Benbouzid, l’utilisation de l’IA devient alors moins un problème moral qu’un dilemme social. « Ces pratiques, loin d’être homogènes, traduisent une appropriation différenciée de l’outil en fonction des trajectoires sociales et des attentes symboliques qui structurent le rapport social à l’éducation. Ce qui est en jeu, finalement, c’est une remise en question de la manière dont les étudiants se positionnent socialement, lorsqu’ils utilisent les robots conversationnels, dans les hiérarchies culturelles et sociales de l’université. » En fait, les étudiants utilisent les outils non pas pour se dépasser, comme l’estime Mollick, mais pour produire un contenu socialement légitime. « En déléguant systématiquement leurs compétences de lecture, d’analyse et d’écriture à ces modèles, les étudiants peuvent contourner les processus essentiels d’intériorisation et d’adaptation aux normes discursives et épistémologiques propres à chaque domaine. En d’autres termes, l’étudiant pourrait perdre l’occasion de développer authentiquement son propre capital culturel académique, substitué par un habitus dominant produit artificiellement par l’IA. »

L’apparence d’égalité instrumentale que permettent les LLM pourrait donc paradoxalement renforcer une inégalité structurelle accrue. Les outils creusant l’écart entre des étudiants qui ont déjà internalisé les normes dominantes et ceux qui les singent. Le fait que les textes générés manquent d’originalité et de profondeur critique, que les IA produisent des textes superficiels, ne rend pas tous les étudiants égaux face à ces outils. D’un côté, les grandes écoles renforcent les compétences orales et renforcent leurs exigences d’originalité face à ces outils. De l’autre, d’autres devront y avoir recours par nécessité. « Pour les mieux établis, l’IA représentera un outil optionnel d’optimisation ; pour les plus précaires, elle deviendra une condition de survie dans un univers concurrentiel. Par ailleurs, même si l’IA profitera relativement davantage aux moins qualifiés, cette amélioration pourrait simultanément accentuer une forme de dépendance technologique parmi les populations les plus défavorisées, creusant encore le fossé avec les élites, mieux armées pour exercer un discernement critique face aux contenus générés par les machines ».

Bref, loin de l’égalisation culturelle que les outils permettraient, le risque est fort que tous n’en profitent pas d’une manière égale. On le constate très bien ailleurs. Le fait d’être capable de rédiger un courrier administratif est loin d’être partagé. Si ces outils améliorent les courriers des moins dotés socialement, ils ne renversent en rien les différences sociales. C’est le même constat qu’on peut faire entre ceux qui subliment ces outils parce qu’ils les maîtrisent finement, et tous les autres qui ne font que les utiliser, comme l’évoquait Gregory Chatonsky, en distinguant les utilisateurs mémétiques et les utilisateurs productifs. Ces outils, qui se présentent comme des outils qui seraient capables de dépasser les inégalités sociales, risquent avant tout de mieux les amplifier. Plus que de permettre de personnaliser l’apprentissage, pour s’adapter à chacun, il semble que l’IA donne des superpouvoirs d’apprentissage à ceux qui maîtrisent leurs apprentissages, plus qu’aux autres.  

L’IApocalypse scolaire, coincée dans le droit

Les questions de l’usage de l’IA à l’école que nous avons tenté de dérouler dans ce dossier montrent l’enjeu à débattre d’une politique publique d’usage de l’IA générative à l’école, du primaire au supérieur. Mais, comme le montre notre enquête, toute la communauté éducative est en attente d’un cadre. En France, on attend les recommandations de la mission confiée à François Taddéi et Sarah Cohen-Boulakia sur les pratiques pédagogiques de l’IA dans l’enseignement supérieur, rapportait le Monde. 

Un premier cadre d’usage de l’IA à l’école vient pourtant d’être publié par le ministère de l’Education nationale. Autant dire que ce cadrage processuel n’est pas du tout à la hauteur des enjeux. Le document consiste surtout en un rappel des règles et, pour l’essentiel, elles expliquent d’abord que l’usage de l’IA générative est contraint si ce n’est impossible, de fait. « Aucun membre du personnel ne doit demander aux élèves d’utiliser des services d’IA grand public impliquant la création d’un compte personnel » rappelle le document. La note recommande également de ne pas utiliser l’IA générative avec les élèves avant la 4e et souligne que « l’utilisation d’une intelligence artificielle générative pour réaliser tout ou partie d’un devoir scolaire, sans autorisation explicite de l’enseignant et sans qu’elle soit suivie d’un travail personnel d’appropriation à partir des contenus produits, constitue une fraude ». Autant dire que ce cadre d’usage ne permet rien, sinon l’interdiction. Loin d’être un cadre de développement ouvert à l’envahissement de l’IA, comme s’en plaint le SNES-FSU, le document semble surtout continuer à produire du déni, tentant de rappeler des règles sur des usages qui les débordent déjà très largement. 

Sur Linked-in, Yann Houry, prof dans un Institut privé suisse, était très heureux de partager sa recette pour permettre aux profs de corriger des copies avec une IA en local, rappelant que pour des questions de légalité et de confidentialité, les professeurs ne devraient pas utiliser les services d’IA génératives en ligne pour corriger les copies. Dans les commentaires, nombreux sont pourtant venu lui signaler que cela ne suffit pas, rappelant qu’utiliser l’IA pour corriger les copies, donner des notes et classer les élèves peut-être classée comme un usage à haut-risque selon l’IA Act, ou encore qu’un formateur qui utiliserait l’IA en ce sens devrait en informer les apprenants afin qu’ils exercent un droit de recours en cas de désaccord sur une évaluation, sans compter que le professeur doit également être transparent sur ce qu’il utilise pour rester en conformité et l’inscrire au registre des traitements. Bref, d’un côté comme de l’autre, tant du côté des élèves qui sont renvoyé à la fraude quelque soit la façon dont ils l’utilisent, que des professeurs, qui ne doivent l’utiliser qu’en pleine transparence, on se rend vite compte que l’usage de l’IA dans l’éducation reste, formellement, très contraint, pour ne pas dire impossible. 

D’autres cadres et rapports ont été publiés. comme celui de l’inspection générale, du Sénat ou de la Commission européenne et de l’OCDE, mais qui se concentrent surtout sur ce qu’un enseignement à l’IA devrait être, plus que de donner un cadre aux débordements des usages actuels. Bref, pour l’instant, le cadrage de l’IApocalypse scolaire reste à construire, avec les professeurs… et avec les élèves.  

Hubert Guillaud

A l’été 2023, Ethan Mollick, professeur de management à Wharton, co-directeur du Generative AI Labs et auteur de Co-intelligence : vivre et travailler avec l’IA (qui vient de paraître en français chez First), décrivait dans son excellente newsletter, One useful thing, l’apocalypse des devoirs. Cette apocalypse qu’il annonçait était qu’il ne serait plus possible pour les enseignants de donner des devoirs à leurs élèves à cause de l’IA, redoutant une triche généralisée. 

Pourtant, rappelait-il, la triche est là depuis longtemps. Une étude longitudinale de 2020 montrait déjà que de moins en moins d’élèves bénéficiaient des devoirs qu’ils avaient à faire. L’étude, menée par le professeur de psychologie cognitive, Arnold Glass du Learning and memory laboratory de Rutgers, montrait que lorsque les élèves faisaient leurs devoirs en 2008, cela améliorait leurs notes aux examens pour 86% d’entre eux, alors qu’en 2017, les devoirs ne permettaient plus d’améliorer les notes que de 45% des élèves. Pourquoi ? Parce que plus de la moitié des élèves copiaient-collaient les réponses à leurs devoirs sur internet en 2017, et n’en tiraient donc pas profit. Une autre étude soulignait même que 15% des élèves avaient payé quelqu’un pour faire leur devoir, généralement via des sites d’aides scolaires en ligne. Si tricher s’annonce plus facile avec l’IA, il faut se rappeler que c’était déjà facile avant sa généralisation. 

Les calculatrices n’ont pas tué les mathématiques

Mais la triche n’est pas la seule raison pour laquelle l’IA remet en question la notion même de devoirs. Mollick rappelle que l’introduction de la calculatrice a radicalement transformé l’enseignement des mathématiques. Dans un précédent article, il revenait d’ailleurs sur cette histoire. Lorsque la calculatrice a été introduite dans les écoles, les réactions ont été étonnamment proches des inquiétudes initiales que Mollick entend aujourd’hui concernant l’utilisation de l’IA par les élèves. En s’appuyant sur une thèse signée Sarah Banks, Mollick rappelle que dès les années 70, certains professeurs étaient impatients d’intégrer l’usage des calculatrices dans leurs classes, mais c’était loin d’être le cas de tous. La majorité regardait l’introduction de la calculatrice avec suspicion et les parents partagaient l’inquiétude que leurs enfants n’oublient les bases des maths. Au début des années 80, les craintes des enseignants s’étaient inversées, mais très peu d’écoles fournissaient de calculatrices à leurs élèves. Il faut attendre le milieu des années 1990, pour que les calculatrices intègrent les programmes scolaires. En fait, un consensus pratique sur leur usage a été atteint. Et l’enseignement des mathématiques ne s’est pas effondré (même si les tests Pisa montrent une baisse de performance, notamment dans les pays de l’OCDE, mais pour bien d’autres raisons que la généralisation des calculatrices).

Pour Mollick, l’intégration de l’IA à l’école suivra certainement un chemin similaire. « Certains devoirs nécessiteront l’assistance de l’IA, d’autres l’interdiront. Les devoirs d’écriture en classe sur des ordinateurs sans connexion Internet, combinés à des examens écrits, permettront aux élèves d’acquérir les compétences rédactionnelles de base. Nous trouverons un consensus pratique qui permettra d’intégrer l’IA au processus d’apprentissage sans compromettre le développement des compétences essentielles. Tout comme les calculatrices n’ont pas remplacé l’apprentissage des mathématiques, l’IA ne remplacera pas l’apprentissage de l’écriture et de la pensée critique. Cela prendra peut-être du temps, mais nous y parviendrons », explique Mollick, toujours optimiste.

Pourquoi faire des devoirs quand l’IA les rend obsolètes ?

Mais l’impact de l’IA ne se limite pas à l’écriture, estime Mollick. Elle peut aussi être un vulgarisateur très efficace et ChatGPT peut répondre à bien des questions. L’arrivée de l’IA remet en cause les méthodes d’enseignements traditionnelles que sont les cours magistraux, qui ne sont pas si efficaces et dont les alternatives, pour l’instant, n’ont pas connu le succès escompté. « Les cours magistraux ont tendance à reposer sur un apprentissage passif, où les étudiants se contentent d’écouter et de prendre des notes sans s’engager activement dans la résolution de problèmes ni la pensée critique. Dans ce format, les étudiants peuvent avoir du mal à retenir l’information, car leur attention peut facilement faiblir lors de longues présentations. De plus, l’approche universelle des cours magistraux ne tient pas compte des différences et des capacités individuelles, ce qui conduit certains étudiants à prendre du retard tandis que d’autres se désintéressent, faute de stimulation ». Mollick est plutôt partisan de l’apprentissage actif, qui supprime les cours magistraux et invite les étudiants à participer au processus d’apprentissage par le biais d’activités telles que la résolution de problèmes, le travail de groupe et les exercices pratiques. Dans cette approche, les étudiants collaborent entre eux et avec l’enseignant pour mettre en pratique leurs apprentissages. Une méthode que plusieurs études valorisent comme plus efficaces, même si les étudiants ont aussi besoin d’enseignements initiaux appropriés. 

La solution pour intégrer davantage d’apprentissage actif passe par les classes inversées, où les étudiants doivent apprendre de nouveaux concepts à la maison (via des vidéos ou des ressources numériques) pour les appliquer ensuite en classe par le biais d’activités, de discussions ou d’exercices. Afin de maximiser le temps consacré à l’apprentissage actif et à la pensée critique, tout en utilisant l’apprentissage à domicile pour la transmission du contenu. 

Pourtant, reconnaît Mollick, l’apprentissage actif peine à s’imposer, notamment parce que les professeurs manquent de ressources de qualité et de matériel pédagogique inversé de qualité. Des lacunes que l’IA pourrait bien combler. Mollick imagine alors une classe où des tuteurs IA personnalisés viendraient accompagner les élèves, adaptant leur enseignement aux besoins des élèves tout en ajustant les contenus en fonction des performances des élèves, à la manière du manuel électronique décrit dans L’âge de diamant de Neal Stephenson, emblème du rêve de l’apprentissage personnalisé. Face aux difficultés, Mollick à tendance à toujours se concentrer « sur une vision positive pour nous aider à traverser les temps incertains à venir ». Pas sûr que cela suffise. 

Dans son article d’août 2023, Mollick estime que les élèves vont bien sûr utiliser l’IA pour tricher et vont l’intégrer dans tout ce qu’ils font. Mais surtout, ils vont nous renvoyer une question à laquelle nous allons devoir répondre : ils vont vouloir comprendre pourquoi faire des devoirs quand l’IA les rend obsolètes ?

Perturbation de l’écriture et de la lecture

Mollick rappelle que la dissertation est omniprésente dans l’enseignement. L’écriture remplit de nombreuses fonctions notamment en permettant d’évaluer la capacité à raisonner et à structurer son raisonnement. Le problème, c’est que les dissertations sont très faciles à générer avec l’IA générative. Les détecteurs de leur utilisation fonctionnent très mal et il est de plus en plus facile de les contourner. A moins de faire tout travail scolaire en classe et sans écrans, nous n’avons plus de moyens pour détecter si un travail est réalisé par l’homme ou la machine. Le retour des dissertations sur table se profile, quitte à grignoter beaucoup de temps d’apprentissage.

Mais pour Mollick, les écoles et les enseignants vont devoir réfléchir sérieusement à l’utilisation acceptable de l’IA. Est-ce de la triche de lui demander un plan ? De lui demander de réécrire ses phrases ? De lui demander des références ou des explications ? Qu’est-ce qui peut-être autorisé et comment les utiliser ? 

Pour les étudiants du supérieur auxquels il donne cours, Mollick a fait le choix de rendre l’usage de l’IA obligatoire dans ses cours et pour les devoirs, à condition que les modalités d’utilisation et les consignes données soient précisées. Pour lui, cela lui a permis d’exiger des devoirs plus ambitieux, mais a rendu la notation plus complexe.  

Mollick rappelle qu’une autre activité éducative primordiale reste la lecture. « Qu’il s’agisse de rédiger des comptes rendus de lecture, de résumer des chapitres ou de réagir à des articles, toutes ces tâches reposent sur l’attente que les élèves assimilent la lecture et engagent un dialogue avec elle ». Or, l’IA est là encore très performante pour lire et résumer. Mollick suggère de l’utiliser comme partenaire de lecture, en favorisant l’interaction avec l’IA, pour approfondir les synthèses… Pas sûr que la perspective apaise la panique morale qui se déverse dans la presse sur le fait que les étudiants ne lisent plus. Du New Yorker (« Les humanités survivront-elles à ChatGPT ? » ou « Est-ce que l’IA encourage vraiement les élèves à tricher ? ») à The Atlantic (« Les étudiants ne lisent plus de livres » ou « La génération Z voit la lecture comme une perte de temps ») en passant par les pages opinions du New York Times (qui explique par exemple que si les étudiants ne lisent plus c’est parce que les compétences ne sont plus valorisées nulles part), la perturbation que produit l’arrivée de ChatGPT dans les études se double d’une profonde chute de la lecture, qui semble être devenue d’autant plus inutile que les machines les rendent disponibles. Mêmes inquiétudes dans la presse de ce côté-ci de l’Atlantique, du Monde à Médiapart en passant par France Info…

Mais l’IA ne menace pas que la lecture ou l’écriture. Elle sait aussi très bien résoudre les problèmes et exercices de math comme de science.

Pour Mollick, comme pour bien des thuriféraires de l’IA, c’est à l’école et à l’enseignement de s’adapter aux perturbations générées par l’IA, qu’importe si la société n’a pas demandé le déploiement de ces outils. D’ailleurs, soulignait-il très récemment, nous sommes déjà dans une éducation postapocalyptique. Selon une enquête de mai 2024, aux Etats-Unis 82 % des étudiants de premier cycle universitaire et 72 % des élèves de la maternelle à la terminale ont déjà utilisé l’IA. Une adoption extrêmement rapide. Même si les élèves ont beau dos de ne pas considérer son utilisation comme de la triche. Pour Mollick, « la triche se produit parce que le travail scolaire est difficile et comporte des enjeux importants ». L’être humain est doué pour trouver comment se soustraire ce qu’il ne souhaite pas faire et éviter l’effort mental. Et plus les tâches mentales sont difficiles, plus nous avons tendance à les éviter. Le problème, reconnaît Mollick, c’est que dans l’éducation, faire un effort reste primordial.

Dénis et illusions

Pourtant, tout le monde semble être dans le déni et l’illusion. Les enseignants croient pouvoir détecter facilement l’utilisation de l’IA et donc être en mesure de fixer les barrières. Ils se trompent très largement. Une écriture d’IA bien stimulée est même jugée plus humaine que l’écriture humaine par les lecteurs. Pour les professeurs, la seule option consiste à revenir à l’écriture en classe, ce qui nécessite du temps qu’ils n’ont pas nécessairement et de transformer leur façon de faire cours, ce qui n’est pas si simple.

Mais les élèves aussi sont dans l’illusion. « Ils ne réalisent pas réellement que demander de l’aide pour leurs devoirs compromet leur apprentissage ». Après tout, ils reçoivent des conseils et des réponses de l’IA qui les aident à résoudre des problèmes, qui semble rendre l’apprentissage plus fluide. Comme l’écrivent les auteurs de l’étude de Rutgers : « Rien ne permet de croire que les étudiants sont conscients que leur stratégie de devoirs diminue leur note à l’examen… ils en déduisent, de manière logique, que toute stratégie d’étude augmentant leur note à un devoir augmente également leur note à l’examen ». En fait, comme le montre une autre étude, en utilisant ChatGPT, les notes aux devoirs progressent, mais les notes aux examens ont tendance à baisser de 17% en moyenne quand les élèves sont laissés seuls avec l’outil. Par contre, quand ils sont accompagnés pour comprendre comment l’utiliser comme coach plutôt qu’outil de réponse, alors l’outil les aide à la fois à améliorer leurs notes aux devoirs comme à l’examen. Une autre étude, dans un cours de programmation intensif à Stanford, a montré que l’usage des chatbots améliorait plus que ne diminuait les notes aux examens.

Une majorité de professeurs estiment que l’usage de ChatGPT est un outil positif pour l’apprentissage. Pour Mollick, l’IA est une aide pour comprendre des sujets complexes, réfléchir à des idées, rafraîchir ses connaissances, obtenir un retour, des conseils… Mais c’est peut-être oublier de sa part, d’où il parle et combien son expertise lui permet d’avoir un usage très évolué de ces outils. Ce qui n’est pas le cas des élèves.

Encourager la réflexion et non la remplacer

Pour que les étudiants utilisent l’IA pour stimuler leur réflexion plutôt que la remplacer, il va falloir les accompagner, estime Mollick. Mais pour cela, peut-être va-t-il falloir nous intéresser aux professeurs, pour l’instant laissés bien dépourvus face à ces nouveaux outils. 

Enfin, pas tant que cela. Car eux aussi utilisent l’IA. Selon certains sondages américains, trois quart des enseignants utiliseraient désormais l’IA dans leur travail, mais nous connaissons encore trop peu les méthodes efficaces qu’ils doivent mobiliser. Une étude qualitative menée auprès d’eux a montré que ceux qui utilisaient l’IA pour aider leurs élèves à réfléchir, pour améliorer les explications obtenaient de meilleurs résultats. Pour Mollick, la force de l’IA est de pouvoir créer des expériences d’apprentissage personnalisées, adaptées aux élèves et largement accessibles, plus que les technologies éducatives précédentes ne l’ont jamais été. Cela n’empêche pas Mollick de conclure par le discours lénifiant habituel : l’éducation quoiqu’il en soit doit s’adapter ! 

Cela ne veut pas dire que cette adaptation sera très facile ou accessible, pour les professeurs, comme pour les élèves. Dans l’éducation, rappellent les psychologues Andrew Wilson et Sabrina Golonka sur leur blog, « le processus compte bien plus que le résultat« . Or, l’IA fait à tous la promesse inverse. En matière d’éducation, cela risque d’être dramatique, surtout si nous continuons à valoriser le résultat (les notes donc) sur le processus. David Brooks ne nous disait pas autre chose quand il constatait les limites de notre méritocratie actuelle. C’est peut-être par là qu’il faudrait d’ailleurs commencer, pour résoudre l’IApocalypse éducative…

Pour Mollick cette évolution « exige plus qu’une acceptation passive ou une résistance futile ». « Elle exige une refonte fondamentale de notre façon d’enseigner, d’apprendre et d’évaluer les connaissances. À mesure que l’IA devient partie intégrante du paysage éducatif, nos priorités doivent évoluer. L’objectif n’est pas de déjouer l’IA ou de faire comme si elle n’existait pas, mais d’exploiter son potentiel pour améliorer l’éducation tout en atténuant ses inconvénients. La question n’est plus de savoir si l’IA transformera l’éducation, mais comment nous allons façonner ce changement pour créer un environnement d’apprentissage plus efficace, plus équitable et plus stimulant pour tous ». Plus facile à dire qu’à faire. Expérimenter prend du temps, trouver de bons exercices, changer ses pratiques… pour nombre de professeurs, ce n’est pas si évident, d’autant qu’ils ont peu de temps disponible pour se faire ou se former.  La proposition d’Anthropic de produire une IA dédiée à l’accompagnement des élèves (Claude for Education) qui ne cherche pas à fournir des réponses, mais produit des modalités pour accompagner les élèves à saisir les raisonnements qu’ils doivent échafauder, est certes stimulante, mais il n’est pas sûr qu’elle ne soit pas contournable.

Dans les commentaires des billets de Mollick, tout le monde se dispute, entre ceux qui pensent plutôt comme Mollick et qui ont du temps pour s’occuper de leurs élèves, qui vont pouvoir faire des évaluations orales et individuelles, par exemple (ce que l’on constate aussi dans les cursus du supérieur en France, rapportait le Monde). Et les autres, plus circonspects sur les évolutions en cours, où de plus en plus souvent des élèves produisent des contenus avec de l’IA que leurs professeurs font juger par des IA… On voit bien en tout cas, que la question de l’IA générative et ses usages, ne pourra pas longtemps rester une question qu’on laisse dans les seules mains des professeurs et des élèves, à charge à eux de s’en débrouiller.

Hubert Guillaud

La seconde partie est par là.

A l’été 2023, Ethan Mollick, professeur de management à Wharton, co-directeur du Generative AI Labs et auteur de Co-intelligence : vivre et travailler avec l’IA (qui vient de paraître en français chez First), décrivait dans son excellente newsletter, One useful thing, l’apocalypse des devoirs. Cette apocalypse qu’il annonçait était qu’il ne serait plus possible pour les enseignants de donner des devoirs à leurs élèves à cause de l’IA, redoutant une triche généralisée. 

Pourtant, rappelait-il, la triche est là depuis longtemps. Une étude longitudinale de 2020 montrait déjà que de moins en moins d’élèves bénéficiaient des devoirs qu’ils avaient à faire. L’étude, menée par le professeur de psychologie cognitive, Arnold Glass du Learning and memory laboratory de Rutgers, montrait que lorsque les élèves faisaient leurs devoirs en 2008, cela améliorait leurs notes aux examens pour 86% d’entre eux, alors qu’en 2017, les devoirs ne permettaient plus d’améliorer les notes que de 45% des élèves. Pourquoi ? Parce que plus de la moitié des élèves copiaient-collaient les réponses à leurs devoirs sur internet en 2017, et n’en tiraient donc pas profit. Une autre étude soulignait même que 15% des élèves avaient payé quelqu’un pour faire leur devoir, généralement via des sites d’aides scolaires en ligne. Si tricher s’annonce plus facile avec l’IA, il faut se rappeler que c’était déjà facile avant sa généralisation. 

Les calculatrices n’ont pas tué les mathématiques

Mais la triche n’est pas la seule raison pour laquelle l’IA remet en question la notion même de devoirs. Mollick rappelle que l’introduction de la calculatrice a radicalement transformé l’enseignement des mathématiques. Dans un précédent article, il revenait d’ailleurs sur cette histoire. Lorsque la calculatrice a été introduite dans les écoles, les réactions ont été étonnamment proches des inquiétudes initiales que Mollick entend aujourd’hui concernant l’utilisation de l’IA par les élèves. En s’appuyant sur une thèse signée Sarah Banks, Mollick rappelle que dès les années 70, certains professeurs étaient impatients d’intégrer l’usage des calculatrices dans leurs classes, mais c’était loin d’être le cas de tous. La majorité regardait l’introduction de la calculatrice avec suspicion et les parents partagaient l’inquiétude que leurs enfants n’oublient les bases des maths. Au début des années 80, les craintes des enseignants s’étaient inversées, mais très peu d’écoles fournissaient de calculatrices à leurs élèves. Il faut attendre le milieu des années 1990, pour que les calculatrices intègrent les programmes scolaires. En fait, un consensus pratique sur leur usage a été atteint. Et l’enseignement des mathématiques ne s’est pas effondré (même si les tests Pisa montrent une baisse de performance, notamment dans les pays de l’OCDE, mais pour bien d’autres raisons que la généralisation des calculatrices).

Pour Mollick, l’intégration de l’IA à l’école suivra certainement un chemin similaire. « Certains devoirs nécessiteront l’assistance de l’IA, d’autres l’interdiront. Les devoirs d’écriture en classe sur des ordinateurs sans connexion Internet, combinés à des examens écrits, permettront aux élèves d’acquérir les compétences rédactionnelles de base. Nous trouverons un consensus pratique qui permettra d’intégrer l’IA au processus d’apprentissage sans compromettre le développement des compétences essentielles. Tout comme les calculatrices n’ont pas remplacé l’apprentissage des mathématiques, l’IA ne remplacera pas l’apprentissage de l’écriture et de la pensée critique. Cela prendra peut-être du temps, mais nous y parviendrons », explique Mollick, toujours optimiste.

Pourquoi faire des devoirs quand l’IA les rend obsolètes ?

Mais l’impact de l’IA ne se limite pas à l’écriture, estime Mollick. Elle peut aussi être un vulgarisateur très efficace et ChatGPT peut répondre à bien des questions. L’arrivée de l’IA remet en cause les méthodes d’enseignements traditionnelles que sont les cours magistraux, qui ne sont pas si efficaces et dont les alternatives, pour l’instant, n’ont pas connu le succès escompté. « Les cours magistraux ont tendance à reposer sur un apprentissage passif, où les étudiants se contentent d’écouter et de prendre des notes sans s’engager activement dans la résolution de problèmes ni la pensée critique. Dans ce format, les étudiants peuvent avoir du mal à retenir l’information, car leur attention peut facilement faiblir lors de longues présentations. De plus, l’approche universelle des cours magistraux ne tient pas compte des différences et des capacités individuelles, ce qui conduit certains étudiants à prendre du retard tandis que d’autres se désintéressent, faute de stimulation ». Mollick est plutôt partisan de l’apprentissage actif, qui supprime les cours magistraux et invite les étudiants à participer au processus d’apprentissage par le biais d’activités telles que la résolution de problèmes, le travail de groupe et les exercices pratiques. Dans cette approche, les étudiants collaborent entre eux et avec l’enseignant pour mettre en pratique leurs apprentissages. Une méthode que plusieurs études valorisent comme plus efficaces, même si les étudiants ont aussi besoin d’enseignements initiaux appropriés. 

La solution pour intégrer davantage d’apprentissage actif passe par les classes inversées, où les étudiants doivent apprendre de nouveaux concepts à la maison (via des vidéos ou des ressources numériques) pour les appliquer ensuite en classe par le biais d’activités, de discussions ou d’exercices. Afin de maximiser le temps consacré à l’apprentissage actif et à la pensée critique, tout en utilisant l’apprentissage à domicile pour la transmission du contenu. 

Pourtant, reconnaît Mollick, l’apprentissage actif peine à s’imposer, notamment parce que les professeurs manquent de ressources de qualité et de matériel pédagogique inversé de qualité. Des lacunes que l’IA pourrait bien combler. Mollick imagine alors une classe où des tuteurs IA personnalisés viendraient accompagner les élèves, adaptant leur enseignement aux besoins des élèves tout en ajustant les contenus en fonction des performances des élèves, à la manière du manuel électronique décrit dans L’âge de diamant de Neal Stephenson, emblème du rêve de l’apprentissage personnalisé. Face aux difficultés, Mollick à tendance à toujours se concentrer « sur une vision positive pour nous aider à traverser les temps incertains à venir ». Pas sûr que cela suffise. 

Dans son article d’août 2023, Mollick estime que les élèves vont bien sûr utiliser l’IA pour tricher et vont l’intégrer dans tout ce qu’ils font. Mais surtout, ils vont nous renvoyer une question à laquelle nous allons devoir répondre : ils vont vouloir comprendre pourquoi faire des devoirs quand l’IA les rend obsolètes ?

Perturbation de l’écriture et de la lecture

Mollick rappelle que la dissertation est omniprésente dans l’enseignement. L’écriture remplit de nombreuses fonctions notamment en permettant d’évaluer la capacité à raisonner et à structurer son raisonnement. Le problème, c’est que les dissertations sont très faciles à générer avec l’IA générative. Les détecteurs de leur utilisation fonctionnent très mal et il est de plus en plus facile de les contourner. A moins de faire tout travail scolaire en classe et sans écrans, nous n’avons plus de moyens pour détecter si un travail est réalisé par l’homme ou la machine. Le retour des dissertations sur table se profile, quitte à grignoter beaucoup de temps d’apprentissage.

Mais pour Mollick, les écoles et les enseignants vont devoir réfléchir sérieusement à l’utilisation acceptable de l’IA. Est-ce de la triche de lui demander un plan ? De lui demander de réécrire ses phrases ? De lui demander des références ou des explications ? Qu’est-ce qui peut-être autorisé et comment les utiliser ? 

Pour les étudiants du supérieur auxquels il donne cours, Mollick a fait le choix de rendre l’usage de l’IA obligatoire dans ses cours et pour les devoirs, à condition que les modalités d’utilisation et les consignes données soient précisées. Pour lui, cela lui a permis d’exiger des devoirs plus ambitieux, mais a rendu la notation plus complexe.  

Mollick rappelle qu’une autre activité éducative primordiale reste la lecture. « Qu’il s’agisse de rédiger des comptes rendus de lecture, de résumer des chapitres ou de réagir à des articles, toutes ces tâches reposent sur l’attente que les élèves assimilent la lecture et engagent un dialogue avec elle ». Or, l’IA est là encore très performante pour lire et résumer. Mollick suggère de l’utiliser comme partenaire de lecture, en favorisant l’interaction avec l’IA, pour approfondir les synthèses… Pas sûr que la perspective apaise la panique morale qui se déverse dans la presse sur le fait que les étudiants ne lisent plus. Du New Yorker (« Les humanités survivront-elles à ChatGPT ? » ou « Est-ce que l’IA encourage vraiement les élèves à tricher ? ») à The Atlantic (« Les étudiants ne lisent plus de livres » ou « La génération Z voit la lecture comme une perte de temps ») en passant par les pages opinions du New York Times (qui explique par exemple que si les étudiants ne lisent plus c’est parce que les compétences ne sont plus valorisées nulles part), la perturbation que produit l’arrivée de ChatGPT dans les études se double d’une profonde chute de la lecture, qui semble être devenue d’autant plus inutile que les machines les rendent disponibles. Mêmes inquiétudes dans la presse de ce côté-ci de l’Atlantique, du Monde à Médiapart en passant par France Info…

Mais l’IA ne menace pas que la lecture ou l’écriture. Elle sait aussi très bien résoudre les problèmes et exercices de math comme de science.

Pour Mollick, comme pour bien des thuriféraires de l’IA, c’est à l’école et à l’enseignement de s’adapter aux perturbations générées par l’IA, qu’importe si la société n’a pas demandé le déploiement de ces outils. D’ailleurs, soulignait-il très récemment, nous sommes déjà dans une éducation postapocalyptique. Selon une enquête de mai 2024, aux Etats-Unis 82 % des étudiants de premier cycle universitaire et 72 % des élèves de la maternelle à la terminale ont déjà utilisé l’IA. Une adoption extrêmement rapide. Même si les élèves ont beau dos de ne pas considérer son utilisation comme de la triche. Pour Mollick, « la triche se produit parce que le travail scolaire est difficile et comporte des enjeux importants ». L’être humain est doué pour trouver comment se soustraire ce qu’il ne souhaite pas faire et éviter l’effort mental. Et plus les tâches mentales sont difficiles, plus nous avons tendance à les éviter. Le problème, reconnaît Mollick, c’est que dans l’éducation, faire un effort reste primordial.

Dénis et illusions

Pourtant, tout le monde semble être dans le déni et l’illusion. Les enseignants croient pouvoir détecter facilement l’utilisation de l’IA et donc être en mesure de fixer les barrières. Ils se trompent très largement. Une écriture d’IA bien stimulée est même jugée plus humaine que l’écriture humaine par les lecteurs. Pour les professeurs, la seule option consiste à revenir à l’écriture en classe, ce qui nécessite du temps qu’ils n’ont pas nécessairement et de transformer leur façon de faire cours, ce qui n’est pas si simple.

Mais les élèves aussi sont dans l’illusion. « Ils ne réalisent pas réellement que demander de l’aide pour leurs devoirs compromet leur apprentissage ». Après tout, ils reçoivent des conseils et des réponses de l’IA qui les aident à résoudre des problèmes, qui semble rendre l’apprentissage plus fluide. Comme l’écrivent les auteurs de l’étude de Rutgers : « Rien ne permet de croire que les étudiants sont conscients que leur stratégie de devoirs diminue leur note à l’examen… ils en déduisent, de manière logique, que toute stratégie d’étude augmentant leur note à un devoir augmente également leur note à l’examen ». En fait, comme le montre une autre étude, en utilisant ChatGPT, les notes aux devoirs progressent, mais les notes aux examens ont tendance à baisser de 17% en moyenne quand les élèves sont laissés seuls avec l’outil. Par contre, quand ils sont accompagnés pour comprendre comment l’utiliser comme coach plutôt qu’outil de réponse, alors l’outil les aide à la fois à améliorer leurs notes aux devoirs comme à l’examen. Une autre étude, dans un cours de programmation intensif à Stanford, a montré que l’usage des chatbots améliorait plus que ne diminuait les notes aux examens.

Une majorité de professeurs estiment que l’usage de ChatGPT est un outil positif pour l’apprentissage. Pour Mollick, l’IA est une aide pour comprendre des sujets complexes, réfléchir à des idées, rafraîchir ses connaissances, obtenir un retour, des conseils… Mais c’est peut-être oublier de sa part, d’où il parle et combien son expertise lui permet d’avoir un usage très évolué de ces outils. Ce qui n’est pas le cas des élèves.

Encourager la réflexion et non la remplacer

Pour que les étudiants utilisent l’IA pour stimuler leur réflexion plutôt que la remplacer, il va falloir les accompagner, estime Mollick. Mais pour cela, peut-être va-t-il falloir nous intéresser aux professeurs, pour l’instant laissés bien dépourvus face à ces nouveaux outils. 

Enfin, pas tant que cela. Car eux aussi utilisent l’IA. Selon certains sondages américains, trois quart des enseignants utiliseraient désormais l’IA dans leur travail, mais nous connaissons encore trop peu les méthodes efficaces qu’ils doivent mobiliser. Une étude qualitative menée auprès d’eux a montré que ceux qui utilisaient l’IA pour aider leurs élèves à réfléchir, pour améliorer les explications obtenaient de meilleurs résultats. Pour Mollick, la force de l’IA est de pouvoir créer des expériences d’apprentissage personnalisées, adaptées aux élèves et largement accessibles, plus que les technologies éducatives précédentes ne l’ont jamais été. Cela n’empêche pas Mollick de conclure par le discours lénifiant habituel : l’éducation quoiqu’il en soit doit s’adapter ! 

Cela ne veut pas dire que cette adaptation sera très facile ou accessible, pour les professeurs, comme pour les élèves. Dans l’éducation, rappellent les psychologues Andrew Wilson et Sabrina Golonka sur leur blog, « le processus compte bien plus que le résultat« . Or, l’IA fait à tous la promesse inverse. En matière d’éducation, cela risque d’être dramatique, surtout si nous continuons à valoriser le résultat (les notes donc) sur le processus. David Brooks ne nous disait pas autre chose quand il constatait les limites de notre méritocratie actuelle. C’est peut-être par là qu’il faudrait d’ailleurs commencer, pour résoudre l’IApocalypse éducative…

Pour Mollick cette évolution « exige plus qu’une acceptation passive ou une résistance futile ». « Elle exige une refonte fondamentale de notre façon d’enseigner, d’apprendre et d’évaluer les connaissances. À mesure que l’IA devient partie intégrante du paysage éducatif, nos priorités doivent évoluer. L’objectif n’est pas de déjouer l’IA ou de faire comme si elle n’existait pas, mais d’exploiter son potentiel pour améliorer l’éducation tout en atténuant ses inconvénients. La question n’est plus de savoir si l’IA transformera l’éducation, mais comment nous allons façonner ce changement pour créer un environnement d’apprentissage plus efficace, plus équitable et plus stimulant pour tous ». Plus facile à dire qu’à faire. Expérimenter prend du temps, trouver de bons exercices, changer ses pratiques… pour nombre de professeurs, ce n’est pas si évident, d’autant qu’ils ont peu de temps disponible pour se faire ou se former.  La proposition d’Anthropic de produire une IA dédiée à l’accompagnement des élèves (Claude for Education) qui ne cherche pas à fournir des réponses, mais produit des modalités pour accompagner les élèves à saisir les raisonnements qu’ils doivent échafauder, est certes stimulante, mais il n’est pas sûr qu’elle ne soit pas contournable.

Dans les commentaires des billets de Mollick, tout le monde se dispute, entre ceux qui pensent plutôt comme Mollick et qui ont du temps pour s’occuper de leurs élèves, qui vont pouvoir faire des évaluations orales et individuelles, par exemple (ce que l’on constate aussi dans les cursus du supérieur en France, rapportait le Monde). Et les autres, plus circonspects sur les évolutions en cours, où de plus en plus souvent des élèves produisent des contenus avec de l’IA que leurs professeurs font juger par des IA… On voit bien en tout cas, que la question de l’IA générative et ses usages, ne pourra pas longtemps rester une question qu’on laisse dans les seules mains des professeurs et des élèves, à charge à eux de s’en débrouiller.

Hubert Guillaud

La seconde partie est par là.

C’est une formidable histoire que raconte le Code du numérique. Un livre édité par les Habitant.es des images ASBL et la Cellule pour la réduction des inégalités sociales et de la lutte contre la pauvreté de Bruxelles. Ce livre est le résultat de trois années d’action nées des difficultés qu’ont éprouvé les plus démunis à accéder à leurs droits durant la pandémie. En réaction à la fermeture des guichets d’aide sociale pendant la crise Covid, des militants du secteur social belge ont lancé un groupe de travail pour visibiliser le vécu collectif des souffrances individuelles des plus précaires face au déploiement du numérique, donnant naissance au Comité humain du numérique. “La digitalisation de la société n’a pas entraîné une amélioration généralisée des compétences numériques”, rappelle le Comité en s’appuyant sur le baromètre de l’inclusion numérique belge. 

Le Comité humain du numérique s’installe alors dans les quartiers et, avec les habitants, décide d’écrire un Code de loi : “Puisque l’Etat ne nous protège pas, écrivons les lois à sa place”. Rejoints par d’autres collectifs, le Comité humain se met à écrire la loi avec les habitants, depuis les témoignages de ceux qui n’arrivent pas à accomplir les démarches qu’on leur demande. Manifestations, séances d’écriture publique, délibérations publiques, parlement de rues… Le Comité implique les habitants, notamment contre l’ordonnance Bruxelles numérique qui veut rendre obligatoire les services publics digitalisés, sans garantir le maintien des guichets humains et rejoint la mobilisation coordonnée par le collectif Lire et écrire et plus de 200 associations. Devant le Parlement belge, le Comité humain organise des parlements humains de rue pour réclamer des guichets ! Suite à leur action, l’ordonnance Bruxelles numérique est amendée d’un nouvel article qui détermine des obligations pour les administrations à prévoir un accès par guichet, téléphone et voie postale – mais prévoit néanmoins la possibilité de s’en passer si les charges sont disproportionnées. Le collectif œuvre désormais à attaquer l’ordonnance devant la cour constitutionnelle belge et continue sa lutte pour refuser l’obligation au numérique.

Mais l’essentiel n’est pas que dans la victoire à venir, mais bien dans la force de la mobilisation et des propositions réalisées. Le Code du numérique ce sont d’abord 8 articles de lois amendés et discutés par des centaines d’habitants. L’article 1er rappelle que tous les services publics doivent proposer un accompagnement humain. Il rappelle que “si un robot ne nous comprend pas, ce n’est pas nous le problème”. Que cet accès doit être sans condition, c’est-à-dire gratuit, avec des temps d’attente limités, “sans rendez-vous”, sans obligation de maîtrise de la langue ou de l’écriture. Que l’accompagnement humain est un droit. Que ce coût ne doit pas reposer sur d’autres, que ce soit les proches, les enfants, les aidants ou les travailleurs sociaux. Que l’Etat doit veiller à cette accessibilité humaine et qu’il doit proposer aux citoyen.nes des procédures gratuites pour faire valoir leurs droits. L’article 2 rappelle que c’est à l’Etat d’évaluer l’utilité et l’efficacité des nouveaux outils numériques qu’il met en place : qu’ils doivent aider les citoyens et pas seulement les contrôler. Que cette évaluation doit associer les utilisateurs, que leurs impacts doivent être contrôlés, limités et non centralisés. L’article 3 rappelle que l’Etat doit créer ses propres outils et que les démarches administratives ne peuvent pas impliquer le recours à un service privé. L’article 4 suggère de bâtir des alternatives aux solutions numériques qu’on nous impose. L’article 5 suggère que leur utilisation doit être contrainte et restreinte, notamment selon les lieux ou les âges et souligne que l’apprentissage comme l’interaction entre parents et écoles ne peut être conditionnée par des outils numériques. L’article 6 en appelle à la création d’un label rendant visible le niveau de dangerosité physique ou mentale des outils, avec des possibilités de signalement simples. L’article 7 milite pour un droit à pouvoir se déconnecter sans se justifier. Enfin, l’article 8 plaide pour une protection des compétences humaines et de la rencontre physique, notamment dans le cadre de l’accès aux soins. “Tout employé.e/étudiant.e/patient.e/client.e a le droit d’exiger de rencontrer en face à face un responsable sur un lieu physique”. L’introduction de nouveaux outils numériques doit être développée et validée par ceux qui devront l’utiliser.

Derrière ces propositions de lois, simples, essentielles… la vraie richesse du travail du Comité humain du numérique est de proposer, de donner à lire un recueil de paroles qu’on n’entend nulle part. Les propos des habitants, des individus confrontés à la transformation numérique du monde, permettent de faire entendre des voix qui ne parviennent plus aux oreilles des concepteurs du monde. Des paroles simples et fortes. Georges : “Ce que je demanderai aux politiciens ? C’est de nous protéger de tout ça.” Anthony : “Internet devait être une plateforme et pas une vie secondaire”. Nora : “En tant qu’assistante sociale, le numérique me surresponsabilise et rend le public surdépendant de moi. Je suis le dernier maillon de la chaîne, l’échec social passe par moi. Je le matérialise”. Amina : “Je ne sais pas lire, je ne sais pas écrire. Mais je sais parler. Le numérique ne me laisse pas parler”. Aïssatou : “Maintenant tout est trop difficile. S’entraider c’est la vie. Avec le numérique il n’y a plus personne pour aider”. Khalid : “Qu’est-ce qui se passe pour les personnes qui n’ont pas d’enfant pour les aider ?” Elise : “Comment s’assurer qu’il n’y a pas de discrimination ?” Roger : “Le numérique est utilisé pour décourager les démarches”, puisque bien souvent on ne peut même pas répondre à un courriel. AnaÎs : “Il y a plein d’infos qui ne sont pas numérisées, car elles n’entrent pas dans les cases. La passation d’information est devenue très difficile”… Le Code du numérique nous “redonne à entendre les discours provenant des classes populaires”, comme nous y invitait le chercheur David Gaborieau dans le rapport “IA : la voie citoyenne”.

Le Code du numérique nous rappelle que désormais, les institutions s’invitent chez nous, dans nos salons, dans nos lits. Il rappelle que l’accompagnement humain sera toujours nécessaire pour presque la moitié de la population. Que “l’aide au remplissage” des documents administratifs ne peut pas s’arrêter derrière un téléphone qui sonne dans le vide. Que “la digitalisation des services publics et privés donne encore plus de pouvoir aux institutions face aux individus”. Que beaucoup de situations n’entreront jamais dans les “cases” prédéfinies.Le Code du numérique n’est pas qu’une expérience spécifique et située, rappellent ses porteurs. “Il est là pour que vous vous en empariez”. Les lois proposées sont faites pour être débattues, modifiées, amendées, adaptées. Les auteurs ont créé un jeu de cartes pour permettre à d’autres d’organiser un Parlement humain du numérique. Il détaille également comment créer son propre Comité humain, invite à écrire ses propres lois depuis le recueil de témoignages des usagers, en ouvrant le débat, en écrivant soi-même son Code, ses lois, à organiser son parlement et documente nombre de méthodes et d’outils pour interpeller, mobiliser, intégrer les contributions. Bref, il invite à ce que bien d’autres Code du numérique essaiment, en Belgique et bien au-delà ! A chacun de s’en emparer.

Cet article a été publié originellement pour la lettre d’information du Conseil national du numérique du 23 mai 2025.

C’est une formidable histoire que raconte le Code du numérique. Un livre édité par les Habitant.es des images ASBL et la Cellule pour la réduction des inégalités sociales et de la lutte contre la pauvreté de Bruxelles. Ce livre est le résultat de trois années d’action nées des difficultés qu’ont éprouvé les plus démunis à accéder à leurs droits durant la pandémie. En réaction à la fermeture des guichets d’aide sociale pendant la crise Covid, des militants du secteur social belge ont lancé un groupe de travail pour visibiliser le vécu collectif des souffrances individuelles des plus précaires face au déploiement du numérique, donnant naissance au Comité humain du numérique. “La digitalisation de la société n’a pas entraîné une amélioration généralisée des compétences numériques”, rappelle le Comité en s’appuyant sur le baromètre de l’inclusion numérique belge. 

Le Comité humain du numérique s’installe alors dans les quartiers et, avec les habitants, décide d’écrire un Code de loi : “Puisque l’Etat ne nous protège pas, écrivons les lois à sa place”. Rejoints par d’autres collectifs, le Comité humain se met à écrire la loi avec les habitants, depuis les témoignages de ceux qui n’arrivent pas à accomplir les démarches qu’on leur demande. Manifestations, séances d’écriture publique, délibérations publiques, parlement de rues… Le Comité implique les habitants, notamment contre l’ordonnance Bruxelles numérique qui veut rendre obligatoire les services publics digitalisés, sans garantir le maintien des guichets humains et rejoint la mobilisation coordonnée par le collectif Lire et écrire et plus de 200 associations. Devant le Parlement belge, le Comité humain organise des parlements humains de rue pour réclamer des guichets ! Suite à leur action, l’ordonnance Bruxelles numérique est amendée d’un nouvel article qui détermine des obligations pour les administrations à prévoir un accès par guichet, téléphone et voie postale – mais prévoit néanmoins la possibilité de s’en passer si les charges sont disproportionnées. Le collectif œuvre désormais à attaquer l’ordonnance devant la cour constitutionnelle belge et continue sa lutte pour refuser l’obligation au numérique.

Mais l’essentiel n’est pas que dans la victoire à venir, mais bien dans la force de la mobilisation et des propositions réalisées. Le Code du numérique ce sont d’abord 8 articles de lois amendés et discutés par des centaines d’habitants. L’article 1er rappelle que tous les services publics doivent proposer un accompagnement humain. Il rappelle que “si un robot ne nous comprend pas, ce n’est pas nous le problème”. Que cet accès doit être sans condition, c’est-à-dire gratuit, avec des temps d’attente limités, “sans rendez-vous”, sans obligation de maîtrise de la langue ou de l’écriture. Que l’accompagnement humain est un droit. Que ce coût ne doit pas reposer sur d’autres, que ce soit les proches, les enfants, les aidants ou les travailleurs sociaux. Que l’Etat doit veiller à cette accessibilité humaine et qu’il doit proposer aux citoyen.nes des procédures gratuites pour faire valoir leurs droits. L’article 2 rappelle que c’est à l’Etat d’évaluer l’utilité et l’efficacité des nouveaux outils numériques qu’il met en place : qu’ils doivent aider les citoyens et pas seulement les contrôler. Que cette évaluation doit associer les utilisateurs, que leurs impacts doivent être contrôlés, limités et non centralisés. L’article 3 rappelle que l’Etat doit créer ses propres outils et que les démarches administratives ne peuvent pas impliquer le recours à un service privé. L’article 4 suggère de bâtir des alternatives aux solutions numériques qu’on nous impose. L’article 5 suggère que leur utilisation doit être contrainte et restreinte, notamment selon les lieux ou les âges et souligne que l’apprentissage comme l’interaction entre parents et écoles ne peut être conditionnée par des outils numériques. L’article 6 en appelle à la création d’un label rendant visible le niveau de dangerosité physique ou mentale des outils, avec des possibilités de signalement simples. L’article 7 milite pour un droit à pouvoir se déconnecter sans se justifier. Enfin, l’article 8 plaide pour une protection des compétences humaines et de la rencontre physique, notamment dans le cadre de l’accès aux soins. “Tout employé.e/étudiant.e/patient.e/client.e a le droit d’exiger de rencontrer en face à face un responsable sur un lieu physique”. L’introduction de nouveaux outils numériques doit être développée et validée par ceux qui devront l’utiliser.

Derrière ces propositions de lois, simples, essentielles… la vraie richesse du travail du Comité humain du numérique est de proposer, de donner à lire un recueil de paroles qu’on n’entend nulle part. Les propos des habitants, des individus confrontés à la transformation numérique du monde, permettent de faire entendre des voix qui ne parviennent plus aux oreilles des concepteurs du monde. Des paroles simples et fortes. Georges : “Ce que je demanderai aux politiciens ? C’est de nous protéger de tout ça.” Anthony : “Internet devait être une plateforme et pas une vie secondaire”. Nora : “En tant qu’assistante sociale, le numérique me surresponsabilise et rend le public surdépendant de moi. Je suis le dernier maillon de la chaîne, l’échec social passe par moi. Je le matérialise”. Amina : “Je ne sais pas lire, je ne sais pas écrire. Mais je sais parler. Le numérique ne me laisse pas parler”. Aïssatou : “Maintenant tout est trop difficile. S’entraider c’est la vie. Avec le numérique il n’y a plus personne pour aider”. Khalid : “Qu’est-ce qui se passe pour les personnes qui n’ont pas d’enfant pour les aider ?” Elise : “Comment s’assurer qu’il n’y a pas de discrimination ?” Roger : “Le numérique est utilisé pour décourager les démarches”, puisque bien souvent on ne peut même pas répondre à un courriel. AnaÎs : “Il y a plein d’infos qui ne sont pas numérisées, car elles n’entrent pas dans les cases. La passation d’information est devenue très difficile”… Le Code du numérique nous “redonne à entendre les discours provenant des classes populaires”, comme nous y invitait le chercheur David Gaborieau dans le rapport “IA : la voie citoyenne”.

Le Code du numérique nous rappelle que désormais, les institutions s’invitent chez nous, dans nos salons, dans nos lits. Il rappelle que l’accompagnement humain sera toujours nécessaire pour presque la moitié de la population. Que “l’aide au remplissage” des documents administratifs ne peut pas s’arrêter derrière un téléphone qui sonne dans le vide. Que “la digitalisation des services publics et privés donne encore plus de pouvoir aux institutions face aux individus”. Que beaucoup de situations n’entreront jamais dans les “cases” prédéfinies.Le Code du numérique n’est pas qu’une expérience spécifique et située, rappellent ses porteurs. “Il est là pour que vous vous en empariez”. Les lois proposées sont faites pour être débattues, modifiées, amendées, adaptées. Les auteurs ont créé un jeu de cartes pour permettre à d’autres d’organiser un Parlement humain du numérique. Il détaille également comment créer son propre Comité humain, invite à écrire ses propres lois depuis le recueil de témoignages des usagers, en ouvrant le débat, en écrivant soi-même son Code, ses lois, à organiser son parlement et documente nombre de méthodes et d’outils pour interpeller, mobiliser, intégrer les contributions. Bref, il invite à ce que bien d’autres Code du numérique essaiment, en Belgique et bien au-delà ! A chacun de s’en emparer.

Cet article a été publié originellement pour la lettre d’information du Conseil national du numérique du 23 mai 2025.

Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».

Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.

La vitesse du progrès est plus linéaire qu’on le pense 

« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie« , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers: How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.

En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».

Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées. 

Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer. 

L’IA va rester sous contrôle 

Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – ​​qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisé pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en terme de vitesse, d’où le fait que nous les ayons développé surtout dans les domaines où la vitesse est en jeu.  

“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.

Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.

Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques. 

La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les Etats-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant. 

Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs. 

Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes. 

Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.

Politiques de l’IA

Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs. 

Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, il proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.

Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large. 

Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.

Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.

Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque. 

Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.

Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.

Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».

Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.

La vitesse du progrès est plus linéaire qu’on le pense 

« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie« , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers: How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.

En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».

Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées. 

Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer. 

L’IA va rester sous contrôle 

Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – ​​qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisé pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en terme de vitesse, d’où le fait que nous les ayons développé surtout dans les domaines où la vitesse est en jeu.  

“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.

Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.

Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques. 

La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les Etats-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant. 

Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs. 

Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes. 

Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.

Politiques de l’IA

Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs. 

Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, il proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.

Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large. 

Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.

Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.

Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque. 

Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.

Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.

“Le respect des droits fondamentaux des étrangers est un marqueur essentiel du degré de protection des droits et des libertés dans un pays”, disait très clairement le Défenseur des droits en 2016. Le rapport pointait déjà très bien nombre de dérives : atteintes aux droits constantes, exclusions du droit commun, surveillances spécifiques et invasives… Près de 10 ans plus tard, contexte politique aidant, on ne sera pas étonné que ces atteintes se soient dégradées. Les réformes législatives en continue (118 textes depuis 1945, dit un bilan du Monde) n’ont pas aidé et ne cessent de dégrader non seulement le droit, mais également les services publics dédiés. Ce qu’il se passe aux Etats-Unis n’est pas une exception. 

Voilà longtemps que le droit des étrangers en France est plus que malmené. Voilà longtemps que les associations et autorités indépendantes qui surveillent ses évolutions le dénoncent. Des travaux des associations comme la Cimade, à ceux des autorités indépendantes, comme le Défenseur des droits ou la Cour des comptes, en passant par les travaux de chercheurs et de journalistes, les preuves ne cessent de s’accumuler montrant l’instrumentalisation mortifère de ce qui ne devrait être pourtant qu’un droit parmi d’autres. 

Dans un petit livre simple et percutant, France, Terre d’écueils (Rue de l’échiquier, 2025, 112 pages), l’avocate Marianne Leloup-Dassonville explique, très concrètement, comment agit la maltraitance administrative à l’égard de 5,6 millions d’étrangers qui vivent en France. Marianne Leloup-Dassonville, avocate spécialisée en droit des étrangers et administratrice de l’association Droits d’urgence, nous montre depuis sa pratique les défaillances de l’administration à destination des étrangers. Une administration mise au pas, au service d’un propos politique de plus en plus déconnecté des réalités, qui concentre des pratiques mortifères et profondément dysfonctionnelles, dont nous devrions nous alarmer, car ces pratiques portent en elles des menaces pour le fonctionnement du droit et des services publics. A terme, les dysfonctionnements du droit des étrangers pourraient devenir un modèle de maltraitance à appliquer à tous les autres services publics. 

Le dysfonctionnement des services publics à destination des étrangers est caractérisé par plusieurs maux, détaille Marianne Leloup-Dassonville. Ce sont d’abord des services publics indisponibles, ce sont partout des droits à minima et qui se réduisent, ce sont partout des procédures à rallonge, où aucune instruction n’est disponible dans un délai “normal”. Ce sont enfin une suspicion et une persécution systématique. L’ensemble produit un empêchement organisé qui a pour but de diminuer l’accès au droit, d’entraver la régularisation. Ce que Marianne Leloup-Dassonville dessine dans son livre, c’est que nous ne sommes pas seulement confrontés à des pratiques problématiques, mais des pratiques systémiques qui finissent par faire modèle. 

Indisponibilité et lenteur systémique

France, Terre d’écueils décrit d’abord des chaînes de dysfonctionnements administratifs. Par des exemples simples et accessibles, l’avocate donne de l’épaisseur à l’absurdité qui nous saisit face à la déshumanisation des étrangers dans les parcours d’accès aux droits. Nul n’accepterait pour quiconque ce que ces services font subir aux publics auxquels ils s’adressent. L’une des pratiques les plus courantes dans ce domaine, c’est l’indisponibilité d’un service : service téléphonique qui ne répond jamais, site web de prise de rendez-vous sans proposition de rendez-vous, dépôts sans récépissés, dossier auquel il n’est pas possible d’accéder ou de mettre à jour… Autant de pratiques qui sont là pour faire patienter c’est-à-dire pour décourager… et qui nécessitent de connaître les mesures de contournements qui ne sont pas dans la procédure officielle donc, comme de documenter l’indisponibilité d’un site par la prise de capture d’écran répétée, permettant de faire un recours administratif pour obliger le service à proposer un rendez-vous à un requérant. 

Toutes les procédures que l’avocate décrit sont interminables. Toutes oeuvrent à décourager comme si ce découragement était le seul moyen pour désengorger des services partout incapables de répondre à l’afflux des demandes. Si tout est kafkaïen dans ce qui est décrit ici, on est surtout marqué par la terrible lenteur des procédures, rallongées de recours eux-mêmes interminables. Par exemple, l’Ofpra (Office Français de Protection des Réfugiés et Apatrides) statue en moyenne sur une demande d’asile en 4 mois, mais souvent par un refus. Pour une procédure de recours, la CNDA (Cour nationale du droit d’asile) met en moyenne 12 à 24 mois à réétudier un dossier. Quand un ressortissant étranger obtient le statut de réfugié, il devrait obtenir un titre de séjour dans les 3 mois. En réalité, les cartes de séjour et les actes d’état civils mettent de longs mois à être produits (douze mois en moyenne) ce qui prive les étrangers de nombreux droits sociaux, comme de pouvoir s’inscrire à France Travail ou de bénéficier des allocations familiales, du droit du travail. Même constat à l’AES (admission exceptionnelle au séjour). Depuis 2023, la demande d’AES se fait en ligne et consiste à enregistrer quelques documents pour amorcer la procédure. Mais les préfectures ne font de retour que 6 mois après le dépôt de la demande. Un rendez-vous n’est proposé bien souvent qu’encore une année plus tard, soit en moyenne 18 mois entre la demande initiale et le premier rendez-vous, et ce uniquement pour déposer un dossier. L’instruction qui suit, elle, prend entre 18 et 24 mois. Il faut donc compter à minima 3 à 4 années pour une demande de régularisation ! Sans compter qu’en cas de refus (ce qui est plutôt majoritairement le cas), il faut ajouter la durée de la procédure de recours au tribunal administratif. Même chose en cas de refus de visa injustifié, qui nécessite plus de 2 ans de procédure pour obtenir concrètement le papier permettant de revenir en France. 

C’est un peu comme s’il fallait patienter des années pour obtenir un rendez-vous chez un dermatologue pour vérifier un grain de beauté inquiétant ou plusieurs mois pour obtenir des papiers d’identité. Dans le domaine du droit des étrangers, la dégradation des services publics semble seulement plus prononcée qu’ailleurs.

Droits minimaux et décisions discrétionnaires

Le dysfonctionnement que décrit l’avocate n’est pas qu’administratif, il est également juridique. Dans le domaine de la demande d’asile par exemple, il n’existe pas de procédure d’appel, qui est pourtant une garantie simple et forte d’une justice équitable. Les demandeurs ayant été refusés peuvent demander un réexamen qui a souvent lieu dans le cadre de procédures « accélérées ». Mais cette accélération là ne consiste pas à aller plus vite, elle signifie seulement que la décision sera prise par un juge unique, et donc, potentiellement, moins équitable.

L’admission exceptionnelle au séjour (AES), autre possibilité pour obtenir une naturalisation, nécessite elle de faire une demande à la préfecture de son domicile. Même si cette admission est bornée de conditions concrètes très lourdes (promesse d’embauche, présence sur le territoire depuis 3 ans, bulletins de salaires sur au moins 2 ans…), le préfet exerce ici une compétence discrétionnaire, puisqu’il évalue seul les demandes. « En matière de naturalisation, l’administration a un très large pouvoir d’appréciation », souligne l’avocate. Même constat quant aux demandes de naturalisation, tout aussi compliquées que les autres demandes. L’entretien de naturalisation par exemple, qu’avait étudié le sociologue Abdellali Hajjat dans son livre, Les frontières de l’identité nationale, a tout d’une sinécure. Il consiste en un entretien discrétionnaire, sans procès verbal ni enregistrement, sans programme pour se préparer à y répondre. Ce n’est pas qu’un test de culture général d’ailleurs auquel nombre de Français auraient du mal à répondre, puisque de nombreuses questions ne relèvent pas d’un QCM, mais sont appréciatives. Il n’y a même pas de score minimal à obtenir, comme ce peut-être le cas dans d’autres pays, comme le Royaume-Uni. Vous pouvez répondre juste aux questions… et être refusé.

Suspicion, persécution et empêchement systématiques

Le fait de chercher à empêcher les demandeurs d’asile d’accéder à un travail (en janvier 2024, une loi anti-immigration, une de plus, est même venue interdire à ceux qui ne disposent pas de titre de séjour d’obtenir un statut d’entrepreneur individuel) créé en fait une surcouche de dysfonctionnements et de coûts qui sont non seulement contre-productifs, mais surtout rendent la vie impossible aux étrangers présents sur le territoire. Et ce alors que 90% des personnes en situation irrégulière travaillent quand même, comme le souligne France Stratégies dans son rapport sur l’impact de l’immigration sur le marché du travail. En fait, en les empêchant de travailler, nous produisons une surcouche de violences : pour travailler, les sans-papiers produisent les titres de séjour d’un tiers, à qui seront adressés les bulletins de salaires. Tiers qui prélèvent une commission de 30 à 50% sur ces revenus, comme le montrait l’excellent film de Boris Lokjine, L’histoire de Souleymane.

Parce que le lien de paternité ou de maternité créé un droit pour l’enfant et pour le compagnon ou la compagne, la suspicion de mariage blanc est devenue systématique quand elle était avant un signe d’intégration, comme le rappelait le rapport du mouvement des amoureux aux ban publics. Enquêtes intrusives, abusives, surveillance policière, maires qui s’opposent aux unions (sans en avoir le droit)… Alors qu’on ne comptait que 345 mariages annulés en 2009 (soit moins de 0,5% des unions mixtes) et une trentaine de condamnations pénales par an, 100% des couples mixtes subissent des discriminations administratives. Le soupçon mariage blanc permet surtout de masquer les défaillances et le racisme de l’administration française. Ici comme ailleurs, le soupçon de fraude permet de faire croire à tous que ce sont les individus qui sont coupables des lacunes de l’administration française. 

Une politique du non accueil perdu dans ses amalgames

France, terre d’écueils, nous montre le parcours du combattant que représente partout la demande à acquérir la nationalité. L’ouvrage nous montre ce que la France impose à ceux qui souhaitent y vivre, en notre nom. Une politique de non accueil qui a de quoi faire honte. 

Ces dérives juridiques et administratives sont nées de l’amalgame sans cesse renouvelé à nous faire confondre immigration et délinquance. C’est ce que symbolise aujourd’hui le délires sur les OQTF. L’OQTF est une décision administrative prise par les préfectures à l’encontre d’un étranger en situation irrégulière, lui imposant un départ avec ou sans délai. Or, contrairement à ce que l’on ne cesse de nous faire croire, les OQTF ne concernent pas uniquement des individus dangereux, bien au contraire. La grande majorité des personnes frappées par des OQTF ne sont coupables d’aucun délit, rappelle Marianne Leloup-Dassonville. Elles sont d’abord un objectif chiffré. Les préfectures les démultiplent alors qu’elles sont très souvent annulées par les tribunaux. La France en émet plus de 100 000 par an et en exécute moins de 7000. Elle émet 30% des OQTF de toute l’Europe. Les services préfectoraux dédiés sont surchargés et commettent des “erreurs de droit” comme le dit très pudiquement la Cour des comptes dans son rapport sur la lutte contre l’immigration irrégulière. Le contentieux des étrangers représente 41% des affaires des tribunaux administratifs en 2023 (contre 30% en 2016) et 55% des affaires des cours d’appel, comme le rappelait Mediapart. La plupart des OQTF concernent des ressortissants étrangers qui n’ont jamais commis d’infraction (ou des infractions mineures et anciennes). Nombre d’entre elles sont annulées, nombre d’autres ne peuvent pas être exécutées. Peut-on sortir de cette spirale inutile, se demande l’avocate ?

Nous misons désormais bien plus sur une fausse sécurité que sur la sûreté. La sûreté, rappelle l’avocate, c’est la garantie que les libertés individuelles soient respectées, contre une arrestation, un emprisonnement ou une condamnation arbitraire. La sûreté nous garantit une administration équitable et juste. C’est elle que nous perdons en nous enfermant dans un délire sécuritaire qui a perdu contact avec la réalité. Les témoignages que livre Marianne Leloup-Dassonville montrent des personnes plutôt privilégiées, traumatisées par leurs rapports à l’administration française. Les étrangers sont partout assimilés à des délinquants comme les bénéficiaires de droits sociaux sont assimilés à des fraudeurs.

A lire le court ouvrage de Marianne Leloup-Dassonville, on se dit que nous devrions nous doter d’un observatoire de la maltraitance administrative pour éviter qu’elle ne progresse et qu’elle ne contamine toutes les autres administrations. Nous devons réaffirmer que l’administration ne peut se substituer nulle part à la justice, car c’est assurément par ce glissement là qu’on entraîne tous les autres. 

Hubert Guillaud

PS : Au Royaume-Uni, le ministère de l’intérieur souhaite introduire deux outils d’IA dans les processus de décisions de demande d’asile d’après une étude pilote : une pour résumer les informations des dossiers, l’autre pour trouver des informations sur les pays d’origine des demandeurs d’asile. Une façon de renforcer là-bas, la boîte noire des décisions, au prétexte d’améliorer « la vitesse » de décision plutôt que leur qualité, comme le souligne une étude critique. Comme quoi, on peut toujours imaginer pire pour encore dégrader ce qui l’est déjà considérablement.

MAJ du 23/05/2025 : L’extension des prérogatives de l’administration au détriment du droit, permettant de contourner la justice sur l’application de mesures restreignant les libertés individuelles, à un nom, nous apprend Blast, l’« administrativisation », et permet des sanctions sans garanties de justice et d’appliquer des sanctions sans preuves.

“Le respect des droits fondamentaux des étrangers est un marqueur essentiel du degré de protection des droits et des libertés dans un pays”, disait très clairement le Défenseur des droits en 2016. Le rapport pointait déjà très bien nombre de dérives : atteintes aux droits constantes, exclusions du droit commun, surveillances spécifiques et invasives… Près de 10 ans plus tard, contexte politique aidant, on ne sera pas étonné que ces atteintes se soient dégradées. Les réformes législatives en continue (118 textes depuis 1945, dit un bilan du Monde) n’ont pas aidé et ne cessent de dégrader non seulement le droit, mais également les services publics dédiés. Ce qu’il se passe aux Etats-Unis n’est pas une exception. 

Voilà longtemps que le droit des étrangers en France est plus que malmené. Voilà longtemps que les associations et autorités indépendantes qui surveillent ses évolutions le dénoncent. Des travaux des associations comme la Cimade, à ceux des autorités indépendantes, comme le Défenseur des droits ou la Cour des comptes, en passant par les travaux de chercheurs et de journalistes, les preuves ne cessent de s’accumuler montrant l’instrumentalisation mortifère de ce qui ne devrait être pourtant qu’un droit parmi d’autres. 

Dans un petit livre simple et percutant, France, Terre d’écueils (Rue de l’échiquier, 2025, 112 pages), l’avocate Marianne Leloup-Dassonville explique, très concrètement, comment agit la maltraitance administrative à l’égard de 5,6 millions d’étrangers qui vivent en France. Marianne Leloup-Dassonville, avocate spécialisée en droit des étrangers et administratrice de l’association Droits d’urgence, nous montre depuis sa pratique les défaillances de l’administration à destination des étrangers. Une administration mise au pas, au service d’un propos politique de plus en plus déconnecté des réalités, qui concentre des pratiques mortifères et profondément dysfonctionnelles, dont nous devrions nous alarmer, car ces pratiques portent en elles des menaces pour le fonctionnement du droit et des services publics. A terme, les dysfonctionnements du droit des étrangers pourraient devenir un modèle de maltraitance à appliquer à tous les autres services publics. 

Le dysfonctionnement des services publics à destination des étrangers est caractérisé par plusieurs maux, détaille Marianne Leloup-Dassonville. Ce sont d’abord des services publics indisponibles, ce sont partout des droits à minima et qui se réduisent, ce sont partout des procédures à rallonge, où aucune instruction n’est disponible dans un délai “normal”. Ce sont enfin une suspicion et une persécution systématique. L’ensemble produit un empêchement organisé qui a pour but de diminuer l’accès au droit, d’entraver la régularisation. Ce que Marianne Leloup-Dassonville dessine dans son livre, c’est que nous ne sommes pas seulement confrontés à des pratiques problématiques, mais des pratiques systémiques qui finissent par faire modèle. 

Indisponibilité et lenteur systémique

France, Terre d’écueils décrit d’abord des chaînes de dysfonctionnements administratifs. Par des exemples simples et accessibles, l’avocate donne de l’épaisseur à l’absurdité qui nous saisit face à la déshumanisation des étrangers dans les parcours d’accès aux droits. Nul n’accepterait pour quiconque ce que ces services font subir aux publics auxquels ils s’adressent. L’une des pratiques les plus courantes dans ce domaine, c’est l’indisponibilité d’un service : service téléphonique qui ne répond jamais, site web de prise de rendez-vous sans proposition de rendez-vous, dépôts sans récépissés, dossier auquel il n’est pas possible d’accéder ou de mettre à jour… Autant de pratiques qui sont là pour faire patienter c’est-à-dire pour décourager… et qui nécessitent de connaître les mesures de contournements qui ne sont pas dans la procédure officielle donc, comme de documenter l’indisponibilité d’un site par la prise de capture d’écran répétée, permettant de faire un recours administratif pour obliger le service à proposer un rendez-vous à un requérant. 

Toutes les procédures que l’avocate décrit sont interminables. Toutes oeuvrent à décourager comme si ce découragement était le seul moyen pour désengorger des services partout incapables de répondre à l’afflux des demandes. Si tout est kafkaïen dans ce qui est décrit ici, on est surtout marqué par la terrible lenteur des procédures, rallongées de recours eux-mêmes interminables. Par exemple, l’Ofpra (Office Français de Protection des Réfugiés et Apatrides) statue en moyenne sur une demande d’asile en 4 mois, mais souvent par un refus. Pour une procédure de recours, la CNDA (Cour nationale du droit d’asile) met en moyenne 12 à 24 mois à réétudier un dossier. Quand un ressortissant étranger obtient le statut de réfugié, il devrait obtenir un titre de séjour dans les 3 mois. En réalité, les cartes de séjour et les actes d’état civils mettent de longs mois à être produits (douze mois en moyenne) ce qui prive les étrangers de nombreux droits sociaux, comme de pouvoir s’inscrire à France Travail ou de bénéficier des allocations familiales, du droit du travail. Même constat à l’AES (admission exceptionnelle au séjour). Depuis 2023, la demande d’AES se fait en ligne et consiste à enregistrer quelques documents pour amorcer la procédure. Mais les préfectures ne font de retour que 6 mois après le dépôt de la demande. Un rendez-vous n’est proposé bien souvent qu’encore une année plus tard, soit en moyenne 18 mois entre la demande initiale et le premier rendez-vous, et ce uniquement pour déposer un dossier. L’instruction qui suit, elle, prend entre 18 et 24 mois. Il faut donc compter à minima 3 à 4 années pour une demande de régularisation ! Sans compter qu’en cas de refus (ce qui est plutôt majoritairement le cas), il faut ajouter la durée de la procédure de recours au tribunal administratif. Même chose en cas de refus de visa injustifié, qui nécessite plus de 2 ans de procédure pour obtenir concrètement le papier permettant de revenir en France. 

C’est un peu comme s’il fallait patienter des années pour obtenir un rendez-vous chez un dermatologue pour vérifier un grain de beauté inquiétant ou plusieurs mois pour obtenir des papiers d’identité. Dans le domaine du droit des étrangers, la dégradation des services publics semble seulement plus prononcée qu’ailleurs.

Droits minimaux et décisions discrétionnaires

Le dysfonctionnement que décrit l’avocate n’est pas qu’administratif, il est également juridique. Dans le domaine de la demande d’asile par exemple, il n’existe pas de procédure d’appel, qui est pourtant une garantie simple et forte d’une justice équitable. Les demandeurs ayant été refusés peuvent demander un réexamen qui a souvent lieu dans le cadre de procédures « accélérées ». Mais cette accélération là ne consiste pas à aller plus vite, elle signifie seulement que la décision sera prise par un juge unique, et donc, potentiellement, moins équitable.

L’admission exceptionnelle au séjour (AES), autre possibilité pour obtenir une naturalisation, nécessite elle de faire une demande à la préfecture de son domicile. Même si cette admission est bornée de conditions concrètes très lourdes (promesse d’embauche, présence sur le territoire depuis 3 ans, bulletins de salaires sur au moins 2 ans…), le préfet exerce ici une compétence discrétionnaire, puisqu’il évalue seul les demandes. « En matière de naturalisation, l’administration a un très large pouvoir d’appréciation », souligne l’avocate. Même constat quant aux demandes de naturalisation, tout aussi compliquées que les autres demandes. L’entretien de naturalisation par exemple, qu’avait étudié le sociologue Abdellali Hajjat dans son livre, Les frontières de l’identité nationale, a tout d’une sinécure. Il consiste en un entretien discrétionnaire, sans procès verbal ni enregistrement, sans programme pour se préparer à y répondre. Ce n’est pas qu’un test de culture général d’ailleurs auquel nombre de Français auraient du mal à répondre, puisque de nombreuses questions ne relèvent pas d’un QCM, mais sont appréciatives. Il n’y a même pas de score minimal à obtenir, comme ce peut-être le cas dans d’autres pays, comme le Royaume-Uni. Vous pouvez répondre juste aux questions… et être refusé.

Suspicion, persécution et empêchement systématiques

Le fait de chercher à empêcher les demandeurs d’asile d’accéder à un travail (en janvier 2024, une loi anti-immigration, une de plus, est même venue interdire à ceux qui ne disposent pas de titre de séjour d’obtenir un statut d’entrepreneur individuel) créé en fait une surcouche de dysfonctionnements et de coûts qui sont non seulement contre-productifs, mais surtout rendent la vie impossible aux étrangers présents sur le territoire. Et ce alors que 90% des personnes en situation irrégulière travaillent quand même, comme le souligne France Stratégies dans son rapport sur l’impact de l’immigration sur le marché du travail. En fait, en les empêchant de travailler, nous produisons une surcouche de violences : pour travailler, les sans-papiers produisent les titres de séjour d’un tiers, à qui seront adressés les bulletins de salaires. Tiers qui prélèvent une commission de 30 à 50% sur ces revenus, comme le montrait l’excellent film de Boris Lokjine, L’histoire de Souleymane.

Parce que le lien de paternité ou de maternité créé un droit pour l’enfant et pour le compagnon ou la compagne, la suspicion de mariage blanc est devenue systématique quand elle était avant un signe d’intégration, comme le rappelait le rapport du mouvement des amoureux aux ban publics. Enquêtes intrusives, abusives, surveillance policière, maires qui s’opposent aux unions (sans en avoir le droit)… Alors qu’on ne comptait que 345 mariages annulés en 2009 (soit moins de 0,5% des unions mixtes) et une trentaine de condamnations pénales par an, 100% des couples mixtes subissent des discriminations administratives. Le soupçon mariage blanc permet surtout de masquer les défaillances et le racisme de l’administration française. Ici comme ailleurs, le soupçon de fraude permet de faire croire à tous que ce sont les individus qui sont coupables des lacunes de l’administration française. 

Une politique du non accueil perdu dans ses amalgames

France, terre d’écueils, nous montre le parcours du combattant que représente partout la demande à acquérir la nationalité. L’ouvrage nous montre ce que la France impose à ceux qui souhaitent y vivre, en notre nom. Une politique de non accueil qui a de quoi faire honte. 

Ces dérives juridiques et administratives sont nées de l’amalgame sans cesse renouvelé à nous faire confondre immigration et délinquance. C’est ce que symbolise aujourd’hui le délires sur les OQTF. L’OQTF est une décision administrative prise par les préfectures à l’encontre d’un étranger en situation irrégulière, lui imposant un départ avec ou sans délai. Or, contrairement à ce que l’on ne cesse de nous faire croire, les OQTF ne concernent pas uniquement des individus dangereux, bien au contraire. La grande majorité des personnes frappées par des OQTF ne sont coupables d’aucun délit, rappelle Marianne Leloup-Dassonville. Elles sont d’abord un objectif chiffré. Les préfectures les démultiplent alors qu’elles sont très souvent annulées par les tribunaux. La France en émet plus de 100 000 par an et en exécute moins de 7000. Elle émet 30% des OQTF de toute l’Europe. Les services préfectoraux dédiés sont surchargés et commettent des “erreurs de droit” comme le dit très pudiquement la Cour des comptes dans son rapport sur la lutte contre l’immigration irrégulière. Le contentieux des étrangers représente 41% des affaires des tribunaux administratifs en 2023 (contre 30% en 2016) et 55% des affaires des cours d’appel, comme le rappelait Mediapart. La plupart des OQTF concernent des ressortissants étrangers qui n’ont jamais commis d’infraction (ou des infractions mineures et anciennes). Nombre d’entre elles sont annulées, nombre d’autres ne peuvent pas être exécutées. Peut-on sortir de cette spirale inutile, se demande l’avocate ?

Nous misons désormais bien plus sur une fausse sécurité que sur la sûreté. La sûreté, rappelle l’avocate, c’est la garantie que les libertés individuelles soient respectées, contre une arrestation, un emprisonnement ou une condamnation arbitraire. La sûreté nous garantit une administration équitable et juste. C’est elle que nous perdons en nous enfermant dans un délire sécuritaire qui a perdu contact avec la réalité. Les témoignages que livre Marianne Leloup-Dassonville montrent des personnes plutôt privilégiées, traumatisées par leurs rapports à l’administration française. Les étrangers sont partout assimilés à des délinquants comme les bénéficiaires de droits sociaux sont assimilés à des fraudeurs.

A lire le court ouvrage de Marianne Leloup-Dassonville, on se dit que nous devrions nous doter d’un observatoire de la maltraitance administrative pour éviter qu’elle ne progresse et qu’elle ne contamine toutes les autres administrations. Nous devons réaffirmer que l’administration ne peut se substituer nulle part à la justice, car c’est assurément par ce glissement là qu’on entraîne tous les autres. 

Hubert Guillaud

PS : Au Royaume-Uni, le ministère de l’intérieur souhaite introduire deux outils d’IA dans les processus de décisions de demande d’asile d’après une étude pilote : une pour résumer les informations des dossiers, l’autre pour trouver des informations sur les pays d’origine des demandeurs d’asile. Une façon de renforcer là-bas, la boîte noire des décisions, au prétexte d’améliorer « la vitesse » de décision plutôt que leur qualité, comme le souligne une étude critique. Comme quoi, on peut toujours imaginer pire pour encore dégrader ce qui l’est déjà considérablement.

MAJ du 23/05/2025 : L’extension des prérogatives de l’administration au détriment du droit, permettant de contourner la justice sur l’application de mesures restreignant les libertés individuelles, à un nom, nous apprend Blast, l’« administrativisation », et permet des sanctions sans garanties de justice et d’appliquer des sanctions sans preuves.

A l’heure où, aux Etats-Unis, le FBI, les services d’immigration et de police se mettent à poursuivre les ressortissants étrangers pour les reconduire aux frontières, sur Tech Policy Press, l’activiste Dia Kayyali rappelle que les Etats-Unis ont une longue histoire de chasse aux opposants politiques et aux étrangers. Du MacCarthysme au 11 septembre, les crises politiques ont toujours renforcé la surveillance des citoyens et plus encore des ressortissants d’origine étrangère. Le Brennan Center for Justice a publié en 2022 un rapport sur la montée de l’utilisation des réseaux sociaux dans ces activités de surveillance et rappelle que ceux-ci sont massivement mobilisés pour la surveillance des opposants politiques, notamment depuis Occupy et depuis 2014 pour le contrôle des demandes d’immigration et les contrôles aux frontières, rappelle The Verge. 

Le premier projet de loi du second mandat de Donald Trump était un texte concernant l’immigration clandestine, nous rappelle Le Monde. C’est un texte qui propose la détention automatique par les forces de l’ordre fédérales de migrants en situation irrégulière qui ont été accusés, condamnés ou inculpés pour certains délits, mêmes mineurs, comme le vol à l’étalage. 

La lutte contre l’immigration est au cœur de la politique du président américain, qui dénonce une “invasion” et annonce vouloir déporter 11 millions d’immigrants illégaux, au risque que le tissu social des Etats-Unis, nation d’immigrants, se déchire, rappelait The Guardian. Dès janvier, l’administration Trump a mis fin à l’application CBP One, seule voie pour les demandeurs d’asile désirant entrer légalement sur le territoire des Etats-Unis pour prendre rendez-vous avec l’administration douanière américaine et régulariser leur situation. La suppression unilatérale de l’application a laissé tous les demandeurs d’asile en attente d’un rendez-vous sans recours, rapportait Le Monde. 

Une opération de fusion des informations sans précédent

Cette politique est en train de s’accélérer, notamment en mobilisant toutes les données numériques à sa disposition, rapporte Wired. Le Doge est en train de construire une base de données dédiée aux étrangers, collectant les données de plusieurs administrations, afin de créer un outil de surveillance d’une portée sans précédent. L’enjeu est de recouper toutes les données disponibles, non seulement pour mieux caractériser les situations des étrangers en situation régulière comme irrégulière, mais également les géolocaliser afin d’aider les services de police chargés des arrestations et de la déportation, d’opérer. 

Jusqu’à présent, il existait d’innombrables bases de données disparates entre les différentes agences et au sein des agences. Si certaines pouvaient être partagées, à des fins policières, celles-ci n’ont jamais été regroupées par défaut, parce qu’elles sont souvent utilisées à des fins spécifiques. Le service de l’immigration et des douanes (ICE, Immigration and Customs Enforcement) et le département d’investigation de la sécurité intérieure (HSI, Homeland Security Investigations), par exemple, sont des organismes chargés de l’application de la loi et ont parfois besoin d’ordonnances du tribunal pour accéder aux informations sur un individu dans le cadre d’enquêtes criminelles, tandis que le service de citoyenneté et d’immigration des États-Unis (USCIS, United States Citizenship and Immigration Services) des États-Unis collecte des informations sensibles dans le cadre de la délivrance régulière de visas et de cartes vertes. 

Des agents du Doge ont obtenu l’accès aux systèmes de l’USCIS. Ces bases de données  contiennent des informations sur les réfugiés et les demandeurs d’asile, des données sur les titulaires de cartes vertes, les citoyens américains naturalisés et les bénéficiaires du programme d’action différée pour les arrivées d’enfants. Le Doge souhaite également télécharger des informations depuis les bases de données de myUSCIS, le portail en ligne où les immigrants peuvent déposer des demandes, communiquer avec l’USCIS, consulter l’historique de leurs demandes et répondre aux demandes de preuves à l’appui de leur dossier. Associées aux informations d’adresse IP des personnes qui consultent leurs données, elles pourraient servir à géolocaliser les immigrants. 

Le département de sécurité intérieur (DHS, Department of Homeland Security) dont dépendent certaines de ces agences a toujours été très prudent en matière de partage de données. Ce n’est plus le cas. Le 20 mars, le président Trump a d’ailleurs signé un décret exigeant que toutes les agences fédérales facilitent « le partage intra- et inter-agences et la consolidation des dossiers non classifiés des agences », afin d’entériner la politique de récupération de données tout azimut du Doge. Jusqu’à présent, il était historiquement « extrêmement difficile » d’accéder aux données que le DHS possédait déjà dans ses différents départements. L’agrégation de toutes les données disponibles « représenterait une rupture significative dans les normes et les politiques en matière de données », rappelle un expert. Les agents du Doge ont eu accès à d’innombrables bases, comme à Save, un système de l’USCIS permettant aux administrations locales et étatiques, ainsi qu’au gouvernement fédéral, de vérifier le statut d’immigration d’une personne. Le Doge a également eu accès à des données de la sécurité sociale et des impôts pour recouper toutes les informations disponibles. 

Le problème, c’est que la surveillance et la protection des données est également rendue plus difficile. Les coupes budgétaires et les licenciements ont affecté trois services clés qui constituaient des garde-fous importants contre l’utilisation abusive des données par les services fédéraux, à savoir le Bureau des droits civils et des libertés civiles (CRCL, Office for Civil Rights and Civil Liberties), le Bureau du médiateur chargé de la détention des immigrants et le Bureau du médiateur des services de citoyenneté et d’immigration. Le CRCL, qui enquête sur d’éventuelles violations des droits de l’homme par le DHS et dont la création a été mandatée par le Congrès est depuis longtemps dans le collimateur du Doge. 

Le 5 avril, le DHS a conclu un accord avec les services fiscaux (IRS) pour utiliser les données fiscales. Plus de sept millions de migrants travaillent et vivent aux États-Unis. L’ICE a également récemment versé des millions de dollars à l’entreprise privée Palantir pour mettre à jour et modifier une base de données de l’ICE destinée à traquer les immigrants, a rapporté 404 Media. Le Washington Post a rapporté également que des représentants de Doge au sein d’agences gouvernementales – du Département du Logement et du Développement urbain à l’Administration de la Sécurité sociale – utilisent des données habituellement confidentielles pour identifier les immigrants sans papiers. Selon Wired, au Département du Travail, le Doge a obtenu l’accès à des données sensibles sur les immigrants et les ouvriers agricoles. La fusion de toutes les données entre elles pour permettre un accès panoptique aux informations est depuis l’origine le projet même du ministère de l’efficacité américain, qui espère que l’IA va lui permettre de rendre le traitement omniscient. 

Le changement de finalités de la collecte de données, moteur d’une défiance généralisée

L’administration des impôts a donc accepté un accord de partage d’information et de données avec les services d’immigration, rapporte la NPR, permettant aux agents de l’immigration de demander des informations sur les immigrants faisant l’objet d’une ordonnance d’expulsion. Derrière ce qui paraît comme un simple accès à des données, il faut voir un changement majeur dans l’utilisation des dossiers fiscaux. Les modalités de ce partage d’information ne sont pas claires puisque la communication du cadre de partage a été expurgée de très nombreuses informations. Pour Murad Awawdeh, responsable de la New York Immigration Coalition, ce partage risque d’instaurer un haut niveau de défiance à respecter ses obligations fiscales, alors que les immigrants paient des impôts comme les autres et que les services fiscaux assuraient jusqu’à présent aux contribuables sans papiers la confidentialité de leurs informations et la sécurité de leur déclaration de revenus.

La NPR revient également sur un autre changement de finalité, particulièrement problématique : celle de l’application CBP One. Cette application lancée en 2020 par l’administration Biden visait à permettre aux immigrants de faire une demande d’asile avant de pénétrer aux Etats-Unis. Avec l’arrivée de l’administration Trump, les immigrants qui ont candidaté à une demande d’asile ont reçu une notification les enjoignants à quitter les Etats-Unis et les données de l’application ont été partagées avec les services de police pour localiser les demandeurs d’asile et les arrêter pour les reconduire aux frontières. Pour le dire simplement : une application de demande d’asile est désormais utilisée par les services de police pour identifier ces mêmes demandeurs et les expulser. Les finalités sociales sont transformées en finalités policières. La confidentialité même des données est détruite.

CBP One n’est pas la seule application dont la finalité a été modifiée. Une belle enquête du New York Times évoque une application administrée par Geo Group, l’un des principaux gestionnaires privés de centres pénitentiaires et d’établissements psychiatriques aux Etats-Unis. Une application que des étrangers doivent utiliser pour se localiser et s’identifier régulièrement, à la manière d’un bracelet électronique. Récemment, des utilisateurs de cette application ont été convoqués à un centre d’immigration pour mise à jour de l’application. En fait, ils ont été arrêtés. 

Geo Group a développé une activité lucrative d’applications et de bracelets électroniques pour surveiller les immigrants pour le compte du gouvernement fédéral qui ont tous été mis au service des procédures d’expulsion lancées par l’administration Trump, constatent nombre d’associations d’aides aux étrangers. “Alors même que M. Trump réduit les dépenses du gouvernement fédéral, ses agences ont attribué à Geo Group de nouveaux contrats fédéraux pour héberger des immigrants sans papiers. Le DHS envisage également de renouveler un contrat de longue date avec l’entreprise – d’une valeur d’environ 350 millions de dollars l’an dernier – pour suivre les quelque 180 000 personnes actuellement sous surveillance”. Ce programme “d’alternative à la détention en centre de rétention » que Noor Zafar, avocate principale à l’American Civil Liberties Union, estime relever plutôt d’une “extension à la détention”, consiste en des applications et bracelets électroniques. Les programmes de Geo Group, coûteux, n’ont pas été ouverts à la concurrence, rapporte le New York Times, qui explique également que ses programmes sont en plein boom. Ces applications permettent aux employés de Geo Group de savoir en temps réel où se trouvent leurs porteurs, leur permettent de délimiter des zones dont ils ne peuvent pas sortir sans déclencher des alertes. 

Une confiance impossible !

Ces exemples américains de changement de finalités sont emblématiques et profondément problématiques. Ils ne se posent pourtant pas que de l’autre côté de l’Atlantique. Utiliser des données produites dans un contexte pour d’autres enjeux et d’autres contextes est au cœur des fonctionnements des systèmes numériques, comme nous l’avions vu à l’époque du Covid. Les finalités des traitements des services numériques qu’on utilise sont rarement claires, notamment parce qu’elles peuvent être mises à jour unilatéralement et ce, sans garantie. Et le changement de finalité peut intervenir à tout moment, quelque soit l’application que vous utilisez. Remplir un simple questionnaire d’évaluation peut finalement, demain, être utilisé par le service qui le conçoit ou d’autres pour une toute autre finalité, et notamment pour réduire les droits des utilisateurs qui y ont répondu. Répondre à un questionnaire de satisfaction de votre banque ou d’un service public, qui semble anodin, peut divulguer des données qui seront utilisées pour d’autres enjeux. Sans renforcer la protection absolue des données, le risque est que ces exemples démultiplient la méfiance voire le rejet des citoyens et des administrés. A quoi va être utilisé le questionnaire qu’on me propose ? Pourra-t-il être utilisé contre moi ? Qu’est-ce qui me garantie qu’il ne le sera pas ? 

La confiance dans l’utilisation qui est faite des données par les services, est en train d’être profondément remise en question par l’exemple américain et pourrait avoir des répercussions sur tous les services numériques, bien au-delà des Etats-Unis. La spécialiste de la sécurité informatique, Susan Landau, nous l’avait pourtant rappelé quand elle avait étudié les défaillances des applications de suivi de contact durant la pandémie : la confidentialité est toujours critique. Elle parlait bien sûr des données de santé des gens, mais on comprend qu’assurer la confidentialité des données personnelles que les autorités détiennent sur les gens est tout aussi critique. Les défaillances de confidentialité sapent la confiance des autorités qui sont censées pourtant être les premières garantes des données personnelles des citoyens. 

Aurait-on oublié pourquoi les données sont cloisonnées ?

« Ces systèmes sont cloisonnés pour une raison », rappelle Victoria Noble, avocate à l’Electronic Frontier Foundation. « Lorsque vous centralisez toutes les données d’une agence dans un référentiel central accessible à tous les membres de l’agence, voire à d’autres agences, vous augmentez considérablement le risque que ces informations soient consultées par des personnes qui n’en ont pas besoin et qui les utilisent à des fins inappropriées ou répressives, pour les instrumentaliser, les utiliser contre des personnes qu’elles détestent, des dissidents, surveiller des immigrants ou d’autres groupes. »

« La principale inquiétude désormais est la création d’une base de données fédérale unique contenant tout ce que le gouvernement sait sur chaque personne de ce pays », estime Cody Venzke de l’Union américaine pour les libertés civiles (ACLU). « Ce que nous voyons est probablement la première étape vers la création d’un dossier centralisé sur chaque habitant.» Wired rapporte d’ailleurs que l’ACLU a déposé plainte contre l’Administration de la Sécurité Sociale (SSA) et le Département des Anciens Combattants (VA) qui ont ouvert des accès de données sensibles au Doge en violation de la loi sur la liberté d’information, après en avoir déjà déposé une en février contre le Trésor américain pour les mêmes raisons (alors que ce n’est pas nécessairement la seule manière de procéder. Confronté aux demandes du Doge, le régulateur des marchés financiers américains, rapporte Reuters, a pour l’instant pu créer une équipe de liaison spécifique pour répondre aux demandes d’information du Doge, afin que ses équipes n’aient pas accès aux données de l’autorité des marchés financiers). 

En déposant plainte, l’ACLU cherche notamment à obtenir des documents pour saisir exactement ce à quoi a accès le Doge. “Les Américains méritent de savoir qui a accès à leurs numéros de sécurité sociale, à leurs informations bancaires et à leurs dossiers médicaux”, explique une avocate de l’ACLU. 

Le cloisonnement des données, des bases, selon leurs finalités et les agences qui les administrent, est un moyen non seulement d’en préserver l’intégrité, mais également d’en assurer la sécurité et la confidentialité. Ce sont ces verrous qui sont en train de sauter dans toutes les administrations sous la pression du Doge, posant des questions de sécurité inédites, comme nous nous en inquiétons avec Jean Cattan dans une lettre du Conseil national du numérique. Ce sont les mesures de protection d’une démocratie numérique qui sont en train de voler en éclat. 

Pour Wired, Brian Barrett estime que les données qu’agrège le Doge ne sont pas tant un outil pour produire une hypothétique efficacité, qu’une arme au service des autorités. La question de l’immigration n’est qu’un terrain d’application parmi d’autres. La brutalité qui s’abat sur les étrangers, les plus vulnérables, les plus démunis, est bien souvent une préfiguration de son extension à toutes les autres populations, nous disait le philosophe Achille Mbembe dans Brutalisme. 

Et maintenant que les croisements de données sont opérationnels, que les données ont été récupérées par les équipes du Doge, l’enjeu va être de les faire parler, de les mettre en pratique. 

Finalement, le départ annoncé ou probable de Musk de son poste en première ligne du Doge ne signe certainement pas la fin de cette politique, toute impopulaire qu’elle soit (enfin, Musk est bien plus impopulaire que les économies dans les services publics qu’il propose), mais au contraire, le passage à une autre phase. Le Doge a pris le contrôle, et il s’agit désormais de rendre les données productives. L’efficacité n’est plus de réduire les dépenses publiques de 2 000 milliards de dollars, comme le promettait Musk à son arrivée. Il a lui-même reconnu qu’il ne visait plus que 150 milliards de dollars de coupe en 2025, soit 15 % de l’objectif initial, comme le soulignait Le Monde. Mais le débat sur les coupes et l’efficacité, sont d’abord un quolifichet qu’on agite pour détourner l’attention de ce qui se déroule vraiment, à savoir la fin de la vie privée aux Etats-Unis. En fait, la politique initiée par le Doge ne s’arrêtera pas avec le retrait probable de Musk. IL n’en a été que le catalyseur.

Elizabeth Lopatto pour The Verge explique elle aussi que l’ère du Doge ne fait que commencer. Malgré ses échecs patents et l’explosion des plaintes judiciaires à son encontre (Bloomberg a dénombré plus de 300 actions en justice contre les décisions prises par le président Trump : dans 128 affaires, ils ont suspendu les décisions de l’administration Trump). Pour elle, Musk ne va pas moins s’immiscer dans la politique publique. Son implication risque surtout d’être moins publique et moins visible dans ses ingérences, afin de préserver son égo et surtout son portefeuille. Mais surtout, estime-t-elle, les tribunaux ne sauveront pas les Américains des actions du Doge, notamment parce que dans la plupart des cas, les décisions tardent à être prises et à être effectives. Pourtant, si les tribunaux étaient favorables à « l’élimination de la fraude et des abus », comme le dit Musk – à ce stade, ils devraient surtout œuvrer à “éliminer le Doge” !

Ce n’est malgré tout pas la direction qui est prise, au contraire. Même si Musk s’en retire, l’administration continue à renforcer le pouvoir du Doge qu’à l’éteindre. C’est ainsi qu’il faut lire le récent hackathon aux services fiscaux ou le projet qui s’esquisse avec Palantir. L’ICE, sous la coupe du Doge, vient de demander à Palantir, la sulfureuse entreprise de Thiel, de construire une plateforme dédiée, explique Wired : “ImmigrationOS”, « le système d’exploitation de l’immigration » (sic). Un outil pour “choisir les personnes à expulser”, en accordant une priorité particulière aux personnes dont le visa est dépassé qui doivent, selon la demande de l’administration, prendre leurs dispositions pour “s’expulser elles-mêmes des Etats-Unis”. L’outil qui doit être livré en septembre a pour fonction de cibler et prioriser les mesures d’application, c’est-à-dire d’aider à sélectionner les étrangers en situation irrégulière, les localiser pour les arrêter. Il doit permettre de suivre que les étrangers en situation irrégulière prennent bien leur disposition pour quitter les Etats-Unis, afin de mesurer la réalité des départs, et venir renforcer les efforts des polices locales, bras armées des mesures de déportation, comme le pointait The Markup. 

De ImmigrationOS au panoptique américain : le démantèlement des mesures de protection de la vie privée

Dans un article pour Gizmodo qui donne la parole à nombre d’opposants à la politique de destructions des silos de données, plusieurs rappellent les propos du sénateur démocrate Sam Ervin, auteur de la loi sur la protection des informations personnelles suite au scandale du Watergate, qui redoutait le caractère totalitaire des informations gouvernementales sur les citoyens. Pour Victoria Noble de l’Electronic Frontier Foundation, ce contrôle pourrait conduire les autorités à « exercer des représailles contre les critiques adressées aux représentants du gouvernement, à affaiblir les opposants politiques ou les ennemis personnels perçus, et à cibler les groupes marginalisés. » N’oubliez pas qu’il s’agit du même président qui a qualifié d’« ennemis » les agents électoraux, les journalistes, les juges et, en fait, toute personne en désaccord avec lui. Selon Reuters, le Doge a déjà utilisé l’IA pour détecter les cas de déloyauté parmi les fonctionnaires fédéraux. Pour les défenseurs des libertés et de la confidentialité, il est encore temps de renforcer les protections citoyennes. Et de rappeler que le passage de la sûreté à la sécurité, de la défense contre l’arbitraire à la défense de l’arbitraire, vient de ce que les élus ont passé bien plus d’énergie à légiférer pour la surveillance qu’à établir des garde-fous contre celle-ci, autorisant toujours plus de dérives, comme d’autoriser la surveillance des individus sans mandats de justice.

Pour The Atlantic, Ian Bogost et Charlie Warzel estiment que le Doge est en train de construire le panoptique américain. Ils rappellent que l’administration est l’univers de l’information, composée de constellations de bases de données. Des impôts au travail, toutes les administrations collectent et produisent des données sur les Américains, et notamment des données particulièrement sensibles et personnelles. Jusqu’à présent, de vieilles lois et des normes fragiles ont empêché que les dépôts de données ne soient regroupés. Mais le Doge vient de faire voler cela en éclat, préparant la construction d’un Etat de surveillance centralisé. En mars, le président Trump a publié un décret visant à éliminer les silos de données qui maintiennent les informations séparément. 

Dans leur article, Bogost et Warzel listent d’innombrables bases de données maintenues par des agences administratives : bases de données de revenus, bases de données sur les lanceurs d’alerte, bases de données sur la santé mentale d’anciens militaires… L’IA promet de transformer ces masses de données en outils “consultables, exploitables et rentables”. Mais surtout croisables, interconnectables. Les entreprises bénéficiant de prêts fédéraux et qui ont du mal à rembourser, pourraient désormais être punies au-delà de ce qui est possible, par la révocation de leurs licences, le gel des aides ou de leurs comptes bancaires. Une forme d’application universelle permettant de tout croiser et de tout inter-relier. Elles pourraient permettre de cibler la population en fonction d’attributs spécifiques. L’utilisation actuelle par le gouvernement de ces données pour expulser des étrangers, et son refus de fournir des preuves d’actes répréhensibles reprochées à certaines personnes expulsées, suggère que l’administration a déjà franchi la ligne rouge de l’utilisation des données à des fins politiques. 

Le Doge ne se contente pas de démanteler les mesures de protection de la vie privée, il ignore qu’elles ont été rédigées. Beaucoup de bases ont été conçues sans interconnectivité par conception, pour protéger la vie privée. “Dans les cas où le partage d’informations ou de données est nécessaire, la loi sur la protection de la vie privée de 1974 exige un accord de correspondance informatique (Computer Matching Agreement, CMA), un contrat écrit qui définit les conditions de ce partage et assure la protection des informations personnelles. Un CMA est « un véritable casse-tête », explique un fonctionnaire, et constitue l’un des moyens utilisés par le gouvernement pour décourager l’échange d’informations comme mode de fonctionnement par défaut”. 

La centralisation des données pourrait peut-être permettre d’améliorer l’efficacité gouvernementale, disent bien trop rapidement Bogost et Warzel, alors que rien ne prouve que ces croisements de données produiront autre chose qu’une discrimination toujours plus étendue car parfaitement granulaire. La protection de la vie privée vise à limiter les abus de pouvoir, notamment pour protéger les citoyens de mesures de surveillance illégales du gouvernement. 

Derrière les bases de données, rappellent encore les deux journalistes, les données ne sont pas toujours ce que l’on imagine. Toutes les données de ces bases ne sont pas nécessairement numérisées. Les faire parler et les croiser ne sera pas si simple. Mais le Doge a eu accès à des informations inédites. “Ce que nous ignorons, c’est ce qu’ils ont copié, exfiltré ou emporté avec eux”. 

“Doge constitue l’aboutissement logique du mouvement Big Data” : les données sont un actif. Les collecter et les croiser est un moyen de leur donner de la valeur. Nous sommes en train de passer d’une administration pour servir les citoyens à une administration pour les exploiter, suggèrent certains agents publics. Ce renversement de perspective “correspond parfaitement à l’éthique transactionnelle de Trump”. Ce ne sont plus les intérêts des américains qui sont au centre de l’équation, mais ceux des intérêts commerciaux des services privés, des intérêts des amis et alliés de Trump et Musk.

La menace totalitaire de l’accaparement des données personnelles gouvernementales

C’est la même inquiétude qu’exprime la politiste Allison Stanger dans un article pour The Conversation, qui rappelle que l’accès aux données gouvernementales n’a rien à voir avec les données personnelles que collectent les entreprises privées. Les référentiels gouvernementaux sont des enregistrements vérifiés du comportement humain réel de populations entières. « Les publications sur les réseaux sociaux et les historiques de navigation web révèlent des comportements ciblés ou intentionnels, tandis que les bases de données gouvernementales capturent les décisions réelles et leurs conséquences. Par exemple, les dossiers Medicare révèlent les choix et les résultats en matière de soins de santé. Les données de l’IRS et du Trésor révèlent les décisions financières et leurs impacts à long terme. Les statistiques fédérales sur l’emploi et l’éducation révèlent les parcours scolaires et les trajectoires professionnelles. » Ces données là, capturées pour faire tourner et entraîner des IA sont à la fois longitudinales et fiables. « Chaque versement de la Sécurité sociale, chaque demande de remboursement Medicare et chaque subvention fédérale constituent un point de données vérifié sur les comportements réels. Ces données n’existent nulle part ailleurs aux États-Unis avec une telle ampleur et une telle authenticité. » « Les bases de données gouvernementales suivent des populations entières au fil du temps, et pas seulement les utilisateurs actifs en ligne. Elles incluent les personnes qui n’utilisent jamais les réseaux sociaux, n’achètent pas en ligne ou évitent activement les services numériques. Pour une entreprise d’IA, cela impliquerait de former les systèmes à la diversité réelle de l’expérience humaine, plutôt qu’aux simples reflets numériques que les gens projettent en ligne.«  A terme, explique Stanger, ce n’est pas la même IA à laquelle nous serions confrontés. « Imaginez entraîner un système d’IA non seulement sur les opinions concernant les soins de santé, mais aussi sur les résultats réels des traitements de millions de patients. Imaginez la différence entre tirer des enseignements des discussions sur les réseaux sociaux concernant les politiques économiques et analyser leurs impacts réels sur différentes communautés et groupes démographiques sur des décennies ». Pour une entreprise développant des IA, l’accès à ces données constituerait un avantage quasi insurmontable. « Un modèle d’IA, entraîné à partir de ces données gouvernementales pourrait identifier les schémas thérapeutiques qui réussissent là où d’autres échouent, et ainsi dominer le secteur de la santé. Un tel modèle pourrait comprendre comment différentes interventions affectent différentes populations au fil du temps, en tenant compte de facteurs tels que la localisation géographique, le statut socio-économique et les pathologies concomitantes. » Une entreprise d’IA qui aurait accès aux données fiscales, pourrait « développer des capacités exceptionnelles de prévision économique et de prévision des marchés. Elle pourrait modéliser les effets en cascade des changements réglementaires, prédire les vulnérabilités économiques avant qu’elles ne se transforment en crises et optimiser les stratégies d’investissement avec une précision impossible à atteindre avec les méthodes traditionnelles ». Explique Stanger, en étant peut-être un peu trop dithyrambique sur les potentialités de l’IA, quand rien ne prouve qu’elles puissent faire mieux que nos approches plus classiques. Pour Stanger, la menace de l’accès aux données gouvernementales par une entreprise privée transcende les préoccupations relatives à la vie privée des individus. Nous deviendrons des sujets numériques plutôt que des citoyens, prédit-elle. Les données absolues corrompt absolument, rappelle Stanger. Oubliant peut-être un peu rapidement que ce pouvoir totalitaire est une menace non seulement si une entreprise privée se l’accapare, mais également si un Etat le déploie. La menace d’un Etat totalitaire par le croisement de toutes les données ne réside pas seulement par l’accaparement de cette puissance au profit d’une entreprise, comme celles de Musk, mais également au profit d’un Etat. 

Nombre de citoyens étaient déjà résignés face à l’accumulation de données du secteur privé, face à leur exploitation sans leur consentement, concluent Bogost et Warzel. L’idée que le gouvernement cède à son tour ses données à des fins privées est scandaleuse, mais est finalement prévisible. La surveillance privée comme publique n’a cessé de se développer et de se renforcer. La rupture du barrage, la levée des barrières morales, limitant la possibilité à recouper l’ensemble des données disponibles, n’était peut-être qu’une question de temps. Certes, le pire est désormais devant nous, car cette rupture de barrière morale en annonce d’autres. Dans la kleptocratie des données qui s’est ouverte, celles-ci pourront être utilisées contre chacun, puisqu’elles permettront désormais de trouver une justification rétroactive voire de l’inventer, puisque l’intégrité des bases de données publiques ne saurait plus être garantie. Bogost et Warzel peuvent imaginer des modalités, en fait, désormais, les systèmes n’ont même pas besoin de corréler vos dons à des associations pro-palestiniennes pour vous refuser une demande de prêt ou de subvention. Il suffit de laisser croire que désormais, le croisement de données le permet. 

Pire encore, “les Américains sont tenus de fournir de nombreuses données sensibles au gouvernement, comme des informations sur le divorce d’une personne pour garantir le versement d’une pension alimentaire, ou des dossiers détaillés sur son handicap pour percevoir les prestations d’assurance invalidité de la Sécurité sociale”, rappelle Sarah Esty, ancienne conseillère principale pour la technologie et la prestation de services au ministère américain de la Santé et des Services sociaux. “Ils ont agi ainsi en étant convaincus que le gouvernement protégerait ces données et que seules les personnes autorisées et absolument nécessaires à la prestation des services y auraient accès. Si ces garanties sont violées, ne serait-ce qu’une seule fois, la population perdra confiance dans le gouvernement, ce qui compromettra à jamais sa capacité à gérer ces services”. C’est exactement là où l’Amérique est plongée. Et le risque, devant nous, est que ce qui se passe aux Etats-Unis devienne un modèle pour saper partout les garanties et la protection des données personnelles. 

Hubert Guillaud

A l’heure où, aux Etats-Unis, le FBI, les services d’immigration et de police se mettent à poursuivre les ressortissants étrangers pour les reconduire aux frontières, sur Tech Policy Press, l’activiste Dia Kayyali rappelle que les Etats-Unis ont une longue histoire de chasse aux opposants politiques et aux étrangers. Du MacCarthysme au 11 septembre, les crises politiques ont toujours renforcé la surveillance des citoyens et plus encore des ressortissants d’origine étrangère. Le Brennan Center for Justice a publié en 2022 un rapport sur la montée de l’utilisation des réseaux sociaux dans ces activités de surveillance et rappelle que ceux-ci sont massivement mobilisés pour la surveillance des opposants politiques, notamment depuis Occupy et depuis 2014 pour le contrôle des demandes d’immigration et les contrôles aux frontières, rappelle The Verge. 

Le premier projet de loi du second mandat de Donald Trump était un texte concernant l’immigration clandestine, nous rappelle Le Monde. C’est un texte qui propose la détention automatique par les forces de l’ordre fédérales de migrants en situation irrégulière qui ont été accusés, condamnés ou inculpés pour certains délits, mêmes mineurs, comme le vol à l’étalage. 

La lutte contre l’immigration est au cœur de la politique du président américain, qui dénonce une “invasion” et annonce vouloir déporter 11 millions d’immigrants illégaux, au risque que le tissu social des Etats-Unis, nation d’immigrants, se déchire, rappelait The Guardian. Dès janvier, l’administration Trump a mis fin à l’application CBP One, seule voie pour les demandeurs d’asile désirant entrer légalement sur le territoire des Etats-Unis pour prendre rendez-vous avec l’administration douanière américaine et régulariser leur situation. La suppression unilatérale de l’application a laissé tous les demandeurs d’asile en attente d’un rendez-vous sans recours, rapportait Le Monde. 

Une opération de fusion des informations sans précédent

Cette politique est en train de s’accélérer, notamment en mobilisant toutes les données numériques à sa disposition, rapporte Wired. Le Doge est en train de construire une base de données dédiée aux étrangers, collectant les données de plusieurs administrations, afin de créer un outil de surveillance d’une portée sans précédent. L’enjeu est de recouper toutes les données disponibles, non seulement pour mieux caractériser les situations des étrangers en situation régulière comme irrégulière, mais également les géolocaliser afin d’aider les services de police chargés des arrestations et de la déportation, d’opérer. 

Jusqu’à présent, il existait d’innombrables bases de données disparates entre les différentes agences et au sein des agences. Si certaines pouvaient être partagées, à des fins policières, celles-ci n’ont jamais été regroupées par défaut, parce qu’elles sont souvent utilisées à des fins spécifiques. Le service de l’immigration et des douanes (ICE, Immigration and Customs Enforcement) et le département d’investigation de la sécurité intérieure (HSI, Homeland Security Investigations), par exemple, sont des organismes chargés de l’application de la loi et ont parfois besoin d’ordonnances du tribunal pour accéder aux informations sur un individu dans le cadre d’enquêtes criminelles, tandis que le service de citoyenneté et d’immigration des États-Unis (USCIS, United States Citizenship and Immigration Services) des États-Unis collecte des informations sensibles dans le cadre de la délivrance régulière de visas et de cartes vertes. 

Des agents du Doge ont obtenu l’accès aux systèmes de l’USCIS. Ces bases de données  contiennent des informations sur les réfugiés et les demandeurs d’asile, des données sur les titulaires de cartes vertes, les citoyens américains naturalisés et les bénéficiaires du programme d’action différée pour les arrivées d’enfants. Le Doge souhaite également télécharger des informations depuis les bases de données de myUSCIS, le portail en ligne où les immigrants peuvent déposer des demandes, communiquer avec l’USCIS, consulter l’historique de leurs demandes et répondre aux demandes de preuves à l’appui de leur dossier. Associées aux informations d’adresse IP des personnes qui consultent leurs données, elles pourraient servir à géolocaliser les immigrants. 

Le département de sécurité intérieur (DHS, Department of Homeland Security) dont dépendent certaines de ces agences a toujours été très prudent en matière de partage de données. Ce n’est plus le cas. Le 20 mars, le président Trump a d’ailleurs signé un décret exigeant que toutes les agences fédérales facilitent « le partage intra- et inter-agences et la consolidation des dossiers non classifiés des agences », afin d’entériner la politique de récupération de données tout azimut du Doge. Jusqu’à présent, il était historiquement « extrêmement difficile » d’accéder aux données que le DHS possédait déjà dans ses différents départements. L’agrégation de toutes les données disponibles « représenterait une rupture significative dans les normes et les politiques en matière de données », rappelle un expert. Les agents du Doge ont eu accès à d’innombrables bases, comme à Save, un système de l’USCIS permettant aux administrations locales et étatiques, ainsi qu’au gouvernement fédéral, de vérifier le statut d’immigration d’une personne. Le Doge a également eu accès à des données de la sécurité sociale et des impôts pour recouper toutes les informations disponibles. 

Le problème, c’est que la surveillance et la protection des données est également rendue plus difficile. Les coupes budgétaires et les licenciements ont affecté trois services clés qui constituaient des garde-fous importants contre l’utilisation abusive des données par les services fédéraux, à savoir le Bureau des droits civils et des libertés civiles (CRCL, Office for Civil Rights and Civil Liberties), le Bureau du médiateur chargé de la détention des immigrants et le Bureau du médiateur des services de citoyenneté et d’immigration. Le CRCL, qui enquête sur d’éventuelles violations des droits de l’homme par le DHS et dont la création a été mandatée par le Congrès est depuis longtemps dans le collimateur du Doge. 

Le 5 avril, le DHS a conclu un accord avec les services fiscaux (IRS) pour utiliser les données fiscales. Plus de sept millions de migrants travaillent et vivent aux États-Unis. L’ICE a également récemment versé des millions de dollars à l’entreprise privée Palantir pour mettre à jour et modifier une base de données de l’ICE destinée à traquer les immigrants, a rapporté 404 Media. Le Washington Post a rapporté également que des représentants de Doge au sein d’agences gouvernementales – du Département du Logement et du Développement urbain à l’Administration de la Sécurité sociale – utilisent des données habituellement confidentielles pour identifier les immigrants sans papiers. Selon Wired, au Département du Travail, le Doge a obtenu l’accès à des données sensibles sur les immigrants et les ouvriers agricoles. La fusion de toutes les données entre elles pour permettre un accès panoptique aux informations est depuis l’origine le projet même du ministère de l’efficacité américain, qui espère que l’IA va lui permettre de rendre le traitement omniscient. 

Le changement de finalités de la collecte de données, moteur d’une défiance généralisée

L’administration des impôts a donc accepté un accord de partage d’information et de données avec les services d’immigration, rapporte la NPR, permettant aux agents de l’immigration de demander des informations sur les immigrants faisant l’objet d’une ordonnance d’expulsion. Derrière ce qui paraît comme un simple accès à des données, il faut voir un changement majeur dans l’utilisation des dossiers fiscaux. Les modalités de ce partage d’information ne sont pas claires puisque la communication du cadre de partage a été expurgée de très nombreuses informations. Pour Murad Awawdeh, responsable de la New York Immigration Coalition, ce partage risque d’instaurer un haut niveau de défiance à respecter ses obligations fiscales, alors que les immigrants paient des impôts comme les autres et que les services fiscaux assuraient jusqu’à présent aux contribuables sans papiers la confidentialité de leurs informations et la sécurité de leur déclaration de revenus.

La NPR revient également sur un autre changement de finalité, particulièrement problématique : celle de l’application CBP One. Cette application lancée en 2020 par l’administration Biden visait à permettre aux immigrants de faire une demande d’asile avant de pénétrer aux Etats-Unis. Avec l’arrivée de l’administration Trump, les immigrants qui ont candidaté à une demande d’asile ont reçu une notification les enjoignants à quitter les Etats-Unis et les données de l’application ont été partagées avec les services de police pour localiser les demandeurs d’asile et les arrêter pour les reconduire aux frontières. Pour le dire simplement : une application de demande d’asile est désormais utilisée par les services de police pour identifier ces mêmes demandeurs et les expulser. Les finalités sociales sont transformées en finalités policières. La confidentialité même des données est détruite.

CBP One n’est pas la seule application dont la finalité a été modifiée. Une belle enquête du New York Times évoque une application administrée par Geo Group, l’un des principaux gestionnaires privés de centres pénitentiaires et d’établissements psychiatriques aux Etats-Unis. Une application que des étrangers doivent utiliser pour se localiser et s’identifier régulièrement, à la manière d’un bracelet électronique. Récemment, des utilisateurs de cette application ont été convoqués à un centre d’immigration pour mise à jour de l’application. En fait, ils ont été arrêtés. 

Geo Group a développé une activité lucrative d’applications et de bracelets électroniques pour surveiller les immigrants pour le compte du gouvernement fédéral qui ont tous été mis au service des procédures d’expulsion lancées par l’administration Trump, constatent nombre d’associations d’aides aux étrangers. “Alors même que M. Trump réduit les dépenses du gouvernement fédéral, ses agences ont attribué à Geo Group de nouveaux contrats fédéraux pour héberger des immigrants sans papiers. Le DHS envisage également de renouveler un contrat de longue date avec l’entreprise – d’une valeur d’environ 350 millions de dollars l’an dernier – pour suivre les quelque 180 000 personnes actuellement sous surveillance”. Ce programme “d’alternative à la détention en centre de rétention » que Noor Zafar, avocate principale à l’American Civil Liberties Union, estime relever plutôt d’une “extension à la détention”, consiste en des applications et bracelets électroniques. Les programmes de Geo Group, coûteux, n’ont pas été ouverts à la concurrence, rapporte le New York Times, qui explique également que ses programmes sont en plein boom. Ces applications permettent aux employés de Geo Group de savoir en temps réel où se trouvent leurs porteurs, leur permettent de délimiter des zones dont ils ne peuvent pas sortir sans déclencher des alertes. 

Une confiance impossible !

Ces exemples américains de changement de finalités sont emblématiques et profondément problématiques. Ils ne se posent pourtant pas que de l’autre côté de l’Atlantique. Utiliser des données produites dans un contexte pour d’autres enjeux et d’autres contextes est au cœur des fonctionnements des systèmes numériques, comme nous l’avions vu à l’époque du Covid. Les finalités des traitements des services numériques qu’on utilise sont rarement claires, notamment parce qu’elles peuvent être mises à jour unilatéralement et ce, sans garantie. Et le changement de finalité peut intervenir à tout moment, quelque soit l’application que vous utilisez. Remplir un simple questionnaire d’évaluation peut finalement, demain, être utilisé par le service qui le conçoit ou d’autres pour une toute autre finalité, et notamment pour réduire les droits des utilisateurs qui y ont répondu. Répondre à un questionnaire de satisfaction de votre banque ou d’un service public, qui semble anodin, peut divulguer des données qui seront utilisées pour d’autres enjeux. Sans renforcer la protection absolue des données, le risque est que ces exemples démultiplient la méfiance voire le rejet des citoyens et des administrés. A quoi va être utilisé le questionnaire qu’on me propose ? Pourra-t-il être utilisé contre moi ? Qu’est-ce qui me garantie qu’il ne le sera pas ? 

La confiance dans l’utilisation qui est faite des données par les services, est en train d’être profondément remise en question par l’exemple américain et pourrait avoir des répercussions sur tous les services numériques, bien au-delà des Etats-Unis. La spécialiste de la sécurité informatique, Susan Landau, nous l’avait pourtant rappelé quand elle avait étudié les défaillances des applications de suivi de contact durant la pandémie : la confidentialité est toujours critique. Elle parlait bien sûr des données de santé des gens, mais on comprend qu’assurer la confidentialité des données personnelles que les autorités détiennent sur les gens est tout aussi critique. Les défaillances de confidentialité sapent la confiance des autorités qui sont censées pourtant être les premières garantes des données personnelles des citoyens. 

Aurait-on oublié pourquoi les données sont cloisonnées ?

« Ces systèmes sont cloisonnés pour une raison », rappelle Victoria Noble, avocate à l’Electronic Frontier Foundation. « Lorsque vous centralisez toutes les données d’une agence dans un référentiel central accessible à tous les membres de l’agence, voire à d’autres agences, vous augmentez considérablement le risque que ces informations soient consultées par des personnes qui n’en ont pas besoin et qui les utilisent à des fins inappropriées ou répressives, pour les instrumentaliser, les utiliser contre des personnes qu’elles détestent, des dissidents, surveiller des immigrants ou d’autres groupes. »

« La principale inquiétude désormais est la création d’une base de données fédérale unique contenant tout ce que le gouvernement sait sur chaque personne de ce pays », estime Cody Venzke de l’Union américaine pour les libertés civiles (ACLU). « Ce que nous voyons est probablement la première étape vers la création d’un dossier centralisé sur chaque habitant.» Wired rapporte d’ailleurs que l’ACLU a déposé plainte contre l’Administration de la Sécurité Sociale (SSA) et le Département des Anciens Combattants (VA) qui ont ouvert des accès de données sensibles au Doge en violation de la loi sur la liberté d’information, après en avoir déjà déposé une en février contre le Trésor américain pour les mêmes raisons (alors que ce n’est pas nécessairement la seule manière de procéder. Confronté aux demandes du Doge, le régulateur des marchés financiers américains, rapporte Reuters, a pour l’instant pu créer une équipe de liaison spécifique pour répondre aux demandes d’information du Doge, afin que ses équipes n’aient pas accès aux données de l’autorité des marchés financiers). 

En déposant plainte, l’ACLU cherche notamment à obtenir des documents pour saisir exactement ce à quoi a accès le Doge. “Les Américains méritent de savoir qui a accès à leurs numéros de sécurité sociale, à leurs informations bancaires et à leurs dossiers médicaux”, explique une avocate de l’ACLU. 

Le cloisonnement des données, des bases, selon leurs finalités et les agences qui les administrent, est un moyen non seulement d’en préserver l’intégrité, mais également d’en assurer la sécurité et la confidentialité. Ce sont ces verrous qui sont en train de sauter dans toutes les administrations sous la pression du Doge, posant des questions de sécurité inédites, comme nous nous en inquiétons avec Jean Cattan dans une lettre du Conseil national du numérique. Ce sont les mesures de protection d’une démocratie numérique qui sont en train de voler en éclat. 

Pour Wired, Brian Barrett estime que les données qu’agrège le Doge ne sont pas tant un outil pour produire une hypothétique efficacité, qu’une arme au service des autorités. La question de l’immigration n’est qu’un terrain d’application parmi d’autres. La brutalité qui s’abat sur les étrangers, les plus vulnérables, les plus démunis, est bien souvent une préfiguration de son extension à toutes les autres populations, nous disait le philosophe Achille Mbembe dans Brutalisme. 

Et maintenant que les croisements de données sont opérationnels, que les données ont été récupérées par les équipes du Doge, l’enjeu va être de les faire parler, de les mettre en pratique. 

Finalement, le départ annoncé ou probable de Musk de son poste en première ligne du Doge ne signe certainement pas la fin de cette politique, toute impopulaire qu’elle soit (enfin, Musk est bien plus impopulaire que les économies dans les services publics qu’il propose), mais au contraire, le passage à une autre phase. Le Doge a pris le contrôle, et il s’agit désormais de rendre les données productives. L’efficacité n’est plus de réduire les dépenses publiques de 2 000 milliards de dollars, comme le promettait Musk à son arrivée. Il a lui-même reconnu qu’il ne visait plus que 150 milliards de dollars de coupe en 2025, soit 15 % de l’objectif initial, comme le soulignait Le Monde. Mais le débat sur les coupes et l’efficacité, sont d’abord un quolifichet qu’on agite pour détourner l’attention de ce qui se déroule vraiment, à savoir la fin de la vie privée aux Etats-Unis. En fait, la politique initiée par le Doge ne s’arrêtera pas avec le retrait probable de Musk. IL n’en a été que le catalyseur.

Elizabeth Lopatto pour The Verge explique elle aussi que l’ère du Doge ne fait que commencer. Malgré ses échecs patents et l’explosion des plaintes judiciaires à son encontre (Bloomberg a dénombré plus de 300 actions en justice contre les décisions prises par le président Trump : dans 128 affaires, ils ont suspendu les décisions de l’administration Trump). Pour elle, Musk ne va pas moins s’immiscer dans la politique publique. Son implication risque surtout d’être moins publique et moins visible dans ses ingérences, afin de préserver son égo et surtout son portefeuille. Mais surtout, estime-t-elle, les tribunaux ne sauveront pas les Américains des actions du Doge, notamment parce que dans la plupart des cas, les décisions tardent à être prises et à être effectives. Pourtant, si les tribunaux étaient favorables à « l’élimination de la fraude et des abus », comme le dit Musk – à ce stade, ils devraient surtout œuvrer à “éliminer le Doge” !

Ce n’est malgré tout pas la direction qui est prise, au contraire. Même si Musk s’en retire, l’administration continue à renforcer le pouvoir du Doge qu’à l’éteindre. C’est ainsi qu’il faut lire le récent hackathon aux services fiscaux ou le projet qui s’esquisse avec Palantir. L’ICE, sous la coupe du Doge, vient de demander à Palantir, la sulfureuse entreprise de Thiel, de construire une plateforme dédiée, explique Wired : “ImmigrationOS”, « le système d’exploitation de l’immigration » (sic). Un outil pour “choisir les personnes à expulser”, en accordant une priorité particulière aux personnes dont le visa est dépassé qui doivent, selon la demande de l’administration, prendre leurs dispositions pour “s’expulser elles-mêmes des Etats-Unis”. L’outil qui doit être livré en septembre a pour fonction de cibler et prioriser les mesures d’application, c’est-à-dire d’aider à sélectionner les étrangers en situation irrégulière, les localiser pour les arrêter. Il doit permettre de suivre que les étrangers en situation irrégulière prennent bien leur disposition pour quitter les Etats-Unis, afin de mesurer la réalité des départs, et venir renforcer les efforts des polices locales, bras armées des mesures de déportation, comme le pointait The Markup. 

De ImmigrationOS au panoptique américain : le démantèlement des mesures de protection de la vie privée

Dans un article pour Gizmodo qui donne la parole à nombre d’opposants à la politique de destructions des silos de données, plusieurs rappellent les propos du sénateur démocrate Sam Ervin, auteur de la loi sur la protection des informations personnelles suite au scandale du Watergate, qui redoutait le caractère totalitaire des informations gouvernementales sur les citoyens. Pour Victoria Noble de l’Electronic Frontier Foundation, ce contrôle pourrait conduire les autorités à « exercer des représailles contre les critiques adressées aux représentants du gouvernement, à affaiblir les opposants politiques ou les ennemis personnels perçus, et à cibler les groupes marginalisés. » N’oubliez pas qu’il s’agit du même président qui a qualifié d’« ennemis » les agents électoraux, les journalistes, les juges et, en fait, toute personne en désaccord avec lui. Selon Reuters, le Doge a déjà utilisé l’IA pour détecter les cas de déloyauté parmi les fonctionnaires fédéraux. Pour les défenseurs des libertés et de la confidentialité, il est encore temps de renforcer les protections citoyennes. Et de rappeler que le passage de la sûreté à la sécurité, de la défense contre l’arbitraire à la défense de l’arbitraire, vient de ce que les élus ont passé bien plus d’énergie à légiférer pour la surveillance qu’à établir des garde-fous contre celle-ci, autorisant toujours plus de dérives, comme d’autoriser la surveillance des individus sans mandats de justice.

Pour The Atlantic, Ian Bogost et Charlie Warzel estiment que le Doge est en train de construire le panoptique américain. Ils rappellent que l’administration est l’univers de l’information, composée de constellations de bases de données. Des impôts au travail, toutes les administrations collectent et produisent des données sur les Américains, et notamment des données particulièrement sensibles et personnelles. Jusqu’à présent, de vieilles lois et des normes fragiles ont empêché que les dépôts de données ne soient regroupés. Mais le Doge vient de faire voler cela en éclat, préparant la construction d’un Etat de surveillance centralisé. En mars, le président Trump a publié un décret visant à éliminer les silos de données qui maintiennent les informations séparément. 

Dans leur article, Bogost et Warzel listent d’innombrables bases de données maintenues par des agences administratives : bases de données de revenus, bases de données sur les lanceurs d’alerte, bases de données sur la santé mentale d’anciens militaires… L’IA promet de transformer ces masses de données en outils “consultables, exploitables et rentables”. Mais surtout croisables, interconnectables. Les entreprises bénéficiant de prêts fédéraux et qui ont du mal à rembourser, pourraient désormais être punies au-delà de ce qui est possible, par la révocation de leurs licences, le gel des aides ou de leurs comptes bancaires. Une forme d’application universelle permettant de tout croiser et de tout inter-relier. Elles pourraient permettre de cibler la population en fonction d’attributs spécifiques. L’utilisation actuelle par le gouvernement de ces données pour expulser des étrangers, et son refus de fournir des preuves d’actes répréhensibles reprochées à certaines personnes expulsées, suggère que l’administration a déjà franchi la ligne rouge de l’utilisation des données à des fins politiques. 

Le Doge ne se contente pas de démanteler les mesures de protection de la vie privée, il ignore qu’elles ont été rédigées. Beaucoup de bases ont été conçues sans interconnectivité par conception, pour protéger la vie privée. “Dans les cas où le partage d’informations ou de données est nécessaire, la loi sur la protection de la vie privée de 1974 exige un accord de correspondance informatique (Computer Matching Agreement, CMA), un contrat écrit qui définit les conditions de ce partage et assure la protection des informations personnelles. Un CMA est « un véritable casse-tête », explique un fonctionnaire, et constitue l’un des moyens utilisés par le gouvernement pour décourager l’échange d’informations comme mode de fonctionnement par défaut”. 

La centralisation des données pourrait peut-être permettre d’améliorer l’efficacité gouvernementale, disent bien trop rapidement Bogost et Warzel, alors que rien ne prouve que ces croisements de données produiront autre chose qu’une discrimination toujours plus étendue car parfaitement granulaire. La protection de la vie privée vise à limiter les abus de pouvoir, notamment pour protéger les citoyens de mesures de surveillance illégales du gouvernement. 

Derrière les bases de données, rappellent encore les deux journalistes, les données ne sont pas toujours ce que l’on imagine. Toutes les données de ces bases ne sont pas nécessairement numérisées. Les faire parler et les croiser ne sera pas si simple. Mais le Doge a eu accès à des informations inédites. “Ce que nous ignorons, c’est ce qu’ils ont copié, exfiltré ou emporté avec eux”. 

“Doge constitue l’aboutissement logique du mouvement Big Data” : les données sont un actif. Les collecter et les croiser est un moyen de leur donner de la valeur. Nous sommes en train de passer d’une administration pour servir les citoyens à une administration pour les exploiter, suggèrent certains agents publics. Ce renversement de perspective “correspond parfaitement à l’éthique transactionnelle de Trump”. Ce ne sont plus les intérêts des américains qui sont au centre de l’équation, mais ceux des intérêts commerciaux des services privés, des intérêts des amis et alliés de Trump et Musk.

La menace totalitaire de l’accaparement des données personnelles gouvernementales

C’est la même inquiétude qu’exprime la politiste Allison Stanger dans un article pour The Conversation, qui rappelle que l’accès aux données gouvernementales n’a rien à voir avec les données personnelles que collectent les entreprises privées. Les référentiels gouvernementaux sont des enregistrements vérifiés du comportement humain réel de populations entières. « Les publications sur les réseaux sociaux et les historiques de navigation web révèlent des comportements ciblés ou intentionnels, tandis que les bases de données gouvernementales capturent les décisions réelles et leurs conséquences. Par exemple, les dossiers Medicare révèlent les choix et les résultats en matière de soins de santé. Les données de l’IRS et du Trésor révèlent les décisions financières et leurs impacts à long terme. Les statistiques fédérales sur l’emploi et l’éducation révèlent les parcours scolaires et les trajectoires professionnelles. » Ces données là, capturées pour faire tourner et entraîner des IA sont à la fois longitudinales et fiables. « Chaque versement de la Sécurité sociale, chaque demande de remboursement Medicare et chaque subvention fédérale constituent un point de données vérifié sur les comportements réels. Ces données n’existent nulle part ailleurs aux États-Unis avec une telle ampleur et une telle authenticité. » « Les bases de données gouvernementales suivent des populations entières au fil du temps, et pas seulement les utilisateurs actifs en ligne. Elles incluent les personnes qui n’utilisent jamais les réseaux sociaux, n’achètent pas en ligne ou évitent activement les services numériques. Pour une entreprise d’IA, cela impliquerait de former les systèmes à la diversité réelle de l’expérience humaine, plutôt qu’aux simples reflets numériques que les gens projettent en ligne.«  A terme, explique Stanger, ce n’est pas la même IA à laquelle nous serions confrontés. « Imaginez entraîner un système d’IA non seulement sur les opinions concernant les soins de santé, mais aussi sur les résultats réels des traitements de millions de patients. Imaginez la différence entre tirer des enseignements des discussions sur les réseaux sociaux concernant les politiques économiques et analyser leurs impacts réels sur différentes communautés et groupes démographiques sur des décennies ». Pour une entreprise développant des IA, l’accès à ces données constituerait un avantage quasi insurmontable. « Un modèle d’IA, entraîné à partir de ces données gouvernementales pourrait identifier les schémas thérapeutiques qui réussissent là où d’autres échouent, et ainsi dominer le secteur de la santé. Un tel modèle pourrait comprendre comment différentes interventions affectent différentes populations au fil du temps, en tenant compte de facteurs tels que la localisation géographique, le statut socio-économique et les pathologies concomitantes. » Une entreprise d’IA qui aurait accès aux données fiscales, pourrait « développer des capacités exceptionnelles de prévision économique et de prévision des marchés. Elle pourrait modéliser les effets en cascade des changements réglementaires, prédire les vulnérabilités économiques avant qu’elles ne se transforment en crises et optimiser les stratégies d’investissement avec une précision impossible à atteindre avec les méthodes traditionnelles ». Explique Stanger, en étant peut-être un peu trop dithyrambique sur les potentialités de l’IA, quand rien ne prouve qu’elles puissent faire mieux que nos approches plus classiques. Pour Stanger, la menace de l’accès aux données gouvernementales par une entreprise privée transcende les préoccupations relatives à la vie privée des individus. Nous deviendrons des sujets numériques plutôt que des citoyens, prédit-elle. Les données absolues corrompt absolument, rappelle Stanger. Oubliant peut-être un peu rapidement que ce pouvoir totalitaire est une menace non seulement si une entreprise privée se l’accapare, mais également si un Etat le déploie. La menace d’un Etat totalitaire par le croisement de toutes les données ne réside pas seulement par l’accaparement de cette puissance au profit d’une entreprise, comme celles de Musk, mais également au profit d’un Etat. 

Nombre de citoyens étaient déjà résignés face à l’accumulation de données du secteur privé, face à leur exploitation sans leur consentement, concluent Bogost et Warzel. L’idée que le gouvernement cède à son tour ses données à des fins privées est scandaleuse, mais est finalement prévisible. La surveillance privée comme publique n’a cessé de se développer et de se renforcer. La rupture du barrage, la levée des barrières morales, limitant la possibilité à recouper l’ensemble des données disponibles, n’était peut-être qu’une question de temps. Certes, le pire est désormais devant nous, car cette rupture de barrière morale en annonce d’autres. Dans la kleptocratie des données qui s’est ouverte, celles-ci pourront être utilisées contre chacun, puisqu’elles permettront désormais de trouver une justification rétroactive voire de l’inventer, puisque l’intégrité des bases de données publiques ne saurait plus être garantie. Bogost et Warzel peuvent imaginer des modalités, en fait, désormais, les systèmes n’ont même pas besoin de corréler vos dons à des associations pro-palestiniennes pour vous refuser une demande de prêt ou de subvention. Il suffit de laisser croire que désormais, le croisement de données le permet. 

Pire encore, “les Américains sont tenus de fournir de nombreuses données sensibles au gouvernement, comme des informations sur le divorce d’une personne pour garantir le versement d’une pension alimentaire, ou des dossiers détaillés sur son handicap pour percevoir les prestations d’assurance invalidité de la Sécurité sociale”, rappelle Sarah Esty, ancienne conseillère principale pour la technologie et la prestation de services au ministère américain de la Santé et des Services sociaux. “Ils ont agi ainsi en étant convaincus que le gouvernement protégerait ces données et que seules les personnes autorisées et absolument nécessaires à la prestation des services y auraient accès. Si ces garanties sont violées, ne serait-ce qu’une seule fois, la population perdra confiance dans le gouvernement, ce qui compromettra à jamais sa capacité à gérer ces services”. C’est exactement là où l’Amérique est plongée. Et le risque, devant nous, est que ce qui se passe aux Etats-Unis devienne un modèle pour saper partout les garanties et la protection des données personnelles. 

Hubert Guillaud

Il reste difficile de suivre ce qui se déroule de l’autre côté de l’Atlantique depuis l’arrivée de Trump au pouvoir, ce démantèlement de l’Amérique, comme nous l’appelions. Nous avons tenté également de faire le point de ce qu’était le Doge, de quelle efficacité il était le nom, à savoir un piratage, un remplacement démocratique, une porte ouverte pour la corruption et l’escroquerie… Depuis, les articles s’accumulent encore. Un son de cloche complémentaire le présente souvent comme une privatisation inédite des services publics. Explorons cette piste. 

Une privatisation inédite : les délégataires aux commandes

Le Doge tient d’une privatisation inédite des services publics, assène Brett Heinz pour The American Prospect, rappelant que si Musk a dépensé 290 millions de dollars pour l’élection de Trump, ses entreprises ont reçu plus de 38 milliards de dollars d’aides gouvernementales au cours des deux dernières décennies. 

En fait, le Doge ne vise pas à accroître l’efficacité gouvernementale, mais bien à démanteler la fonction publique en ciblant les dépenses que Musk et Trump désapprouvent, tout en centralisant le pouvoir décisionnel à la Maison Blanche. Mais surtout, le Doge entérine une nouvelle stratégie : « l’accession de sous-traitants gouvernementaux comme Musk au rang de décideurs politiques ». Ce sont ceux qu’on appellerait en France les délégataires des services publics qui prennent les commandes. 

« La seule classe parasitaire qui profite de l’inefficacité du gouvernement est constituée de sous-traitants gouvernementaux à but lucratif comme Musk, qui s’enrichissent sur l’argent des contribuables en fournissant des services hors de prix pour compenser le manque de capacités de l’État, tout en utilisant leurs milliards pour manipuler le système à leur avantage. Permettre à des sous-traitants comme lui de décider de la façon dont le gouvernement dépense l’argent est à la fois un affront à la démocratie et une invitation ouverte à davantage de corruption », explique Heinz.

« La plupart des Américains ignorent à quel point leur gouvernement a déjà été privatisé. On estimait en 2017 que plus de 40 % des personnes travaillant pour le gouvernement ne sont pas réellement des fonctionnaires. Ce sont des sous-traitants d’entreprises privées, embauchés pour prendre en charge une tâche particulière du secteur public. Dans certains secteurs gouvernementaux, comme l’armée, le recours aux sous-traitants est monnaie courante : en 2019, on comptait 1,5 sous-traitant pour chaque soldat américain en Irak et en Afghanistan. »

Pour le dire autrement, le gouvernement fédéral ne souffre pas d’un effectif pléthorique, au contraire : il y a moins d’employés fédéraux en 2015 qu’en 1984. Par contre, la sous-traitance privée, elle, a explosé. « Entre 2013 et 2023, les dépenses totales consacrées à l’attribution de contrats fédéraux ont augmenté de près de 65 % ». 

La croyance dans l’efficacité de la sous-traitance privée n’a jamais été corroborée par des preuves solides, rappelle Heinz. Reste que, désormais, ces contractants ne veulent pas seulement résoudre pour plus cher les problèmes du secteur public, ils veulent aussi pouvoir décider, pour le gouvernement, de la nature du problème. « Les entrepreneurs ne veulent pas simplement obéir aux ordres du gouvernement, mais fonctionner comme un para-État capable d’influencer les ordres que le gouvernement leur donne. À l’instar du rêve de Musk de construire des voitures autonomes, l’industrie rêve d’un entrepreneur auto-contractant. Et Musk lui-même teste ce concept. » Brett Heinz rappelle que les rafles de données du Doge ont d’abord ciblé des agences fédérales où Musk avait des conflits d’intérêts. « En le qualifiant d’ailleurs d’« employé spécial du gouvernement », la Maison Blanche lui impose des normes éthiques moins strictes que la plupart des fonctionnaires qu’il licencie. » Et Musk n’est pas le seul sous-traitant du gouvernement à y étendre son pouvoir. « On entend souvent dire que le gouvernement devrait être géré « davantage comme une entreprise ». Le cas du Doge nous montre pourtant le contraire. Si nous voulions réellement un gouvernement plus efficace, il faudrait réduire le nombre de sous-traitants et embaucher davantage de fonctionnaires, souvent plus rentables et toujours plus responsables et transparents. Musk fait le contraire, offrant à ses entreprises et alliés davantage d’opportunités d’intervenir et de proposer des travaux surévalués et de qualité douteuse. »

L’effondrement des services publics

Le Washington Post raconte l’effondrement de la Sécurité sociale américaine. L’agence fédérale, qui verse 1 500 milliards de dollars par an en prestations sociales à 73 millions de retraités, à leurs survivants et aux Américains pauvres et handicapés a vu ses effectifs fondre. Son site web est souvent en panne depuis que le Doge a pris les commandes, empêchant de nombreux bénéficiaires de mettre à jour leurs demandes ou d’obtenir des informations sur des aides qui ne viennent plus. 12% des 57 000 employés ont été licenciés. Des milliers d’Américains s’inquiètent auprès de leurs députés ou de l’agence des versements à venir. « La sécurité sociale est la principale source de revenus d’environ 40 % des Américains âgés ». En sous-effectif et en manque de budgets de fonctionnement depuis longtemps, la purge est en train de laminer ce qu’il restait du service. Mais, face aux retraités inquiets, les employés ont peu de réponses à apporter, et ce alors que les escroqueries en ligne se multiplient, profitant de l’aubaine que l’inquiétude génère auprès d’eux. Certains bureaux estiment que les gens pourraient être privés de prestations pendant des mois. 

Wired rapporte que le Doge a décidé de réécrire le code du système de la Sécurité sociale américaine, afin de se débarrasser du langage Cobol avec lequel il a été écrit depuis l’origine et que peu de développeurs maîtrisent. Réécrire ce code en toute sécurité prendrait des années : le Doge souhaite que cela se fasse en quelques mois. Qu’importe si cela bloque les versements d’allocation de millions d’Américains. 

En 2020, pour Logic Mag, Mar Hicks avait exploré les enjeux du langage Cobol depuis lequel nombre d’applications des services publics sont construites (et pas seulement aux Etats-Unis, notamment parce que ces systèmes sont souvent anciens, héritages de formes de calcul précédant l’arrivée d’internet). Mar Hicks rappelait déjà que ce vieux langage de programmation avait été, durant la pandémie, un bouc-émissaire idéal pour expliquer la défaillance de nombre de services publics à répondre à l’accroissement des demandes d’aides des administrés. Pourtant depuis 6 décennies, les programmes écrits en Cobol se sont révélés extrêmement robustes, très transparents et très accessibles. C’est sa grande accessibilité et sa grande lisibilité qui a conduit les informaticiens à le dénigrer d’ailleurs, lui préférant des langages plus complexes, valorisant leurs expertises d’informaticiens. Le problème c’est que ces systèmes nécessitent surtout une maintenance constante. Or, c’est celle-ci qui a fait souvent défaut, notamment du fait des logiques d’austérité qui ont réduit le personnel en charge de la maintenance des programmes. “C’est ce manque d’investissement dans le personnel, dû à l’austérité, plutôt que la fiction répandue selon laquelle les programmeurs aux compétences obsolètes partaient à la retraite, qui a éliminé les programmeurs Cobol des années avant cette récente crise.“ Hicks souligne que nous ne manquons pas de programmeurs Cobol. En fait, explique-t-elle : “la technologie actuelle pourrait bénéficier davantage de la résilience et de l’accessibilité que Cobol a apportées à l’informatique, en particulier pour les systèmes à fort impact”. 

“Les systèmes anciens ont de la valeur, et construire constamment de nouveaux systèmes technologiques pour des profits à court terme au détriment des infrastructures existantes n’est pas un progrès. En réalité, c’est l’une des voies les plus régressives qu’une société puisse emprunter ». “Le bonheur et le malheur d’une bonne infrastructure, c’est que lorsqu’elle fonctionne, elle est invisible : ce qui signifie que trop souvent, nous n’y accordons pas beaucoup d’attention. Jusqu’à ce qu’elle s’effondre”.

Il reste difficile de suivre ce qui se déroule de l’autre côté de l’Atlantique depuis l’arrivée de Trump au pouvoir, ce démantèlement de l’Amérique, comme nous l’appelions. Nous avons tenté également de faire le point de ce qu’était le Doge, de quelle efficacité il était le nom, à savoir un piratage, un remplacement démocratique, une porte ouverte pour la corruption et l’escroquerie… Depuis, les articles s’accumulent encore. Un son de cloche complémentaire le présente souvent comme une privatisation inédite des services publics. Explorons cette piste. 

Une privatisation inédite : les délégataires aux commandes

Le Doge tient d’une privatisation inédite des services publics, assène Brett Heinz pour The American Prospect, rappelant que si Musk a dépensé 290 millions de dollars pour l’élection de Trump, ses entreprises ont reçu plus de 38 milliards de dollars d’aides gouvernementales au cours des deux dernières décennies. 

En fait, le Doge ne vise pas à accroître l’efficacité gouvernementale, mais bien à démanteler la fonction publique en ciblant les dépenses que Musk et Trump désapprouvent, tout en centralisant le pouvoir décisionnel à la Maison Blanche. Mais surtout, le Doge entérine une nouvelle stratégie : « l’accession de sous-traitants gouvernementaux comme Musk au rang de décideurs politiques ». Ce sont ceux qu’on appellerait en France les délégataires des services publics qui prennent les commandes. 

« La seule classe parasitaire qui profite de l’inefficacité du gouvernement est constituée de sous-traitants gouvernementaux à but lucratif comme Musk, qui s’enrichissent sur l’argent des contribuables en fournissant des services hors de prix pour compenser le manque de capacités de l’État, tout en utilisant leurs milliards pour manipuler le système à leur avantage. Permettre à des sous-traitants comme lui de décider de la façon dont le gouvernement dépense l’argent est à la fois un affront à la démocratie et une invitation ouverte à davantage de corruption », explique Heinz.

« La plupart des Américains ignorent à quel point leur gouvernement a déjà été privatisé. On estimait en 2017 que plus de 40 % des personnes travaillant pour le gouvernement ne sont pas réellement des fonctionnaires. Ce sont des sous-traitants d’entreprises privées, embauchés pour prendre en charge une tâche particulière du secteur public. Dans certains secteurs gouvernementaux, comme l’armée, le recours aux sous-traitants est monnaie courante : en 2019, on comptait 1,5 sous-traitant pour chaque soldat américain en Irak et en Afghanistan. »

Pour le dire autrement, le gouvernement fédéral ne souffre pas d’un effectif pléthorique, au contraire : il y a moins d’employés fédéraux en 2015 qu’en 1984. Par contre, la sous-traitance privée, elle, a explosé. « Entre 2013 et 2023, les dépenses totales consacrées à l’attribution de contrats fédéraux ont augmenté de près de 65 % ». 

La croyance dans l’efficacité de la sous-traitance privée n’a jamais été corroborée par des preuves solides, rappelle Heinz. Reste que, désormais, ces contractants ne veulent pas seulement résoudre pour plus cher les problèmes du secteur public, ils veulent aussi pouvoir décider, pour le gouvernement, de la nature du problème. « Les entrepreneurs ne veulent pas simplement obéir aux ordres du gouvernement, mais fonctionner comme un para-État capable d’influencer les ordres que le gouvernement leur donne. À l’instar du rêve de Musk de construire des voitures autonomes, l’industrie rêve d’un entrepreneur auto-contractant. Et Musk lui-même teste ce concept. » Brett Heinz rappelle que les rafles de données du Doge ont d’abord ciblé des agences fédérales où Musk avait des conflits d’intérêts. « En le qualifiant d’ailleurs d’« employé spécial du gouvernement », la Maison Blanche lui impose des normes éthiques moins strictes que la plupart des fonctionnaires qu’il licencie. » Et Musk n’est pas le seul sous-traitant du gouvernement à y étendre son pouvoir. « On entend souvent dire que le gouvernement devrait être géré « davantage comme une entreprise ». Le cas du Doge nous montre pourtant le contraire. Si nous voulions réellement un gouvernement plus efficace, il faudrait réduire le nombre de sous-traitants et embaucher davantage de fonctionnaires, souvent plus rentables et toujours plus responsables et transparents. Musk fait le contraire, offrant à ses entreprises et alliés davantage d’opportunités d’intervenir et de proposer des travaux surévalués et de qualité douteuse. »

L’effondrement des services publics

Le Washington Post raconte l’effondrement de la Sécurité sociale américaine. L’agence fédérale, qui verse 1 500 milliards de dollars par an en prestations sociales à 73 millions de retraités, à leurs survivants et aux Américains pauvres et handicapés a vu ses effectifs fondre. Son site web est souvent en panne depuis que le Doge a pris les commandes, empêchant de nombreux bénéficiaires de mettre à jour leurs demandes ou d’obtenir des informations sur des aides qui ne viennent plus. 12% des 57 000 employés ont été licenciés. Des milliers d’Américains s’inquiètent auprès de leurs députés ou de l’agence des versements à venir. « La sécurité sociale est la principale source de revenus d’environ 40 % des Américains âgés ». En sous-effectif et en manque de budgets de fonctionnement depuis longtemps, la purge est en train de laminer ce qu’il restait du service. Mais, face aux retraités inquiets, les employés ont peu de réponses à apporter, et ce alors que les escroqueries en ligne se multiplient, profitant de l’aubaine que l’inquiétude génère auprès d’eux. Certains bureaux estiment que les gens pourraient être privés de prestations pendant des mois. 

Wired rapporte que le Doge a décidé de réécrire le code du système de la Sécurité sociale américaine, afin de se débarrasser du langage Cobol avec lequel il a été écrit depuis l’origine et que peu de développeurs maîtrisent. Réécrire ce code en toute sécurité prendrait des années : le Doge souhaite que cela se fasse en quelques mois. Qu’importe si cela bloque les versements d’allocation de millions d’Américains. 

En 2020, pour Logic Mag, Mar Hicks avait exploré les enjeux du langage Cobol depuis lequel nombre d’applications des services publics sont construites (et pas seulement aux Etats-Unis, notamment parce que ces systèmes sont souvent anciens, héritages de formes de calcul précédant l’arrivée d’internet). Mar Hicks rappelait déjà que ce vieux langage de programmation avait été, durant la pandémie, un bouc-émissaire idéal pour expliquer la défaillance de nombre de services publics à répondre à l’accroissement des demandes d’aides des administrés. Pourtant depuis 6 décennies, les programmes écrits en Cobol se sont révélés extrêmement robustes, très transparents et très accessibles. C’est sa grande accessibilité et sa grande lisibilité qui a conduit les informaticiens à le dénigrer d’ailleurs, lui préférant des langages plus complexes, valorisant leurs expertises d’informaticiens. Le problème c’est que ces systèmes nécessitent surtout une maintenance constante. Or, c’est celle-ci qui a fait souvent défaut, notamment du fait des logiques d’austérité qui ont réduit le personnel en charge de la maintenance des programmes. “C’est ce manque d’investissement dans le personnel, dû à l’austérité, plutôt que la fiction répandue selon laquelle les programmeurs aux compétences obsolètes partaient à la retraite, qui a éliminé les programmeurs Cobol des années avant cette récente crise.“ Hicks souligne que nous ne manquons pas de programmeurs Cobol. En fait, explique-t-elle : “la technologie actuelle pourrait bénéficier davantage de la résilience et de l’accessibilité que Cobol a apportées à l’informatique, en particulier pour les systèmes à fort impact”. 

“Les systèmes anciens ont de la valeur, et construire constamment de nouveaux systèmes technologiques pour des profits à court terme au détriment des infrastructures existantes n’est pas un progrès. En réalité, c’est l’une des voies les plus régressives qu’une société puisse emprunter ». “Le bonheur et le malheur d’une bonne infrastructure, c’est que lorsqu’elle fonctionne, elle est invisible : ce qui signifie que trop souvent, nous n’y accordons pas beaucoup d’attention. Jusqu’à ce qu’elle s’effondre”.

En 2019, dans une tribune pour le New Yorker, Miriam Posner explique le rôle du logiciel dans les chaînes d’approvisionnement, pour mieux nous en pointer les limites. Si les chaînes logistiques ne sont pas éthiques, c’est parce que l’éthique n’est pas une donnée que traite leurs logiciels. Explication.

Professeure à l’université de Californie et spécialiste des questions technologiques, Miriam Posner signe dans le New Yorker une très intéressante tribune sur la transformation logicielle de la chaîne logistique.

En consultant un rapport (« cauchemardesque ») du China Labor Watch (l’Observatoire du travail en Chine, une association qui informe et dénonce les conditions de travail sur les chaînes de fabrication des usines chinoises) sur les conditions de fabrication de jouets en Chine, Miriam Posner s’interrogeait : comment se fait-il que nous ne sachions pas mieux tracer l’origine des produits que nous consommons ?

De l’abstraction des chaînes d’approvisionnements

Quand elle a demandé à ses étudiants de travailler sur la question de la chaîne d’approvisionnement de matériel électronique, elle s’est rendu compte que, quand bien même certaines entreprises se vantent de connaître et maîtriser leur chaîne logistique de bout en bout, aucune ne sait exactement d’où proviennent les composants qu’elles utilisent. « Cette ignorance est inhérente au mode de fonctionnement des chaînes d’approvisionnement ». La coque de plastique d’une télévision par exemple peut-être construite dans une petite usine n’employant que quelques personnes qui n’interagit qu’avec des fournisseurs et acheteurs adjacents (un fournisseur de plastique et une entreprise de montage par exemple). Cette intrication favorise la modularité : si une entreprise cesse son activité, ses partenaires immédiats peuvent la remplacer rapidement, sans nécessairement avoir à consulter qui que ce soit, ce qui rend la chaîne très souple et adaptable… Mais rend également très difficile l’identification des multiples maillons de la chaîne logistique.

Nous avons une vision souvent abstraite des chaînes d’approvisionnements que nous n’imaginons que comme des chaînes physiques. Or leur gestion est devenue complètement virtuelle, logicielle. Les personnes qui conçoivent et coordonnent ces chaînes logicielles elles non plus ne voient ni les usines, ni les entrepôts, ni les travailleurs. Elles regardent des écrans et des tableurs : leur vision de la chaîne d’approvisionnement est tout aussi abstraite que la nôtre, explique la chercheuse.

Le leader logiciel de la chaîne d’approvisionnement est l’allemand SAP. SAP est une suite logicielle que vous ne pouvez pas télécharger sur l’App Store. C’est un logiciel industriel spécialisé qui se déploie à l’échelle d’entreprises pour piloter la chaîne d’approvisionnement (et qui comprend de nombreux modules additionnels de comptabilité ou de ressources humaines). Pour comprendre son fonctionnement, Miriam Posner a suivi une formation en ligne dédiée.

Le logiciel est complexe. Il se présente comme un ensemble de dossiers de fichiers qu’on peut agencer pour former la chaîne d’approvisionnement (commande, fabrication, emballage, expéditions…). La conception d’une chaîne est un processus qui implique plusieurs opérateurs et entreprises, sous forme de « composants ». Un spécialiste de la demande par exemple entre des informations sur les ventes passées (variations saisonnières, promotions planifiées, etc.) et le logiciel calcule combien de produits doivent être fabriqués. Un autre spécialiste utilise des informations sur les délais d’expéditions, les coûts de stockage, les capacités d’usine pour créer un « plan de réseau logistique » qui détermine le moment où chaque engrenage du processus de fabrication doit tourner. Ce plan est ensuite transmis à un autre spécialiste pour planifier la production et calculer le calendrier détaillé qui vont déterminer la manière dont le processus se déroulera sur le terrain le plus précisément possible. Tout cela prend la forme de séries de feuilles de calcul, de cases à cocher, de fenêtres contextuelles… qui n’est pas sans rappeler l’analyse que faisait Paul Dourish sur la matérialité de l’information qui s’incarne aujourd’hui dans le tableur. C’est « pourtant là que les prévisions de marchés sont traduites en ordre de marche des travailleurs », explique Posner. La planification de la production et le calendrier détaillé reposent sur des « heuristiques », des algorithmes intégrés qui répartissent la production et donc la main d’oeuvre pour que les installations fonctionnent à leur capacité maximale. D’ailleurs, souligne Miriam Posner, l’exécution d’une heuristique implique de cliquer sur un bouton de l’interface qui ressemble à une petite baguette magique, comme s’il suffisait d’une action simple pour activer la chaîne.

L’utilisation de SAP est difficile reconnaît la chercheuse. Chaque tâche est compliquée à configurer, avec d’innombrables paramètres à valider. Le plus souvent, ce travail est divisé et nécessite de multiples interventions différentes. En fait, « aucun individu ne possède une image détaillée de l’ensemble de la chaîne d’approvisionnement. Au lieu de cela, chaque spécialiste sait seulement ce dont ses voisins ont besoin. »

« Dans un tel système, un sentiment d’inévitabilité s’installe. Les données dictent un ensemble de conditions qui doivent être remplies, mais rien n’explique comment ces données ont été obtenues. Pendant ce temps, le logiciel joue un rôle actif, en peaufinant le plan pour répondre aux conditions le plus efficacement possible. Les optimiseurs intégrés de SAP déterminent comment répondre aux besoins de la production avec le moins de « latence » et au moindre coût possible (le logiciel suggère même comment optimiser un conteneur pour économiser sur les frais d’expédition). Cela implique que des composants particuliers deviennent disponibles à des moments particuliers. Les conséquences de cette optimisation incessante sont bien documentées. Les sociétés qui commandent des produits transmettent leurs demandes déterminées par calcul à leurs sous-traitants, qui exercent ensuite une pression extraordinaire sur leurs employés. Ainsi, China Labour Watch a constaté que les travailleurs de la ville de Heyuan en Chine chargés de fabriquer une poupée Disney que Miriam a achetée à ses enfants (vendue au prix 26,40 $) travaillent vingt-six jours par mois, assemblent entre 1800 et 2500 poupées par jour et gagnent un centime pour chaque poupée qu’ils complètent. »

De la distance spatiale, temporelle et informationnelle

Pour la chercheuse, le défi majeur dans la gestion de la chaîne d’approvisionnement est la grande distance – « spatiale, temporelle et informationnelle » – qui sépare le processus du monde réel de la fabrication et de la consommation. Ces distances introduisent de nombreux problèmes, comme l’effet « coup de fouet », qui consiste à ce que chaque niveau produise plus que prévu pour mieux répondre à la demande ou ajuster ses bénéfices avec ses coûts. Le battement d’ailes d’un consommateur peut-être amplifié de manière démesurée par la chaîne. En fait, la demande temps réel du pilotage que produit le logiciel ne correspond pas vraiment à la réalité effective des multiples chaînes de production, où chaque acteur fait ses ajustements (qui prennent en compte d’autres commandes, des délais, la disponibilité de fournitures ou la surproduction pour réduire les coûts…). Pourtant, le logiciel procède d’une vision qui maximise le temps réel et donne l’illusion d’être au coeur de la tour de contrôle de la production.

L’autre effet coup de fouet, bien sûr, s’applique directement aux travailleurs des différentes usines prestataires de la chaîne. Quand les exigences des commandes parviennent jusqu’aux travailleurs, elles se révèlent plus exigeantes et plus punitives.

Dans le numéro 4 de l’excellent magazine Logic, Miriam Posner avait déjà livré une réflexion sur le sujet. Elle y rappelait déjà que si les questions de l’architecture physique de la chaîne d’approvisionnement mondialisée était souvent étudiée (notamment dans The Box de Marc Levinson qui s’intéressait au rôle du conteneur ou encore dans The Deadly life of logistics de Deborah Cowen), ce n’était pas beaucoup le cas de son aspect logiciel comme des échanges de données et d’informations qui la sous-tendent. L’industrie logicielle de la gestion de la chaîne d’approvisionnement est pourtant l’un des domaines d’activité qui connaît la plus forte croissance, mais qui opère de manière assez discrète, car les informations qu’elle traite sont très concurrentielles. Amazon, par exemple, n’est pas tant un commerçant qu’une chaîne d’approvisionnement incarnée et peu de personnes connaissent le logiciel qui l’optimise. Pour Leonardo Bonanni, PDG de Sourcemap, une entreprise qui aide les entreprises à construire leurs chaînes d’approvisionnement, l’incapacité des entreprises à visualiser cette chaîne est une fonction même de l’architecture logicielle. Pour Miriam Posner, le terme de chaîne d’approvisionnement est finalement trompeur : cette chaîne « ressemble beaucoup plus à un réseau de voies navigables, avec des milliers de minuscules affluents composés de sous-traitants qui s’écoulent dans de plus grandes rivières d’assemblage, de production et de distribution. »

Pour Bonanni, nous ne voyons qu’une parcelle des abus sur les lieux de travail qui sont portés à notre connaissance : c’est surtout le cas de quelques chaînes prestigieuses, comme dans l’électronique grand public. Mais les conditions de travail sont souvent plus opaques et les abus plus répandus dans d’autres industries, comme l’habillement ou l’agriculture, des lieux où la chaîne se recompose à chaque approvisionnement, à chaque saison, avec un nombre de noeuds et de sous-traitants, qui sont loin d’être tous intégrés à la chaîne logicielle. Les usines géantes de Foxcon masquent d’innombrables petits ateliers et usines beaucoup moins présentables qui permettent à la chaîne d’être extrêmement résiliente et robuste. En fait, « il n’y a pas de tour de contrôle supervisant les réseaux d’approvisionnement », les noeuds ne parlent qu’à leurs voisins immédiats.

Du rôle de l’échelle pour gérer l’information et de la modularité pour gérer la complexité

« Ces infrastructures physiques distribuées ressemblent finalement beaucoup au réseau invisible qui les rend possibles : internet ». À chaque étape de la transformation, le produit est transformé en marchandise. Et l’information qui l’accompagnait transformée à son tour. Du plastique devient une coque qui devient une télévision… En fait, la transformation et l’échelle d’action impliquent une perte d’information. Pour récupérer une tonne d’or, vous devez en acheter à plein d’endroits différents que la fonte va transformer en une marchandise unique : la tonne d’or que vous vendez.

Un fonctionnement assez proche de la programmation modulaire, remarque Miriam Posner. La programmation modulaire est une méthode familière à tout programmeur et architecte de systèmes. Elle consiste à gérer la complexité par des unités fonctionnelles distinctes. Chaque programmeur travaille ainsi sur un module qui s’interface aux autres en spécifiant les entrées et sorties où les modalités qu’il prend en charge. Les systèmes modulaires permettent notamment de gérer la complexité et d’améliorer un module sans avoir à toucher les autres : chacun étant une sorte de « boite noire » vis-à-vis des autres.

Comme l’explique Andrew Russell, historien de l’informatique, la modularité, née dans l’architecture, a été un moyen de structurer les organisations comme l’économie. « C’est une sorte de caractéristique de la modernité ». Et les chaînes d’approvisionnement sont hautement modulaires, à l’image du conteneur, standardisé et interchangeable, qui peut contenir n’importe quoi pour se rendre n’importe où, ce qui permet aux marchandises transportées de passer à l’échelle globale.

« Les informations sur la provenance, les conditions de travail et l’impact sur l’environnement sont difficiles à gérer lorsque l’objectif de votre système est simplement de fournir et d’assembler des produits rapidement. « Vous pouvez imaginer une manière différente de faire les choses, de sorte que vous sachiez tout cela », explique Russell, « afin que votre regard soit plus immersif et continu. Mais ce que cela fait, c’est inhiber l’échelle ». Et l’échelle, bien sûr, est la clé d’une économie mondialisée. »

Pour Miriam Posner, le passage à l’échelle – la fameuse scalabilité – explique pourquoi les branches d’un réseau d’approvisionnement disparaissent. Cela aide également à expliquer pourquoi la syndicalisation transnationale a été si difficile : pour répondre aux demandes du marché, les ateliers ont appris à se rendre interchangeables. Un peu comme si « nous avions assimilé les leçons de la modularité d’une manière psychologique ».

La traçabilité de bout en bout ! Mais pour quelle transparence ?

Reste à savoir si la technologie peut remédier au problème qu’elle a créé. Miriam Posner constate que l’internet des objets et la blockchain sont deux technologies qui ont reçu beaucoup d’engouements chez les praticiens des systèmes de gestion de la chaîne d’approvisionnement.

La première permet de localiser et tracer les composants alors que la seconde permet d’y attacher un numéro d’identification et un journal qui enregistre chaque fois qu’une fourniture change de main. Leurs partisans affirment que ces technologies pourraient apporter une transparence radicale aux chaînes d’approvisionnement mondiales. Le problème est que l’une comme l’autre peuvent vite être vidées de leurs sens si elles ne sont qu’une chaîne d’enregistrement de prestataires, sans informations sur leurs pratiques. Et ni l’une ni l’autre ne résolvent les problèmes liés à la transformation de produits. Pour Bonanni, elles ne résolvent pas non plus le manque de visibilité : quand tout le monde est incité à agir toujours plus rapidement et efficacement, il est difficile d’imaginer qui sera chargé de fournir plus d’informations que nécessaire. Si ces technologies pourraient certes fournir des informations détaillées sur les conditions de travail et le respect des normes de sécurité, il reste difficile de croire que l’internet des objets et la blockchain, qui sont surtout des objets techniques visant à accroître l’efficacité, le contrôle, la rapidité et la sécurité des informations puissent devenir demain des moyens pour s’assurer de chaînes d’approvisionnement socialement responsables.

Dans le domaine de la gestion des chaînes d’approvisionnement, l’autre technologie source d’innovation, c’est bien sûr l’apprentissage automatique, via des algorithmes capables de faire de meilleures prévisions et de prendre des décisions. Appliqué à la chaîne logistique, le machine learning pourrait aider à déterminer les fournisseurs et les itinéraires qui livreront les marchandises de la manière la plus rapide et la plus fiable. Les algorithmes pourraient prédire les performances des fournisseurs et des transporteurs, en leur attribuant des scores de risques selon l’historique de leurs résultats. Et demain, les réseaux d’approvisionnement pourraient se reconfigurer automatiquement, de manière dynamique, selon cette évaluation de risques… Pas sûr que cette piste améliore la cécité collective des outils, pointe Posner. Pas sûr non plus qu’elle soit si accessible quand déjà les données utilisées ne savent pas grand-chose de la qualité des fournisseurs.

En fait, ces technologies nous montrent que les spécialistes de la gestion de la chaîne logistique ne parlent pas de la même transparence ou de la même visibilité que le consommateur final. La transparence de la chaîne logistique ne vise pas à aider à comprendre d’où vient un produit, mais vise à améliorer son efficacité : diminuer le coût tout en maximisant la rapidité.

Quel levier pour transformer l’approvisionnement ?

Les défis politiques pour transformer ces constats sont immenses, conclut Miriam Posner. En l’absence de véritables efforts pour créer un contrôle démocratique des chaînes d’approvisionnement, nous en sommes venus à les considérer comme fonctionnant de manière autonome – davantage comme des forces naturelles que des forces que nous avons créées nous-mêmes.

En 2014, le Guardian a signalé que des migrants birmans travaillaient dans des conditions qui tenaient de l’esclavagisme à bord de crevettiers au large des côtes thaïlandaises. Pour un importateur de crevettes, l’esclavagisme semblait un symptôme plus qu’une cause des modalités d’approvisionnement elles-mêmes. Et effectivement, il est possible d’avoir une chaîne d’approvisionnement parfaitement efficace, mais également parfaitement ignorante des conditions de travail qu’elle implique.

Reste que nous avons construit les réseaux décentralisés tels qu’ils opèrent, rappelle la chercheuse. L’anthropologue Anna Tsing dans ses travaux sur la chaîne d’approvisionnement souligne que Walmart par exemple exige un contrôle parfait sur certains aspects de sa chaîne d’approvisionnement : notamment sur les prix et les délais de livraison, et ce au détriment d’autres aspects comme les pratiques de travail. L’absence d’information sur certains aspects de la chaîne d’approvisionnement est profondément liée à un système conçu pour s’adapter à la variété de produits que nous produisons et à la rapidité avec lesquelles nous les produisons. Et cette absence d’information est intégrée dans les logiciels mêmes qui produisent la mondialisation. Exiger une chaîne logistique plus transparente et plus juste nécessite d’intégrer des informations que peu d’entreprises souhaitent utiliser, notamment parce que par nature, elles remettent en question les paradigmes de l’efficacité et de la scalabilité qui les font fonctionner.

Hubert Guillaud

Cet article a été publié originellement sur InternetActu.net, le 17 mars 2019.

En 2019, dans une tribune pour le New Yorker, Miriam Posner explique le rôle du logiciel dans les chaînes d’approvisionnement, pour mieux nous en pointer les limites. Si les chaînes logistiques ne sont pas éthiques, c’est parce que l’éthique n’est pas une donnée que traite leurs logiciels. Explication.

Professeure à l’université de Californie et spécialiste des questions technologiques, Miriam Posner signe dans le New Yorker une très intéressante tribune sur la transformation logicielle de la chaîne logistique.

En consultant un rapport (« cauchemardesque ») du China Labor Watch (l’Observatoire du travail en Chine, une association qui informe et dénonce les conditions de travail sur les chaînes de fabrication des usines chinoises) sur les conditions de fabrication de jouets en Chine, Miriam Posner s’interrogeait : comment se fait-il que nous ne sachions pas mieux tracer l’origine des produits que nous consommons ?

De l’abstraction des chaînes d’approvisionnements

Quand elle a demandé à ses étudiants de travailler sur la question de la chaîne d’approvisionnement de matériel électronique, elle s’est rendu compte que, quand bien même certaines entreprises se vantent de connaître et maîtriser leur chaîne logistique de bout en bout, aucune ne sait exactement d’où proviennent les composants qu’elles utilisent. « Cette ignorance est inhérente au mode de fonctionnement des chaînes d’approvisionnement ». La coque de plastique d’une télévision par exemple peut-être construite dans une petite usine n’employant que quelques personnes qui n’interagit qu’avec des fournisseurs et acheteurs adjacents (un fournisseur de plastique et une entreprise de montage par exemple). Cette intrication favorise la modularité : si une entreprise cesse son activité, ses partenaires immédiats peuvent la remplacer rapidement, sans nécessairement avoir à consulter qui que ce soit, ce qui rend la chaîne très souple et adaptable… Mais rend également très difficile l’identification des multiples maillons de la chaîne logistique.

Nous avons une vision souvent abstraite des chaînes d’approvisionnements que nous n’imaginons que comme des chaînes physiques. Or leur gestion est devenue complètement virtuelle, logicielle. Les personnes qui conçoivent et coordonnent ces chaînes logicielles elles non plus ne voient ni les usines, ni les entrepôts, ni les travailleurs. Elles regardent des écrans et des tableurs : leur vision de la chaîne d’approvisionnement est tout aussi abstraite que la nôtre, explique la chercheuse.

Le leader logiciel de la chaîne d’approvisionnement est l’allemand SAP. SAP est une suite logicielle que vous ne pouvez pas télécharger sur l’App Store. C’est un logiciel industriel spécialisé qui se déploie à l’échelle d’entreprises pour piloter la chaîne d’approvisionnement (et qui comprend de nombreux modules additionnels de comptabilité ou de ressources humaines). Pour comprendre son fonctionnement, Miriam Posner a suivi une formation en ligne dédiée.

Le logiciel est complexe. Il se présente comme un ensemble de dossiers de fichiers qu’on peut agencer pour former la chaîne d’approvisionnement (commande, fabrication, emballage, expéditions…). La conception d’une chaîne est un processus qui implique plusieurs opérateurs et entreprises, sous forme de « composants ». Un spécialiste de la demande par exemple entre des informations sur les ventes passées (variations saisonnières, promotions planifiées, etc.) et le logiciel calcule combien de produits doivent être fabriqués. Un autre spécialiste utilise des informations sur les délais d’expéditions, les coûts de stockage, les capacités d’usine pour créer un « plan de réseau logistique » qui détermine le moment où chaque engrenage du processus de fabrication doit tourner. Ce plan est ensuite transmis à un autre spécialiste pour planifier la production et calculer le calendrier détaillé qui vont déterminer la manière dont le processus se déroulera sur le terrain le plus précisément possible. Tout cela prend la forme de séries de feuilles de calcul, de cases à cocher, de fenêtres contextuelles… qui n’est pas sans rappeler l’analyse que faisait Paul Dourish sur la matérialité de l’information qui s’incarne aujourd’hui dans le tableur. C’est « pourtant là que les prévisions de marchés sont traduites en ordre de marche des travailleurs », explique Posner. La planification de la production et le calendrier détaillé reposent sur des « heuristiques », des algorithmes intégrés qui répartissent la production et donc la main d’oeuvre pour que les installations fonctionnent à leur capacité maximale. D’ailleurs, souligne Miriam Posner, l’exécution d’une heuristique implique de cliquer sur un bouton de l’interface qui ressemble à une petite baguette magique, comme s’il suffisait d’une action simple pour activer la chaîne.

L’utilisation de SAP est difficile reconnaît la chercheuse. Chaque tâche est compliquée à configurer, avec d’innombrables paramètres à valider. Le plus souvent, ce travail est divisé et nécessite de multiples interventions différentes. En fait, « aucun individu ne possède une image détaillée de l’ensemble de la chaîne d’approvisionnement. Au lieu de cela, chaque spécialiste sait seulement ce dont ses voisins ont besoin. »

« Dans un tel système, un sentiment d’inévitabilité s’installe. Les données dictent un ensemble de conditions qui doivent être remplies, mais rien n’explique comment ces données ont été obtenues. Pendant ce temps, le logiciel joue un rôle actif, en peaufinant le plan pour répondre aux conditions le plus efficacement possible. Les optimiseurs intégrés de SAP déterminent comment répondre aux besoins de la production avec le moins de « latence » et au moindre coût possible (le logiciel suggère même comment optimiser un conteneur pour économiser sur les frais d’expédition). Cela implique que des composants particuliers deviennent disponibles à des moments particuliers. Les conséquences de cette optimisation incessante sont bien documentées. Les sociétés qui commandent des produits transmettent leurs demandes déterminées par calcul à leurs sous-traitants, qui exercent ensuite une pression extraordinaire sur leurs employés. Ainsi, China Labour Watch a constaté que les travailleurs de la ville de Heyuan en Chine chargés de fabriquer une poupée Disney que Miriam a achetée à ses enfants (vendue au prix 26,40 $) travaillent vingt-six jours par mois, assemblent entre 1800 et 2500 poupées par jour et gagnent un centime pour chaque poupée qu’ils complètent. »

De la distance spatiale, temporelle et informationnelle

Pour la chercheuse, le défi majeur dans la gestion de la chaîne d’approvisionnement est la grande distance – « spatiale, temporelle et informationnelle » – qui sépare le processus du monde réel de la fabrication et de la consommation. Ces distances introduisent de nombreux problèmes, comme l’effet « coup de fouet », qui consiste à ce que chaque niveau produise plus que prévu pour mieux répondre à la demande ou ajuster ses bénéfices avec ses coûts. Le battement d’ailes d’un consommateur peut-être amplifié de manière démesurée par la chaîne. En fait, la demande temps réel du pilotage que produit le logiciel ne correspond pas vraiment à la réalité effective des multiples chaînes de production, où chaque acteur fait ses ajustements (qui prennent en compte d’autres commandes, des délais, la disponibilité de fournitures ou la surproduction pour réduire les coûts…). Pourtant, le logiciel procède d’une vision qui maximise le temps réel et donne l’illusion d’être au coeur de la tour de contrôle de la production.

L’autre effet coup de fouet, bien sûr, s’applique directement aux travailleurs des différentes usines prestataires de la chaîne. Quand les exigences des commandes parviennent jusqu’aux travailleurs, elles se révèlent plus exigeantes et plus punitives.

Dans le numéro 4 de l’excellent magazine Logic, Miriam Posner avait déjà livré une réflexion sur le sujet. Elle y rappelait déjà que si les questions de l’architecture physique de la chaîne d’approvisionnement mondialisée était souvent étudiée (notamment dans The Box de Marc Levinson qui s’intéressait au rôle du conteneur ou encore dans The Deadly life of logistics de Deborah Cowen), ce n’était pas beaucoup le cas de son aspect logiciel comme des échanges de données et d’informations qui la sous-tendent. L’industrie logicielle de la gestion de la chaîne d’approvisionnement est pourtant l’un des domaines d’activité qui connaît la plus forte croissance, mais qui opère de manière assez discrète, car les informations qu’elle traite sont très concurrentielles. Amazon, par exemple, n’est pas tant un commerçant qu’une chaîne d’approvisionnement incarnée et peu de personnes connaissent le logiciel qui l’optimise. Pour Leonardo Bonanni, PDG de Sourcemap, une entreprise qui aide les entreprises à construire leurs chaînes d’approvisionnement, l’incapacité des entreprises à visualiser cette chaîne est une fonction même de l’architecture logicielle. Pour Miriam Posner, le terme de chaîne d’approvisionnement est finalement trompeur : cette chaîne « ressemble beaucoup plus à un réseau de voies navigables, avec des milliers de minuscules affluents composés de sous-traitants qui s’écoulent dans de plus grandes rivières d’assemblage, de production et de distribution. »

Pour Bonanni, nous ne voyons qu’une parcelle des abus sur les lieux de travail qui sont portés à notre connaissance : c’est surtout le cas de quelques chaînes prestigieuses, comme dans l’électronique grand public. Mais les conditions de travail sont souvent plus opaques et les abus plus répandus dans d’autres industries, comme l’habillement ou l’agriculture, des lieux où la chaîne se recompose à chaque approvisionnement, à chaque saison, avec un nombre de noeuds et de sous-traitants, qui sont loin d’être tous intégrés à la chaîne logicielle. Les usines géantes de Foxcon masquent d’innombrables petits ateliers et usines beaucoup moins présentables qui permettent à la chaîne d’être extrêmement résiliente et robuste. En fait, « il n’y a pas de tour de contrôle supervisant les réseaux d’approvisionnement », les noeuds ne parlent qu’à leurs voisins immédiats.

Du rôle de l’échelle pour gérer l’information et de la modularité pour gérer la complexité

« Ces infrastructures physiques distribuées ressemblent finalement beaucoup au réseau invisible qui les rend possibles : internet ». À chaque étape de la transformation, le produit est transformé en marchandise. Et l’information qui l’accompagnait transformée à son tour. Du plastique devient une coque qui devient une télévision… En fait, la transformation et l’échelle d’action impliquent une perte d’information. Pour récupérer une tonne d’or, vous devez en acheter à plein d’endroits différents que la fonte va transformer en une marchandise unique : la tonne d’or que vous vendez.

Un fonctionnement assez proche de la programmation modulaire, remarque Miriam Posner. La programmation modulaire est une méthode familière à tout programmeur et architecte de systèmes. Elle consiste à gérer la complexité par des unités fonctionnelles distinctes. Chaque programmeur travaille ainsi sur un module qui s’interface aux autres en spécifiant les entrées et sorties où les modalités qu’il prend en charge. Les systèmes modulaires permettent notamment de gérer la complexité et d’améliorer un module sans avoir à toucher les autres : chacun étant une sorte de « boite noire » vis-à-vis des autres.

Comme l’explique Andrew Russell, historien de l’informatique, la modularité, née dans l’architecture, a été un moyen de structurer les organisations comme l’économie. « C’est une sorte de caractéristique de la modernité ». Et les chaînes d’approvisionnement sont hautement modulaires, à l’image du conteneur, standardisé et interchangeable, qui peut contenir n’importe quoi pour se rendre n’importe où, ce qui permet aux marchandises transportées de passer à l’échelle globale.

« Les informations sur la provenance, les conditions de travail et l’impact sur l’environnement sont difficiles à gérer lorsque l’objectif de votre système est simplement de fournir et d’assembler des produits rapidement. « Vous pouvez imaginer une manière différente de faire les choses, de sorte que vous sachiez tout cela », explique Russell, « afin que votre regard soit plus immersif et continu. Mais ce que cela fait, c’est inhiber l’échelle ». Et l’échelle, bien sûr, est la clé d’une économie mondialisée. »

Pour Miriam Posner, le passage à l’échelle – la fameuse scalabilité – explique pourquoi les branches d’un réseau d’approvisionnement disparaissent. Cela aide également à expliquer pourquoi la syndicalisation transnationale a été si difficile : pour répondre aux demandes du marché, les ateliers ont appris à se rendre interchangeables. Un peu comme si « nous avions assimilé les leçons de la modularité d’une manière psychologique ».

La traçabilité de bout en bout ! Mais pour quelle transparence ?

Reste à savoir si la technologie peut remédier au problème qu’elle a créé. Miriam Posner constate que l’internet des objets et la blockchain sont deux technologies qui ont reçu beaucoup d’engouements chez les praticiens des systèmes de gestion de la chaîne d’approvisionnement.

La première permet de localiser et tracer les composants alors que la seconde permet d’y attacher un numéro d’identification et un journal qui enregistre chaque fois qu’une fourniture change de main. Leurs partisans affirment que ces technologies pourraient apporter une transparence radicale aux chaînes d’approvisionnement mondiales. Le problème est que l’une comme l’autre peuvent vite être vidées de leurs sens si elles ne sont qu’une chaîne d’enregistrement de prestataires, sans informations sur leurs pratiques. Et ni l’une ni l’autre ne résolvent les problèmes liés à la transformation de produits. Pour Bonanni, elles ne résolvent pas non plus le manque de visibilité : quand tout le monde est incité à agir toujours plus rapidement et efficacement, il est difficile d’imaginer qui sera chargé de fournir plus d’informations que nécessaire. Si ces technologies pourraient certes fournir des informations détaillées sur les conditions de travail et le respect des normes de sécurité, il reste difficile de croire que l’internet des objets et la blockchain, qui sont surtout des objets techniques visant à accroître l’efficacité, le contrôle, la rapidité et la sécurité des informations puissent devenir demain des moyens pour s’assurer de chaînes d’approvisionnement socialement responsables.

Dans le domaine de la gestion des chaînes d’approvisionnement, l’autre technologie source d’innovation, c’est bien sûr l’apprentissage automatique, via des algorithmes capables de faire de meilleures prévisions et de prendre des décisions. Appliqué à la chaîne logistique, le machine learning pourrait aider à déterminer les fournisseurs et les itinéraires qui livreront les marchandises de la manière la plus rapide et la plus fiable. Les algorithmes pourraient prédire les performances des fournisseurs et des transporteurs, en leur attribuant des scores de risques selon l’historique de leurs résultats. Et demain, les réseaux d’approvisionnement pourraient se reconfigurer automatiquement, de manière dynamique, selon cette évaluation de risques… Pas sûr que cette piste améliore la cécité collective des outils, pointe Posner. Pas sûr non plus qu’elle soit si accessible quand déjà les données utilisées ne savent pas grand-chose de la qualité des fournisseurs.

En fait, ces technologies nous montrent que les spécialistes de la gestion de la chaîne logistique ne parlent pas de la même transparence ou de la même visibilité que le consommateur final. La transparence de la chaîne logistique ne vise pas à aider à comprendre d’où vient un produit, mais vise à améliorer son efficacité : diminuer le coût tout en maximisant la rapidité.

Quel levier pour transformer l’approvisionnement ?

Les défis politiques pour transformer ces constats sont immenses, conclut Miriam Posner. En l’absence de véritables efforts pour créer un contrôle démocratique des chaînes d’approvisionnement, nous en sommes venus à les considérer comme fonctionnant de manière autonome – davantage comme des forces naturelles que des forces que nous avons créées nous-mêmes.

En 2014, le Guardian a signalé que des migrants birmans travaillaient dans des conditions qui tenaient de l’esclavagisme à bord de crevettiers au large des côtes thaïlandaises. Pour un importateur de crevettes, l’esclavagisme semblait un symptôme plus qu’une cause des modalités d’approvisionnement elles-mêmes. Et effectivement, il est possible d’avoir une chaîne d’approvisionnement parfaitement efficace, mais également parfaitement ignorante des conditions de travail qu’elle implique.

Reste que nous avons construit les réseaux décentralisés tels qu’ils opèrent, rappelle la chercheuse. L’anthropologue Anna Tsing dans ses travaux sur la chaîne d’approvisionnement souligne que Walmart par exemple exige un contrôle parfait sur certains aspects de sa chaîne d’approvisionnement : notamment sur les prix et les délais de livraison, et ce au détriment d’autres aspects comme les pratiques de travail. L’absence d’information sur certains aspects de la chaîne d’approvisionnement est profondément liée à un système conçu pour s’adapter à la variété de produits que nous produisons et à la rapidité avec lesquelles nous les produisons. Et cette absence d’information est intégrée dans les logiciels mêmes qui produisent la mondialisation. Exiger une chaîne logistique plus transparente et plus juste nécessite d’intégrer des informations que peu d’entreprises souhaitent utiliser, notamment parce que par nature, elles remettent en question les paradigmes de l’efficacité et de la scalabilité qui les font fonctionner.

Hubert Guillaud

Cet article a été publié originellement sur InternetActu.net, le 17 mars 2019.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

Privatisation partout, justice nulle part

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Coincés dans les tuyaux

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Coincés dans les plateformes

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Coincés dans les profits !

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter l’alternet !

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

Privatisation partout, justice nulle part

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Coincés dans les tuyaux

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Coincés dans les plateformes

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Coincés dans les profits !

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter l’alternet !

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

“Plus de technologie signifie d’abord moins de démocratie”

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

4 stratégies pour améliorer la gouvernance des systèmes

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

• Élargir la participation des parties prenantes
• Renforcer la transparence
• Améliorer la prévision d’impact des systèmes
• Assurer l’audit en continu

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

Une histoire algorithmique exemplaire : affecter des reins à ceux qui en ont besoin

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

De l’introduction des questions éthiques

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

Un algorithme, mais sûr quels critères ?

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Des critères qui évoluent avec la science et le débat public

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

L’utilité contre l’équité : l’efficacité en question

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

La lente déprise géographique

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Le scoring en ses limites

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Faire mieux

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Gérer la pénurie pour l’accélérer… et faire semblant d’arbitrer

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

Participer c’est transformer

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Le risque d’une anesthésie morale par les chiffres

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

“Plus de technologie signifie d’abord moins de démocratie”

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

4 stratégies pour améliorer la gouvernance des systèmes

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

• Élargir la participation des parties prenantes
• Renforcer la transparence
• Améliorer la prévision d’impact des systèmes
• Assurer l’audit en continu

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

Une histoire algorithmique exemplaire : affecter des reins à ceux qui en ont besoin

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

De l’introduction des questions éthiques

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

Un algorithme, mais sûr quels critères ?

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Des critères qui évoluent avec la science et le débat public

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

L’utilité contre l’équité : l’efficacité en question

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

La lente déprise géographique

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Le scoring en ses limites

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Faire mieux

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Gérer la pénurie pour l’accélérer… et faire semblant d’arbitrer

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

Participer c’est transformer

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Le risque d’une anesthésie morale par les chiffres

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action. 

Opacité et défaillance généralisée

En 2020 déjà, la grande association européenne de défense des droits numériques, Algorithm Watch, expliquait dans un rapport que ces systèmes se généralisaient dans la plus grande opacité. Alors que le calcul est partout, l’association soulignait que si ces déploiements pouvaient être utiles, très peu de cas montraient de « manière convaincante un impact positif ». La plupart des systèmes de décision automatisés mettent les gens en danger plus qu’ils ne les protègent, disait déjà l’association.

Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.

Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.

Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher. 

A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder. 

3 problèmes récurrents

S’il est difficile de faire un constat global sur les défaillances spécifiques de tous les systèmes automatisés, qu’ils s’appliquent à la santé, l’éducation, le social ou l’économie, on peut néanmoins noter 3 problèmes récurrents. 

Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. Dans les systèmes bancaires par exemple, comme l’a montré une belle enquête de l’AFP et d’Algorithm Watch, certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.

Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.

Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit. 

Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. Alors que, si ces erreurs ne sont pas un problème pour les structures qui les produisent, elles le sont pour les individus qui voient leurs comptes clôturés, sans raison et avec peu de possibilités de recours. Il est nécessaire pourtant que les taux de risques détectés restent proportionnels aux taux effectifs de condamnation, afin que les niveaux de réduction des risques ne soient pas portés par les individus.

Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…

Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. D’où l’importance de mettre en place un ratio d’impact sur les différents groupes démographiques et des taux de faux positifs pour limiter leur explosion. La justesse des calculs doit être améliorée.

Pour cela, il est nécessaire de mieux contrôler le taux de détection des outils et de trouver les modalités pour que ces taux ne soient pas disproportionnés. Sans cela, on le comprend, la maltraitance institutionnelle que dénonce ATD Quart Monde est en roue libre dans les systèmes, quels qu’ils soient.

Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.

A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. Dans la plateforme dématérialisée pour les demandes de titres de séjour dont le Défenseur des droits pointait les lacunes dans un récent rapport, les usagers ne peuvent pas signaler un changement de lieu de résidence quand une demande est en cours.

Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. Outre les explications lacunaires des services, les possibilités de recours sont réduites quand elles devraient être augmentées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir. 

Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. Ces difficultés nécessitent de mieux faire valoir les droits d’opposition des calculés. La prise en compte d’innombrables données pour produire des calculs toujours plus granulaires, pour atténuer les risques, produit surtout des faux positifs et une complexité de plus en plus problématique pour les usagers. 

Responsabiliser les calculs du social

Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. 

Renforcer le contrôle des systèmes, notamment mesurer leur ratio d’impact et les taux de faux positifs. Améliorer les droits de recours des usagers, notamment quand ces systèmes les ciblent et les désignent. Et surtout, améliorer la participation des publics aux calculs, comme nous y invitent le récent rapport du Défenseur des droits sur la dématérialisation et les algorithmes publics. 

A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées.

On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. 

Hubert Guillaud

Cet édito a été publié originellement sous forme de tribune pour le Club de Mediapart, le 4 avril 2025 à l’occasion de la publication du livre, Les algorithmes contre la société aux éditions La Fabrique.

Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action. 

Opacité et défaillance généralisée

En 2020 déjà, la grande association européenne de défense des droits numériques, Algorithm Watch, expliquait dans un rapport que ces systèmes se généralisaient dans la plus grande opacité. Alors que le calcul est partout, l’association soulignait que si ces déploiements pouvaient être utiles, très peu de cas montraient de « manière convaincante un impact positif ». La plupart des systèmes de décision automatisés mettent les gens en danger plus qu’ils ne les protègent, disait déjà l’association.

Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.

Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.

Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher. 

A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder. 

3 problèmes récurrents

S’il est difficile de faire un constat global sur les défaillances spécifiques de tous les systèmes automatisés, qu’ils s’appliquent à la santé, l’éducation, le social ou l’économie, on peut néanmoins noter 3 problèmes récurrents. 

Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. Dans les systèmes bancaires par exemple, comme l’a montré une belle enquête de l’AFP et d’Algorithm Watch, certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.

Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.

Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit. 

Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. Alors que, si ces erreurs ne sont pas un problème pour les structures qui les produisent, elles le sont pour les individus qui voient leurs comptes clôturés, sans raison et avec peu de possibilités de recours. Il est nécessaire pourtant que les taux de risques détectés restent proportionnels aux taux effectifs de condamnation, afin que les niveaux de réduction des risques ne soient pas portés par les individus.

Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…

Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. D’où l’importance de mettre en place un ratio d’impact sur les différents groupes démographiques et des taux de faux positifs pour limiter leur explosion. La justesse des calculs doit être améliorée.

Pour cela, il est nécessaire de mieux contrôler le taux de détection des outils et de trouver les modalités pour que ces taux ne soient pas disproportionnés. Sans cela, on le comprend, la maltraitance institutionnelle que dénonce ATD Quart Monde est en roue libre dans les systèmes, quels qu’ils soient.

Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.

A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. Dans la plateforme dématérialisée pour les demandes de titres de séjour dont le Défenseur des droits pointait les lacunes dans un récent rapport, les usagers ne peuvent pas signaler un changement de lieu de résidence quand une demande est en cours.

Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. Outre les explications lacunaires des services, les possibilités de recours sont réduites quand elles devraient être augmentées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir. 

Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. Ces difficultés nécessitent de mieux faire valoir les droits d’opposition des calculés. La prise en compte d’innombrables données pour produire des calculs toujours plus granulaires, pour atténuer les risques, produit surtout des faux positifs et une complexité de plus en plus problématique pour les usagers. 

Responsabiliser les calculs du social

Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. 

Renforcer le contrôle des systèmes, notamment mesurer leur ratio d’impact et les taux de faux positifs. Améliorer les droits de recours des usagers, notamment quand ces systèmes les ciblent et les désignent. Et surtout, améliorer la participation des publics aux calculs, comme nous y invitent le récent rapport du Défenseur des droits sur la dématérialisation et les algorithmes publics. 

A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées.

On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. 

Hubert Guillaud

Cet édito a été publié originellement sous forme de tribune pour le Club de Mediapart, le 4 avril 2025 à l’occasion de la publication du livre, Les algorithmes contre la société aux éditions La Fabrique.