C’est une formidable histoire que raconte le Code du numérique. Un livre édité par les Habitant.es des images ASBL et la Cellule pour la réduction des inégalités sociales et de la lutte contre la pauvreté de Bruxelles. Ce livre est le résultat de trois années d’action nées des difficultés qu’ont éprouvé les plus démunis à accéder à leurs droits durant la pandémie. En réaction à la fermeture des guichets d’aide sociale pendant la crise Covid, des militants du secteur social belge ont lancé un groupe de travail pour visibiliser le vécu collectif des souffrances individuelles des plus précaires face au déploiement du numérique, donnant naissance au Comité humain du numérique. “La digitalisation de la société n’a pas entraîné une amélioration généralisée des compétences numériques”, rappelle le Comité en s’appuyant sur le baromètre de l’inclusion numérique belge. 

Le Comité humain du numérique s’installe alors dans les quartiers et, avec les habitants, décide d’écrire un Code de loi : “Puisque l’Etat ne nous protège pas, écrivons les lois à sa place”. Rejoints par d’autres collectifs, le Comité humain se met à écrire la loi avec les habitants, depuis les témoignages de ceux qui n’arrivent pas à accomplir les démarches qu’on leur demande. Manifestations, séances d’écriture publique, délibérations publiques, parlement de rues… Le Comité implique les habitants, notamment contre l’ordonnance Bruxelles numérique qui veut rendre obligatoire les services publics digitalisés, sans garantir le maintien des guichets humains et rejoint la mobilisation coordonnée par le collectif Lire et écrire et plus de 200 associations. Devant le Parlement belge, le Comité humain organise des parlements humains de rue pour réclamer des guichets ! Suite à leur action, l’ordonnance Bruxelles numérique est amendée d’un nouvel article qui détermine des obligations pour les administrations à prévoir un accès par guichet, téléphone et voie postale – mais prévoit néanmoins la possibilité de s’en passer si les charges sont disproportionnées. Le collectif œuvre désormais à attaquer l’ordonnance devant la cour constitutionnelle belge et continue sa lutte pour refuser l’obligation au numérique.

Mais l’essentiel n’est pas que dans la victoire à venir, mais bien dans la force de la mobilisation et des propositions réalisées. Le Code du numérique ce sont d’abord 8 articles de lois amendés et discutés par des centaines d’habitants. L’article 1er rappelle que tous les services publics doivent proposer un accompagnement humain. Il rappelle que “si un robot ne nous comprend pas, ce n’est pas nous le problème”. Que cet accès doit être sans condition, c’est-à-dire gratuit, avec des temps d’attente limités, “sans rendez-vous”, sans obligation de maîtrise de la langue ou de l’écriture. Que l’accompagnement humain est un droit. Que ce coût ne doit pas reposer sur d’autres, que ce soit les proches, les enfants, les aidants ou les travailleurs sociaux. Que l’Etat doit veiller à cette accessibilité humaine et qu’il doit proposer aux citoyen.nes des procédures gratuites pour faire valoir leurs droits. L’article 2 rappelle que c’est à l’Etat d’évaluer l’utilité et l’efficacité des nouveaux outils numériques qu’il met en place : qu’ils doivent aider les citoyens et pas seulement les contrôler. Que cette évaluation doit associer les utilisateurs, que leurs impacts doivent être contrôlés, limités et non centralisés. L’article 3 rappelle que l’Etat doit créer ses propres outils et que les démarches administratives ne peuvent pas impliquer le recours à un service privé. L’article 4 suggère de bâtir des alternatives aux solutions numériques qu’on nous impose. L’article 5 suggère que leur utilisation doit être contrainte et restreinte, notamment selon les lieux ou les âges et souligne que l’apprentissage comme l’interaction entre parents et écoles ne peut être conditionnée par des outils numériques. L’article 6 en appelle à la création d’un label rendant visible le niveau de dangerosité physique ou mentale des outils, avec des possibilités de signalement simples. L’article 7 milite pour un droit à pouvoir se déconnecter sans se justifier. Enfin, l’article 8 plaide pour une protection des compétences humaines et de la rencontre physique, notamment dans le cadre de l’accès aux soins. “Tout employé.e/étudiant.e/patient.e/client.e a le droit d’exiger de rencontrer en face à face un responsable sur un lieu physique”. L’introduction de nouveaux outils numériques doit être développée et validée par ceux qui devront l’utiliser.

Derrière ces propositions de lois, simples, essentielles… la vraie richesse du travail du Comité humain du numérique est de proposer, de donner à lire un recueil de paroles qu’on n’entend nulle part. Les propos des habitants, des individus confrontés à la transformation numérique du monde, permettent de faire entendre des voix qui ne parviennent plus aux oreilles des concepteurs du monde. Des paroles simples et fortes. Georges : “Ce que je demanderai aux politiciens ? C’est de nous protéger de tout ça.” Anthony : “Internet devait être une plateforme et pas une vie secondaire”. Nora : “En tant qu’assistante sociale, le numérique me surresponsabilise et rend le public surdépendant de moi. Je suis le dernier maillon de la chaîne, l’échec social passe par moi. Je le matérialise”. Amina : “Je ne sais pas lire, je ne sais pas écrire. Mais je sais parler. Le numérique ne me laisse pas parler”. Aïssatou : “Maintenant tout est trop difficile. S’entraider c’est la vie. Avec le numérique il n’y a plus personne pour aider”. Khalid : “Qu’est-ce qui se passe pour les personnes qui n’ont pas d’enfant pour les aider ?” Elise : “Comment s’assurer qu’il n’y a pas de discrimination ?” Roger : “Le numérique est utilisé pour décourager les démarches”, puisque bien souvent on ne peut même pas répondre à un courriel. AnaÎs : “Il y a plein d’infos qui ne sont pas numérisées, car elles n’entrent pas dans les cases. La passation d’information est devenue très difficile”… Le Code du numérique nous “redonne à entendre les discours provenant des classes populaires”, comme nous y invitait le chercheur David Gaborieau dans le rapport “IA : la voie citoyenne”.

Le Code du numérique nous rappelle que désormais, les institutions s’invitent chez nous, dans nos salons, dans nos lits. Il rappelle que l’accompagnement humain sera toujours nécessaire pour presque la moitié de la population. Que “l’aide au remplissage” des documents administratifs ne peut pas s’arrêter derrière un téléphone qui sonne dans le vide. Que “la digitalisation des services publics et privés donne encore plus de pouvoir aux institutions face aux individus”. Que beaucoup de situations n’entreront jamais dans les “cases” prédéfinies.Le Code du numérique n’est pas qu’une expérience spécifique et située, rappellent ses porteurs. “Il est là pour que vous vous en empariez”. Les lois proposées sont faites pour être débattues, modifiées, amendées, adaptées. Les auteurs ont créé un jeu de cartes pour permettre à d’autres d’organiser un Parlement humain du numérique. Il détaille également comment créer son propre Comité humain, invite à écrire ses propres lois depuis le recueil de témoignages des usagers, en ouvrant le débat, en écrivant soi-même son Code, ses lois, à organiser son parlement et documente nombre de méthodes et d’outils pour interpeller, mobiliser, intégrer les contributions. Bref, il invite à ce que bien d’autres Code du numérique essaiment, en Belgique et bien au-delà ! A chacun de s’en emparer.

Cet article a été publié originellement pour la lettre d’information du Conseil national du numérique du 23 mai 2025.

C’est une formidable histoire que raconte le Code du numérique. Un livre édité par les Habitant.es des images ASBL et la Cellule pour la réduction des inégalités sociales et de la lutte contre la pauvreté de Bruxelles. Ce livre est le résultat de trois années d’action nées des difficultés qu’ont éprouvé les plus démunis à accéder à leurs droits durant la pandémie. En réaction à la fermeture des guichets d’aide sociale pendant la crise Covid, des militants du secteur social belge ont lancé un groupe de travail pour visibiliser le vécu collectif des souffrances individuelles des plus précaires face au déploiement du numérique, donnant naissance au Comité humain du numérique. “La digitalisation de la société n’a pas entraîné une amélioration généralisée des compétences numériques”, rappelle le Comité en s’appuyant sur le baromètre de l’inclusion numérique belge. 

Le Comité humain du numérique s’installe alors dans les quartiers et, avec les habitants, décide d’écrire un Code de loi : “Puisque l’Etat ne nous protège pas, écrivons les lois à sa place”. Rejoints par d’autres collectifs, le Comité humain se met à écrire la loi avec les habitants, depuis les témoignages de ceux qui n’arrivent pas à accomplir les démarches qu’on leur demande. Manifestations, séances d’écriture publique, délibérations publiques, parlement de rues… Le Comité implique les habitants, notamment contre l’ordonnance Bruxelles numérique qui veut rendre obligatoire les services publics digitalisés, sans garantir le maintien des guichets humains et rejoint la mobilisation coordonnée par le collectif Lire et écrire et plus de 200 associations. Devant le Parlement belge, le Comité humain organise des parlements humains de rue pour réclamer des guichets ! Suite à leur action, l’ordonnance Bruxelles numérique est amendée d’un nouvel article qui détermine des obligations pour les administrations à prévoir un accès par guichet, téléphone et voie postale – mais prévoit néanmoins la possibilité de s’en passer si les charges sont disproportionnées. Le collectif œuvre désormais à attaquer l’ordonnance devant la cour constitutionnelle belge et continue sa lutte pour refuser l’obligation au numérique.

Mais l’essentiel n’est pas que dans la victoire à venir, mais bien dans la force de la mobilisation et des propositions réalisées. Le Code du numérique ce sont d’abord 8 articles de lois amendés et discutés par des centaines d’habitants. L’article 1er rappelle que tous les services publics doivent proposer un accompagnement humain. Il rappelle que “si un robot ne nous comprend pas, ce n’est pas nous le problème”. Que cet accès doit être sans condition, c’est-à-dire gratuit, avec des temps d’attente limités, “sans rendez-vous”, sans obligation de maîtrise de la langue ou de l’écriture. Que l’accompagnement humain est un droit. Que ce coût ne doit pas reposer sur d’autres, que ce soit les proches, les enfants, les aidants ou les travailleurs sociaux. Que l’Etat doit veiller à cette accessibilité humaine et qu’il doit proposer aux citoyen.nes des procédures gratuites pour faire valoir leurs droits. L’article 2 rappelle que c’est à l’Etat d’évaluer l’utilité et l’efficacité des nouveaux outils numériques qu’il met en place : qu’ils doivent aider les citoyens et pas seulement les contrôler. Que cette évaluation doit associer les utilisateurs, que leurs impacts doivent être contrôlés, limités et non centralisés. L’article 3 rappelle que l’Etat doit créer ses propres outils et que les démarches administratives ne peuvent pas impliquer le recours à un service privé. L’article 4 suggère de bâtir des alternatives aux solutions numériques qu’on nous impose. L’article 5 suggère que leur utilisation doit être contrainte et restreinte, notamment selon les lieux ou les âges et souligne que l’apprentissage comme l’interaction entre parents et écoles ne peut être conditionnée par des outils numériques. L’article 6 en appelle à la création d’un label rendant visible le niveau de dangerosité physique ou mentale des outils, avec des possibilités de signalement simples. L’article 7 milite pour un droit à pouvoir se déconnecter sans se justifier. Enfin, l’article 8 plaide pour une protection des compétences humaines et de la rencontre physique, notamment dans le cadre de l’accès aux soins. “Tout employé.e/étudiant.e/patient.e/client.e a le droit d’exiger de rencontrer en face à face un responsable sur un lieu physique”. L’introduction de nouveaux outils numériques doit être développée et validée par ceux qui devront l’utiliser.

Derrière ces propositions de lois, simples, essentielles… la vraie richesse du travail du Comité humain du numérique est de proposer, de donner à lire un recueil de paroles qu’on n’entend nulle part. Les propos des habitants, des individus confrontés à la transformation numérique du monde, permettent de faire entendre des voix qui ne parviennent plus aux oreilles des concepteurs du monde. Des paroles simples et fortes. Georges : “Ce que je demanderai aux politiciens ? C’est de nous protéger de tout ça.” Anthony : “Internet devait être une plateforme et pas une vie secondaire”. Nora : “En tant qu’assistante sociale, le numérique me surresponsabilise et rend le public surdépendant de moi. Je suis le dernier maillon de la chaîne, l’échec social passe par moi. Je le matérialise”. Amina : “Je ne sais pas lire, je ne sais pas écrire. Mais je sais parler. Le numérique ne me laisse pas parler”. Aïssatou : “Maintenant tout est trop difficile. S’entraider c’est la vie. Avec le numérique il n’y a plus personne pour aider”. Khalid : “Qu’est-ce qui se passe pour les personnes qui n’ont pas d’enfant pour les aider ?” Elise : “Comment s’assurer qu’il n’y a pas de discrimination ?” Roger : “Le numérique est utilisé pour décourager les démarches”, puisque bien souvent on ne peut même pas répondre à un courriel. AnaÎs : “Il y a plein d’infos qui ne sont pas numérisées, car elles n’entrent pas dans les cases. La passation d’information est devenue très difficile”… Le Code du numérique nous “redonne à entendre les discours provenant des classes populaires”, comme nous y invitait le chercheur David Gaborieau dans le rapport “IA : la voie citoyenne”.

Le Code du numérique nous rappelle que désormais, les institutions s’invitent chez nous, dans nos salons, dans nos lits. Il rappelle que l’accompagnement humain sera toujours nécessaire pour presque la moitié de la population. Que “l’aide au remplissage” des documents administratifs ne peut pas s’arrêter derrière un téléphone qui sonne dans le vide. Que “la digitalisation des services publics et privés donne encore plus de pouvoir aux institutions face aux individus”. Que beaucoup de situations n’entreront jamais dans les “cases” prédéfinies.Le Code du numérique n’est pas qu’une expérience spécifique et située, rappellent ses porteurs. “Il est là pour que vous vous en empariez”. Les lois proposées sont faites pour être débattues, modifiées, amendées, adaptées. Les auteurs ont créé un jeu de cartes pour permettre à d’autres d’organiser un Parlement humain du numérique. Il détaille également comment créer son propre Comité humain, invite à écrire ses propres lois depuis le recueil de témoignages des usagers, en ouvrant le débat, en écrivant soi-même son Code, ses lois, à organiser son parlement et documente nombre de méthodes et d’outils pour interpeller, mobiliser, intégrer les contributions. Bref, il invite à ce que bien d’autres Code du numérique essaiment, en Belgique et bien au-delà ! A chacun de s’en emparer.

Cet article a été publié originellement pour la lettre d’information du Conseil national du numérique du 23 mai 2025.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

Privatisation partout, justice nulle part

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Coincés dans les tuyaux

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Coincés dans les plateformes

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Coincés dans les profits !

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter l’alternet !

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

Privatisation partout, justice nulle part

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Coincés dans les tuyaux

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Coincés dans les plateformes

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Coincés dans les profits !

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter l’alternet !

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

“Plus de technologie signifie d’abord moins de démocratie”

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

4 stratégies pour améliorer la gouvernance des systèmes

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

• Élargir la participation des parties prenantes
• Renforcer la transparence
• Améliorer la prévision d’impact des systèmes
• Assurer l’audit en continu

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

Une histoire algorithmique exemplaire : affecter des reins à ceux qui en ont besoin

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

De l’introduction des questions éthiques

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

Un algorithme, mais sûr quels critères ?

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Des critères qui évoluent avec la science et le débat public

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

L’utilité contre l’équité : l’efficacité en question

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

La lente déprise géographique

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Le scoring en ses limites

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Faire mieux

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Gérer la pénurie pour l’accélérer… et faire semblant d’arbitrer

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

Participer c’est transformer

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Le risque d’une anesthésie morale par les chiffres

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

“Plus de technologie signifie d’abord moins de démocratie”

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

4 stratégies pour améliorer la gouvernance des systèmes

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

• Élargir la participation des parties prenantes
• Renforcer la transparence
• Améliorer la prévision d’impact des systèmes
• Assurer l’audit en continu

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

Une histoire algorithmique exemplaire : affecter des reins à ceux qui en ont besoin

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

De l’introduction des questions éthiques

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

Un algorithme, mais sûr quels critères ?

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Des critères qui évoluent avec la science et le débat public

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

L’utilité contre l’équité : l’efficacité en question

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

La lente déprise géographique

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Le scoring en ses limites

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Faire mieux

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Gérer la pénurie pour l’accélérer… et faire semblant d’arbitrer

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

Participer c’est transformer

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Le risque d’une anesthésie morale par les chiffres

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

Pour TechPolicy Press, le consultant Jonathan van Geuns se moque de l’illusion de la participation dont s’est paré le Sommet pour l’action sur l’IA parisien. « La gouvernance de l’IA aujourd’hui n’est qu’une vaste mise en scène, un théâtre parisien où les acteurs – dirigeants d’entreprises, politiques et technocrates – déclament d’une voix posée leur discours sur la responsabilité, créant l’illusion d’une décision collective ». En réalité, les mécanismes de gouvernance restent imperméables aux voix qu’ils prétendent intégrer. Entreprises, ONG et gouvernements ont bien compris l’efficacité d’un engagement de façade. Les comités d’éthique sur l’IA, les tables rondes des parties prenantes, les forums publics ne sont pas les fondements d’une démocratie mais son simulacre. Simulacre d’inclusion où la contestation est réduite à son expression la plus polie. Ces dispositifs « créent l’illusion d’un contrôle démocratique tout en permettant à ceux qui les mettent en œuvre, de garder la mainmise sur les résultats ». Ce n’est pas de la gouvernance, seulement un décor.

Pour que les audits et les évaluations modifient réellement les rapports de force, ils doivent d’abord s’extraire du carcan d’opacité qui les enserre. « Actuellement, ces processus servent davantage à absorber qu’à transformer : ils recueillent les critiques, les diluent en rapports inoffensifs, puis les présentent comme preuve qu’une action a été menée. Ils fonctionnent comme des vitrines de l’engagement, invitant le public à admirer les mécanismes complexes de la gouvernance de l’IA tout en préservant les structures de pouvoir existantes de toute remise en cause ».

Les structures mise en place pour contester le pouvoir servent de rempart à la contestation

Le problème n’est pas tant que la participation manque de force, mais que l’écosystème a été conçu pour la neutraliser, sollicitant des critiques tout en gardant le monopole de leur interprétation. « On finance des conseils consultatifs tout en se réservant le droit d’ignorer leurs recommandations. On réunit des comités d’éthique pour les dissoudre dès que ce qu’ils veulent examiner devient gênant. Ce n’est pas un échec de la participation, c’est son détournement. Les structures qui devraient être mises en place pour contester le pouvoir servent finalement de rempart contre sa contestation ».

Cette situation est d’autant plus problématique que nous manquons d’outils structurés pour évaluer si la participation à la gouvernance de l’IA est véritablement significative. On compte le nombre de « parties prenantes » consultées sans mesurer l’impact réel de leurs contributions. On comptabilise les forums organisés sans examiner s’ils ont abouti à des changements concrets. Cette focalisation sur la forme plutôt que sur le fond permet au « participation-washing » de prospérer. Un constat très proche de celui que dressaient Manon Loisel et Nicolas Rio dans leur livre, Pour en finir avec la démocratie participative (Textuel, 2024).

Changer les indicateurs de la participation : mesurer les changements qu’elle produit ! 

Pour Jonathan van Geuns, la participation doit se doter d’un cadre plus rigoureux pour favoriser l’inclusivité, la redistribution du pouvoir, la construction de la confiance, l’impact et la pérennité. Les indicateurs doivent évoluer du procédural vers le structurel. La vraie question n’est pas de savoir si différentes parties prenantes ont été invitées à s’exprimer, « mais de savoir si leur participation a redistribué le pouvoir, modifié les processus décisionnels et engendré des changements concrets ! »

La participation ne peut se réduire à un exercice consultatif où les communautés concernées peuvent exprimer leurs inquiétudes sans avoir le pouvoir d’agir, comme nous le constations dans notre article sur l’absence de tournant participatif de l’IA. Pour van Geuns, « la participation doit être ancrée structurellement, non comme une fonction consultative mais comme une fonction souveraine », comme l’exprimait Thomas Perroud dans son livre, Services publics et communs (Le Bord de l’eau, 2023). Cela pourrait se traduire par des conseils de surveillance publique ayant un droit de veto sur les applications, des organismes de régulation où les représentants disposent d’un réel pouvoir décisionnel, et des mécanismes permettant aux groupes affectés de contester directement les décisions basées sur l’IA ou d’exiger le retrait des systèmes perpétuant des injustices.

« L’audit des systèmes d’IA ne suffit pas ; nous devons pouvoir les démanteler. Les cadres de supervision de l’IA doivent inclure des mécanismes de refus, pas uniquement de contrôle. Quand un audit révèle qu’un algorithme est structurellement discriminatoire, il doit avoir la force juridique de le désactiver. Quand un système nuit de façon disproportionnée aux travailleurs, locataires, réfugiés ou citoyens, ces communautés ne doivent pas seulement être consultées mais avoir le pouvoir d’en stopper le déploiement. La participation ne doit pas se contenter de documenter les préjudices ; elle doit les interrompre. »

En fait, estime le consultant, « la gouvernance de l’IA n’est plus simplement un terrain de contestation mais un exemple flagrant de capture par les entreprises. Les géants de la tech agissent comme des législateurs privés, élaborant les cadres éthiques qui régissent leur propre conduite. Ils prônent l’ouverture tout en protégeant jalousement leurs algorithmes, parlent d’équité tout en brevetant des biais, évoquent la sécurité tout en exportant des technologies de surveillance vers des régimes autoritaires. Dans ce contexte, tout cadre qui n’aborde pas le déséquilibre fondamental des pouvoirs dans le développement et le déploiement de l’IA n’est pas seulement inefficace ; il est complice ». Les audits et évaluations participatifs doivent donc être juridiquement contraignants et viser non seulement à diversifier les contributions mais à redistribuer le contrôle et rééquilibrer les pouvoirs.

« La gouvernance doit être continue, adaptative et structurellement résistante à l’inertie et au désintérêt, en garantissant que les communautés restent impliquées dans les décisions tout au long du cycle de vie d’un système d’IA. Cela implique également la mise en place de financements pérennes et de mandats légaux pour les structures participatives ».

« La crise de la gouvernance de l’IA ne se limite pas à des systèmes d’IA défectueux. Elle révèle la mainmise des entreprises sur les processus de gouvernance. L’enjeu n’est pas simplement d’accroître la participation, mais de s’assurer qu’elle conduise à une véritable redistribution du pouvoir. Sans cadres d’évaluation solides, mécanismes d’application clairs et remise en question fondamentale de ceux qui définissent les priorités de la gouvernance de l’IA, la participation restera une vitrine vide, conçue pour afficher une transparence et une responsabilité de façade tout en préservant les structures mêmes qui perpétuent les inégalités ».

Pour TechPolicy Press, le consultant Jonathan van Geuns se moque de l’illusion de la participation dont s’est paré le Sommet pour l’action sur l’IA parisien. « La gouvernance de l’IA aujourd’hui n’est qu’une vaste mise en scène, un théâtre parisien où les acteurs – dirigeants d’entreprises, politiques et technocrates – déclament d’une voix posée leur discours sur la responsabilité, créant l’illusion d’une décision collective ». En réalité, les mécanismes de gouvernance restent imperméables aux voix qu’ils prétendent intégrer. Entreprises, ONG et gouvernements ont bien compris l’efficacité d’un engagement de façade. Les comités d’éthique sur l’IA, les tables rondes des parties prenantes, les forums publics ne sont pas les fondements d’une démocratie mais son simulacre. Simulacre d’inclusion où la contestation est réduite à son expression la plus polie. Ces dispositifs « créent l’illusion d’un contrôle démocratique tout en permettant à ceux qui les mettent en œuvre, de garder la mainmise sur les résultats ». Ce n’est pas de la gouvernance, seulement un décor.

Pour que les audits et les évaluations modifient réellement les rapports de force, ils doivent d’abord s’extraire du carcan d’opacité qui les enserre. « Actuellement, ces processus servent davantage à absorber qu’à transformer : ils recueillent les critiques, les diluent en rapports inoffensifs, puis les présentent comme preuve qu’une action a été menée. Ils fonctionnent comme des vitrines de l’engagement, invitant le public à admirer les mécanismes complexes de la gouvernance de l’IA tout en préservant les structures de pouvoir existantes de toute remise en cause ».

Les structures mise en place pour contester le pouvoir servent de rempart à la contestation

Le problème n’est pas tant que la participation manque de force, mais que l’écosystème a été conçu pour la neutraliser, sollicitant des critiques tout en gardant le monopole de leur interprétation. « On finance des conseils consultatifs tout en se réservant le droit d’ignorer leurs recommandations. On réunit des comités d’éthique pour les dissoudre dès que ce qu’ils veulent examiner devient gênant. Ce n’est pas un échec de la participation, c’est son détournement. Les structures qui devraient être mises en place pour contester le pouvoir servent finalement de rempart contre sa contestation ».

Cette situation est d’autant plus problématique que nous manquons d’outils structurés pour évaluer si la participation à la gouvernance de l’IA est véritablement significative. On compte le nombre de « parties prenantes » consultées sans mesurer l’impact réel de leurs contributions. On comptabilise les forums organisés sans examiner s’ils ont abouti à des changements concrets. Cette focalisation sur la forme plutôt que sur le fond permet au « participation-washing » de prospérer. Un constat très proche de celui que dressaient Manon Loisel et Nicolas Rio dans leur livre, Pour en finir avec la démocratie participative (Textuel, 2024).

Changer les indicateurs de la participation : mesurer les changements qu’elle produit ! 

Pour Jonathan van Geuns, la participation doit se doter d’un cadre plus rigoureux pour favoriser l’inclusivité, la redistribution du pouvoir, la construction de la confiance, l’impact et la pérennité. Les indicateurs doivent évoluer du procédural vers le structurel. La vraie question n’est pas de savoir si différentes parties prenantes ont été invitées à s’exprimer, « mais de savoir si leur participation a redistribué le pouvoir, modifié les processus décisionnels et engendré des changements concrets ! »

La participation ne peut se réduire à un exercice consultatif où les communautés concernées peuvent exprimer leurs inquiétudes sans avoir le pouvoir d’agir, comme nous le constations dans notre article sur l’absence de tournant participatif de l’IA. Pour van Geuns, « la participation doit être ancrée structurellement, non comme une fonction consultative mais comme une fonction souveraine », comme l’exprimait Thomas Perroud dans son livre, Services publics et communs (Le Bord de l’eau, 2023). Cela pourrait se traduire par des conseils de surveillance publique ayant un droit de veto sur les applications, des organismes de régulation où les représentants disposent d’un réel pouvoir décisionnel, et des mécanismes permettant aux groupes affectés de contester directement les décisions basées sur l’IA ou d’exiger le retrait des systèmes perpétuant des injustices.

« L’audit des systèmes d’IA ne suffit pas ; nous devons pouvoir les démanteler. Les cadres de supervision de l’IA doivent inclure des mécanismes de refus, pas uniquement de contrôle. Quand un audit révèle qu’un algorithme est structurellement discriminatoire, il doit avoir la force juridique de le désactiver. Quand un système nuit de façon disproportionnée aux travailleurs, locataires, réfugiés ou citoyens, ces communautés ne doivent pas seulement être consultées mais avoir le pouvoir d’en stopper le déploiement. La participation ne doit pas se contenter de documenter les préjudices ; elle doit les interrompre. »

En fait, estime le consultant, « la gouvernance de l’IA n’est plus simplement un terrain de contestation mais un exemple flagrant de capture par les entreprises. Les géants de la tech agissent comme des législateurs privés, élaborant les cadres éthiques qui régissent leur propre conduite. Ils prônent l’ouverture tout en protégeant jalousement leurs algorithmes, parlent d’équité tout en brevetant des biais, évoquent la sécurité tout en exportant des technologies de surveillance vers des régimes autoritaires. Dans ce contexte, tout cadre qui n’aborde pas le déséquilibre fondamental des pouvoirs dans le développement et le déploiement de l’IA n’est pas seulement inefficace ; il est complice ». Les audits et évaluations participatifs doivent donc être juridiquement contraignants et viser non seulement à diversifier les contributions mais à redistribuer le contrôle et rééquilibrer les pouvoirs.

« La gouvernance doit être continue, adaptative et structurellement résistante à l’inertie et au désintérêt, en garantissant que les communautés restent impliquées dans les décisions tout au long du cycle de vie d’un système d’IA. Cela implique également la mise en place de financements pérennes et de mandats légaux pour les structures participatives ».

« La crise de la gouvernance de l’IA ne se limite pas à des systèmes d’IA défectueux. Elle révèle la mainmise des entreprises sur les processus de gouvernance. L’enjeu n’est pas simplement d’accroître la participation, mais de s’assurer qu’elle conduise à une véritable redistribution du pouvoir. Sans cadres d’évaluation solides, mécanismes d’application clairs et remise en question fondamentale de ceux qui définissent les priorités de la gouvernance de l’IA, la participation restera une vitrine vide, conçue pour afficher une transparence et une responsabilité de façade tout en préservant les structures mêmes qui perpétuent les inégalités ».