En 2022, David Robinson faisait paraĂźtre « Voices in the Code ». Depuis, on ne sâĂ©tonnera pas quâil soit devenu responsable de la suretĂ© des systĂšmes chez OpenAI. « Voices in the Code » est Ă la fois une enquĂȘte passionnante sur la responsabilitĂ© des systĂšmes et une ode Ă la participation publique, seule Ă mĂȘme dâassurer leur gouvernance. Lecture.
Avec Voices in the Code , David G. Robinson signe un livre important pour nous aider Ă rendre les systĂšmes responsables. Robinson est lâun des directeurs de lâApple University , le centre de formation interne dâApple. Il a surtout Ă©tĂ©, en 2011, le cofondateur dâUpturn , une association amĂ©ricaine qui promeut lâĂ©quitĂ© et la justice dans le design, la gouvernance et lâusage des technologies numĂ©riques. Voices in the code est un livre qui se concentre sur la gestion dâune question technique et une seule, en descendant dans ses trĂ©fonds, Ă la maniĂšre dâune monographie : celle de lâĂ©volution de lâalgorithme dâattribution des greffons de rein aux Etats-Unis. Et cette histoire est riche dâenseignement pour comprendre comment nous devrions gĂ©rer les algorithmes les plus essentiels de nos sociĂ©tĂ©s.
âPlus de technologie signifie dâabord moins de dĂ©mocratieâ
De plus en plus de moments dĂ©cisifs de nos vies sont dĂ©cidĂ©s par des algorithmes : attribution de places dans lâenseignement supĂ©rieur, obtention de crĂ©dit bancaire, emploi, emprisonnement, accĂšs aux services publics⊠DerriĂšre les verdicts opaques des systĂšmes techniques, nous avons tendance Ă penser que leurs enjeux de conception nâest quâune question technique. Ce nâest pas le cas. La mathĂ©maticienne Cathy OâNeil dans Algorithmes, la bombe Ă retardement , nous le disait dĂ©jĂ : les algorithmes sont des opinions embarquĂ©es dans du code. Et le risque est que confrontĂ©s Ă ces systĂšmes nous perdions les valeurs et lâidĂ©al de sociĂ©tĂ© qui devraient les guider. Ces systĂšmes qui produisent des choix moraux et politiques sont souvent difficiles Ă comprendre, peu contrĂŽlĂ©s, sujets aux erreurs. âLes choix Ă©thiques et dĂ©mocratiques pris par ces logiciels sont souvent enterrĂ©s sous une montagne de dĂ©tails techniques qui sont traitĂ©s eux-mĂȘmes comme sâils Ă©taient techniques plus quâĂ©thiquesâ, explique Robinson. Pourtant, les algorithmes nâont aucune raison dâĂȘtre mystĂ©rieux et leurs limites morales devraient ĂȘtre partagĂ©es, notamment pour que nous puissions faire collectivement le travail nĂ©cessaire pour les amĂ©liorer.
Les algorithmes permettent de traiter des donnĂ©es massives et sont particuliĂšrement populaires pour prendre des dĂ©cisions sur les personnes â et notamment les plus dĂ©munies -, parce quâils permettent justement de procĂ©der Ă des traitements de masses tout en rĂ©duisant les coĂ»ts de ces traitements. Cela nâest pas sans consĂ©quences. âTrop souvent, plus de technologie signifie dâabord moins de dĂ©mocratieâ , constate Robinson. Le problĂšme, câest que quand les dĂ©cisions difficiles sont embarquĂ©es dans des logiciels, ces dĂ©cisions sont plus dures Ă comprendre et plus difficiles Ă contrĂŽler. Les logiciels agissent depuis des donnĂ©es toujours imparfaites et la comprĂ©hension de leurs biais et lacunes nâest pas accessible Ă tous. La quantification semble souvent neutre et objective, mais câest surtout un moyen de prendre des dĂ©cisions âsans avoir lâair de dĂ©ciderâ , comme le disait lâhistorien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, lâimplantation dâalgorithmes est le dĂ©cret dâapplication des lois. Le problĂšme, câest que trop souvent, la politique nâest pas assez prĂ©cise, les ingĂ©nieurs comme les administrations avant eux, doivent en produire une interprĂ©tation qui a des consĂ©quences directes sur ceux qui sont affectĂ©s par le calcul. Nos lois et politiques sont remplies dâambiguĂŻtĂ©s. Le risque auquel nous sommes confrontĂ©s câest de laisser dĂ©cider aux ingĂ©nieurs et systĂšmes le rĂŽle de dĂ©finir les frontiĂšres morales des systĂšmes techniques quâils mettent en place.
Le problĂšme, bien souvent, demeure lâaccĂšs aux algorithmes, aux calculs. En 2021, Upturn a publiĂ© une Ă©tude (.pdf) sur 15 grands employeurs amĂ©ricains pour comprendre les technologies quâils utilisaient pour embaucher des candidats, concluant quâil Ă©tait impossible de saisir les biais de leurs pratiques depuis lâextĂ©rieur. Et câest encore plus difficile quand les algorithmes ou leurs rĂ©sultats sont puissamment intriquĂ©s entre eux : avoir un mauvais score de crĂ©dit a des rĂ©percussions bien au-delĂ dâune demande de crĂ©dit (sur ses primes dâassurance ou la possibilitĂ© de candidater Ă certains emplois par exempleâŠ). Nous sommes cernĂ©s par des scores complexes, intriquĂ©s, qui ne nous sont pas expliquĂ©s et qui calculent trop souvent des objets dâune maniĂšre trompeuse, selon une prĂ©tention Ă la connaissance mensongĂšre (Robinson parle de âprĂ©dictions zombiesâ qui mâĂ©voquent les âtechnologies zombiesâ de JosĂ© Halloy ), peu contrĂŽlĂ©s, pas mis Ă jour⊠sans quâon puisse les contester, les rectifier ou mĂȘme ĂȘtre au courant de leur existence. Robinson donne de nombreux exemples dâalgorithmes qui posent problĂšmes, dans le domaine de la justice, de la santĂ©, de lâaide sociale, de lâaffectation dans lâenseignement supĂ©rieurâŠ
âQuand les enjeux sont Ă©levĂ©s, nous devrions construire des systĂšmes qui se trompent rarement et oĂč les erreurs sont faciles Ă trouver et Ă corrigerâ . Ce nâest pas le cas. Trop souvent, les systĂšmes mettent en Ćuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette Ă©lite du code (qui tient Ă©galement beaucoup dâune consultocratie, entre Gafams et grands acteurs du conseil ) dĂ©cide dâenjeux moraux et politiques. Nous sommes confrontĂ©s Ă une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford . Un numĂ©rique industriel profondĂ©ment orientĂ© Ă droite, comme je le rĂ©sume souvent et plus directement. Contrairement Ă ce quâon pourrait penser, dĂ©cider de qui doit prioritairement bĂ©nĂ©ficier dâun organe tient bien plus dâun choix moral que dâun choix mĂ©dical, notamment parce que les diffĂ©rences mĂ©dicales entre les patients qui relĂšvent dâune mĂȘme urgence sont faibles. Trop souvent, le choix moral quâaccomplissent les systĂšmes nâest pas explicite. âNous devons nous inquiĂ©ter de la relation entre le process et le rĂ©sultatâ , explique Robinson. Le problĂšme, câest que bien souvent la conception met en valeur lâun ou lâautre, prĂŽnant la vertu du processus ou la vertu du rĂ©sultat, quand ils devraient surtout se renforcer lâun lâautre plutĂŽt que de sâopposer. Or, souligne Robinson dans son livre, seule la dĂ©libĂ©ration et la participation partout tendent Ă mener Ă de meilleurs rĂ©sultats, permettent de faire se rejoindre le process et le rĂ©sultat.
4 stratégies pour améliorer la gouvernance des systÚmes
Robinson détaille 4 stratégies de gouvernance pour les systÚmes algorithmiques :
Ălargir la participation des parties prenantes
Renforcer la transparence
AmĂ©liorer la prĂ©vision dâimpact des systĂšmes
Assurer lâaudit en continu
La participation des parties prenantes repose sur les techniques dĂ©libĂ©ratives trĂšs documentĂ©es, comme on les trouve dĂ©veloppĂ©es dans les jury ou les confĂ©rences de citoyens : Ă savoir dĂ©livrer une information Ă©quilibrĂ©e, consciente, substantielle, comprĂ©hensible. Câest ce quâon appelle aussi, assez mal, les âcomitĂ©s consultatifsâ communautaires ou Ă©thiques (quâon devrait plutĂŽt appeler il me semble ComitĂ©s de parties prenantes, parce quâils ne devraient pas ĂȘtre seulement consultatifs, mais bien impliquĂ©s dans les dĂ©cisions⊠et parce que leurs fonctions consistent avant tout Ă rassembler autour de la table tous ceux qui sont concernĂ©s, les usagers comme les experts). Ces comitĂ©s chargĂ©s dâinspecter, de contrĂŽler, dâĂ©quilibrer les dĂ©cisions techniques en faisant entendre dâautres voies dans les dĂ©cisions sont encore bien trop rares. Une coalition dâorganisation de dĂ©fense des droits civils a proposĂ© ainsi que les algorithmes dâĂ©valuation de risque de rĂ©cidive utilisĂ©s dans les cours de justice amĂ©ricaines mettent en place ce type de structure pour dĂ©terminer ce qui devrait ĂȘtre pris en compte et rejetĂ© par ces systĂšmes, et on pourrait les imaginer comme des structures obligatoires Ă tout systĂšme Ă fort impact social. Câest le ârien pour nous sans nousâ de ceux qui rĂ©clament dâĂȘtre Ă la table et pas seulement au menu de ce que lâon conçoit pour eux . Le risque bien sĂ»r â et câest dâailleurs la rĂšgle plus que lâexception â câest que ces comitĂ©s soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens quâon nâĂ©coute pas.
La transparence peut prendre bien des formes. La principale Ă lâĆuvre dans les systĂšmes techniques consiste Ă divulguer le code source des systĂšmes. Une solution intĂ©ressante, mais insuffisante, notamment parce quâelle ferme la question Ă lâĂ©lite du code, et surtout que sans donnĂ©es correspondantes, il est difficile dâen faire quelque chose (et câest encore plus vrai avec les systĂšmes dâIA, dont la non-reproductabilitĂ© est le premier Ă©cueil). La transparence doit sâaccompagner dâune documentation et de descriptions plus larges : des donnĂ©es utilisĂ©es comme des logiques de dĂ©cisions suivies, des critĂšres pris en compte et de leurs poids respectifs. Elle doit ĂȘtre âextensiveâ , plaide Robinson (pour ma part, jâajouterai bien dâautres termes, notamment le terme âprojectiveâ , câest-Ă -dire que cette transparence, cette explicabilitĂ©, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le systĂšme doit ĂȘtre dĂ©crit dâune maniĂšre comprĂ©hensible, les changements envisagĂ©s doivent ĂȘtre explicitĂ©s, doivent montrer ce quâils vont changer, et lâensemble doit pouvoir ĂȘtre largement dĂ©battu, car le dĂ©bat fait Ă©galement partie de la transparence attendue.
La prĂ©vision consiste Ă produire des dĂ©clarations dâimpacts qui dĂ©crivent les bĂ©nĂ©fices et risques des modifications envisagĂ©es, Ă©valuĂ©es et chiffrĂ©es. La prĂ©vision consiste Ă montrer les effets concrets, les changements auxquels on souhaite procĂ©der en en montrant clairement leurs impacts, leurs effets. Lâenjeu est bien de prĂ©voir les consĂ©quences afin de pouvoir dĂ©cider depuis les effets attendus. Dans le cas de la transplantation de rein, les Ă©tudes dâimpact sur les modifications de lâalgorithme dâallocation ont permis de voir, trĂšs concrĂštement, les changements attendus, de savoir qui allait ĂȘtre impactĂ©. Lors dâune de ses modifications par exemple, la prĂ©vision â produite par un organisme dĂ©diĂ© et indĂ©pendant, câest important â montrait que les patients ĂągĂ©s recevraient bien moins de transplantation⊠ce qui a conduit Ă rejeter la proposition.
Lâaudit consiste Ă surveiller le systĂšme en usage et Ă produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les amĂ©liorations ou dĂ©tĂ©riorations des systĂšmes. Sous prĂ©textes de vie privĂ©e ou de propriĂ©tĂ©, lâaudit est encore bien trop rarement pratiquĂ©. Bien souvent, pourtant, lâaudit permet dâaccomplir certaines mesures, comme par exemple de mesurer la performances des systĂšmes dâattribution de crĂ©dits sur diffĂ©rents groupes dĂ©mographiques. Dans le domaine de la transplantation rĂ©nale amĂ©ricaine, le Scientific Registry of Transplant Recipients (SRTR) â lâorganisme indĂ©pendant qui publie un rapport annuel dĂ©taillĂ© pour mesurer la performance du systĂšme pour les patients selon des caractĂ©ristiques comme lâĂąge, le genre ou la race â permet de voir les Ă©volutions dans le temps de ces caractĂ©ristiques, et de montrer si le systĂšme sâamĂ©liore ou se dĂ©grade.
Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en Ă©voquant lâexemple dâun outil de prĂ©diction du risque de maltraitance et dâagression dâenfants du comtĂ© dâAllegheny en Pennsylvanie sur lequel avait travaillĂ© Virginia Eubanks dans Automating inequality . La bonne question Ă se poser parfois consiste aussi Ă refuser la construction dâun systĂšme⊠ou de poser la question des moyens. Trop souvent, les systĂšmes algorithmiques visent dâabord et avant tout Ă gĂ©rer la pĂ©nurie quand lâenjeu devrait dâabord consister Ă y remĂ©dier. Trop souvent, leurs dĂ©ploiements visent et produisent de la diminution de personnel et donc amoindrit lâinteraction humaine. Le refus â que dĂ©fendent nombre dâactivistes, comme ceux prĂ©sents Ă la confĂ©rence sur le refus technique organisĂ©e Ă Berkeley en 2020 ou les associations Ă lâorigine du Feminist Data Manifest-No (voir Ă©galement âPour un fĂ©minisme des donnĂ©esâ ) â tient bien souvent, pour certains, du seul levier pour sâopposer Ă des projets par nature toxiques. Face Ă des moyens de discussion et dâĂ©coute rĂ©duits Ă nĂ©ant, lâopposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux dâEubanks ont montrĂ© que la mise en place de systĂšmes numĂ©riques produisent toujours une diminution des droits Ă lâencontre des plus dĂ©munis. Nombre de systĂšmes sociaux mis en place depuis (au Royaume-Uni , aux Pays-Bas , en Autriche , mais Ă©galement en France â ce quâil se passe actuellement autour des systĂšmes mis en place dans les CAF suit les mĂȘmes logiques ) sont en ce sens profondĂ©ment dysfonctionnels. Les biais, les logiques austĂ©ritaires et libĂ©rales qui prĂ©sident au dĂ©ploiement des systĂšmes ne produisent que la dĂ©gradation des systĂšmes sociaux et des services publics (« ce patrimoine de ceux qui nâen ont pas » ), de la justice et de lâĂ©quitĂ© vers lesquels ils ne devraient jamais cesser de tendre. Câest bien lâinverse pourtant auquel on assiste. La numĂ©risation accĂ©lĂ©rĂ©e des services publics, sous prĂ©texte dâĂ©conomie budgĂ©taire, devient un levier de leur dĂ©financement et de la minimisation des droits et empĂȘche les gens dâaccĂ©der Ă leurs droits et aux services . Depuis les travaux dâEubanks, on constate finalement que partout, le dĂ©ploiement de systĂšmes de traitements de masse des bĂ©nĂ©ficiaires dâaides ou de services publics est problĂ©matique, et la cause est autant Ă trouver dans les choix de dĂ©veloppement que dans les considĂ©rations idĂ©ologiques qui prĂ©sident Ă ceux-ci. Partout, le but est de gĂ©rer la pĂ©nurie et de lâĂ©tendre, tout en diminuant les coĂ»ts. Le but nâest pas de faire des services publics qui rendent le service quâon en attend, que de faire des services qui produisent des gains Ă©conomiques, de la rentabilitĂ© . Et de lâaccĂ©lĂ©rer⊠quoi quâil en coĂ»te.
Une histoire algorithmique exemplaire : affecter des reins Ă ceux qui en ont besoin
Dâune maniĂšre un peu dĂ©stabilisante, Robinson ne nous explique pas comment le systĂšme dâattribution dâun greffon rĂ©nal calcule (câest tout de mĂȘme dommage de ne pas sâĂȘtre essayĂ© Ă lâexercice⊠Ainsi par exemple, on finit par comprendre que câest un systĂšme par points qui prĂ©side Ă lâattribution oĂč le but du cĂŽtĂ© du greffon est dâen avoir le moins possible, quand du cĂŽtĂ© du greffĂ©, il est dâen avoir le plus possible). Robinson raconte plutĂŽt la grande histoire de lâĂ©volution de la transplantation rĂ©nale et lâĂ©volution des dĂ©bats Ă©thiques qui lâont accompagnĂ©. Il raconte lâhistoire de la discussion dâun systĂšme technique avec la sociĂ©tĂ© et si cette histoire est exemplaire, ce nâest pas parce que le systĂšme dâattribution, lâalgorithme dâappariement , serait plus vertueux que dâautres (Robinson termine son analyse en montrant que ce nâest pas le cas), mais parce quâil dĂ©montre que ce qui est vertueux câest la mise en discussion â ouverte, organisĂ©e, inclusive⊠â continue entre technique et sociĂ©té⊠MĂȘme quand elle se referme (par exemple quand il Ă©voque la question de la prise en compte des problĂšmes liĂ©s Ă la gĂ©ographie des dons), dâautres moyens permettent de lâouvrir (en lâoccurrence, le recours aux tribunaux). Ce quâil montre, câest que mĂȘme quand les discussions se referment, les questions de justice et dâĂ©quitĂ©, dâĂ©quilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot .
De lâintroduction des questions Ă©thiques
Robinson retrace lâhistoire de la transplantation rĂ©nale en montrant les consĂ©quences Ă©thiques de lâĂ©volution des connaissances mĂ©dicales. Si la premiĂšre tentative de transplantation Ă eu lieu au dĂ©but du XXe siĂšcle, longtemps, la question de lâimmunologie, câest-Ă -dire de lâacceptation dâun organe Ă©tranger dans le corps est restĂ©e obscure Ă la science. La premiĂšre transplantation de rein rĂ©ussie date de 1954 seulement, et elle Ă©tait entre deux parfaits jumeaux, qui semblait la seule condition Ă la rĂ©ussite de lâopĂ©ration. A dĂ©faut de transplantation, la mĂ©decine a progressĂ© sur un autre front, la dialyse, câest-Ă -dire le fait de faire filtrer les toxines dâun patient non pas par un rein, mais par une machine, ce quâon est parvenu Ă faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathĂ©ter qui va permettre de prolonger la durĂ©e dâun patient sous dialyse (qui nâĂ©tait que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problĂšme Ă©thique chronique : comment trier les patients, Ă une Ă©poque oĂč les appareils de dialyse sont encore extrĂȘmement rares et coĂ»teux ? Face Ă lâafflux des demandes, Scribner va avoir lâintuition de mettre en place un systĂšme de sĂ©lection qui ne soit pas uniquement mĂ©dical. Pour Ă©lire les patients Ă la dialyse, il met en place un processus de sĂ©lection consistant en un avis mĂ©dical pour dĂ©terminer lâĂ©ligibilitĂ© Ă la dialyse mais surtout il va mettre en place un comitĂ© de profanes chargĂ©s de trancher les dĂ©cisions non-mĂ©dicales dâattribution (comme de dĂ©terminer entre deux patients mĂ©dicalement Ă©ligibles, lequel doit ĂȘtre prioritaire). Les membres de ce comitĂ© recevront des informations sur le fonctionnement de la dialyse et de la transplantation⊠mais devront dĂ©cider des rĂšgles non mĂ©dicales sâappliquant aux patients Ă©ligibles Ă une transplantation ou une dialyse. TrĂšs tĂŽt donc, la rĂ©ponse des limites de lâallocation dans des cas oĂč les ressources sont rares a consistĂ© Ă faire porter la problĂ©matique Ă©thique Ă une communautĂ© plus large â et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dĂ» considĂ©rer 30 candidats, 17 ayant Ă©tĂ© jugĂ© mĂ©dicalement aptes la dialyse, mais en Ă©cartant 7 du traitement.
Dâautres centres de dialyse vont pourtant faire des choix diffĂ©rents : certains vont opter pour une approche, âpremier arrivĂ©, premier serviâ . Les premiers critĂšres de choix nâĂ©taient pas sans opacitĂ©s oĂč sans jugements moraux : les patients pauvres, vieux ou appartenant Ă des minoritĂ©s ethniques, ceux dont les vies sont plus chaotiques, ont Ă©tĂ© plus facilement Ă©cartĂ©s que dâautres. MalgrĂ© ses dĂ©ficiences, ces interrogations ont permis de construire peu Ă peu la rĂ©ponse Ă©thique.
Ce qui va changer dans les annĂ©es 60, câest la gĂ©nĂ©ralisation de la dialyse (dâabord accessible aux vĂ©tĂ©rans de lâarmĂ©e), le dĂ©veloppement de la transplantation rĂ©nale en ayant recours Ă des donneurs provenant de la famille proche, puis, en 1972, la dĂ©cision par le CongrĂšs de rembourser les soins de dialyse. Cette Ă©volution lĂ©gislative doit beaucoup aux tĂ©moignages de patients devant les reprĂ©sentants, expliquant la difficultĂ© Ă accĂ©der Ă ce type de soins. Le remboursement des soins va permettre dâĂ©largir le public de la dialyse, de crĂ©er des centres dĂ©diĂ©s et de la rendre moins coĂ»teuse, non seulement pour les patients, mais aussi pour la mĂ©decine. Cette prise en charge de la dialyse nâest pas sans incidence dâailleurs, souligne Robinson, notamment quand les soins liĂ©s Ă une transplantation, couvrant la prise dâimmunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge Ă vie. MĂȘme encore aujourdâhui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santĂ© est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de sâextraire de la dialyse au profit dâune transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. CoĂ»teuse, elle reste surtout dangereuse, le taux de mortalitĂ© des patients sous dialyse est encore important Ă cette Ă©poque. Sans compter que lâaugmentation du nombre de patients sous dialyse va avoir un impact sur lâaugmentation de la demande de transplantationâŠ
Dans les annĂ©es 60, la dĂ©couverte de mĂ©dications immunosuppressives va permettre de faire baisser considĂ©rablement le rejet des greffons et dâĂ©largir le nombre de greffes : en quelques annĂ©es, on va passer dâune mortalitĂ© post transplantation de 30% Ă un taux de survie de 80%.
Un algorithme, mais sûr quels critÚres ?
En 1984, les spĂ©cialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, trĂšs mĂ©diatisĂ©, va reposer la question de lâattribution. La loi nationale sur la transplantation dâorgane votĂ©e en 1984 va organiser lâencadrement de lâattribution et dĂ©cider de la crĂ©ation dâun systĂšme national par ordinateur pour apparier les organes des donneurs aux patients, dont la rĂ©alisation est confiĂ©e au RĂ©seau dâapprovisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network ) et qui doit faire discuter, comme les premiers comitĂ©s de Scribner, des mĂ©decins et le public. A nouveau, deux Ă©coles sâaffrontent. Celle qui propose le premier arrivĂ©, premier servi, et une autre qui propose une rationalisation mĂ©dicale de la priorisation.
Cette priorisation va longtemps reposer sur lâappariement antigĂ©nique⊠Ce typage des tissus, consiste a prĂ©dire biologiquement la meilleure relation entre les donnĂ©es biomĂ©dicales dâun donneur et celles dâun receveur. Cette prĂ©diction ne va cesser dâĂ©voluer avec lâavancĂ©e des connaissances et lâĂ©volution des standards de soin. Cet appariement permet de mĂ©dicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons lĂ un expĂ©dient moral car les caractĂ©ristiques biomĂ©dicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problĂšme, câest que les antigĂšnes ne sont pas seulement un prĂ©dicteur de la compatibilitĂ© entre donneur et receveur, ils sont aussi statistiquement corrĂ©lĂ©s Ă la race. Les afro-amĂ©ricains ont trois fois plus de risques dâavoir une maladie des reins en stade terminal que les blancs, alors que la majoritĂ© des donneurs ressemblent Ă la population amĂ©ricaine et sont donc blancs. La prise en compte antigĂ©nique signifie proportionnellement moins dâappariements pour les noirs.
Un autre problĂšme va donner lieu Ă de longues discussions : Ă partir de quand prendre en compte une demande de transplantation ? La rĂšgle a longtemps Ă©tĂ© Ă lâinscription dâun patient sur la liste dâattente⊠Or, cette inscription sur la liste dâattente nâest pas la mĂȘme pour tous les patients : le niveau social, la couleur de peau et lâaccĂšs aux soins de santĂ© sont lĂ encore producteurs dâinĂ©galitĂ©s. En fait, le souhait de ne vouloir prendre en compte que des critĂšres dits mĂ©dicaux pour lâattribution dâun greffon, fait lâimpasse sur ce qui ne relĂšve pas du mĂ©dical dans le mĂ©dical et notamment ses pesanteurs sociales. Ce que montre trĂšs bien le livre de Robinson, câest combien les discussions internes comme le dĂ©bat public ne cessent de se modifier dans le temps, Ă mesure que la connaissance progresse.
En 1987, lâUNOS (United network for Organ Sharing ) qui opĂšre lâOPTN, dĂ©cide dâopter pour un algorithme dâallocation dĂ©jĂ utilisĂ© localement Ă Pittsburgh (lĂ encore, soulignons le, on retrouve une constante dans le dĂ©ploiement de procĂ©dures techniques nationales : celle de sâappuyer sur des innovateurs locaux⊠Le sociologue Vincent Dubois raconte la mĂȘme histoire quand il Ă©voque la gĂ©nĂ©ralisation du contrĂŽle automatisĂ© Ă lâĂ©gard des bĂ©nĂ©ficiaires de lâaide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps dâattente dâun patient, la comptabilitĂ© antigĂ©nique et lâurgence mĂ©dicale⊠avant dâopter deux ans plus tard pour renforcer dans les critĂšres la question de lâappariement antigĂ©nique, alors que de nombreux spĂ©cialistes sây opposent prĂ©textant que la preuve de leur importance nâest pas acquise. La contestation gagne alors du terrain arguant que la question antigĂ©nique est insignifiante dans la plupart des cas de transplantation et quâelle est surtout discriminatoire. En 1991, lâinspecteur gĂ©nĂ©ral de la SantĂ© amĂ©ricain souligne que les noirs attendent un rein deux Ă trois fois plus longtemps que les blancs (jusquâĂ 18 mois, contre 6 !). Sans compter que ceux en faveur de lâappariement antigĂ©nique sont Ă©galement ceux qui valorisent la distribution gĂ©ographique, qui elle aussi Ă un impact discriminatoire.
Mais Ă nouveau, comme aux premiers temps de la transplantation, pour Ă©quilibrer les dĂ©bats, une infrastructure de gouvernance ouverte et Ă©quilibrĂ©e sâest installĂ©e. Avec lâOPTN dâabord, qui sâest imposĂ© comme une organisation caractĂ©risĂ©e par la transparence, la consultation et la dĂ©cision (par le vote). LâOPTN est le modĂšle de nombreux comitĂ©s de parties prenantes qui prennent en compte la reprĂ©sentation des usagers et discutent des changements Ă apporter Ă des systĂšmes via dâinnombrables confĂ©rences ouvertes au public qui vont se dĂ©placer Ă travers le pays pour permettre la participation. Les efforts de cette structure ont Ă©tĂ© soutenus par une autre, qui lui est indĂ©pendante : le Scientific Registry of Transplant Recipents (SRTR), dont lâune des fonctions est de produire une comprĂ©hension des modĂšles et des impacts des changements envisagĂ©s par lâOPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rĂŽle vital dans les dĂ©bats. Simuler les consĂ©quences dâun changement de modĂšle dâaffectation permet dâen saisir les orientations, permet de comprendre qui va en bĂ©nĂ©ficier et qui risque dâen pĂątir. Outre ces institutions phares, il faut ajouter les autoritĂ©s de santĂ©, les reprĂ©sentants politiques, la communautĂ© mĂ©dicale, les associations de patients, les dĂ©cisions de justice⊠qui sâimbriquent et sâentremĂȘlent dans une grande discussion mĂ©dico-politique.
Des critÚres qui évoluent avec la science et le débat public
Durant les annĂ©es 90, les progrĂšs de lâimmunosuppression renforcent la critique des antigĂšnes, les rendant encore moins critiques dans le succĂšs de la transplantation. LâUNOS procĂ©de Ă plusieurs changements Ă son systĂšme dâaffectation pour rĂ©duire le rĂŽle des antigĂšnes dans lâattribution des greffons (et attĂ©nuer le fossĂ© des discriminations), au profit du temps dâattente. Dans les annĂ©es 90, la barriĂšre des groupes sanguins est Ă©galement dĂ©passĂ©e.
En 2003, un processus de discussion pour reconcevoir le systĂšme dâattribution des greffons qui semble en bout de course est Ă nouveau lancĂ©. Pour beaucoup, âlâalgorithme dâallocation des reins Ă©tait devenu un collage de prioritĂ©sâ . A partir de 2003, le dĂ©bat sâenflamme sur la question des listes dâattentes : lĂ encore, la discrimination est Ă lâoeuvre, les afro-amĂ©ricains nâĂ©tant pas placĂ© sur les listes dâattentes aussi rapidement ou dans les mĂȘmes proportions que les blancs. Les patients noirs attendent plus longtemps avant dâĂȘtre inscrits en liste dâattente, souvent aprĂšs plusieurs annĂ©es de dialyse, notamment parce que lâaccĂšs aux soins aux Etats-unis reste fortement inĂ©galitaire. Pour corriger cette disparitĂ©, en 2002, on propose non plus de partir du moment oĂč un patient est ajoutĂ© Ă une liste dâattente, mais de partir du moment oĂč un patient commence une dialyse. Pourtant, Ă cette Ă©poque, la question ne fait pas suffisamment consensus pour ĂȘtre adoptĂ©e.
Une autre critique au premier systĂšme de calcul est son manque dâefficacitĂ©. Certains proposent que les reins soient affectĂ©s prioritairement afin de maximiser la durĂ©e de vie des patients (au dĂ©triment des patients en attente les plus ĂągĂ©s). Dâautres discussions ont lieu sur les patients sensibles, des patients qui ont dĂ©veloppĂ© des antigĂšnes spĂ©cifiques qui rendent leur transplantation plus Ă risque, comme ceux qui ont dĂ©jĂ eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degrĂ© de sensibilitĂ© est calculĂ© par un score : le CPRA, calculated panel reactive antibody score . Lâun des enjeux est de savoir si on doit favoriser un patient qui a dĂ©jĂ reçu une transplantation sur un autre qui nâen a pas encore eu : le fait dâavoir une double chance paraissant Ă ceux qui nâen ont pas encore eu une, comme une injustice. Lâintroduction de ce nouveau calcul souligne combien les calculs dĂ©pendent dâautres calculs. Lâintrication des mesures et la complexitĂ© que cela gĂ©nĂšre nâest pas un phĂ©nomĂšne nouveau.
LâutilitĂ© contre lâĂ©quitĂ© : lâefficacitĂ© en question
La grande question qui agite les dĂ©bats qui vont durer plusieurs annĂ©es, explique Robinson, consiste Ă balancer lâutilitĂ© (câest-Ă -dire le nombre total dâannĂ©es de vie gagnĂ©es) et lâĂ©quitĂ© (le fait que chacun ait une chance Ă©gale). Des mĂ©decins proposent dâincorporer au systĂšme dâallocation une mesure du bĂ©nĂ©fice net (le LYFT : Life years from Transplant ), visant Ă classer les candidats selon le nombre dâannĂ©es de vie quâils devraient gagner sâils reçoivent une greffe. Cette formule, prĂ©sentĂ©e en 2007, est compliquĂ©e : elle prend en compte une douzaine de facteurs (lâĂąge, lâindice de masse corporelle, le temps passĂ© Ă vivre avec un problĂšme rĂ©nal, la conformitĂ© antigĂ©niqueâŠ). En utilisant les donnĂ©es passĂ©es, le STR peut modĂ©liser le temps de survie des patients en liste dâattente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modĂ©lisations prĂ©sentĂ©es par le STR montrent que LYFT devrait avoir peu dâeffet sur la distribution raciale et sanguine des receveurs, mais quâil devrait Ă©loigner de la greffe les diabĂ©tiques, les candidats sensibles et ĂągĂ©s, au profit des plus jeunes. Le calcul du temps de vie cumulĂ© que le systĂšme devrait faire gagner peut paraĂźtre impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. LâefficacitĂ© semble mettre Ă mal lâĂ©quitĂ©. Les discussions sâenlisent. Le comitĂ© demande au ministĂšre de la santĂ©, si lâusage de lâĂąge dans les calculs est discriminatoire, sans recevoir de rĂ©ponse. Une version finale et modifiĂ©e de Lyft est proposĂ©e Ă commentaire. Lyft montre une autre limite : les modĂšles de calculs de longĂ©vitĂ© sur lesquels il repose ne sont pas trĂšs comprĂ©hensibles au public. Ce qui permet de comprendre une autre rĂšgle des systĂšmes : quand lâexplicabilitĂ© nâest pas forte, le systĂšme reste considĂ©rĂ© comme dĂ©faillant. Au final, aprĂšs plusieurs annĂ©es de dĂ©bats, Lyft est abandonnĂ©.
En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : dâĂąge et de bĂ©nĂ©fice net. Les greffons sont dĂ©sormais Ă©valuĂ©s sur un score de 100, oĂč plus le score est bas, meilleur est le greffon. Les patients, eux, sont affectĂ© par un Post-Transplant Survival score (EPTS), qui comme Lyft tente dâestimer la longĂ©vitĂ© depuis 4 facteurs seulement : lâĂąge, le temps passĂ© en dialyse, le diabĂšte et si la personne a dĂ©jĂ reçu une transplantation, mais sans Ă©valuer par exemple si les patients tolĂšrent la dialyse en cas de non transplantation⊠Pour concilier les logiques, on propose que 20% des greffons soient proposĂ©s prioritairement Ă ceux qui ont le meilleur score de longĂ©vitĂ©, le reste continuant Ă ĂȘtre attribuĂ© plus largement par Ăąge (aux candidats qui ont entre 15 ans de plus ou de moins que lâĂąge du donneur). LĂ encore, pour faire accepter les modifications, le comitĂ© prĂ©sente des simulations. Plus Ă©quilibrĂ©, la rĂšgle des 20/80 semble plus comprĂ©hensible, Mais lĂ encore, il rĂ©duit les chances des patients de plus de 50 ans de 20%, privilĂ©giant Ă nouveau lâutilitĂ© sur lâĂ©quitĂ©, sans rĂ©pondre Ă dâautres problĂšmes qui semblent bien plus essentiels Ă nombre de participants, notamment ceux liĂ©s aux disparitĂ©s gĂ©ographiques. Enfin, la question de lâĂąge devient problĂ©matique : la loi amĂ©ricaine contre la discrimination par lâĂąge a Ă©tĂ© votĂ©e en 2004, rappelant que personne ne peut ĂȘtre discriminĂ© sur la base de son Ăąge. Ici, se dĂ©fendent les promoteurs de la rĂ©forme, lâĂąge est utilisĂ© comme un proxy pour calculer la longĂ©vitĂ©. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que lâĂąge du donneur nâont pas moins de chance de survivre que ceux qui ont 14 ans de diffĂ©rence avec le donneur. Ce critĂšre aussi est problĂ©matique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors quâils devraient ĂȘtre souples).
La surveillance du nouveau systĂšme montre dâabord que les receveurs de plus de 65 ans sont dĂ©favorisĂ©s avant de sâamĂ©liorer Ă nouveau (notamment parce que, entre-temps, la crise des opioĂŻdes et la surmortalitĂ© quâelle a engendrĂ© a augmentĂ© le nombre de greffons disponibles). Le suivi longitudinal de lâaccĂšs aux greffes montre quâentre 2006 et 2017 , lâĂ©quitĂ© raciale a nettement progressĂ©, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les diffĂ©rences entre les candidats Ă la greffe, selon la race, se resserrent.
En septembre 2012, une nouvelle proposition est donc faite qui conserve la rĂšgle des 20/80, mais surtout qui intĂšgre le calcul Ă partir du dĂ©but de lâentrĂ©e en dialyse des patients, attĂ©nue lâallocation selon le groupe sanguin⊠autant de mesures qui amĂ©liorent lâaccĂšs aux minoritĂ©s. Cette proposition finale est Ă nouveau discutĂ©e entre septembre et dĂ©cembre 2012, notamment sur le fait quâelle rĂ©duit lâaccĂšs aux patients les plus ĂągĂ©s et sur le compartimentage rĂ©gional qui perdure. En juin 2013, le conseil de lâOPTN approuve cependant cette version et le nouvel algorithme entre en fonction en dĂ©cembre 2014. Dix ans de discussion pour valider des modifications⊠Le dĂ©bat public montre Ă la fois sa force et ses limites. Sa force parce que nombre dâĂ©lĂ©ments ont Ă©tĂ© discutĂ©s, recomposĂ©s ou Ă©cartĂ©s. Ses limites du fait du temps passĂ© et que nombre de problĂšmes nâont pas Ă©tĂ© vraiment tranchĂ©s. DĂ©cider prend du temps. Robinson souligne combien ces Ă©volutions, du fait des dĂ©bats, sont lentes. Il a fallu 10 ans de dĂ©bats pour que lâĂ©volution de lâalgorithme dâattribution soit actĂ©e. Le dĂ©bat entre utilitĂ© et Ă©quitĂ© nâa pu se rĂ©soudre quâen proposant un mixte entre les deux approches, avec la rĂšgle du 20/80, tant ils restent irrĂ©conciliables. Mais si le processus a Ă©tĂ© long, le consensus obtenu semble plus solide.
La lente déprise géographique
Le temps dâacheminement dâun greffon Ă un donneur a longtemps Ă©tĂ© une donnĂ©e essentielle de la greffe, tout comme la distance dâun malade Ă une unitĂ© de dialyse, ce qui explique, que dĂšs le dĂ©but de la greffe et de la dialyse, le critĂšre gĂ©ographique ait Ă©tĂ© essentiel.
Lâallocation de greffon est donc circonscrite Ă des zonages arbitraires : 58 zones, chacune pilotĂ©es par un organisme de contrĂŽle des allocations, dĂ©coupent le territoire amĂ©ricain. Le systĂšme montre pourtant vite ses limites, notamment parce quâil gĂ©nĂšre de fortes discriminations Ă lâaccĂšs, notamment lĂ oĂč la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des annĂ©es, par rapport Ă ceux de Floride. Plusieurs fois, il va ĂȘtre demandĂ© dây mettre fin (hormis quand le transport dâorganes menace leur intĂ©gritĂ©). Pourtant, les zones gĂ©ographiques vont sâĂ©terniser. Il faut attendre 2017 pour que lâUNOS sâattaque Ă la question en proposant un Score dâaccĂšs Ă la transplantation (ATS, Access to Transplant Score ) pour mesurer lâĂ©quitĂ© de lâaccĂšs Ă la transplantation. Lâoutil dĂ©montre ce que tout le monde dĂ©nonçait depuis longtemps : la gĂ©ographie est un facteur plus dĂ©terminant que lâĂąge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dĂ©pend le receveur (parmi les 58), un mĂȘme candidat pourra attendre jusquâĂ 22 fois plus longtemps quâun autre ! Cette question va Ă©voluer trĂšs rapidement parce que la mĂȘme annĂ©e, lâavocat dâune patiente qui a besoin dâune greffe attaque en justice pour en obtenir une depuis une zone oĂč il y en a de disponibles. Fin 2017, lâUNOS met fin au zonage pour le remplacer par une distance concentrique par rapport Ă lâhĂŽpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximitĂ©. Le plus Ă©tonnant ici, câest quâun critĂšre primordial dâinĂ©galitĂ© ait mis tant dâannĂ©es Ă ĂȘtre dĂ©montĂ©.
Le scoring en ses limites
Les scientifiques des donnĂ©es de lâUNOS (qui ont mis en place lâATS) travaillent dĂ©sormais Ă amĂ©liorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la prĂ©cision va jusquâĂ 16 chiffres aprĂšs la virgule (et le systĂšme peut encore aller plus loin pour dĂ©partager deux candidats). Mais se pose la question du compromis entre la prĂ©cision et la transparence. Plus il y a un chiffre prĂ©cis et moins il est comprĂ©hensible pour les gens. Mais surtout, pointe Robinson, la prĂ©cision ne reflĂšte pas vraiment une diffĂ©rence mĂ©dicale entre les patients. âLe calcul produit une fausse prĂ©cisionâ . Ajouter de la prĂ©cision ne signifie pas quâun candidat a vraiment un meilleur rĂ©sultat attendu quâun autre sâil est transplantĂ©. La prĂ©cision du calcul ne fait que fournir un prĂ©texte technique pour attribuer lâorgane Ă un candidat plutĂŽt quâĂ un autre, une raison qui semble extĂ©rieurement neutre, alors que la prĂ©cision du nombre ne reflĂšte pas une diffĂ©rence clinique dĂ©cisive. Pour Robinson, ces calculs, poussĂ©s Ă leur extrĂȘme, fonctionnent comme la question antigĂ©nique passĂ©e : ils visent Ă couvrir dâune neutralitĂ© mĂ©dicale lâappariement. En fait, quand des candidats sont cliniquement Ă©quivalents, rien ne les dĂ©partage vraiment. La prĂ©cision du scoring est bien souvent une illusion. CrĂ©er une fausse prĂ©cision vise surtout Ă masquer que ce choix pourrait ĂȘtre aussi juste sâil Ă©tait alĂ©atoire. Robinson souhaite voir dans cette question quâadressent les data scientist de lâUNOS, le retour de lâinterrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraĂźtra Ă dâautres assez Ă©tonnant quâon continue Ă utiliser la prĂ©cision et la neutralitĂ© des chiffres pour faire croire Ă leur objectivitĂ©. Pourtant, câest lĂ une pratique extrĂȘmement rĂ©pandue. On calcule des diffĂ©rences entre les gens via une prĂ©cision qui nâa rien de mĂ©dicale, puisquâau final, elle peut considĂ©rer par exemple, que le fait dâhabiter Ă 500 mĂštres dâun hĂŽpital fait la diffĂ©rence avec une personne qui habite Ă 600 mĂštres. En fait, lâessentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste Ă calculer des diffĂ©rences qui nâont plus rien de scientifiques est le grand mensonge de la gĂ©nĂ©ralisation du scoring. Câest trop souvent lâĂ©cueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le rĂ©sout pas. Il ne fait que masquer sous le chiffre des distinctions problĂ©matiques (et câest un problĂšme que lâon retrouve aujourdâhui dans nombre de systĂšmes de scoring, Ă lâimage de Parcoursup). Le calcul dâattribution de greffes de rein nâest pas encore exemplaire.
Faire mieux
Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systĂšmes conçus sans grande attention, sans grands soins envers les personnes quâils calculaient. Trop de systĂšmes sont pauvrement conçus. âNous pouvons faire mieux.â
Dans la question de lâattribution de greffes, la participation, la transparence, la prĂ©vision et lâaudit ont tous jouĂ© un rĂŽle. Les gens ont Ă©levĂ© leurs voix et ont Ă©tĂ© entendus. Pourquoi nâen est-il pas de mĂȘme avec les autres algorithmes Ă fort enjeu ? Robinson rĂ©pond rapidement en estimant que la question de la transplantation est unique notamment parce quâelle est une ressource non marchande. Je ne partage pas cet avis. Si le systĂšme est lâun des rares Ăźlots de confiance, son livre nous montre que celle-ci nâest jamais acquise, quâelle est bien construite, Ăąprement disputĂ©e⊠Cette histoire nĂ©anmoins souligne combien nous avons besoin dâune confiance Ă©levĂ©e dans un systĂšme. âLa confiance est difficile Ă acquĂ©rir, facile Ă perdre et pourtant trĂšs utile.â Lâexemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer lâĂ©quitĂ© et la justice. Il montre enfin que les stratĂ©gies de gouvernance peuvent ĂȘtre construites et solides pour autant quâelles soient ouvertes, transparentes et gĂ©rĂ©es en entendant tout le monde.
GĂ©rer la pĂ©nurie pour lâaccĂ©lĂ©rer⊠et faire semblant dâarbitrer
Certes, construire un algorithme dâune maniĂšre collaborative et discutĂ©e prend du temps. Les progrĂšs sont lents et incrĂ©mentaux. Les questions et arbitrages sây renouvellent sans cesse, Ă mesure que le fonctionnement progresse et montre ses lacunes. Mais les systĂšmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de lâĂ©quitĂ© raciale dans lâalgorithme dâaffectation des reins, montre que les dĂ©fis dâĂ©quitĂ© que posent les systĂšmes peuvent ĂȘtre relevĂ©s. Reste que bien des points demeurent exclus de ce sur quoi lâalgorithme concentre le regard, Ă lâimage de la question des remboursements de soins, limitĂ©s Ă 3 ans pour la prise en charge des mĂ©dicaments immunosuppresseurs des transplantĂ©s alors quâils sont perpĂ©tuels pour les dialysĂ©s. Cet enjeu pointe quâil y a encore des progrĂšs Ă faire sur certains aspects du systĂšme qui dĂ©passent le cadre de la conception de lâalgorithme lui-mĂȘme. Les questions Ă©thiques et morales Ă©voluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours Ă des reins de cochons pour la transplantation. Les xĂ©nogreffes devraient ĂȘtre prĂȘtes pour les essais mĂ©dicaux trĂšs prochainement, et risquent de bouleverser lâattribution.
Robinson Ă©voque les algorithmes de sĂ©lection des Ă©coles de la ville de New York, oĂč chaque Ă©cole peut Ă©tablir ses propres critĂšres de sĂ©lection (un peu comme Parcoursup). Depuis peu, ces critĂšres sont publics, ce qui permet un meilleur contrĂŽle. Mais derriĂšre des critĂšres individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un systĂšme oĂč les Ă©coles ne choisissent pas leurs Ă©lĂšves selon leurs mĂ©rites individuels ou leurs rĂ©sultats Ă des tests standardisĂ©s, mais un systĂšme oĂč chaque Ă©cole doit accueillir des Ă©tudiants selon une distribution reprĂ©sentative des rĂ©sultats aux tests standardisĂ©s, afin que les meilleurs ne soient pas concentrĂ©s dans les meilleures Ă©coles, mais plus distribuĂ©s entre chaque Ă©cole. Câest le propos que porte par exemple le collectif Teens Take Change . De mĂȘme, plutĂŽt que dâĂ©valuer le risque de rĂ©cidive, la question pourrait ĂȘtre posĂ©e bien autrement : plutĂŽt que de tenter de trouver quel suspect risque de rĂ©cidiver, la question pourrait ĂȘtre : quels services garantiront le mieux que cette personne se prĂ©sente au tribunal ou ne rĂ©cidive pas ? DĂ©placer la question permet de dĂ©placer la rĂ©ponse. En fait, explique trĂšs clairement Robinson, les orientations des dĂ©veloppements techniques ont fondamentalement des prĂ©supposĂ©s idĂ©ologiques. Les logiciels de calcul du risque de rĂ©cidive, comme Compass , reposent sur lâidĂ©e que le risque serait inhĂ©rent Ă des individus, quand dâautres systĂšmes pourraient imaginer le risque comme une propriĂ©tĂ© des lieux ou des situations, et les prĂ©dire Ă la place. (pour InternetActu.net, jâĂ©tais revenu sur les propos de Marianne Bellotti , qui militait pour des IA qui complexifient plutĂŽt quâelles ne simplifient le monde, qui, sur la question du risque de rĂ©cidive, Ă©voquait le systĂšme ESAS , un logiciel qui donne accĂšs aux peines similaires prononcĂ©es dans des affaires antĂ©rieures selon des antĂ©cĂ©dents de condamnations proches, mais, lĂ oĂč Compass charge lâindividu, ESAS relativise et aide le juge Ă relativiser la peine, en lâaidant Ă comparer sa sentence Ă celles que dâautres juges avant lui ont prononcĂ©). Les algorithmes qui rationnent le logement dâurgence, comme lâĂ©voquait Eubanks dans son livre, visent dâabord Ă organiser la pĂ©nurie, et finalement permettent de mieux Ă©carter le problĂšme principal, celui de crĂ©er plus de logements sociaux. Au contraire mĂȘme, en proposant un outil dâadministration de la pĂ©nurie, bien souvent, celle-ci peut finalement ĂȘtre encore plus optimisĂ©e, câest-Ă -dire plus rabotĂ©e encore. Les systĂšmes permettent de crĂ©er des âfictions confortablesâ : la science et le calcul tentent de neutraliser et dĂ©politiser des tensions sociales en nous faisant croire que ces systĂšmes seraient plus juste que le hasard, quand une âloterie alĂ©atoire reflĂ©terait bien mieux la structure Ă©thique de la situationâ .
Participer câest transformer
La force de la participation nâest pas seulement dans lâapport dâune diversitĂ©, dâune pluralitĂ© de regards sur un problĂšme commun. La participation modifie les regards de tous les participants et permet de crĂ©er des convergences, des compromis qui modulent les systĂšmes, qui modifient leur idĂ©ologie. Au contact dâautres points de vues, dans une ambiance de construction dâun consensus, les gens changent dâavis et modĂšrent leurs positions, souligne trĂšs pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coĂ»teux. Mais ses apports sont transformateurs, car la dĂ©libĂ©ration commune et partagĂ©e est la seule Ă mĂȘme Ă pouvoir intĂ©grer de la justice et de lâĂ©quitĂ© au cĆur mĂȘme des systĂšmes, Ă permettre de composer un monde commun. âUne comprĂ©hension partagĂ©e bĂ©nĂ©ficie dâune infrastructure partagĂ©eâ . Pour produire une gouvernance partagĂ©e, il faut Ă la fois partager la comprĂ©hension que lâon a dâun systĂšme et donc partager lâinfrastructure de celui-ci. Les jurĂ©s sont briefĂ©s sur les enjeux dont ils doivent dĂ©battre. Les participants dâun budget citoyens Ă©galement. La participation nĂ©cessite la transparence, pas seulement des donnĂ©es et des modalitĂ©s de traitement, mais aussi des contextes qui les façonnent. Cela signifie quâil est toujours nĂ©cessaire de dĂ©ployer une infrastructure pour soutenir le dĂ©bat : quand elle est absente, la conversation inclusive et informĂ©e tend Ă ne pas ĂȘtre possible. Dans le cas de la transplantation, on lâa vu, les ressources sont innombrables. Les organismes pour les produire Ă©galement â et leur indĂ©pendance est essentielle. Les visualisations, les simulations se sont souvent rĂ©vĂ©lĂ©es essentielles, tout autant que les tĂ©moignages et leur pluralitĂ©. Pour Robinson, cette implication des publics, cette infrastructure pour crĂ©er une comprĂ©hension partagĂ©e, ces gouvernances ouvertes sont encore bien trop rares au-delĂ du domaine de la santé⊠alors que cela devrait ĂȘtre le cas dans la plupart des systĂšmes Ă haut enjeu. âLa comprĂ©hension partagĂ©e bĂ©nĂ©ficie dâune infrastructure partagĂ©e, câest-Ă -dire dâinvestissements qui vont au-delĂ de lâeffort quâimplique la construction dâun algorithme en soi.â Certes, concĂšde-t-il, la participation est trĂšs coĂ»teuse. Pour Robinson : âNous ne pouvons pas dĂ©libĂ©rer aussi lourdement sur toutâ . Bien sĂ»r, mais il y a bien trop dâendroits oĂč nous ne dĂ©libĂ©rons pas. Faire se rejoindre lâutilitĂ© et lâĂ©quitĂ© prend du temps, mais elles ne sont irrĂ©conciliables que lĂ oĂč aucune discussion ne sâengage. En fait, contrairement Ă Robinson, je pense que nous ne pouvons pas vivre dans des systĂšmes oĂč la justice nâest pas prĂ©sente ou le dĂ©sĂ©quilibre entre les forces en prĂ©sence est trop fort. Les systĂšmes injustes et oppressifs nâont quâun temps. Lâauto-gouvernement et la dĂ©mocratie ont toujours pris du temps, mais ils demeurent les moins pires des systĂšmes. LâefficacitĂ© seule ne fera jamais sociĂ©tĂ©. Cette logistique de la participation est certainement le coĂ»t qui devrait balancer les formidables Ă©conomies que gĂ©nĂšre la dĂ©matĂ©rialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs Ă©tudes ont montrĂ© que ces exercices de discussions permettent finalement dâentendre des voies diffĂ©rentes et permettent aux participants de corriger leurs idĂ©es prĂ©conçues. La participation est empathique.
Le risque dâune anesthĂ©sie morale par les chiffres
Enfin, Robinson invite Ă nous dĂ©fier de la quantification, quâil qualifie âdâanesthĂ©siant moral â. âLes algorithmes dirigent notre attention moraleâ , explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent âlâĂ©vasion de la responsabilitĂ©â . Quand on regarde le monde comme un marchĂ©, un score âsemble toujours dĂ©passionnĂ©, impartial et objectifâ , disaient Marion Fourcade et Kieran Healy . Pourtant, la quantification nâest pas objective, parce quâelle a des consĂ©quences normatives et surtout que le chiffre nous rend indiffĂ©rent Ă la souffrance comme Ă la justice (câest ce que disait trĂšs bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre ). Câest Ă©galement ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : âEn faisant en sorte que les rĂ©sultats semblent nĂ©cessaires, inĂ©vitables, plutĂŽt que discrĂ©tionnaires, lâalgorithme tente de convertir ce qui est tragiquement choisi en ce qui nâest quâun malheur fatal. Mais gĂ©nĂ©ralement, ce nâest quâun subterfuge, car, bien que la raretĂ© soit un fait, une dĂ©cision particuliĂšre⊠(par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nĂ©cessaire au sens strict du terme.â Câest tout le problĂšme du scoring jusquâĂ 16 dĂ©cimales, qui ne distingue plus de diffĂ©rences mĂ©dicales entre des patients, mais les discrĂ©tise pour les discrĂ©tiser. La fausse rationalitĂ© du calcul, permet âdâesquiver la rĂ©alitĂ© que de tels choix, sont, Ă un certain niveau, arbitrairesâ . Ces subterfuges par le calcul se retrouvent partout. PoussĂ© Ă son extrĂȘme, le score produit des diffĂ©rences inexistantes. Pour Robinson, ânous apprenons Ă expliquer ces choix impossibles dans des termes quantitatifs neutres, plutĂŽt que de nous confronter Ă leur arbitraireâ . Pour ma part, je pense que nous nâapprenons pas. Nous mentons. Nous faisons passer la rationalitĂ© pour ce quâelle nâest pas. Nous faisons entrer des critĂšres arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critĂšre ridicule pour les distinguer, plutĂŽt que de reconnaĂźtre que nous devrions avoir recours Ă lâalĂ©atoire quand trop de dossiers sont similaires. Et câest bien le problĂšme que souligne Robinson Ă la fin de son inspection du systĂšme de calcul de lâattribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problĂšme est bien plus relatif Ă la pĂ©nurie quâautre chose. Le problĂšme est de faire penser que les critĂšres pour les distinguer entre eux sont encore mĂ©dicaux, logiques, rationnels.
Pour Robinson, les algorithmes sont des productions de compromis, dâautant plus efficaces quâils peuvent ĂȘtre modifiĂ©s (et ne cessent de lâĂȘtre) facilement. Leur adaptabilitĂ© mĂȘme nous invite Ă tisser un lien, trop inexistant, entre la sociĂ©tĂ© et la technique. Puisque les modifier nâest pas un problĂšme, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire Ă©voluer. Lâexpertise technique nâest jamais et ne devrait jamais ĂȘtre prise comme une autoritĂ© morale. La participation ne devrait pas ĂȘtre vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour amĂ©liorer la justice du monde. Robinson nous invite Ă imaginer un monde oĂč les plus importants systĂšmes techniques reflĂ©teraient bien des voix, mĂȘme la nĂŽtre. Pour lâinstant, ce que lâon constate partout, câest que tout est fait pour ne pas les Ă©couter.
Ce que nous dit le livre de Robinson, câest combien la question de lâĂ©quitĂ© reste primordiale. Et quâamĂ©liorer un systĂšme prend du temps. La justice nâest pas innĂ©e, elle se construit lentement, patiemment. Trop lentement bien souvent. Mais le seul outil dont nous disposons pour amĂ©liorer la justice, câest bien le dĂ©bat, la contradiction et la discussion. MalgrĂ© sa complexitĂ© et sa lenteur, la question du dĂ©bat public sur les systĂšmes est essentielle. Elle ne peut ni ne doit ĂȘtre un dĂ©bat dâexperts entre eux. Plusieurs fois, dans ces dĂ©bats, Robinson montre lâimportance des patients. Câest leurs interventions lors des sĂ©ances publiques qui modifient les termes du dĂ©bat. Construire des systĂšmes robustes, responsables, nĂ©cessite lâimplication de tous. Mais ce qui est sĂ»r câest quâon ne construit aucun systĂšme responsable quand il nâĂ©coute pas les voix de ceux pris dans ces filets. Nous devons exiger des comitĂ©s de parti de prenantes partout oĂč les systĂšmes ont un impact fort sur les gens. Nous devons nous assurer dâamĂ©liorations incrĂ©mentales, non pas imposĂ©es par le politique, mais bien discutĂ©es entre Ă©gaux, dans des comitĂ©s oĂč les experts ont autant la voix que les calculĂ©s. Aujourdâhui, câest ce qui manque dans la plupart des systĂšmes. Y faire entrer les voix des gens. Câest la principale condition pour faire mieux, comme nous y invite David Robinson.
Hubert Guillaud
A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made , Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022 .