Pour Jacobin, l’économiste britannique Giorgos Galanis convoque le récent livre de l’économiste Maximilian Kasy, The Means of Prediction: How AI Really Works (and Who Benefits) (Les moyens de prédictions : comment l’IA fonctionne vraiment (et qui en bénéficie), University of Chicago Press, 2025, non traduit), pour rappeler l’importance du contrôle démocratique de la technologie. Lorsqu’un algorithme prédictif a refusé des milliers de prêts hypothécaires à des demandeurs noirs en 2019, il ne s’agissait pas d’un dysfonctionnement, mais d’un choix délibéré, reflétant les priorités des géants de la tech, guidés par le profit. Pour Maximilian Kasy de tels résultats ne sont pas des accidents technologiques, mais les conséquences prévisibles de ceux qui contrôlent l’IA. « De même que Karl Marx identifiait le contrôle des moyens de production comme le fondement du pouvoir de classe, Kasy identifie les « moyens de prédiction » (données, infrastructure informatique, expertise technique et énergie) comme le socle du pouvoir à l’ère de l’IA ». « La thèse provocatrice de Kasy révèle que les objectifs de l’IA sont des choix délibérés, programmés par ceux qui contrôlent ses ressources pour privilégier le profit au détriment du bien commun. Seule une prise de contrôle démocratique des moyens de prédiction permettra de garantir que l’IA serve la société dans son ensemble et non les profits des géants de la tech ». 

Les algorithmes ne sont pas programmés pour prédire n’importe quels résultats. Les  plateformes de médias sociaux, par exemple, collectent d’énormes quantités de données utilisateur pour prédire quelles publicités maximisent les clics, et donc les profits attendus. En quête d’engagement, les algorithmes ont appris que l’indignation, l’insécurité et l’envie incitent les utilisateurs à faire défiler les publications. D’où l’envolée de la polarisation, des troubles anxieux et la dégradation du débat… « Les outils prédictifs utilisés dans le domaine de l’aide sociale ou du recrutement produisent des effets similaires. Les systèmes conçus pour identifier les candidats « à risque » s’appuient sur des données historiques biaisées, automatisant de fait la discrimination en privant de prestations ou d’entretiens d’embauche des groupes déjà marginalisés. Même lorsque l’IA semble promouvoir la diversité, c’est généralement parce que l’inclusion améliore la rentabilité, par exemple en optimisant les performances d’une équipe ou la réputation d’une marque. Dans ce cas, il existe un niveau de diversité « optimal » : celui qui maximise les profits escomptés ». 

Les systèmes d’IA reflètent en fin de compte les priorités de ceux qui contrôlent les « moyens de prédiction ». Si les travailleurs et les usagers, plutôt que les propriétaires d’entreprises, orientaient le développement technologique, suggère Kasy, les algorithmes pourraient privilégier des salaires équitables, la sécurité de l’emploi et le bien-être public au détriment du profit. Mais comment parvenir à un contrôle démocratique des moyens de prédiction ? Kasy préconise un ensemble d’actions complémentaires comme la taxation des entreprises d’IA pour couvrir les coûts sociaux, la réglementation pour interdire les pratiques néfastes en matière de données et la création de fiducies de données, c’est-à-dire la création d’institutions collectives pour gérer les données pour le compte des communautés à des fins d’intérêt public. 

Ces algorithmes décident qui est embauché, qui reçoit des soins médicaux ou qui a accès à l’information, privilégiant souvent le profit au détriment du bien-être social. Il compare la privatisation des données à l’accaparement historique des biens communs, arguant que le contrôle exercé par les géants de la tech sur les moyens de prédiction concentre le pouvoir, sape la démocratie et creuse les inégalités. Des algorithmes utilisés dans les tribunaux aux flux des réseaux sociaux, les systèmes d’IA façonnent de plus en plus nos vies selon les priorités privées de leurs créateurs. Pour Kasy, il ne faut pas les considérer comme de simples merveilles technologiques neutres, mais comme des systèmes façonnés par des forces sociales et économiques. L’avenir de l’IA ne dépend pas de la technologie elle-même, mais de notre capacité collective à bâtir des institutions telles que des fiducies de données pour gouverner démocratiquement les systèmes. Kasy nous rappelle que l’IA n’est pas une force autonome, mais une relation sociale, un instrument de pouvoir de classe qui peut être réorienté à des fins collectives. La question est de savoir si nous avons la volonté politique de nous en emparer.

Dans une tribune pour le New York Times, Maximilian Kasy explique que la protection des données personnelles n’est plus opérante dans un monde où l’IA est partout. « Car l’IA n’a pas besoin de savoir ce que vous avez fait ; elle a seulement besoin de savoir ce que des personnes comme vous ont fait auparavant ». Confier à l’IA la tâche de prendre des décisions à partir de ces données transforme la société. 

« Pour nous prémunir contre ce préjudice collectif, nous devons créer des institutions et adopter des lois qui donnent aux personnes concernées par les algorithmes d’IA la possibilité de s’exprimer sur leur conception et leurs objectifs. Pour y parvenir, la première étape est la transparence. À l’instar des obligations de transparence financière des entreprises, les sociétés et les organismes qui utilisent l’IA devraient être tenus de divulguer leurs objectifs et ce que leurs algorithmes cherchent à maximiser : clics publicitaires sur les réseaux sociaux, embauche de travailleurs non syndiqués ou nombre total d’expulsions », explique Kasy. Pas sûr pourtant que cette transparence des objectifs suffise, si nous n’imposons pas aux entreprises de publier des données sur leurs orientations. 

« La deuxième étape est la participation. Les personnes dont les données servent à entraîner les algorithmes – et dont la vie est influencée par ces derniers – doivent être consultées. Il faudrait que des citoyens contribuent à définir les objectifs des algorithmes. À l’instar d’un jury composé de pairs qui instruisent une affaire civile ou pénale et rendent un verdict collectivement, nous pourrions créer des assemblées citoyennes où un groupe représentatif de personnes choisies au hasard délibère et décide des objectifs appropriés pour les algorithmes. Cela pourrait se traduire par des employés d’une entreprise délibérant sur l’utilisation de l’IA sur leur lieu de travail, ou par une assemblée citoyenne examinant les objectifs des outils de police prédictive avant leur déploiement par les agences gouvernementales. Ce sont ces types de contre-pouvoirs démocratiques qui permettraient d’aligner l’IA sur le bien commun, et non sur le seul intérêt privé. L’avenir de l’IA ne dépendra pas d’algorithmes plus intelligents ou de puces plus rapides. Il dépendra de qui contrôle les données et de quelles valeurs et intérêts guident les machines. Si nous voulons une IA au service du public, c’est au public de décider de ce qu’elle doit servir ».

Pour Jacobin, l’économiste britannique Giorgos Galanis convoque le récent livre de l’économiste Maximilian Kasy, The Means of Prediction: How AI Really Works (and Who Benefits) (Les moyens de prédictions : comment l’IA fonctionne vraiment (et qui en bénéficie), University of Chicago Press, 2025, non traduit), pour rappeler l’importance du contrôle démocratique de la technologie. Lorsqu’un algorithme prédictif a refusé des milliers de prêts hypothécaires à des demandeurs noirs en 2019, il ne s’agissait pas d’un dysfonctionnement, mais d’un choix délibéré, reflétant les priorités des géants de la tech, guidés par le profit. Pour Maximilian Kasy de tels résultats ne sont pas des accidents technologiques, mais les conséquences prévisibles de ceux qui contrôlent l’IA. « De même que Karl Marx identifiait le contrôle des moyens de production comme le fondement du pouvoir de classe, Kasy identifie les « moyens de prédiction » (données, infrastructure informatique, expertise technique et énergie) comme le socle du pouvoir à l’ère de l’IA ». « La thèse provocatrice de Kasy révèle que les objectifs de l’IA sont des choix délibérés, programmés par ceux qui contrôlent ses ressources pour privilégier le profit au détriment du bien commun. Seule une prise de contrôle démocratique des moyens de prédiction permettra de garantir que l’IA serve la société dans son ensemble et non les profits des géants de la tech ». 

Les algorithmes ne sont pas programmés pour prédire n’importe quels résultats. Les  plateformes de médias sociaux, par exemple, collectent d’énormes quantités de données utilisateur pour prédire quelles publicités maximisent les clics, et donc les profits attendus. En quête d’engagement, les algorithmes ont appris que l’indignation, l’insécurité et l’envie incitent les utilisateurs à faire défiler les publications. D’où l’envolée de la polarisation, des troubles anxieux et la dégradation du débat… « Les outils prédictifs utilisés dans le domaine de l’aide sociale ou du recrutement produisent des effets similaires. Les systèmes conçus pour identifier les candidats « à risque » s’appuient sur des données historiques biaisées, automatisant de fait la discrimination en privant de prestations ou d’entretiens d’embauche des groupes déjà marginalisés. Même lorsque l’IA semble promouvoir la diversité, c’est généralement parce que l’inclusion améliore la rentabilité, par exemple en optimisant les performances d’une équipe ou la réputation d’une marque. Dans ce cas, il existe un niveau de diversité « optimal » : celui qui maximise les profits escomptés ». 

Les systèmes d’IA reflètent en fin de compte les priorités de ceux qui contrôlent les « moyens de prédiction ». Si les travailleurs et les usagers, plutôt que les propriétaires d’entreprises, orientaient le développement technologique, suggère Kasy, les algorithmes pourraient privilégier des salaires équitables, la sécurité de l’emploi et le bien-être public au détriment du profit. Mais comment parvenir à un contrôle démocratique des moyens de prédiction ? Kasy préconise un ensemble d’actions complémentaires comme la taxation des entreprises d’IA pour couvrir les coûts sociaux, la réglementation pour interdire les pratiques néfastes en matière de données et la création de fiducies de données, c’est-à-dire la création d’institutions collectives pour gérer les données pour le compte des communautés à des fins d’intérêt public. 

Ces algorithmes décident qui est embauché, qui reçoit des soins médicaux ou qui a accès à l’information, privilégiant souvent le profit au détriment du bien-être social. Il compare la privatisation des données à l’accaparement historique des biens communs, arguant que le contrôle exercé par les géants de la tech sur les moyens de prédiction concentre le pouvoir, sape la démocratie et creuse les inégalités. Des algorithmes utilisés dans les tribunaux aux flux des réseaux sociaux, les systèmes d’IA façonnent de plus en plus nos vies selon les priorités privées de leurs créateurs. Pour Kasy, il ne faut pas les considérer comme de simples merveilles technologiques neutres, mais comme des systèmes façonnés par des forces sociales et économiques. L’avenir de l’IA ne dépend pas de la technologie elle-même, mais de notre capacité collective à bâtir des institutions telles que des fiducies de données pour gouverner démocratiquement les systèmes. Kasy nous rappelle que l’IA n’est pas une force autonome, mais une relation sociale, un instrument de pouvoir de classe qui peut être réorienté à des fins collectives. La question est de savoir si nous avons la volonté politique de nous en emparer.

Dans une tribune pour le New York Times, Maximilian Kasy explique que la protection des données personnelles n’est plus opérante dans un monde où l’IA est partout. « Car l’IA n’a pas besoin de savoir ce que vous avez fait ; elle a seulement besoin de savoir ce que des personnes comme vous ont fait auparavant ». Confier à l’IA la tâche de prendre des décisions à partir de ces données transforme la société. 

« Pour nous prémunir contre ce préjudice collectif, nous devons créer des institutions et adopter des lois qui donnent aux personnes concernées par les algorithmes d’IA la possibilité de s’exprimer sur leur conception et leurs objectifs. Pour y parvenir, la première étape est la transparence. À l’instar des obligations de transparence financière des entreprises, les sociétés et les organismes qui utilisent l’IA devraient être tenus de divulguer leurs objectifs et ce que leurs algorithmes cherchent à maximiser : clics publicitaires sur les réseaux sociaux, embauche de travailleurs non syndiqués ou nombre total d’expulsions », explique Kasy. Pas sûr pourtant que cette transparence des objectifs suffise, si nous n’imposons pas aux entreprises de publier des données sur leurs orientations. 

« La deuxième étape est la participation. Les personnes dont les données servent à entraîner les algorithmes – et dont la vie est influencée par ces derniers – doivent être consultées. Il faudrait que des citoyens contribuent à définir les objectifs des algorithmes. À l’instar d’un jury composé de pairs qui instruisent une affaire civile ou pénale et rendent un verdict collectivement, nous pourrions créer des assemblées citoyennes où un groupe représentatif de personnes choisies au hasard délibère et décide des objectifs appropriés pour les algorithmes. Cela pourrait se traduire par des employés d’une entreprise délibérant sur l’utilisation de l’IA sur leur lieu de travail, ou par une assemblée citoyenne examinant les objectifs des outils de police prédictive avant leur déploiement par les agences gouvernementales. Ce sont ces types de contre-pouvoirs démocratiques qui permettraient d’aligner l’IA sur le bien commun, et non sur le seul intérêt privé. L’avenir de l’IA ne dépendra pas d’algorithmes plus intelligents ou de puces plus rapides. Il dépendra de qui contrôle les données et de quelles valeurs et intérêts guident les machines. Si nous voulons une IA au service du public, c’est au public de décider de ce qu’elle doit servir ».

« Protéger les données personnelles des travailleurs ne signifie pas nécessairement protéger les travailleurs ». Alors que les entreprises parlent de plus en plus d’IA respectueuses de la vie privée, ces solutions sont bien souvent un moyen de contournement, dénoncent les chercheurs de Data & Society, Power Switch Action et Coworker, auteurs du rapport Privacy Trap. Ces technologies peuvent leur permettre « de se conformer techniquement aux lois sur la confidentialité des données tout en exerçant sur leurs employés un contrôle qui devrait susciter de vives inquiétudes ». « Sans contrôle ni intervention proactive, ces technologies seront déployées de manière à obscurcir encore davantage la responsabilité, à approfondir les inégalités et à priver les travailleurs de leur voix et de leur pouvoir d’action ».

Les chercheurs et chercheuses – Minsu Longiaru, Wilneida Negrón, Brian J. Chen, Aiha Nguyen, Seema N. Patel, et Dana Calacci – attirent l’attention sur deux mythes fondamentaux sur la confidentialité des données, à savoir : croire que la protection des données sur le marché de la consommation fonctionne de manière similaire sur le lieu de travail et croire que renforcer la protection des informations personnelles suffit à remédier aux préjudices subis par les travailleurs suite à l’extraction de données. En fait, rappellent les chercheurs, les réglementations sur la protection des données personnelles reposent sur un cadre d’action fondé sur les droits individuels d’accès, de rectification et de suppression, et ne s’appliquent qu’aux données dites personnelles : les données anonymisées, dépersonnalisées ou agrégées ne bénéficient que de peu voire d’aucune protection juridique. Mais ces approches individualisées sont « cruellement » insuffisantes sur le lieu de travail, notamment parce que les travailleurs évoluent dans des conditions de pouvoir de négociations extrêmement inégales où l’exercice de leurs droits peut-être impossible et ils n’ont bien souvent pas le pouvoir de contrôler, voire même de percevoir, l’étendue de la surveillance dont ils sont l’objet. « Par conséquent, on observe une expansion sans précédent de la capacité des employeurs à collecter les données des travailleurs sans leur consentement explicite et à les utiliser à des fins de surveillance, de sanction et d’intensification de l’exploitation », comme par exemple quand les employeurs revendent ou transmettent les données des travailleurs à des tiers – comme l’expliquait par exemple la sociologue Karen Levy dans son livre sur la surveillance des routiers. 

De l’instrumentalisation de la protection de la vie privée

Les technologies d’IA préservant la confidentialité (par exemple des techniques de chiffrement permettant de masquer les données lors de leur collecte, de leur traitement ou de leur utilisation), le développement des données synthétiques (qui servent à remplacer ou compléter des données réelles) et le calcul multipartite (des technologies permettant d’analyser les données de différents appareils ou parties, sans divulguer les données des uns aux autres), permettent désormais aux entreprises de se conformer aux cadres réglementaires, tout en accentuant la surveillance. 

Les entreprises utilisent les données de leurs employés pour générer des profils détaillés, des indicateurs de performance… et manipulent ces informations à leur profit grâce à l’asymétrie d’information, comme le montrait le rapport de Power Switch Action sur Uber. Le développement du chiffrement ou de la confidentialité différentielle (ce que l’on appelle le marché des technologies qui augmentent la confidentialité, les Privacy-Enhancing Technologies (PET) est en explosion, passant de 2,4 milliards de dollars en 2023 à 25,8 milliards en 2033 selon des prévisions du Forum économique mondial) risquent d’ailleurs à terme de renforcer l’opacité et l’asymétrie d’information sur les lieux de travail, s’inquiètent les chercheurs, en permettant aux entreprises d’analyser des ensembles de données sans identifier les éléments individuels (ce qui leur permet de ne pas consulter les données des individus, tout en continuant à extraire des informations individuelles toujours plus précises). Le déploiement de ces technologies permettent aux entreprises de se dégager de leurs responsabilités, de masquer, voire d’obfusquer les discriminations, comme le disait la chercheuse Ifeoma Ajunwa ou comme l’explique la chercheuse Elizabeth Renieris dans son livre Beyond Data (MIT Press, 2023, non traduit et disponible en libre accès). Elle y rappelle que les données ne sont pas une vérité objective et, de plus, leur statut « entièrement contextuel et dynamique » en fait un fondement instable pour toute organisation. Mais surtout, que ces technologies encouragent un partage accru des données. 

Uber par exemple est l’un des grands utilisateurs des PETs, sans que cela n’ait jamais bénéficié aux chauffeurs, bien au contraire, puisque ces technologies permettent à l’entreprise (et à toutes celles qui abusent de la discrimination salariale algorithmique, comme l’expliquait Veena Dubal) de réviser les rémunérations à la baisse. 

Les chercheurs donnent d’autres exemples encore, notamment le développement du recours à des données synthétiques pour produire des conclusions statistiques similaires aux données réelles. Elles peuvent ainsi prédire ou simuler le comportement des employés sans utiliser ou en masquant les données personnelles. C’est ce que fait Amazon dans les entrepôts où il déploie des robots automatiques par exemple. Or, depuis 2019, des rapports d’enquêtes, comme celui du syndicat Strategic Organizing Center, ont montré une corrélation entre l’adoption de robots chez Amazon et l’augmentation des problèmes de santé des travailleurs dû à l’augmentation des cadencements. 

Le problème, c’est que les lois régissant les données personnelles peuvent ne pas s’appliquer aux données synthétiques, comme l’expliquent les professeures de droit Michal S. Gal et Orla Lynskey dans un article consacré aux implications légales des données synthétiques. Et même lorsque ces lois s’appliquent, l’autorité chargée de l’application peut ne pas être en mesure de déterminer si des données synthétiques ou personnelles ont été utilisées, ce qui incite les entreprises à prétendre faussement se conformer en masquant l’utilisation réelle des données derrière la génération synthétique. Enfin, le recours aux données synthétiques peuvent compromettre les exigences légales d’explicabilité et d’interprétabilité. En général, plus le générateur de données synthétiques est sophistiqué, plus il devient difficile d’expliquer les corrélations et, plus fortement encore, la causalité dans les données générées. Enfin, avec les données synthétiques, le profilage pourrait au final être plus invasif encore, comme l’exprimaient par exemple les professeurs de droit Daniel Susser et Jeremy Seeman. Enfin, leur utilisation pourrait suggérer au régulateur de diminuer les contrôles, sans voir de recul du profilage et des mesures disciplinaires sans recours. 

D’autres techniques encore sont mobilisés, comme le calcul multipartite et l’apprentissage fédéré qui permettent aux entreprises d’analyser des données en améliorant leur confidentialité. Le calcul multipartite permet à plusieurs parties de calculer conjointement des résultats tout en conservant leurs données chiffrées. L’apprentissage fédéré permet à plusieurs appareils d’entraîner conjointement un modèle d’apprentissage automatique en traitant les données localement, évitant ainsi leur transfert vers un serveur central : ce qui permet qu’une entreprise peut analyser les données personnelles d’une autre entreprise sans en être réellement propriétaire et sans accéder au détail. Sur le papier, la technologie du calcul multipartite semble améliorer la confidentialité, mais en pratique, les entreprises peuvent l’utiliser pour coordonner la consolidation et la surveillance des données tout en échappant à toute responsabilité. Ces technologies sont par exemple très utilisées pour la détection des émotions en assurant d’une confidentialité accrue…  sans assurer que les préjudices ne soient réduits et ce, alors que, l’intégration des IA émotionnelles dans le champ du travail est complexifié par le règlement européen sur l’IA, comme l’expliquait un récent article du Monde. 

Comment réguler alors ?

« Sans garanties proactives pour réguler les conditions de travail, l’innovation continuera d’être utilisée comme un outil d’exploitation », rappellent les chercheurs. « Pour inverser cette tendance, nous avons besoin de politiques qui placent la dignité, l’autonomie et le pouvoir collectif des travailleurs au cœur de nos préoccupations ». Et les chercheurs de proposer 3 principes de conception pour améliorer la réglementation en la matière. 

Tout d’abord, supprimer le droit de surveillance des employeurs en limitant la surveillance abusive. Les chercheurs estiment que nous devons établir de meilleures règles concernant la datafication du monde du travail, la collecte comme la génération de données. Ils rappellent que le problème ne repose pas seulement dans l’utilisation des données, mais également lors de la collecte et après : « une fois créées, elles peuvent être anonymisées, agrégées, synthétisées, dépersonnalisées, traitées de manière confidentielle, stockées, vendues, partagées, etc. » Pour les chercheurs, il faut d’abord « fermer le robinet » et fermer « la surveillance illimitée », comme nous y invitaient déjà en 2017 Ifeoma Ajunwa, Kate Crawford et Jason Schultz. 

Bien souvent, l’interdiction de la collecte de données est très limitée. Elle est strictement interdite dans les salles de pause et les toilettes, mais la collecte est souvent autorisée partout ailleurs. Il faut briser la « prérogative de surveillance de l’employeur », et notamment la surveillance massive et continue. « Lorsque la surveillance électronique intermittente du lieu de travail est autorisée, elle doit respecter des principes stricts de minimisation » (d’objectif et de proportionnalité pourrait-on ajouter pour rappeler d’autres principes essentiels de la protection des données). « Plus précisément, elle ne devrait être autorisée que lorsqu’elle est strictement nécessaire (par exemple, pour des raisons de conformité légale), lorsqu’elle affecte le plus petit nombre de travailleurs, qu’elle collecte le moins de données nécessaires et qu’elle est strictement adaptée à l’utilisation des moyens les moins invasifs ». Les chercheurs recommandent également d’informer les travailleurs de ces surveillance et de leur objectif et signalent l’existence de propositions de loi interdisant aux entreprises d’exiger de leurs employés des dispositifs de localisation ou le port permanent d’appareils de surveillance. Des propositions qui reconnaissent que la protection des données des travailleurs ne saurait se substituer à la protection de leur espace, de leur temps et de leur autonomie.

Enfin, ils recommandent de réduire voire d’interdire la vente de données et leurs exploitation à des tiers (sans développer cette proposition, hélas).  

Le deuxième angle des propositions appelle à se concentrer sur les objectifs des systèmes, en soulignant, très pertinemment que « les cadres juridiques qui se concentrent sur les détails techniques ont tendance à désavantager les travailleurs, car ils exacerbent les asymétries de pouvoir » et surtout se concentrent sur des propositions qui peuvent être vite mises à mal et contournées par le déploiement de nouvelles technologies. 

Les chercheurs recommandent de ne pas tant regarder regarder les intrants (la collecte de données ou leur anonymisation) et de se concentrer plutôt sur les « conséquences concrètes, intentionnelles comme imprévues, que ces systèmes produisent pour les travailleurs », comme l’instabilité des horaires, les mesures disciplinaires injustes, le stress, les cadences, ou la précarité de l’emploi… indépendamment des technologies utilisées ou du respect des normes de confidentialité. Par exemple, en interdisant la prise de décision automatisée dans certaines situations, comme le proposait déjà l’AI Now Institute en 2023 en demandant à établir des lignes rouges interdisant la surveillance émotionnelle ou la discrimination salariale algorithmique. Une loi fédérale pour la protection des travailleurs de la logistique par exemple interdit les quotas de cadencement inférieurs à la journée (88, 89) et charge l’administration de la sécurité et de la santé au travail (OSHA) de créer une norme dédiée suggérant l’intérêt à autoriser les organismes de réglementation existants à actualiser et améliorer les protections depuis les données. Un projet de loi sur la sécurité des emplois de la ville de New York interdit par exemple expressément aux employeurs de licencier des travailleurs sur la base de données issues de technologies biométriques, de technologies de géolocalisation, d’applications installées sur les appareils personnels et d’enregistrements effectués au domicile des employés. « L’un des avantages des approches politiques qui restreignent clairement certaines pratiques des employeurs est leur lisibilité : elles n’obligent pas les travailleurs ou les autorités de réglementation à déchiffrer des systèmes de boîte noire. Ces lois permettent aux travailleurs de mieux reconnaître les violations de leurs droits », comme les lois sur la semaine de travail équitable qui protègent les travailleurs contre les modifications d’horaires sans préavis ni rémunération (voir ce que nous en disions déjà en 2020). « Plusieurs États et localités ont adopté ces lois en réponse à l’essor des pratiques de planification à flux tendu, où les employeurs, souvent à l’aide de logiciels basés sur les données, tentent d’optimiser les coûts de main-d’œuvre par le biais de modifications d’horaires très imprévisibles. Les protections liées à la semaine de travail équitable ne réglementent pas les détails techniques, comme les données intégrées à l’algorithme ; elles désamorcent plutôt le problème en obligeant les employeurs à indemniser financièrement les travailleurs pour les modifications d’horaires de dernière minute. Les lois sur les horaires équitables et les limites de cadencement illustrent la manière dont les régulateurs peuvent créer de nouveaux droits substantiels pour les travailleurs en élaborant de nouvelles réglementations sur le lieu de travail pour les préjudices induits par les nouvelles technologies, qui n’étaient auparavant pas reconnus par la loi. Ces types de politiques sont facilement applicables et ont un impact concret et direct sur les conditions de travail ». Mettre des limites aux cadences, était d’ailleurs une des propositions que nous avions mises en avant dans notre article sur la surveillance au travail.

Enfin, les chercheurs évoquent un troisième faisceau de règles visant à privilégier les politiques qui renforcent l’autonomie des travailleurs et limitent le pouvoir des entreprises en rééquilibrant les asymétries de pouvoir. « Pour renforcer le pouvoir des travailleurs à l’ère de l’IA, les décideurs politiques doivent reconnaître que le problème fondamental ne réside pas dans la protection de données spécifiques, mais dans la manière dont les nouvelles technologies en milieu de travail peuvent exacerber les asymétries de pouvoir et l’exploitation structurelle », comme l’expliquait le Roosevelt Institute. Ils invitent à ce que les décideurs politiques soutiennent des mécanismes qui renforcent la participation collective des travailleurs à toutes les étapes du développement et du déploiement des technologies en milieu de travail : comme ceux favorisant la négociation collective et ceux favorisant la participation des travailleurs à toutes les étapes du développement, du déploiement et des ajustements des systèmes d’IA. Ensuite, ils recommandent, notamment face à la sophistication des déploiements technologiques, de renforcer les pouvoir d’enquêtes et les capacités des agences du travail et des procureurs et d’imposer plus activement des mesures de transparence en proposant des sanctions proportionnées pour dissuader les abus (et notamment en sanctionnant les dirigeants et pas seulement les entreprises, comme le suggérait le rapport 2025 de l’AI Now Institute). Les chercheurs proposent d’établir un droit privé d’action permettant à une personne ou une organisation de poursuivre une entreprise ou un employeur individuellement comme dans le cadre d’un recours collectif. Ils recommandent également que dans les cas de surveillance ou de décision algorithmique, la charge de la preuve incombe aux employeurs et de renforcer la protection des lanceurs d’alerte comme le proposait la juriste Hannah Bloch-Wehba pour contrer le silence autour du fonctionnement des technologies par ceux qui les déploient. Les révélations éclairent le débat public et incitent à agir. Il faut donc les encourager plus efficacement. 

Et les chercheurs de conclure en rappelant que les entreprises privilégient de plus en plus les profits aux personnes. Pour défaire cette tendance, « nous avons besoin de garanties ancrées dans des droits collectifs », renforcés. Nous devons traiter les travailleurs non pas comme des données, mais leur permettre de peser sur les décisions. 

Ces propositions peuvent paraître radicales, notamment parce que le déploiement des technologies de surveillance au travail est déjà partout très avancé et nécessite d’exiger de faire marche arrière pour faire reculer la surveillance au travail. De réfléchir activement à une dénumérisation voire une rematérialisation… Ils nous montrent néanmoins que nous avons un lourd travail à réaliser pour humaniser à nouveau la relation de travail et qu’elle ne se brise pas sur des indicateurs abscons et défaillants laissant partout les travailleurs sans pouvoir sur le travail. 

Hubert Guillaud

Le 18 novembre, les chercheurs de Data & Society responsables du rapport proposent un webinaire sur le sujet. Son titre : « mettre fin au pipeline de la surveillance via l’IA ». 

« Protéger les données personnelles des travailleurs ne signifie pas nécessairement protéger les travailleurs ». Alors que les entreprises parlent de plus en plus d’IA respectueuses de la vie privée, ces solutions sont bien souvent un moyen de contournement, dénoncent les chercheurs de Data & Society, Power Switch Action et Coworker, auteurs du rapport Privacy Trap. Ces technologies peuvent leur permettre « de se conformer techniquement aux lois sur la confidentialité des données tout en exerçant sur leurs employés un contrôle qui devrait susciter de vives inquiétudes ». « Sans contrôle ni intervention proactive, ces technologies seront déployées de manière à obscurcir encore davantage la responsabilité, à approfondir les inégalités et à priver les travailleurs de leur voix et de leur pouvoir d’action ».

Les chercheurs et chercheuses – Minsu Longiaru, Wilneida Negrón, Brian J. Chen, Aiha Nguyen, Seema N. Patel, et Dana Calacci – attirent l’attention sur deux mythes fondamentaux sur la confidentialité des données, à savoir : croire que la protection des données sur le marché de la consommation fonctionne de manière similaire sur le lieu de travail et croire que renforcer la protection des informations personnelles suffit à remédier aux préjudices subis par les travailleurs suite à l’extraction de données. En fait, rappellent les chercheurs, les réglementations sur la protection des données personnelles reposent sur un cadre d’action fondé sur les droits individuels d’accès, de rectification et de suppression, et ne s’appliquent qu’aux données dites personnelles : les données anonymisées, dépersonnalisées ou agrégées ne bénéficient que de peu voire d’aucune protection juridique. Mais ces approches individualisées sont « cruellement » insuffisantes sur le lieu de travail, notamment parce que les travailleurs évoluent dans des conditions de pouvoir de négociations extrêmement inégales où l’exercice de leurs droits peut-être impossible et ils n’ont bien souvent pas le pouvoir de contrôler, voire même de percevoir, l’étendue de la surveillance dont ils sont l’objet. « Par conséquent, on observe une expansion sans précédent de la capacité des employeurs à collecter les données des travailleurs sans leur consentement explicite et à les utiliser à des fins de surveillance, de sanction et d’intensification de l’exploitation », comme par exemple quand les employeurs revendent ou transmettent les données des travailleurs à des tiers – comme l’expliquait par exemple la sociologue Karen Levy dans son livre sur la surveillance des routiers. 

De l’instrumentalisation de la protection de la vie privée

Les technologies d’IA préservant la confidentialité (par exemple des techniques de chiffrement permettant de masquer les données lors de leur collecte, de leur traitement ou de leur utilisation), le développement des données synthétiques (qui servent à remplacer ou compléter des données réelles) et le calcul multipartite (des technologies permettant d’analyser les données de différents appareils ou parties, sans divulguer les données des uns aux autres), permettent désormais aux entreprises de se conformer aux cadres réglementaires, tout en accentuant la surveillance. 

Les entreprises utilisent les données de leurs employés pour générer des profils détaillés, des indicateurs de performance… et manipulent ces informations à leur profit grâce à l’asymétrie d’information, comme le montrait le rapport de Power Switch Action sur Uber. Le développement du chiffrement ou de la confidentialité différentielle (ce que l’on appelle le marché des technologies qui augmentent la confidentialité, les Privacy-Enhancing Technologies (PET) est en explosion, passant de 2,4 milliards de dollars en 2023 à 25,8 milliards en 2033 selon des prévisions du Forum économique mondial) risquent d’ailleurs à terme de renforcer l’opacité et l’asymétrie d’information sur les lieux de travail, s’inquiètent les chercheurs, en permettant aux entreprises d’analyser des ensembles de données sans identifier les éléments individuels (ce qui leur permet de ne pas consulter les données des individus, tout en continuant à extraire des informations individuelles toujours plus précises). Le déploiement de ces technologies permettent aux entreprises de se dégager de leurs responsabilités, de masquer, voire d’obfusquer les discriminations, comme le disait la chercheuse Ifeoma Ajunwa ou comme l’explique la chercheuse Elizabeth Renieris dans son livre Beyond Data (MIT Press, 2023, non traduit et disponible en libre accès). Elle y rappelle que les données ne sont pas une vérité objective et, de plus, leur statut « entièrement contextuel et dynamique » en fait un fondement instable pour toute organisation. Mais surtout, que ces technologies encouragent un partage accru des données. 

Uber par exemple est l’un des grands utilisateurs des PETs, sans que cela n’ait jamais bénéficié aux chauffeurs, bien au contraire, puisque ces technologies permettent à l’entreprise (et à toutes celles qui abusent de la discrimination salariale algorithmique, comme l’expliquait Veena Dubal) de réviser les rémunérations à la baisse. 

Les chercheurs donnent d’autres exemples encore, notamment le développement du recours à des données synthétiques pour produire des conclusions statistiques similaires aux données réelles. Elles peuvent ainsi prédire ou simuler le comportement des employés sans utiliser ou en masquant les données personnelles. C’est ce que fait Amazon dans les entrepôts où il déploie des robots automatiques par exemple. Or, depuis 2019, des rapports d’enquêtes, comme celui du syndicat Strategic Organizing Center, ont montré une corrélation entre l’adoption de robots chez Amazon et l’augmentation des problèmes de santé des travailleurs dû à l’augmentation des cadencements. 

Le problème, c’est que les lois régissant les données personnelles peuvent ne pas s’appliquer aux données synthétiques, comme l’expliquent les professeures de droit Michal S. Gal et Orla Lynskey dans un article consacré aux implications légales des données synthétiques. Et même lorsque ces lois s’appliquent, l’autorité chargée de l’application peut ne pas être en mesure de déterminer si des données synthétiques ou personnelles ont été utilisées, ce qui incite les entreprises à prétendre faussement se conformer en masquant l’utilisation réelle des données derrière la génération synthétique. Enfin, le recours aux données synthétiques peuvent compromettre les exigences légales d’explicabilité et d’interprétabilité. En général, plus le générateur de données synthétiques est sophistiqué, plus il devient difficile d’expliquer les corrélations et, plus fortement encore, la causalité dans les données générées. Enfin, avec les données synthétiques, le profilage pourrait au final être plus invasif encore, comme l’exprimaient par exemple les professeurs de droit Daniel Susser et Jeremy Seeman. Enfin, leur utilisation pourrait suggérer au régulateur de diminuer les contrôles, sans voir de recul du profilage et des mesures disciplinaires sans recours. 

D’autres techniques encore sont mobilisés, comme le calcul multipartite et l’apprentissage fédéré qui permettent aux entreprises d’analyser des données en améliorant leur confidentialité. Le calcul multipartite permet à plusieurs parties de calculer conjointement des résultats tout en conservant leurs données chiffrées. L’apprentissage fédéré permet à plusieurs appareils d’entraîner conjointement un modèle d’apprentissage automatique en traitant les données localement, évitant ainsi leur transfert vers un serveur central : ce qui permet qu’une entreprise peut analyser les données personnelles d’une autre entreprise sans en être réellement propriétaire et sans accéder au détail. Sur le papier, la technologie du calcul multipartite semble améliorer la confidentialité, mais en pratique, les entreprises peuvent l’utiliser pour coordonner la consolidation et la surveillance des données tout en échappant à toute responsabilité. Ces technologies sont par exemple très utilisées pour la détection des émotions en assurant d’une confidentialité accrue…  sans assurer que les préjudices ne soient réduits et ce, alors que, l’intégration des IA émotionnelles dans le champ du travail est complexifié par le règlement européen sur l’IA, comme l’expliquait un récent article du Monde. 

Comment réguler alors ?

« Sans garanties proactives pour réguler les conditions de travail, l’innovation continuera d’être utilisée comme un outil d’exploitation », rappellent les chercheurs. « Pour inverser cette tendance, nous avons besoin de politiques qui placent la dignité, l’autonomie et le pouvoir collectif des travailleurs au cœur de nos préoccupations ». Et les chercheurs de proposer 3 principes de conception pour améliorer la réglementation en la matière. 

Tout d’abord, supprimer le droit de surveillance des employeurs en limitant la surveillance abusive. Les chercheurs estiment que nous devons établir de meilleures règles concernant la datafication du monde du travail, la collecte comme la génération de données. Ils rappellent que le problème ne repose pas seulement dans l’utilisation des données, mais également lors de la collecte et après : « une fois créées, elles peuvent être anonymisées, agrégées, synthétisées, dépersonnalisées, traitées de manière confidentielle, stockées, vendues, partagées, etc. » Pour les chercheurs, il faut d’abord « fermer le robinet » et fermer « la surveillance illimitée », comme nous y invitaient déjà en 2017 Ifeoma Ajunwa, Kate Crawford et Jason Schultz. 

Bien souvent, l’interdiction de la collecte de données est très limitée. Elle est strictement interdite dans les salles de pause et les toilettes, mais la collecte est souvent autorisée partout ailleurs. Il faut briser la « prérogative de surveillance de l’employeur », et notamment la surveillance massive et continue. « Lorsque la surveillance électronique intermittente du lieu de travail est autorisée, elle doit respecter des principes stricts de minimisation » (d’objectif et de proportionnalité pourrait-on ajouter pour rappeler d’autres principes essentiels de la protection des données). « Plus précisément, elle ne devrait être autorisée que lorsqu’elle est strictement nécessaire (par exemple, pour des raisons de conformité légale), lorsqu’elle affecte le plus petit nombre de travailleurs, qu’elle collecte le moins de données nécessaires et qu’elle est strictement adaptée à l’utilisation des moyens les moins invasifs ». Les chercheurs recommandent également d’informer les travailleurs de ces surveillance et de leur objectif et signalent l’existence de propositions de loi interdisant aux entreprises d’exiger de leurs employés des dispositifs de localisation ou le port permanent d’appareils de surveillance. Des propositions qui reconnaissent que la protection des données des travailleurs ne saurait se substituer à la protection de leur espace, de leur temps et de leur autonomie.

Enfin, ils recommandent de réduire voire d’interdire la vente de données et leurs exploitation à des tiers (sans développer cette proposition, hélas).  

Le deuxième angle des propositions appelle à se concentrer sur les objectifs des systèmes, en soulignant, très pertinemment que « les cadres juridiques qui se concentrent sur les détails techniques ont tendance à désavantager les travailleurs, car ils exacerbent les asymétries de pouvoir » et surtout se concentrent sur des propositions qui peuvent être vite mises à mal et contournées par le déploiement de nouvelles technologies. 

Les chercheurs recommandent de ne pas tant regarder regarder les intrants (la collecte de données ou leur anonymisation) et de se concentrer plutôt sur les « conséquences concrètes, intentionnelles comme imprévues, que ces systèmes produisent pour les travailleurs », comme l’instabilité des horaires, les mesures disciplinaires injustes, le stress, les cadences, ou la précarité de l’emploi… indépendamment des technologies utilisées ou du respect des normes de confidentialité. Par exemple, en interdisant la prise de décision automatisée dans certaines situations, comme le proposait déjà l’AI Now Institute en 2023 en demandant à établir des lignes rouges interdisant la surveillance émotionnelle ou la discrimination salariale algorithmique. Une loi fédérale pour la protection des travailleurs de la logistique par exemple interdit les quotas de cadencement inférieurs à la journée (88, 89) et charge l’administration de la sécurité et de la santé au travail (OSHA) de créer une norme dédiée suggérant l’intérêt à autoriser les organismes de réglementation existants à actualiser et améliorer les protections depuis les données. Un projet de loi sur la sécurité des emplois de la ville de New York interdit par exemple expressément aux employeurs de licencier des travailleurs sur la base de données issues de technologies biométriques, de technologies de géolocalisation, d’applications installées sur les appareils personnels et d’enregistrements effectués au domicile des employés. « L’un des avantages des approches politiques qui restreignent clairement certaines pratiques des employeurs est leur lisibilité : elles n’obligent pas les travailleurs ou les autorités de réglementation à déchiffrer des systèmes de boîte noire. Ces lois permettent aux travailleurs de mieux reconnaître les violations de leurs droits », comme les lois sur la semaine de travail équitable qui protègent les travailleurs contre les modifications d’horaires sans préavis ni rémunération (voir ce que nous en disions déjà en 2020). « Plusieurs États et localités ont adopté ces lois en réponse à l’essor des pratiques de planification à flux tendu, où les employeurs, souvent à l’aide de logiciels basés sur les données, tentent d’optimiser les coûts de main-d’œuvre par le biais de modifications d’horaires très imprévisibles. Les protections liées à la semaine de travail équitable ne réglementent pas les détails techniques, comme les données intégrées à l’algorithme ; elles désamorcent plutôt le problème en obligeant les employeurs à indemniser financièrement les travailleurs pour les modifications d’horaires de dernière minute. Les lois sur les horaires équitables et les limites de cadencement illustrent la manière dont les régulateurs peuvent créer de nouveaux droits substantiels pour les travailleurs en élaborant de nouvelles réglementations sur le lieu de travail pour les préjudices induits par les nouvelles technologies, qui n’étaient auparavant pas reconnus par la loi. Ces types de politiques sont facilement applicables et ont un impact concret et direct sur les conditions de travail ». Mettre des limites aux cadences, était d’ailleurs une des propositions que nous avions mises en avant dans notre article sur la surveillance au travail.

Enfin, les chercheurs évoquent un troisième faisceau de règles visant à privilégier les politiques qui renforcent l’autonomie des travailleurs et limitent le pouvoir des entreprises en rééquilibrant les asymétries de pouvoir. « Pour renforcer le pouvoir des travailleurs à l’ère de l’IA, les décideurs politiques doivent reconnaître que le problème fondamental ne réside pas dans la protection de données spécifiques, mais dans la manière dont les nouvelles technologies en milieu de travail peuvent exacerber les asymétries de pouvoir et l’exploitation structurelle », comme l’expliquait le Roosevelt Institute. Ils invitent à ce que les décideurs politiques soutiennent des mécanismes qui renforcent la participation collective des travailleurs à toutes les étapes du développement et du déploiement des technologies en milieu de travail : comme ceux favorisant la négociation collective et ceux favorisant la participation des travailleurs à toutes les étapes du développement, du déploiement et des ajustements des systèmes d’IA. Ensuite, ils recommandent, notamment face à la sophistication des déploiements technologiques, de renforcer les pouvoir d’enquêtes et les capacités des agences du travail et des procureurs et d’imposer plus activement des mesures de transparence en proposant des sanctions proportionnées pour dissuader les abus (et notamment en sanctionnant les dirigeants et pas seulement les entreprises, comme le suggérait le rapport 2025 de l’AI Now Institute). Les chercheurs proposent d’établir un droit privé d’action permettant à une personne ou une organisation de poursuivre une entreprise ou un employeur individuellement comme dans le cadre d’un recours collectif. Ils recommandent également que dans les cas de surveillance ou de décision algorithmique, la charge de la preuve incombe aux employeurs et de renforcer la protection des lanceurs d’alerte comme le proposait la juriste Hannah Bloch-Wehba pour contrer le silence autour du fonctionnement des technologies par ceux qui les déploient. Les révélations éclairent le débat public et incitent à agir. Il faut donc les encourager plus efficacement. 

Et les chercheurs de conclure en rappelant que les entreprises privilégient de plus en plus les profits aux personnes. Pour défaire cette tendance, « nous avons besoin de garanties ancrées dans des droits collectifs », renforcés. Nous devons traiter les travailleurs non pas comme des données, mais leur permettre de peser sur les décisions. 

Ces propositions peuvent paraître radicales, notamment parce que le déploiement des technologies de surveillance au travail est déjà partout très avancé et nécessite d’exiger de faire marche arrière pour faire reculer la surveillance au travail. De réfléchir activement à une dénumérisation voire une rematérialisation… Ils nous montrent néanmoins que nous avons un lourd travail à réaliser pour humaniser à nouveau la relation de travail et qu’elle ne se brise pas sur des indicateurs abscons et défaillants laissant partout les travailleurs sans pouvoir sur le travail. 

Hubert Guillaud

Le 18 novembre, les chercheurs de Data & Society responsables du rapport proposent un webinaire sur le sujet. Son titre : « mettre fin au pipeline de la surveillance via l’IA ». 

Si le département de l’Efficacité Gouvernementale (DOGE) a disparu de l’actualité, ce n’est pas le cas de ses actions ni du modèle initié, au contraire. Aux États-Unis, des dizaines de d’État ont mis en place des « missions d’efficacité », inspirées du Doge. Un point commun à nombre de ces initiatives est « l’objectif affiché d’identifier et d’éliminer les inefficacités des administrations publiques grâce à l’intelligence artificielle (IA) » et de promouvoir « un accès élargi aux systèmes de données étatiques existants », selon une analyse récente de Maddy Dwyer, analyste politique au Centre pour la démocratie et la technologie.

Sur Tech Policy Press, Justin Hendrix en discute justement avec Maddy Dwyer et l’ingénieur Ben Green, dont on a souvent évoqué le travail sur InternetActu et dont on avait lu The smart enough city (MIT Press, 2019, non traduit, voir notre article “Vers des villes politiquement intelligentes”) et qui travaille à un nouveau livre, Algorithmic Realism: Data Science Practices to Promote Social Justice.

Dans son analyse, Maddy Dwyer parle d’une « dogification des administrations américaines » et des gouvernements d’Etats. 29 États américains ont mis en place des initiatives en ce sens, avec des succès pour l’instant mitigés, et un certain nombre (11) ont particulièrement mobilisé les données et l’IA pour se faire. Certains l’ont mobilisé pour simplifier les processus réglementaires, réduire les effectifs et évaluer les financements. Dwyer a établi 5 signaux d’alertes permettant de montrer que ces dogifications pouvaient être problématiques. 

La première concerne le manque de transparence. Du Doge fédéral à ses déclinaisons locales, dans beaucoup de situations nous ne savons pas qui compose la structure, quel est son rôle, quelles sont ses attributions légales, de quels accès aux systèmes dispose-t-il ? 

Le second point d’alerte concerne les violations des règles sur la protection de la vie privée, notamment lorsque le Doge a eu accès à des données sensibles et protégées. Cela rappelle aux Etats qu’ils ont l’obligation de veiller à ce que leurs initiatives d’efficacité soient conformes aux lois sur la confidentialité et la cybersécurité.

Le troisième point d’alerte concerne les failles de sécurité et notamment l’absence de contrôle d’accès, voir l’usurpation d’identité. L’efficacité ne peut se faire au détriment de la sécurité des systèmes. 

Le quatrième signal d’alarme concerne l’instrumentalisation des données gouvernementales, notamment en accélérant les échanges de données entre agences, à des fins non prévues initialement et au risque de saper la confiance des administrés. 

Enfin, un ultime signal d’alarme consiste à utiliser des outils IA sans avoir démontré leur efficacité pour prendre des décisions à haut risque. Les administrations et États locaux devraient donc s’assurer que les outils utilisés sont bien adaptés aux tâches à accomplir. 

Pour Ben Green, ces programmes sont d’abord des programmes austéritaires. Le Doge nous a surtout montré qu’intégrer la technologie dans l’administration peut considérablement échouer. Certes l’IA peut produire du code, mais une grande partie du travail d’ingénieur logiciel ne consiste pas à l’écrire, il consiste à l’intégrer dans un système logiciel complexe, de suivre des protocoles de sécurité appropriés, de concevoir un logiciel capable d’être maintenu dans le temps. Autant de choses que les outils de codage automatisés savent peu faire, rappelle l’ingénieur. Ensuite, ce n’est pas parce qu’un outil d’IA a des capacités ou semble utile qu’il est réellement utile aux travailleurs d’un domaine très spécifique. Déployer un chatbot pour les agents fédéraux ne leur est pas très utile, comme l’expliquait Wired. Un outil d’IA ne sait pas s’intégrer dans un contexte de règles, de réglementations, de processus ni vraiment avec d’autres équipes avec lesquelles les administrations se coordonnent. En vérité, rappelle Green, « il est extrêmement difficile de faire collaborer efficacement les gens et l’IA ». Pour lui, le succès de l’IA s’explique parce qu’elle « rend la mise en œuvre des mesures d’austérité plus rapides ». L’IA est un prétexte, comme le disait Eryk Salvaggio. Elle n’améliore pas l’efficacité du gouvernement. Quand l’IA a été mobilisée au sein de l’Agence des anciens combattants pour réduire les contrats, le code pour distinguer les contrats acceptables des autres a été écrit en une seule journée. Pour Green, le Doge ne s’est jamais soucié de bien faire les choses, ni de garantir le bon fonctionnement des systèmes, mais simplement de rapidité. Sans compter, rappelle Maddy Dwyer, que les administrations subissent désormais une forte pression à avoir recours à l’IA. 

Pour Justin Hendrix, nous sommes aujourd’hui dans un cycle technologique et politique d’expansion de l’IA. Mais ce cycle risque demain de passer. Pourra-t-on utiliser l’IA autrement ? Il est probable que administrations fédérales, étatiques ou locales, se rendent compte que l’IA ne leur apporte pas grande chose et génère surtout des erreurs et de l’opacité, tout comme les entreprises elles-mêmes commencent à déchanter. C’était d’ailleurs l’un des constats du rapport sur l’état du business des l’IA générative publiée par le MIT, qu’évoquait Fortune fin août : « 95% des projets pilotes d’IA générative dans les entreprises échouent ». L’intégration d’outils IA dans les entreprises se révèle particulièrement ardue, et les projets sont souvent peu pertinents, bien moins que les outils des grands acteurs de l’IA. Le rapport soulignait également un décalage dans l’allocation des ressources : plus de la moitié des budgets dédiés à l’IA génératives sont orientés vers le marketing et la vente plutôt que vers l’automatisation des processus métiers. Dans le New York Times, Steve Lohr résumait autrement la situation. « Selon une étude récente de McKinsey & Company, près de huit entreprises sur dix déclarent utiliser l’IA générative, mais tout aussi nombreuses sont celles qui n’ont signalé aucun impact significatif sur leurs résultats financiers. » Malgré l’espoir d’une révolution dans tous les domaines, de la comptabilité back-office au service client, les bénéfices des entreprises à adopter l’IA peinent à émerger. C’est « le paradoxe de l’IA générative », comme dit McKinsey. Et il ressemble furieusement au paradoxe de la productivité de l’introduction des premiers ordinateurs personnels dans les entreprises : malgré les investissements massifs des entreprises dans l’équipement et les nouvelles technologies, les économistes voyaient peu de gains de productivité chez les employés. Selon une enquête de S&P Global, 42% des entreprises qui avaient un projet pilote d’AI l’ont abandonné en 2024, contre 17% l’année précédente. Pour le Gartner, qui analyse depuis des années les cycles de battage médiatique technologiques, l’IA est en train de glisser vers le creux de la désillusion, tout en promettant que c’est l’étape avant qu’une technologie ne devienne un outil à la productivité éprouvé (oubliant de rappeler pourtant, que nombre de technologies mise en avant par cette étude annuelle controversée et fort peu sérieuse, ne sont jamais revenues du creux de la désillusion). Pour l’instant, rappelle Lohr, les seuls gagnants de la course à l’IA ont été les fournisseurs de technologies et de conseils en IA, même si le journaliste tente de nous convaincre du contraire en nous parlant du déploiement de systèmes d’IA chez deux acteurs mondiaux, sans qu’ils soient encore capables de mesurer leurs effets. « Il n’est pas surprenant que les premiers efforts en matière d’IA échouent », clamait Andrew McAfee, codirecteur de l’Initiative sur l’économie numérique du Massachusetts Institute of Technology et fondateur de Workhelix, une société de conseil en IA : « L’innovation est un processus d’échec assez régulier. » 

Reste qu’il est difficile de changer de cap pour ceux qui l’adoptent, rappelle Green, alors que ces bascules favorisent une approche très solutionniste de la technologie. Dans les technologies liées à la ville intelligente, l’adoption rapide de technologies a été déceptive et a conduit à l’abandon de nombre de projets, parce que les équipes, face aux critiques, sont souvent désarmées. Pour lui, l’idée d’une IA indispensable risque surtout de rendre le réveil difficile. « Pour beaucoup de personnes travaillant dans le domaine de la technologie et du gouvernement, la technologie devient la finalité, et on perd de vue ce que nous cherchons réellement à accomplir. On se laisse alors happer par des idées très étroites d’efficacité », au détriment de l’amélioration du gouvernement. Notre navigation à courte vue entre des programmes très pro-techno et leur reflux, conduit à bien plus de stagnation que d’avancées.

Pour Maddy Dwyer tout l’enjeu vise à évaluer s’il existe des alternatives à l’IA plus adaptées pour résoudre nos problèmes, en favorisant la transparence des solutions. Pour Ben Green, nous devrions chercher à mieux comprendre pourquoi l’IA suscite un tel engouement et comment il se propage.

L’engouement pour les solutions technologiques ne date pas de l’IA, comme le montre les nombreuses vagues que nous avons connues. Pour Green, l’enjeu ne consiste pas seulement à expliquer pourquoi l’IA est défaillante, mais à comprendre pourquoi « notre façon de concevoir la technologie est défaillante ». Nous devrions réfléchir à « la façon dont l’information sur la technologie est transmise et partagée à des personnes qui souhaitent simplement améliorer le gouvernement et croient que toutes ces technologies sont efficaces pour y parvenir ». Enfin, dans les discours actuels sur l’efficacité, il faut prendre en compte l’austérité bien sûr, mais plus encore mieux mesurer la profonde méfiance qui s’exprime à l’égard des fonctionnaires. Pourquoi « ne fait-on pas confiance aux bureaucrates pour prendre des décisions à notre place » ? Si l’efficacité est importante, la gauche devrait aussi porter un discours sur l’intérêt général, la dignité, le bien être. L’efficacité est un piège qu’il faut à la fois répondre et dépasser. 

Si le département de l’Efficacité Gouvernementale (DOGE) a disparu de l’actualité, ce n’est pas le cas de ses actions ni du modèle initié, au contraire. Aux États-Unis, des dizaines de d’État ont mis en place des « missions d’efficacité », inspirées du Doge. Un point commun à nombre de ces initiatives est « l’objectif affiché d’identifier et d’éliminer les inefficacités des administrations publiques grâce à l’intelligence artificielle (IA) » et de promouvoir « un accès élargi aux systèmes de données étatiques existants », selon une analyse récente de Maddy Dwyer, analyste politique au Centre pour la démocratie et la technologie.

Sur Tech Policy Press, Justin Hendrix en discute justement avec Maddy Dwyer et l’ingénieur Ben Green, dont on a souvent évoqué le travail sur InternetActu et dont on avait lu The smart enough city (MIT Press, 2019, non traduit, voir notre article “Vers des villes politiquement intelligentes”) et qui travaille à un nouveau livre, Algorithmic Realism: Data Science Practices to Promote Social Justice.

Dans son analyse, Maddy Dwyer parle d’une « dogification des administrations américaines » et des gouvernements d’Etats. 29 États américains ont mis en place des initiatives en ce sens, avec des succès pour l’instant mitigés, et un certain nombre (11) ont particulièrement mobilisé les données et l’IA pour se faire. Certains l’ont mobilisé pour simplifier les processus réglementaires, réduire les effectifs et évaluer les financements. Dwyer a établi 5 signaux d’alertes permettant de montrer que ces dogifications pouvaient être problématiques. 

La première concerne le manque de transparence. Du Doge fédéral à ses déclinaisons locales, dans beaucoup de situations nous ne savons pas qui compose la structure, quel est son rôle, quelles sont ses attributions légales, de quels accès aux systèmes dispose-t-il ? 

Le second point d’alerte concerne les violations des règles sur la protection de la vie privée, notamment lorsque le Doge a eu accès à des données sensibles et protégées. Cela rappelle aux Etats qu’ils ont l’obligation de veiller à ce que leurs initiatives d’efficacité soient conformes aux lois sur la confidentialité et la cybersécurité.

Le troisième point d’alerte concerne les failles de sécurité et notamment l’absence de contrôle d’accès, voir l’usurpation d’identité. L’efficacité ne peut se faire au détriment de la sécurité des systèmes. 

Le quatrième signal d’alarme concerne l’instrumentalisation des données gouvernementales, notamment en accélérant les échanges de données entre agences, à des fins non prévues initialement et au risque de saper la confiance des administrés. 

Enfin, un ultime signal d’alarme consiste à utiliser des outils IA sans avoir démontré leur efficacité pour prendre des décisions à haut risque. Les administrations et États locaux devraient donc s’assurer que les outils utilisés sont bien adaptés aux tâches à accomplir. 

Pour Ben Green, ces programmes sont d’abord des programmes austéritaires. Le Doge nous a surtout montré qu’intégrer la technologie dans l’administration peut considérablement échouer. Certes l’IA peut produire du code, mais une grande partie du travail d’ingénieur logiciel ne consiste pas à l’écrire, il consiste à l’intégrer dans un système logiciel complexe, de suivre des protocoles de sécurité appropriés, de concevoir un logiciel capable d’être maintenu dans le temps. Autant de choses que les outils de codage automatisés savent peu faire, rappelle l’ingénieur. Ensuite, ce n’est pas parce qu’un outil d’IA a des capacités ou semble utile qu’il est réellement utile aux travailleurs d’un domaine très spécifique. Déployer un chatbot pour les agents fédéraux ne leur est pas très utile, comme l’expliquait Wired. Un outil d’IA ne sait pas s’intégrer dans un contexte de règles, de réglementations, de processus ni vraiment avec d’autres équipes avec lesquelles les administrations se coordonnent. En vérité, rappelle Green, « il est extrêmement difficile de faire collaborer efficacement les gens et l’IA ». Pour lui, le succès de l’IA s’explique parce qu’elle « rend la mise en œuvre des mesures d’austérité plus rapides ». L’IA est un prétexte, comme le disait Eryk Salvaggio. Elle n’améliore pas l’efficacité du gouvernement. Quand l’IA a été mobilisée au sein de l’Agence des anciens combattants pour réduire les contrats, le code pour distinguer les contrats acceptables des autres a été écrit en une seule journée. Pour Green, le Doge ne s’est jamais soucié de bien faire les choses, ni de garantir le bon fonctionnement des systèmes, mais simplement de rapidité. Sans compter, rappelle Maddy Dwyer, que les administrations subissent désormais une forte pression à avoir recours à l’IA. 

Pour Justin Hendrix, nous sommes aujourd’hui dans un cycle technologique et politique d’expansion de l’IA. Mais ce cycle risque demain de passer. Pourra-t-on utiliser l’IA autrement ? Il est probable que administrations fédérales, étatiques ou locales, se rendent compte que l’IA ne leur apporte pas grande chose et génère surtout des erreurs et de l’opacité, tout comme les entreprises elles-mêmes commencent à déchanter. C’était d’ailleurs l’un des constats du rapport sur l’état du business des l’IA générative publiée par le MIT, qu’évoquait Fortune fin août : « 95% des projets pilotes d’IA générative dans les entreprises échouent ». L’intégration d’outils IA dans les entreprises se révèle particulièrement ardue, et les projets sont souvent peu pertinents, bien moins que les outils des grands acteurs de l’IA. Le rapport soulignait également un décalage dans l’allocation des ressources : plus de la moitié des budgets dédiés à l’IA génératives sont orientés vers le marketing et la vente plutôt que vers l’automatisation des processus métiers. Dans le New York Times, Steve Lohr résumait autrement la situation. « Selon une étude récente de McKinsey & Company, près de huit entreprises sur dix déclarent utiliser l’IA générative, mais tout aussi nombreuses sont celles qui n’ont signalé aucun impact significatif sur leurs résultats financiers. » Malgré l’espoir d’une révolution dans tous les domaines, de la comptabilité back-office au service client, les bénéfices des entreprises à adopter l’IA peinent à émerger. C’est « le paradoxe de l’IA générative », comme dit McKinsey. Et il ressemble furieusement au paradoxe de la productivité de l’introduction des premiers ordinateurs personnels dans les entreprises : malgré les investissements massifs des entreprises dans l’équipement et les nouvelles technologies, les économistes voyaient peu de gains de productivité chez les employés. Selon une enquête de S&P Global, 42% des entreprises qui avaient un projet pilote d’AI l’ont abandonné en 2024, contre 17% l’année précédente. Pour le Gartner, qui analyse depuis des années les cycles de battage médiatique technologiques, l’IA est en train de glisser vers le creux de la désillusion, tout en promettant que c’est l’étape avant qu’une technologie ne devienne un outil à la productivité éprouvé (oubliant de rappeler pourtant, que nombre de technologies mise en avant par cette étude annuelle controversée et fort peu sérieuse, ne sont jamais revenues du creux de la désillusion). Pour l’instant, rappelle Lohr, les seuls gagnants de la course à l’IA ont été les fournisseurs de technologies et de conseils en IA, même si le journaliste tente de nous convaincre du contraire en nous parlant du déploiement de systèmes d’IA chez deux acteurs mondiaux, sans qu’ils soient encore capables de mesurer leurs effets. « Il n’est pas surprenant que les premiers efforts en matière d’IA échouent », clamait Andrew McAfee, codirecteur de l’Initiative sur l’économie numérique du Massachusetts Institute of Technology et fondateur de Workhelix, une société de conseil en IA : « L’innovation est un processus d’échec assez régulier. » 

Reste qu’il est difficile de changer de cap pour ceux qui l’adoptent, rappelle Green, alors que ces bascules favorisent une approche très solutionniste de la technologie. Dans les technologies liées à la ville intelligente, l’adoption rapide de technologies a été déceptive et a conduit à l’abandon de nombre de projets, parce que les équipes, face aux critiques, sont souvent désarmées. Pour lui, l’idée d’une IA indispensable risque surtout de rendre le réveil difficile. « Pour beaucoup de personnes travaillant dans le domaine de la technologie et du gouvernement, la technologie devient la finalité, et on perd de vue ce que nous cherchons réellement à accomplir. On se laisse alors happer par des idées très étroites d’efficacité », au détriment de l’amélioration du gouvernement. Notre navigation à courte vue entre des programmes très pro-techno et leur reflux, conduit à bien plus de stagnation que d’avancées.

Pour Maddy Dwyer tout l’enjeu vise à évaluer s’il existe des alternatives à l’IA plus adaptées pour résoudre nos problèmes, en favorisant la transparence des solutions. Pour Ben Green, nous devrions chercher à mieux comprendre pourquoi l’IA suscite un tel engouement et comment il se propage.

L’engouement pour les solutions technologiques ne date pas de l’IA, comme le montre les nombreuses vagues que nous avons connues. Pour Green, l’enjeu ne consiste pas seulement à expliquer pourquoi l’IA est défaillante, mais à comprendre pourquoi « notre façon de concevoir la technologie est défaillante ». Nous devrions réfléchir à « la façon dont l’information sur la technologie est transmise et partagée à des personnes qui souhaitent simplement améliorer le gouvernement et croient que toutes ces technologies sont efficaces pour y parvenir ». Enfin, dans les discours actuels sur l’efficacité, il faut prendre en compte l’austérité bien sûr, mais plus encore mieux mesurer la profonde méfiance qui s’exprime à l’égard des fonctionnaires. Pourquoi « ne fait-on pas confiance aux bureaucrates pour prendre des décisions à notre place » ? Si l’efficacité est importante, la gauche devrait aussi porter un discours sur l’intérêt général, la dignité, le bien être. L’efficacité est un piège qu’il faut à la fois répondre et dépasser. 

L’IA prédictive comme générative semble offrir une multitude d’avantages à l’élaboration des politiques publiques : de l’analyse de données complexes à l’optimisation des ressources. Elle semble à la fois être capable d’apporter une vision globale et d’identifier les leviers permettant de la modifier. Recourir à l’IA signifie mettre en place des politiques conduites par les données, ce qui permet d’assurer une forme d’objectivité, notamment quant il s’agit de rationner le service public… 

Mais, cette production de solutions politiques semble oublier que l’IA est incapable de résoudre les problèmes structurels. Elle propose des solutions performatives qui obscurcissent et amplifient les problèmes, explique l’iconoclaste Dan MacQuillan dans un article pour la Joseph Rowntree Foundation, une association britannique de lutte contre la pauvreté, qui a initié une réflexion sur l’usage de l’IA pour le bien public. Dan McQuillan est maître de conférence au département d’informatique de l’université Goldsmiths de Londres. Il est l’auteur de Resisting AI, an anti-fascist approach to artificial intelligence (Résister à l’IA, une approche anti-fasciste de l’intelligence artificielle, Bristol University Press, 2022, non traduit) dont nous avions déjà parlé. 

McQuillan rappelle que l’IA, par principe, consiste à produire des corrélations réductrices plutôt que des analyses causales. « La complexité de l’IA introduit une opacité fondamentale dans le lien entre les données d’entrée et les résultats, rendant impossible de déterminer précisément pourquoi elle a généré un résultat particulier, empêchant ainsi toute voie de recours. Ce phénomène est aggravé dans les applications concrètes, où les résultats apparemment fiables de l’IA peuvent devenir auto-réalisateurs. Un algorithme d’apprentissage automatique qualifiant une famille de « difficile » peut ainsi créer une boucle de rétroaction entre les membres de la famille et les services sociaux. De cette manière, l’IA imite des phénomènes sociologiques bien connus, tels que les stéréotypes et la stigmatisation, mais à grande échelle ». Ses inférences au final renforcent les stratifications sociales de la société comme pour les rendre acceptables.

Or, rappelle le chercheur, « une bonne politique doit impérativement être ancrée dans la réalité ». C’est pourtant bien ce lien que rompent les calculs de l’IA, à l’image des hallucinations. Celles-ci proviennent du fait que l’IA repose sur l’imitation du langage plutôt que sa compréhension. Le même principe s’applique à toutes les prédictions ou classifications que produit l’IA. « Que l’IA soit appliquée directement pour prédire la fraude aux aides sociales ou simplement utilisée par un décideur politique pour « dialoguer » avec une multitude de documents politiques, elle dégrade la fiabilité des résultats ». 

Des données probantes suggèrent déjà que l’imbrication des algorithmes dans les solutions politiques conduit à une appréciation arbitraire de l’injustice et de la cruauté. Les scandales abondent, de Robodebt en Australie à l’affaire des allocations familiales aux Pays-Bas, qui auraient tous pu être évités en écoutant la voix des personnes concernées. Mais l’IA introduit une injustice épistémique, où la capacité des individus à connaître leur propre situation est dévaluée par rapport aux abstractions algorithmiques. Si l’IA, comme la bureaucratie, est présentée comme une forme généralisée et orientée vers un objectif de processus rationnel, elle engendre en réalité de l’inconscience : l’incapacité à critiquer les instructions, le manque de réflexion sur les conséquences et l’adhésion à la croyance que l’ordre est correctement appliqué. Pire encore, l’IA dite générative offre la capacité supplémentaire de simuler une large consultation, que ce soit par « l’interprétation » hallucinatoire d’un grand nombre de soumissions publiques ou par la simulation littérale d’un public virtuel et prétendument plus diversifié en remplaçant des personnes réelles par des avatars d’IA générative. Une technique, qui, si elle a l’avantage de réduire les coûts, est dénoncée par des chercheurs comme contraire aux valeurs mêmes de l’enquête et de la recherche, rappelait Scientific American. « L’approche technocratique mise en œuvre par l’IA est à l’opposé d’un mécanisme réactif aux aléas de l’expérience vécue », explique McQuillan. « L’IA n’est jamais responsable, car elle n’est pas responsable ». Si l’on considère les attributs de l’IA dans leur ensemble, son application à l’élaboration des politiques publiques ou comme outil politique aggravera l’injustice sociale, prédit le chercheur. L’apport de l’IA à l’ordre social ne consiste pas à générer des arrangements de pouvoir alternatifs, mais à mettre en place des mécanismes de classification, de hiérarchisation et d’exclusion. 

Chaque signalement par l’IA d’un risque de fraude, d’un classement d’une personne dans une catégorie, mobilise une vision du monde qui privilégie des représentations abstraites à la complexité des relations vécues, et ce dans l’intérêt des institutions et non des individus. « Imprégnées des injustices criantes du statu quo, les solutions de l’IA tendent inexorablement vers la nécropolitique, c’est-à-dire vers des formes de prise de décision qui modifient la répartition des chances de vie par des désignations de disponibilité relative. Détourner massivement les individus des parcours éducatifs ou des prestations sociales dont ils ont besoin pour survivre, par exemple, constitue un filtre algorithmique pour déterminer qui est bienvenu dans la société et qui ne l’est pas ». 

Le problème, c’est que la pression sur les décideurs politiques à adopter l’IA est immense, non seulement parce que ses biais viennent confirmer les leurs, mais plus encore du fait des engagements commerciaux et des promesses économiques que représente le développement de ce secteur. Et McQuillan de regretter que cette orientation nous éloigne de l’enjeu éthique qui devrait être au cœur des politiques publiques. La politique s’intéresse de moins en moins aux injustices structurelles de la société. « Un monde où l’élaboration et la mise en œuvre des politiques publiques reposent sur l’IA est aussi un monde qui confère un pouvoir considérable à la petite poignée d’entreprises capables de disposer de ces ressources ». Par essence, « l’adoption de l’IA constitue un engagement en faveur de l’extractivisme et d’un transfert de contrôle à un niveau qui supplante toute politique réelle ». 

En fait, explique McQuillan, adopter l’IA dans l’élaboration des politiques publiques revient à soumettre les politiques à des agendas corporatifs et idéologiques plus vastes (à savoir se soumettre à ceux qui ont déjà décidé que l’avenir de la civilisation réside dans l’intelligence artificielle générale (IAG), ceux qui ont décidé que la meilleure réponse à la crise structurelle est de la masquer sous le battage médiatique de l’IA, et ceux qui ont conclu que le meilleur moyen de maintenir les revenus en période de récession mondiale est de remplacer les travailleurs réels par des émulations d’IA de mauvaise qualité). L’impact net de l’IA dans l’élaboration des politiques la rendrait plus précaire et favoriserait l’externalisation et la privatisation sous couvert d’une technologie surmédiatisée. Il s’agit d’une forme de « stratégie du choc », où le sentiment d’urgence généré par une technologie prétendument transformatrice du monde est utilisé comme une opportunité pour l’emprise des entreprises et pour transformer les systèmes sociaux dans des directions ouvertement autoritaires, sans réflexion ni débat démocratique. 

Pour Dan McQuillan, plutôt que de se demander comment l’IA va imprégner l’élaboration des politiques, il faudrait se concentrer sur des politiques publiques qui favorisent la dénumérisation. C’est-à-dire favoriser une stratégie sociotechnique de réduction de la dépendance à l’échelle computationnelle, de participation maximale des communautés concernées et de reconnaissance accrue du fait que le raisonnement computationnel ne saurait se substituer aux questions politiques exigeant un jugement réfléchi et perspicace. L’IA, en tant qu’appareil de calcul, de concepts et d’investissements, est l’apothéose de la « vue d’en haut », l’abstraction désincarnée du savoir privilégié qui empoisonne déjà nombre de formes d’élaboration des politiques. Pour McQuillan, un pivot vers la « décomputation » est une façon de réaffirmer la valeur des connaissances situées et du contexte sur le seul passage à l’échelle. Contrairement aux prédictions et simulations de l’IA, notre réalité commune est complexe et intriquée, et la théorie ne permet pas de prédire l’avenir. Cela ne signifie pas que nous ne pouvons pas progresser vers des objectifs tels que la justice sociale et une transition juste, mais la dénumérisation suggère de les aborder de manière à la fois itérative et participative. Le véritable travail de restructuration réoriente l’attention des technologies toxiques vers le développement de techniques de redistribution du pouvoir social, telles que les conseils populaires et les assemblées populaires. Bref, pour sortir de l’enfermement des politiques publiques de l’abstraction qu’impose l’IA, il faut prendre un virage contraire, suggère McQuillan. Un constat qui n’est pas si éloigné de celui que dresse le chercheur Arvind Narayanan quand il invite à limiter l’emprise du calcul sur le social, même s’il est exprimé ici d’une manière bien plus radicale. 

L’IA prédictive comme générative semble offrir une multitude d’avantages à l’élaboration des politiques publiques : de l’analyse de données complexes à l’optimisation des ressources. Elle semble à la fois être capable d’apporter une vision globale et d’identifier les leviers permettant de la modifier. Recourir à l’IA signifie mettre en place des politiques conduites par les données, ce qui permet d’assurer une forme d’objectivité, notamment quant il s’agit de rationner le service public… 

Mais, cette production de solutions politiques semble oublier que l’IA est incapable de résoudre les problèmes structurels. Elle propose des solutions performatives qui obscurcissent et amplifient les problèmes, explique l’iconoclaste Dan MacQuillan dans un article pour la Joseph Rowntree Foundation, une association britannique de lutte contre la pauvreté, qui a initié une réflexion sur l’usage de l’IA pour le bien public. Dan McQuillan est maître de conférence au département d’informatique de l’université Goldsmiths de Londres. Il est l’auteur de Resisting AI, an anti-fascist approach to artificial intelligence (Résister à l’IA, une approche anti-fasciste de l’intelligence artificielle, Bristol University Press, 2022, non traduit) dont nous avions déjà parlé. 

McQuillan rappelle que l’IA, par principe, consiste à produire des corrélations réductrices plutôt que des analyses causales. « La complexité de l’IA introduit une opacité fondamentale dans le lien entre les données d’entrée et les résultats, rendant impossible de déterminer précisément pourquoi elle a généré un résultat particulier, empêchant ainsi toute voie de recours. Ce phénomène est aggravé dans les applications concrètes, où les résultats apparemment fiables de l’IA peuvent devenir auto-réalisateurs. Un algorithme d’apprentissage automatique qualifiant une famille de « difficile » peut ainsi créer une boucle de rétroaction entre les membres de la famille et les services sociaux. De cette manière, l’IA imite des phénomènes sociologiques bien connus, tels que les stéréotypes et la stigmatisation, mais à grande échelle ». Ses inférences au final renforcent les stratifications sociales de la société comme pour les rendre acceptables.

Or, rappelle le chercheur, « une bonne politique doit impérativement être ancrée dans la réalité ». C’est pourtant bien ce lien que rompent les calculs de l’IA, à l’image des hallucinations. Celles-ci proviennent du fait que l’IA repose sur l’imitation du langage plutôt que sa compréhension. Le même principe s’applique à toutes les prédictions ou classifications que produit l’IA. « Que l’IA soit appliquée directement pour prédire la fraude aux aides sociales ou simplement utilisée par un décideur politique pour « dialoguer » avec une multitude de documents politiques, elle dégrade la fiabilité des résultats ». 

Des données probantes suggèrent déjà que l’imbrication des algorithmes dans les solutions politiques conduit à une appréciation arbitraire de l’injustice et de la cruauté. Les scandales abondent, de Robodebt en Australie à l’affaire des allocations familiales aux Pays-Bas, qui auraient tous pu être évités en écoutant la voix des personnes concernées. Mais l’IA introduit une injustice épistémique, où la capacité des individus à connaître leur propre situation est dévaluée par rapport aux abstractions algorithmiques. Si l’IA, comme la bureaucratie, est présentée comme une forme généralisée et orientée vers un objectif de processus rationnel, elle engendre en réalité de l’inconscience : l’incapacité à critiquer les instructions, le manque de réflexion sur les conséquences et l’adhésion à la croyance que l’ordre est correctement appliqué. Pire encore, l’IA dite générative offre la capacité supplémentaire de simuler une large consultation, que ce soit par « l’interprétation » hallucinatoire d’un grand nombre de soumissions publiques ou par la simulation littérale d’un public virtuel et prétendument plus diversifié en remplaçant des personnes réelles par des avatars d’IA générative. Une technique, qui, si elle a l’avantage de réduire les coûts, est dénoncée par des chercheurs comme contraire aux valeurs mêmes de l’enquête et de la recherche, rappelait Scientific American. « L’approche technocratique mise en œuvre par l’IA est à l’opposé d’un mécanisme réactif aux aléas de l’expérience vécue », explique McQuillan. « L’IA n’est jamais responsable, car elle n’est pas responsable ». Si l’on considère les attributs de l’IA dans leur ensemble, son application à l’élaboration des politiques publiques ou comme outil politique aggravera l’injustice sociale, prédit le chercheur. L’apport de l’IA à l’ordre social ne consiste pas à générer des arrangements de pouvoir alternatifs, mais à mettre en place des mécanismes de classification, de hiérarchisation et d’exclusion. 

Chaque signalement par l’IA d’un risque de fraude, d’un classement d’une personne dans une catégorie, mobilise une vision du monde qui privilégie des représentations abstraites à la complexité des relations vécues, et ce dans l’intérêt des institutions et non des individus. « Imprégnées des injustices criantes du statu quo, les solutions de l’IA tendent inexorablement vers la nécropolitique, c’est-à-dire vers des formes de prise de décision qui modifient la répartition des chances de vie par des désignations de disponibilité relative. Détourner massivement les individus des parcours éducatifs ou des prestations sociales dont ils ont besoin pour survivre, par exemple, constitue un filtre algorithmique pour déterminer qui est bienvenu dans la société et qui ne l’est pas ». 

Le problème, c’est que la pression sur les décideurs politiques à adopter l’IA est immense, non seulement parce que ses biais viennent confirmer les leurs, mais plus encore du fait des engagements commerciaux et des promesses économiques que représente le développement de ce secteur. Et McQuillan de regretter que cette orientation nous éloigne de l’enjeu éthique qui devrait être au cœur des politiques publiques. La politique s’intéresse de moins en moins aux injustices structurelles de la société. « Un monde où l’élaboration et la mise en œuvre des politiques publiques reposent sur l’IA est aussi un monde qui confère un pouvoir considérable à la petite poignée d’entreprises capables de disposer de ces ressources ». Par essence, « l’adoption de l’IA constitue un engagement en faveur de l’extractivisme et d’un transfert de contrôle à un niveau qui supplante toute politique réelle ». 

En fait, explique McQuillan, adopter l’IA dans l’élaboration des politiques publiques revient à soumettre les politiques à des agendas corporatifs et idéologiques plus vastes (à savoir se soumettre à ceux qui ont déjà décidé que l’avenir de la civilisation réside dans l’intelligence artificielle générale (IAG), ceux qui ont décidé que la meilleure réponse à la crise structurelle est de la masquer sous le battage médiatique de l’IA, et ceux qui ont conclu que le meilleur moyen de maintenir les revenus en période de récession mondiale est de remplacer les travailleurs réels par des émulations d’IA de mauvaise qualité). L’impact net de l’IA dans l’élaboration des politiques la rendrait plus précaire et favoriserait l’externalisation et la privatisation sous couvert d’une technologie surmédiatisée. Il s’agit d’une forme de « stratégie du choc », où le sentiment d’urgence généré par une technologie prétendument transformatrice du monde est utilisé comme une opportunité pour l’emprise des entreprises et pour transformer les systèmes sociaux dans des directions ouvertement autoritaires, sans réflexion ni débat démocratique. 

Pour Dan McQuillan, plutôt que de se demander comment l’IA va imprégner l’élaboration des politiques, il faudrait se concentrer sur des politiques publiques qui favorisent la dénumérisation. C’est-à-dire favoriser une stratégie sociotechnique de réduction de la dépendance à l’échelle computationnelle, de participation maximale des communautés concernées et de reconnaissance accrue du fait que le raisonnement computationnel ne saurait se substituer aux questions politiques exigeant un jugement réfléchi et perspicace. L’IA, en tant qu’appareil de calcul, de concepts et d’investissements, est l’apothéose de la « vue d’en haut », l’abstraction désincarnée du savoir privilégié qui empoisonne déjà nombre de formes d’élaboration des politiques. Pour McQuillan, un pivot vers la « décomputation » est une façon de réaffirmer la valeur des connaissances situées et du contexte sur le seul passage à l’échelle. Contrairement aux prédictions et simulations de l’IA, notre réalité commune est complexe et intriquée, et la théorie ne permet pas de prédire l’avenir. Cela ne signifie pas que nous ne pouvons pas progresser vers des objectifs tels que la justice sociale et une transition juste, mais la dénumérisation suggère de les aborder de manière à la fois itérative et participative. Le véritable travail de restructuration réoriente l’attention des technologies toxiques vers le développement de techniques de redistribution du pouvoir social, telles que les conseils populaires et les assemblées populaires. Bref, pour sortir de l’enfermement des politiques publiques de l’abstraction qu’impose l’IA, il faut prendre un virage contraire, suggère McQuillan. Un constat qui n’est pas si éloigné de celui que dresse le chercheur Arvind Narayanan quand il invite à limiter l’emprise du calcul sur le social, même s’il est exprimé ici d’une manière bien plus radicale.