« La vraie surprise est que beaucoup de personnes semblent ravies de se décharger du fardeau de mettre leur pensée en mots. Voilà ce qui me paraît être le fond du problème, plus que l’outil qui le permet ». Martin Lafréchoux (qui revient du futur)

Dans la dernière newsletter d’Algorithm Watch, le journaliste Nicolas Kayser-Bril revient sur la production par un magazine bulgare d’articles génératifs qui lui étaient attribués. Ce qu’il montre, c’est que les mécanismes de réclamation dysfonctionnent. Google lui a demandé de prouver qu’il ne travaillait pas pour ce magazine (!) et a refusé de désindexer les articles. L’autorité de protection des données allemande a transmis sa demande à son homologue bulgare, sans réponse. Le seul moyen pour mettre fin au problème a été de contacter un avocat pour qu’il produise une menace à l’encontre du site, ce qui n’a pas été sans frais pour le journaliste. La « législation sur la protection des données, comme le RGPD, n’a pas été d’une grande aide ».

Ceux qui pratiquent ces usurpations d’identité, qui vont devenir très facile avec l’IA générative, n’ont pour l’instant pas grand chose à craindre, constate Kayser-Bril.

« Les industriels de l’IA ont habilement orienté le débat sur l’IA générative vers leurs propres intérêts, en nous expliquant qu’elle était une technologie transformatrice qui améliore de nombreux aspects de notre société, notamment l’accès aux soins de santé et à l’éducation ». Mais plutôt que prendre au sérieux les vraies critiques (notamment le fait que ces technologies ne soient pas si transformatrices qu’annoncées et qu’elles n’amélioreront ni l’accès au soin ni l’accès à l’éducation), les géants de l’IA ont préféré imposer leur propre discours sur ses inconvénients : à savoir, celui de la menace existentielle, explique clairement Paris Marx sur son blog. Ce scénario totalement irréaliste a permis de mettre de côté les inquiétudes bien réelles qu’impliquent le déploiement sans mesure de l’IA générative aujourd’hui (comme par exemple, le fait qu’elle produise des « distorsion systémique » de l’information selon une étude de 22 producteurs d’information de services publics).

En Irlande, à quelques jours des élections présidentielles du 24 octobre, une vidéo produite avec de l’IA a été diffusée montrant Catherine Connolly, la candidate de gauche en tête des sondages, annoncer qu’elle se retirait de la course, comme si elle le faisait dans le cadre d’un reportage d’une des chaînes nationales. La vidéo avait pour but de faire croire au public que l’élection présidentielle était déjà terminée, sans qu’aucun vote n’ait été nécessaire et a été massivement visionnée avant d’être supprimée. 

Cet exemple nous montre bien que nous ne sommes pas confrontés à un risque existentiel où les machines nous subvertiraient, mais que nous sommes bel et bien confrontés aux conséquences sociales et bien réelles qu’elles produisent. L’IA générative pollue l’environnement informationnel à tel point que de nombreuses personnes ne savent plus distinguer s’il s’agit d’informations réelles ou générées. 

Les grandes entreprises de l’IA montrent bien peu de considération pour ses effets sociaux. Au lieu de cela, elles imposent leurs outils partout, quelle que soit leur fiabilité, et participent à inonder les réseaux de bidules d’IA et de papoteurs destinés à stimuler l’engagement, ce qui signifie plus de temps passé sur leurs plateformes, plus d’attention portée aux publicités et, au final, plus de profits publicitaires. 
En réponse à ces effets sociaux, les gouvernements semblent se concentrer sur la promulgation de limites d’âge afin de limiter l’exposition des plus jeunes à ces effets, sans paraître vraiment se soucier des dommages individuels que ces produits peuvent causer au reste de la population, ni des bouleversements politiques et sociétaux qu’ils peuvent engendrer. Or, il est clair que des mesures doivent être prises pour endiguer ces sources de perturbation sociale et notamment les pratiques de conception addictives qui ciblent tout le monde, alors que les chatbots et les générateurs d’images et de vidéos accélèrent les dégâts causés par les réseaux sociaux. Du fait des promesses d’investissements, de gains de productivité hypothétiques, les gouvernements sacrifient les fondements d’une société démocratique sur l’autel de la réussite économique profitant à quelques monopoles. Pour Paris Marx, l’IA générative n’est rien d’autre qu’une forme de « suicide social » qu’il faut endiguer avant qu’elle ne nous submerge. « Aucun centre de données géant ni le chiffre d’affaires d’aucune entreprise d’IA ne justifie les coûts que cette technologie est en train d’engendrer pour le public ».

En 2022, Arnaud Robert est devenu tétraplégique. Dans un podcast en 7 épisodes pour la Radio-Télévision Suisse, il raconte sa décision de participer à une étude scientifique pour laquelle il a reçu un implant cérébral afin de retrouver le contrôle d’un de ses bras. Un podcast qui décortique le rapport à la technologie de l’intérieur, au plus intime, loin des promesses transhumanistes. « Être cobaye, cʹest prêter son corps à un destin plus grand que le sien ». Mais être cobaye, c’est apprendre aussi que les miracles technologiques ne sont pas toujours au-rendez-vous. Passionnant !

Comment répondre à la gestion algorithmique du travail ? Tel est l’ambition du rapport « Negotiating the Algorithm » publié par la Confédération européenne des syndicats sous la direction du journaliste indépendant Ben Wray, responsable du Gig Economy Project de Brave New Europe. Le rapport décrit la prédominance des logiciels managériaux au travail (qui seraient utilisés par plus de 79% des entreprises de l’Union européenne) et les abus qui en découlent et décrit les moyens de riposte mobilisables par les travailleurs en lien notamment avec la nouvelle législation européenne des travailleurs des plateformes. La gestion algorithmique confère aux employeurs des avantages informationnels considérables sur les travailleurs, leur permet de contourner les conventions collectives et de modifier les conditions de travail et les salaires de chaque travailleur voire de chaque poste. Elle leur permet d’espionner les travailleurs même en dehors de leurs heures de travail et leur offre de nombreuses possibilités de représailles. 

En regard, les travailleurs piégés par la gestion algorithmique sont privés de leur pouvoir d’action et de leurs possibilités de résolution de problèmes, et bien souvent de leurs droits de recours, tant la gestion algorithmique se déploie avec de nombreuses autres mesures autoritaires, comme le fait de ne pouvoir joindre le service RH. 

Il est donc crucial que les syndicats élaborent une stratégie pour lutter contre la gestion algorithmique. C’est là qu’intervient la directive sur le travail de plateforme qui prévoit des dispositions assez riches, mais qui ne sont pas auto-exécutoires… C’est-à-dire que les travailleurs doivent revendiquer les droits que la directive propose, au travail comme devant les tribunaux. Or, elle permet aux travailleurs et à leurs représentants d’exiger des employeurs des données exhaustives sur les décisions algorithmiques, du licenciement au calcul du salaire. 

Bien souvent ces données ne sont pas rendues dans des formats faciles à exploiter, constate Wray : le rapport encourage donc les syndicats à constituer leurs propres groupes d’analyses de données. Le rapport plaide également pour que les syndicats développent des applications capables de surveiller les applications patronales, comme l’application UberCheats, qui permettait de comparer le kilométrage payé par Uber à ses livreurs par rapport aux distances réellement parcourues (l’application a été retirée en 2021 au prétexte de son nom à la demande de la firme Uber). En investissant dans la technologie, les syndicats peuvent combler le déficit d’information des travailleurs sur les employeurs. Wray décrit comment les travailleurs indépendants ont créé des « applications de contre-mesure » ​​qui ont documenté les vols de salaires et de pourboires (voir notre article “Réguler la surveillance au travail”), permis le refus massif d’offres au rabais et aidé les travailleurs à faire valoir leurs droits devant les tribunaux. Cette capacité technologique peut également aider les organisateurs syndicaux, en fournissant une plateforme numérique unifiée pour les campagnes syndicales dans tous les types d’établissements. Wray propose que les syndicats unissent leurs forces pour créer « un atelier technologique commun » aux travailleurs, qui développerait et soutiendrait des outils pour tous les types de syndicats à travers l’Europe. 

Le RGPD confère aux travailleurs de larges pouvoirs pour lutter contre les abus liés aux logiciels de gestion, estime encore le rapport. Il leur permet d’exiger le système de notation utilisé pour évaluer leur travail et d’exiger la correction de leurs notes, et interdit les « évaluations internes cachées ». Il leur donne également le droit d’exiger une intervention humaine dans les prises de décision automatisées. Lorsque les travailleurs sont « désactivés » (éjectés de l’application), le RGPD leur permet de déposer une « demande d’accès aux données » obligeant l’entreprise à divulguer « toutes les informations personnelles relatives à cette décision », les travailleurs ayant le droit d’exiger la correction des « informations inexactes ou incomplètes ». Malgré l’étendue de ces pouvoirs, ils ont rarement été utilisés, en grande partie en raison de failles importantes du RGPD. Par exemple, les employeurs peuvent invoquer l’excuse selon laquelle la divulgation d’informations révélerait leurs secrets commerciaux et exposerait leur propriété intellectuelle. Le RGPD limite la portée de ces excuses, mais les employeurs les ignorent systématiquement. Il en va de même pour l’excuse générique selon laquelle la gestion algorithmique est assurée par un outil tiers. Cette excuse est illégale au regard du RGPD, mais les employeurs l’utilisent régulièrement (et s’en tirent impunément). 

La directive sur le travail de plateforme corrige de nombreuses failles du RGPD. Elle interdit le traitement des « données personnelles d’un travailleur relatives à : son état émotionnel ou psychologique ; l’utilisation de ses échanges privés ; la captation de données lorsqu’il n’utilise pas l’application ; concernant l’exercice de ses droits fondamentaux, y compris la syndicalisation ; les données personnelles du travailleur, y compris son orientation sexuelle et son statut migratoire ; et ses données biométriques lorsqu’elles sont utilisées pour établir son identité. » Elle étend le droit d’examiner le fonctionnement et les résultats des « systèmes décisionnels automatisés » et d’exiger que ces résultats soient exportés vers un format pouvant être envoyé au travailleur, et interdit les transferts à des tiers. Les travailleurs peuvent exiger que leurs données soient utilisées, par exemple, pour obtenir un autre emploi, et leurs employeurs doivent prendre en charge les frais associés. La directive sur le travail de plateforme exige une surveillance humaine stricte des systèmes automatisés, notamment pour des opérations telles que les désactivations. 

Le fonctionnement de leurs systèmes d’information est également soumis à l’obligation pour les employeurs d’informer les travailleurs et de les consulter sur les « modifications apportées aux systèmes automatisés de surveillance ou de prise de décision ». La directive exige également que les employeurs rémunèrent des experts (choisis par les travailleurs) pour évaluer ces changements. Ces nouvelles règles sont prometteuses, mais elles n’entreront en vigueur que si quelqu’un s’y oppose lorsqu’elles sont enfreintes. C’est là que les syndicats entrent en jeu. Si des employeurs sont pris en flagrant délit de fraude, la directive les oblige à rembourser les experts engagés par les syndicats pour lutter contre les escroqueries. 

Wray propose une série de recommandations détaillées aux syndicats concernant les éléments qu’ils devraient exiger dans leurs contrats afin de maximiser leurs chances de tirer parti des opportunités offertes par la directive sur le travail de plateforme, comme la création d’un « organe de gouvernance » au sein de l’entreprise « pour gérer la formation, le stockage, le traitement et la sécurité des données. Cet organe devrait inclure des délégués syndicaux et tous ses membres devraient recevoir une formation sur les données. » 

Il présente également des tactiques technologiques que les syndicats peuvent financer et exploiter pour optimiser l’utilisation de la directive, comme le piratage d’applications permettant aux travailleurs indépendants d’augmenter leurs revenus. Il décrit avec enthousiasme la « méthode des marionnettes à chaussettes », où de nombreux comptes tests sont utilisés pour placer et réserver du travail via des plateformes afin de surveiller leurs systèmes de tarification et de détecter les collusions et les manipulations de prix. Cette méthode a été utilisée avec succès en Espagne pour jeter les bases d’une action en justice en cours pour collusion sur les prix. 

Le nouveau monde de la gestion algorithmique et la nouvelle directive sur le travail de plateforme offrent de nombreuses opportunités aux syndicats. Cependant, il existe toujours un risque qu’un employeur refuse tout simplement de respecter la loi, comme Uber, reconnu coupable de violation des règles de divulgation de données et condamné à une amende de 6 000 € par jour jusqu’à sa mise en conformité. Uber a maintenant payé 500 000 € d’amende et n’a pas divulgué les données exigées par la loi et les tribunaux. 

Grâce à la gestion algorithmique, les patrons ont trouvé de nouveaux moyens de contourner la loi et de voler les travailleurs. La directive sur le travail de plateforme offre aux travailleurs et aux syndicats toute une série de nouveaux outils pour contraindre les patrons à jouer franc jeu. « Ce ne sera pas facile, mais les capacités technologiques développées par les travailleurs et les syndicats ici peuvent être réutilisées pour mener une guerre de classes numérique totale », s’enthousiasme Cory Doctorow.

Dans une tribune pour le Guardian, les chercheuses Sacha Alanoca et Maroussia Levesque estiment que si le gouvernement américain adopte une approche non interventionniste à l’égard des applications d’IA telles que les chatbots et les générateurs d’images, il est fortement impliqué dans les composants de base de l’IA. « Les États-Unis ne déréglementent pas l’IA ; ils réglementent là où la plupart des gens ne regardent pas ». En fait, expliquent les deux chercheuses, les régulations ciblent différents composants des systèmes d’IA. « Les premiers cadres réglementaires, comme la loi européenne sur l’IA, se concentraient sur les applications à forte visibilité, interdisant les utilisations à haut risque dans les domaines de la santé, de l’emploi et de l’application de la loi afin de prévenir les préjudices sociétaux. Mais les pays ciblent désormais les éléments constitutifs de l’IA. La Chine restreint les modèles pour lutter contre les deepfakes et les contenus inauthentiques. Invoquant des risques pour la sécurité nationale, les États-Unis contrôlent les exportations des puces les plus avancées et, sous Biden, vont jusqu’à contrôler la pondération des modèles – la « recette secrète » qui transforme les requêtes des utilisateurs en résultats ». Ces réglementations sur l’IA se dissimulent dans un langage administratif technique, mais derrière ce langage complexe se cache une tendance claire : « la réglementation se déplace des applications de l’IA vers ses éléments constitutifs».

Les chercheuses dressent ainsi une taxonomie de la réglementation. « La politique américaine en matière d’IA n’est pas du laisser-faire. Il s’agit d’un choix stratégique quant à l’endroit où intervenir. Bien qu’opportun politiquement, le mythe de la déréglementation relève davantage de la fiction que de la réalité ». Pour elles, par exemple, il est difficile de justifier une attitude passive face aux préjudices sociétaux de l’IA, alors que Washington intervient volontiers sur les puces électroniques pour des raisons de sécurité nationale.

Pour Jacobin, l’économiste britannique Giorgos Galanis convoque le récent livre de l’économiste Maximilian Kasy, The Means of Prediction: How AI Really Works (and Who Benefits) (Les moyens de prédictions : comment l’IA fonctionne vraiment (et qui en bénéficie), University of Chicago Press, 2025, non traduit), pour rappeler l’importance du contrôle démocratique de la technologie. Lorsqu’un algorithme prédictif a refusé des milliers de prêts hypothécaires à des demandeurs noirs en 2019, il ne s’agissait pas d’un dysfonctionnement, mais d’un choix délibéré, reflétant les priorités des géants de la tech, guidés par le profit. Pour Maximilian Kasy de tels résultats ne sont pas des accidents technologiques, mais les conséquences prévisibles de ceux qui contrôlent l’IA. « De même que Karl Marx identifiait le contrôle des moyens de production comme le fondement du pouvoir de classe, Kasy identifie les « moyens de prédiction » (données, infrastructure informatique, expertise technique et énergie) comme le socle du pouvoir à l’ère de l’IA ». « La thèse provocatrice de Kasy révèle que les objectifs de l’IA sont des choix délibérés, programmés par ceux qui contrôlent ses ressources pour privilégier le profit au détriment du bien commun. Seule une prise de contrôle démocratique des moyens de prédiction permettra de garantir que l’IA serve la société dans son ensemble et non les profits des géants de la tech ». 

Les algorithmes ne sont pas programmés pour prédire n’importe quels résultats. Les  plateformes de médias sociaux, par exemple, collectent d’énormes quantités de données utilisateur pour prédire quelles publicités maximisent les clics, et donc les profits attendus. En quête d’engagement, les algorithmes ont appris que l’indignation, l’insécurité et l’envie incitent les utilisateurs à faire défiler les publications. D’où l’envolée de la polarisation, des troubles anxieux et la dégradation du débat… « Les outils prédictifs utilisés dans le domaine de l’aide sociale ou du recrutement produisent des effets similaires. Les systèmes conçus pour identifier les candidats « à risque » s’appuient sur des données historiques biaisées, automatisant de fait la discrimination en privant de prestations ou d’entretiens d’embauche des groupes déjà marginalisés. Même lorsque l’IA semble promouvoir la diversité, c’est généralement parce que l’inclusion améliore la rentabilité, par exemple en optimisant les performances d’une équipe ou la réputation d’une marque. Dans ce cas, il existe un niveau de diversité « optimal » : celui qui maximise les profits escomptés ». 

Les systèmes d’IA reflètent en fin de compte les priorités de ceux qui contrôlent les « moyens de prédiction ». Si les travailleurs et les usagers, plutôt que les propriétaires d’entreprises, orientaient le développement technologique, suggère Kasy, les algorithmes pourraient privilégier des salaires équitables, la sécurité de l’emploi et le bien-être public au détriment du profit. Mais comment parvenir à un contrôle démocratique des moyens de prédiction ? Kasy préconise un ensemble d’actions complémentaires comme la taxation des entreprises d’IA pour couvrir les coûts sociaux, la réglementation pour interdire les pratiques néfastes en matière de données et la création de fiducies de données, c’est-à-dire la création d’institutions collectives pour gérer les données pour le compte des communautés à des fins d’intérêt public. 

Ces algorithmes décident qui est embauché, qui reçoit des soins médicaux ou qui a accès à l’information, privilégiant souvent le profit au détriment du bien-être social. Il compare la privatisation des données à l’accaparement historique des biens communs, arguant que le contrôle exercé par les géants de la tech sur les moyens de prédiction concentre le pouvoir, sape la démocratie et creuse les inégalités. Des algorithmes utilisés dans les tribunaux aux flux des réseaux sociaux, les systèmes d’IA façonnent de plus en plus nos vies selon les priorités privées de leurs créateurs. Pour Kasy, il ne faut pas les considérer comme de simples merveilles technologiques neutres, mais comme des systèmes façonnés par des forces sociales et économiques. L’avenir de l’IA ne dépend pas de la technologie elle-même, mais de notre capacité collective à bâtir des institutions telles que des fiducies de données pour gouverner démocratiquement les systèmes. Kasy nous rappelle que l’IA n’est pas une force autonome, mais une relation sociale, un instrument de pouvoir de classe qui peut être réorienté à des fins collectives. La question est de savoir si nous avons la volonté politique de nous en emparer.

Dans une tribune pour le New York Times, Maximilian Kasy explique que la protection des données personnelles n’est plus opérante dans un monde où l’IA est partout. « Car l’IA n’a pas besoin de savoir ce que vous avez fait ; elle a seulement besoin de savoir ce que des personnes comme vous ont fait auparavant ». Confier à l’IA la tâche de prendre des décisions à partir de ces données transforme la société. 

« Pour nous prémunir contre ce préjudice collectif, nous devons créer des institutions et adopter des lois qui donnent aux personnes concernées par les algorithmes d’IA la possibilité de s’exprimer sur leur conception et leurs objectifs. Pour y parvenir, la première étape est la transparence. À l’instar des obligations de transparence financière des entreprises, les sociétés et les organismes qui utilisent l’IA devraient être tenus de divulguer leurs objectifs et ce que leurs algorithmes cherchent à maximiser : clics publicitaires sur les réseaux sociaux, embauche de travailleurs non syndiqués ou nombre total d’expulsions », explique Kasy. Pas sûr pourtant que cette transparence des objectifs suffise, si nous n’imposons pas aux entreprises de publier des données sur leurs orientations. 

« La deuxième étape est la participation. Les personnes dont les données servent à entraîner les algorithmes – et dont la vie est influencée par ces derniers – doivent être consultées. Il faudrait que des citoyens contribuent à définir les objectifs des algorithmes. À l’instar d’un jury composé de pairs qui instruisent une affaire civile ou pénale et rendent un verdict collectivement, nous pourrions créer des assemblées citoyennes où un groupe représentatif de personnes choisies au hasard délibère et décide des objectifs appropriés pour les algorithmes. Cela pourrait se traduire par des employés d’une entreprise délibérant sur l’utilisation de l’IA sur leur lieu de travail, ou par une assemblée citoyenne examinant les objectifs des outils de police prédictive avant leur déploiement par les agences gouvernementales. Ce sont ces types de contre-pouvoirs démocratiques qui permettraient d’aligner l’IA sur le bien commun, et non sur le seul intérêt privé. L’avenir de l’IA ne dépendra pas d’algorithmes plus intelligents ou de puces plus rapides. Il dépendra de qui contrôle les données et de quelles valeurs et intérêts guident les machines. Si nous voulons une IA au service du public, c’est au public de décider de ce qu’elle doit servir ».

Le slop est déjà partout, constate, à nouveau, désabusé, Charlie Warzel dans The Atlantic. Nous sommes en train de disparaître sous la distorsion des déchets de l’IA générative. Le nombre d’articles créés par l’IA serait même passé devant celui des articles créés par des humains. Le designer Angelos Arnis parle même d’« infrastructure du non-sens ». Dans la Harvard Business Review, les chercheurs estiment que le travail de remplissage (workslop) généré par l’IA et en train de coloniser le monde du travail sans produire grand chose d’utile. 

« L’IA a créé une véritable infrastructure d’absurdité et de désorientation », explique Warzel. Pire, la perte de sens « rend l’acte même de créer quelque chose de significatif presque insignifiant ». Et perdre l’envie de créer, « je le crains, revient à capituler sur notre humanité même ».

En Californie, quatrième économie mondiale, le gouverneur Newsom vient de promulguer la loi AB325, interdisant les cabinets de conseil en tarification, permettant de surveiller les tarifs et plus encore de les augmenter, nous apprend Cory Doctorow. La loi interdit « l’utilisation ou la diffusion d’un algorithme de tarification commun si cette personne contraint une autre personne à fixer ou à adopter un prix ou une condition commerciale recommandés par l’algorithme pour des produits ou services identiques ou similaires » (voir notre dossier “Du marketing à l’économie numérique : une boucle de prédation”). Pour Matt Stoller, cette législation peut paraître insignifiante, mais il s’agit d’une immense victoire interdisant la coercition des prix. La loi AB325 dit qu’il est désormais illégal de contraindre quelqu’un à utiliser un algorithme de tarification basé sur des données non publiques.

26-27 novembre, Paris. Numérique en lumière : 2 jours de festival documentaire consacré aux droits humains bafoués par le numérique.

« La surveillance biométrique à distance ne sert pas à assurer la sécurité (elle ne le permet pas) ou à empêcher les rassemblements (elle ne le peut pas). C’est le seul moyen de contrôle qui reste lorsque la confiance envers la population est ébranlée. » Nicolas Kayser-Bril

Passionnant article de recherche qui montre que le développement de l’internet des objets dans l’espace domestique n’est pas sans créer des tensions entre les habitants. Les chercheurs parlent de « résistance banale » pour montrer que ces outils, comme les dispositifs vocaux de type Alexa ou domotiques, finissent par être peu à peu rejetés du fait des tensions familiales que leur usage génère. Le capitalisme de surveillance est moins panoptique que myope, ironisent les chercheurs Murray Goulden et Lewis Cameron. Via Algorithm Watch.

On se souvient, avec entrain, des 19 petits Exercices d’observations (Premier Parallèle, 2022) de Nicolas Nova : invitations à nous jouer du monde, à aiguiser nos capacités d’observations en apprenant à décaler son regard sur le monde qui nous entoure. Matthieu Raffard et Mathilde Roussel les mettent en pratique et les prolongent, dans A contre-emploi : manuel expérimental pour réveiller notre curiosité technologique (Premier Parallèle, 2025). Les deux artistes et enseignants-chercheurs nous invitent à nous intéresser aux objets techniques qui nous entourent, à les observer pour nous libérer de leur autorité. Ces 11 nouveaux exercices d’observation active nous montrent que comprendre la technique nécessite, plus que jamais, de chercher à l’observer autrement que la manière dont elle nous est présentée. 

A contre-emploi commence par un moulin à café qui tombe en panne et continue en explorant des machines qui dysfonctionnent… Dans ce monde à réparer, nous avons « à remettre du je » dans le lien que nous entretenons avec les machines. Que ce soit en explorant les controverses situées des trottinettes en libre accès ou les rapports difficiles que nous avons à nos imprimantes, les deux artistes nous invitent au glanage pour ré-armer notre sensibilité technique. Ils nous invitent à ré-observer notre rapport aux objets techniques, pour mieux le caractériser, en s’inspirant des travaux d’observations typologiques réalisés par Bernd et Hilla Becher ou par Marianne Wex par exemple. Pour Raffard et Roussel, à la suite des travaux du psychologue James Gibson dans Approche écologique de la perception visuelle (1979, éditions du Dehors, 2014), c’est en se déplaçant dans notre environnement visuel qu’on peut voir émerger d’autres catégories. C’est le mouvement qui nous permet de voir autrement, rappellent-ils Pour les deux artistes : « c’est la fixité de notre position d’observateur qui rend notre lecture des environnements technologiques compliquée ». 

Pour changer de regard sur la technologie, nous avons besoin d’une « nouvelle écologie de la perception ». Pour cela, ils nous invitent donc à démonter nos objets pour mieux les comprendre, pour mieux les cartographier, pour mieux saisir les choix socio-économiques qui y sont inscrits et déplacer ainsi leur cadre symbolique. Ils nous invitent également à lire ce qu’on y trouve, comme les inscriptions écrites sur les circuits électroniques, d’une manière quasi-automatique, comme quand Kenneth Goldsmith avait recopié un exemplaire du New York Times pour mieux se sentir concerné par tout ce qui y était inscrit – voir notre lecture de L’écriture sans écriture (Jean Boîte éditions, 2018). Raffard et Roussel rappellent que jusqu’en 1970, jusqu’à ce qu’Intel mette au point le processeur 4004, tout le monde pouvait réencoder une puce électronique, comme l’explique le théoricien des médias Friedrich Kittler dans Mode protégé (Presses du réel, 2015). Cet accès a été refermé depuis, nous plongeant dans le « paradoxe de l’accessibilité » qui veut que « plus un objet devient universel et limpide en surface, plus il devient opaque et hermétique en profondeur. Autrement dit, ce que l’on gagne en confort d’expérience, on le perd en capacité de compréhension – et d’action ». Pour le géographe Nigel Thrift, nos objets technologiques nous empêchent d’avoir pleinement conscience de leur réalité. Et c’est dans cet « inconscient technologique », comme il l’appelait, que les forces économiques prennent l’ascendant sur nos choix. « Dans les sociétés technocapitalistes, nous sommes lus davantage que nous ne pouvons lire ».

Ils nous invitent à extraire les mécanismes que les objets assemblent, comme nous y invitait déjà le philosophe Gilbert Simondon quand il évoquait l’assemblage de « schèmes techniques », c’est-à-dire l’assemblage de mécanismes existants permettant de produire des machines toujours plus complexes. Ils nous invitent bien sûr à représenter et schématiser les artefacts à l’image des vues éclatées, diffractées que proposent les dessins techniques, tout en constatant que la complexité technologique les a fait disparaître. On pense bien sûr au travail de Kate Crawford  (Anatomy of AI, Calculating Empires) et son « geste stratégique », ou établir une carte permet de se réapproprier le monde. On pense également au Handbook of Tyranny (Lars Müller Publishers,  2018) de l’architecte Theo Deutinger ou les topographies de pouvoir de l’artiste Mark Lombardi ou encore au Stack (UGA éditions, 2019) du designer Benjamin Bratton qui nous aident à visualiser et donc à comprendre la complexité à laquelle nous sommes confrontés. La cartographie aide à produire des représentations qui permettent de comprendre les points faibles des technologies, plaident les artistes. Elle nous aide à comprendre comment les technologies peuvent être neutralisées, comme quand Extinction Rébellion a proposé de neutraliser les trottinettes électriques urbaines en barrant à l’aide d’un marqueur indélébile, les QR codes pour les rendre inutilisables. Ces formes de neutralisations, comme on les trouve dans le travail de Simon Weckert et son hack de Google Maps en 2020, permettent de faire dérailler la machine, de trouver ses faiblesses, de contourner leur emprise, de « s’immiscer dans l’espace que contrôlent les technologies », de contourner ou détourner leurs assignations, de détourner leurs usages, c’est-à-dire de nous extraire nous-mêmes des scénarios d’usages dans lesquels les objets technologiques nous enferment, c’est-à-dire de réécrire les « scripts normatifs » que les technologies, par leur pouvoir, nous assignent, de comprendre leur « toxicité relationnelle ». 

Ils nous invitent enfin à construire nos machines, bien plus modestement qu’elles n’existent, bien sûr. Les machines que nous sommes capables de refaçonner, seuls, ne peuvent répondre à la toute-puissance des technologies modernes, rappellent-ils en évoquant leur tentative de reconstruire une imprimante à jet d’encre. Raffard et Roussel ont reconstruit une imprimante encombrante et peu performante, tout comme Thomas Thwaites avait reconstruit un grille-pain défaillant (The Toaster Project, Princeton, 2011). Cette bricologie a néanmoins des vertus, rappellent les artistes. Elle nous rappelle qu’à la toute puissance répond la vulnérabilité, à la high tech, la low tech. Et que ce changement même de regard, cette réappropriation, permet au moins de modifier le système cognitif des utilisateurs. Comme quand les manifestes cyberféministes nous invitent à regarder le monde autrement (souvenez-vous de Data Feminism). Pour Raffard et Roussel, créer des situations de vulnérabilité permet de changer la relation que nous avons avec les objets techniques. De nous réinterroger, pour savoir si nous sommes satisfaits de la direction dans laquelle les objets technologiques et nous-mêmes évoluons. En nous invitant à décider de ce que nous voulons faire de nos technologies et de ce que nous acceptons qu’elles nous fassent, ils militent pour une éducation à l’expérimentation technologique, qui fait peut-être la part un peu trop belle à notre rapport aux technologies, plutôt qu’à notre liberté à ne pas s’y intéresser. 

Le manuel pour réveiller notre curiosité technologique oublie peut-être que nous aurions aussi envie de les éteindre, de nous en détourner, de nous y opposer. Car le constat qu’ils dressent, à savoir celui que nous ne sommes pas capables de reproduire la puissance des machines contemporaines par nous-mêmes, risque d’être perçu comme un aveu d’impuissance. C’est peut-être là, la grande limite au démontage qu’ils proposent. Renforcer notre impuissance, plutôt que de nous aider à prendre le contrôle des systèmes, à peser de nos moyens d’actions collectifs contre eux, comme le peuvent la démocratie technique et la législation. Nous pouvons aussi parfois vouloir que la technologie ne nous saisisse pas… Et prendre le contrôle des systèmes pour que cela n’arrive pas, les réguler, nous y opposer, refuser de les comprendre, de les faire entrer là où nous ne voulons pas qu’ils interviennent est aussi un levier pour nous saisir des objets qui s’imposent autour de nous.

Hubert Guillaud

MAJ du 7/11/2025 : Signalons que Matthieu Raffard et Mathilde Roussel publient un autre livre, directement issu de leur thèse, Bourrage papier : leçons politiques d’une imprimante (Les liens qui libèrent, 2025).

Les cartes de fidélité ne sont plus ce qu’elles étaient, explique le Washington Post. « Les entreprises prétendent récompenser votre fidélité par des points, des réductions et des avantages. Mais en coulisses, elles utilisent de plus en plus ces programmes pour surveiller votre comportement et créer un profil, puis vous facturer le prix qu’elles pensent que vous paierez ». Le journaliste tech Geoffrey Fowler a demandé à Starbuck les données relatives à son profil lié à sa carte de fidélité. En les analysant, il a constaté que plus il achetait de café, moins il recevait de promotions : « plus j’étais fidèle, moins je bénéficiais de réductions ». Pour les commissaires du bureau de la protection des consommateurs à la Federal Trade Commission, Samuel Levine et Stephanie Nguyen, les programmes de fidélité se sont transformé en moteurs de « tarification de surveillance » : les entreprises utilisent l’IA et les données personnelles pour fixer des prix individualisés, autrement dit des marges personnalisées. Dans un rapport publié avec le Vanderbilt Policy Accelerator consacré au « piège de la loyauté », ils affirment que les programmes de fidélité ont inversé le concept de fidélité : au lieu de récompenser les clients réguliers, les entreprises pourraient en réalité facturer davantage à leurs clients fidèles. En fait, les clients réguliers bénéficient de moins de réduction que les clients occasionnels et finissent donc par payer plus cher du fait de leur loyauté. Les entreprises utilisent les données de consommation pour déterminer votre sensibilité au prix et votre capacité à payer. Starbuck n’est pas la seule entreprise à utiliser ses programmes de fidélité pour optimiser ses profits. 

Une enquête menée par Consumer Reports a révélé que Kroger, l’une des grandes enseignes de la grande distribution aux Etats-Unis, utilise des données clients détaillées, notamment des estimations de revenus, pour personnaliser les remises via son programme de fidélité. Pour Levine et Nguyen, les programmes de fidélité sont devenus une mauvaise affaire pour les consommateurs.

Via ces programmes, les entreprises attirent les clients avec des remises importantes, puis réduisent discrètement ces avantages au fil du temps. Les compagnies aériennes en sont l’exemple le plus flagrant : obtenir un vol gratuit nécessite de collecter de plus en plus de points avec le temps. Les points se déprécient, les dates d’effets se réduisent… bref, l’utilisation du programme de fidélité se complexifie. Désormais, toutes les entreprises vous poussent à passer par leur application pour surveiller vos achats. Même les programmes gratuits s’y mettent. « Les entreprises ne disent pas la vérité sur la quantité de données qu’elles collectent et sur ce qu’elles en font », explique Samuel Levine. Reste qu’abandonner les programmes de fidélité n’est pas si simple, car sans eux, impossible d’obtenir les premières réductions alléchantes qu’ils proposent. « Nous ne devrions pas être obligés de choisir entre payer nos courses et protéger notre vie privée », conclut Levine. 

Les lois des États sur la protection de la vie privée obligent déjà les entreprises à minimiser la quantité de données qu’elles collectent, mais ces lois ne sont pas appliquées aux programmes de fidélité, affirment Levine et Nguyen, qui militent également pour améliorer la surveillance des prix, comme le proposait leur rapport pour la FTC. Ils invitent les consommateurs à être moins fidèles, à supprimer régulièrement leurs applications, à s’inscrire sous différents mails. « J’entends souvent des lecteurs me demander pourquoi ils devraient se soucier de la surveillance. Voici une réponse : ce n’est pas seulement votre vie privée qui est en jeu. C’est votre portefeuille », conclut le journaliste.

Sur Fake Tech, en 4 billets fleuves, Christophe Le Boucher dresse une histoire de la Silicon Valley qui vaut vraiment le déplacement. S’inspirant de la somme de Malcolm Harris, Palo Alto : A History of California, Capitalism, and the World (Little Brown and company, 2023, non traduit) Le Boucher rappelle combien la Valley relève du colonialisme et d’une privatisation par le capitalisme. Et montre que la conquête du monde repose sur une radicalisation du modèle économique et politique des ingénieurs et entrepreneurs qui la façonnent. Les articles sont longs et riches, mais vous ne regretterez pas votre lecture. Ca commence par là.

« Le fait d’avoir un super assistant doit surtout nous rappeler qu’il s’agit avant tout de nous placer en situation de super assistés ». Olivier Ertzscheid – Affordance

Très belle série du Monde en 6 articles sur l’ogre Airbnb, la solution de rentabilisation immédiate et maximale de l’immobilier privé. La série commence par décrire son emprise en quelques années et termine en montrant comment la ville de New York a réussi à endiguer le fléau en créant de la complexité administrative, plus encore en obligeant les propriétaires à être présents pendant le séjour des locataires et en renforçant les contrôles.

« On dit que ma génération gâche sa vie à regarder des divertissements insensés. Mais je pense que c’est pire que ça. Nous transformons désormais nos vies en divertissements insensés. Nous ne nous contentons pas de consommer des bêtises, nous les devenons ». 

« Je vois des gens se transformer en personnages de télévision, leurs souvenirs en épisodes, eux-mêmes en divertissement. Nous sommes devenus un contenu dénué de sens, que l’on feuillette et que l’on parcourt. (…) Vieillir est devenu une succession d’épisodes à diffuser. (…) Nous existons pour nous divertir les uns les autres. Pour les influenceurs, bien sûr, c’est leur métier. Ils transforment leur vie en séries télé. Nous avons des bandes-annonces et des teasers. On a des cliffhangers, des fins de saison, des rappels – À la semaine prochaine ! On a des personnages pré-enregistrés et des apparitions surprises. Des cultes et des conventions. Des gags récurrents et des ouvertures spontanées. Des génériques et des génériques de fin. (…) C’est la carrière que tout le monde rêve ; celle qui ne finit jamais. (…) Vendez-vous comme un produit et soyez traité comme tel. (…) Ta douleur est ma distraction ; tes sentiments sont mes épisodes de remplissage. (…) Je voterai contre ton divorce s’il n’est pas assez divertissant. Ta vie est ce qui me sert à nettoyer ma cuisine, ce qui me permet de tuer le temps. Et si tu ne me divertis pas, tant pis, je ferai défiler la page pour une autre vie à consommer. (…) Les influenceurs nous invitent à entrer, puis ne peuvent plus nous faire sortir. » 

« Que ressentiraient ces familles si Internet était coupé, si elles devaient faire des compliments, des compromis et des sacrifices sans la validation d’inconnus ? Sauraient-elles comment faire ? Sans commentaires ni émojis d’applaudissements ? (…) Tout semble inutile, inutile tant que ce n’est pas publié. Pourquoi être beau sans un selfie ; pourquoi sortir sans publier une story ? Pourquoi s’engager. »
« On sait comment cette émission se termine, cependant. Comme toutes les autres. Un jour, cette génération, ces influenceurs, découvrira avec effroi ce que toutes les célébrités, tous les candidats et tous les acteurs ont compris avant eux. Qu’après avoir tout offert, chaque centimètre de leur vie, chaque instant limité sur cette Terre, peu importe combien ils mettent en scène, combien ils répètent, combien ils échangent, combien de temps ils laissent les caméras tourner, nous nous demanderons toujours, finalement, ce qu’il y a d’autre à l’affiche ?»  – Freya India – Girls.

MAJ du 4/11/2025 : « Nous avons gaspillé bien trop de temps sur nos téléphones », constatent les promoteurs de l’appel, Time to refuse (Il est temps de refuser). Le manifeste de ce collectif est porté par l’influenceuse américaine Freya India, par Gabriela Nguyen qui est à l’origine d’Appstinence, de Sean Killingsworth qui a lancé le Reconnect Movement et Nicholas Plante responsable de campagne du collectif Design it for us – et est soutenu par la Young People Alliance ainsi que par le psychologue Jonathan Haidt, l’auteur de Génération anxieuse (Les arènes, 2025 – voir également le site dédié) et animateur du blog After Babel, sur lequel ces jeunes chercheurs et activistes ont tous publié. Le collectif en appelle à une journée d’action le 10 octobre en invitant les jeunes à effacer une des applications de leurs téléphones. Leur manifeste (« un appel à l’action pour la génération Z, par la génération Z ») rappelle que c’est à cette génération de faire quelque chose pour se protéger de l’envahissement numérique. 

« Nous souffrons. Près de la moitié de la génération Z regrette l’existence de plateformes comme X et TikTok. Nous trouvons enfin les mots pour décrire ce qui nous est arrivé : l’impact du porno hardcore sur notre cerveau enfant, l’impact des applications et des algorithmes sur notre capacité de concentration, et le fait que nous ne pouvons même plus distinguer correctement notre propre visage dans nos images. Nous réalisons que ce n’était pas normal ; ce n’était pas une enfance. Nous sommes arrivés dans ce monde sans limite d’âge, sans barrières, avec si peu de protection. Et la plupart des jeunes adultes à qui nous parlons – hommes, femmes, de tous horizons – réagissent avec une horreur totale à l’idée que leurs futurs enfants vivent ce qu’ils ont vécu ». 

« Il est temps de se demander ce qui peut être fait. Il est temps de construire quelque chose de nouveau. Il est temps de reprendre ce que nous valons ». Et les porteurs de l’initiative de profiter de la Journée mondiale de la santé mentale, pour inviter leur génération à agir. « Refusez. Refusez d’être un produit. Refusez d’exposer votre vie privée au jugement public. Refusez de perdre encore des années de votre vie à parcourir des contenus vides et sans fin qui vous dégradent, vous rendent amer, envieux et égocentriques, de publier pour des personnes qui se moquent complètement de vous. Refusez de donner un centimètre de plus à des entreprises qui font fortune en vous volant votre attention et en vous servant des informations insignifiantes. Et refusez que cela se reproduise » pour la génération suivante. « Nous devons être les adultes dont la prochaine génération aura besoin », c’est-à-dire refuser que les prochaines générations subissent la même chose que la génération Z a vécu. 

Et le manifeste d’appeler à « supprimez vos comptes », « libérez-vous de la pression de publier ». « Nous pouvons refuser d’être la génération anxieuse. Nous pouvons être la génération dont l’enfance a été volée par les entreprises, mais qui a récupéré cette liberté pour ceux qui sont venus après ». 
Dans un reportage pour le New York Times, la journaliste Christina Caron rappelle pourtant que ce mouvement n’est pas un mouvement particulièrement techno-critique. Il n’incite pas les élèves à modifier leur rapport à la technologie, juste à créer des moments de déconnexion, sans téléphones, et de socialisation IRL.

« Protéger les données personnelles des travailleurs ne signifie pas nécessairement protéger les travailleurs ». Alors que les entreprises parlent de plus en plus d’IA respectueuses de la vie privée, ces solutions sont bien souvent un moyen de contournement, dénoncent les chercheurs de Data & Society, Power Switch Action et Coworker, auteurs du rapport Privacy Trap. Ces technologies peuvent leur permettre « de se conformer techniquement aux lois sur la confidentialité des données tout en exerçant sur leurs employés un contrôle qui devrait susciter de vives inquiétudes ». « Sans contrôle ni intervention proactive, ces technologies seront déployées de manière à obscurcir encore davantage la responsabilité, à approfondir les inégalités et à priver les travailleurs de leur voix et de leur pouvoir d’action ».

Les chercheurs et chercheuses – Minsu Longiaru, Wilneida Negrón, Brian J. Chen, Aiha Nguyen, Seema N. Patel, et Dana Calacci – attirent l’attention sur deux mythes fondamentaux sur la confidentialité des données, à savoir : croire que la protection des données sur le marché de la consommation fonctionne de manière similaire sur le lieu de travail et croire que renforcer la protection des informations personnelles suffit à remédier aux préjudices subis par les travailleurs suite à l’extraction de données. En fait, rappellent les chercheurs, les réglementations sur la protection des données personnelles reposent sur un cadre d’action fondé sur les droits individuels d’accès, de rectification et de suppression, et ne s’appliquent qu’aux données dites personnelles : les données anonymisées, dépersonnalisées ou agrégées ne bénéficient que de peu voire d’aucune protection juridique. Mais ces approches individualisées sont « cruellement » insuffisantes sur le lieu de travail, notamment parce que les travailleurs évoluent dans des conditions de pouvoir de négociations extrêmement inégales où l’exercice de leurs droits peut-être impossible et ils n’ont bien souvent pas le pouvoir de contrôler, voire même de percevoir, l’étendue de la surveillance dont ils sont l’objet. « Par conséquent, on observe une expansion sans précédent de la capacité des employeurs à collecter les données des travailleurs sans leur consentement explicite et à les utiliser à des fins de surveillance, de sanction et d’intensification de l’exploitation », comme par exemple quand les employeurs revendent ou transmettent les données des travailleurs à des tiers – comme l’expliquait par exemple la sociologue Karen Levy dans son livre sur la surveillance des routiers. 

De l’instrumentalisation de la protection de la vie privée

Les technologies d’IA préservant la confidentialité (par exemple des techniques de chiffrement permettant de masquer les données lors de leur collecte, de leur traitement ou de leur utilisation), le développement des données synthétiques (qui servent à remplacer ou compléter des données réelles) et le calcul multipartite (des technologies permettant d’analyser les données de différents appareils ou parties, sans divulguer les données des uns aux autres), permettent désormais aux entreprises de se conformer aux cadres réglementaires, tout en accentuant la surveillance. 

Les entreprises utilisent les données de leurs employés pour générer des profils détaillés, des indicateurs de performance… et manipulent ces informations à leur profit grâce à l’asymétrie d’information, comme le montrait le rapport de Power Switch Action sur Uber. Le développement du chiffrement ou de la confidentialité différentielle (ce que l’on appelle le marché des technologies qui augmentent la confidentialité, les Privacy-Enhancing Technologies (PET) est en explosion, passant de 2,4 milliards de dollars en 2023 à 25,8 milliards en 2033 selon des prévisions du Forum économique mondial) risquent d’ailleurs à terme de renforcer l’opacité et l’asymétrie d’information sur les lieux de travail, s’inquiètent les chercheurs, en permettant aux entreprises d’analyser des ensembles de données sans identifier les éléments individuels (ce qui leur permet de ne pas consulter les données des individus, tout en continuant à extraire des informations individuelles toujours plus précises). Le déploiement de ces technologies permettent aux entreprises de se dégager de leurs responsabilités, de masquer, voire d’obfusquer les discriminations, comme le disait la chercheuse Ifeoma Ajunwa ou comme l’explique la chercheuse Elizabeth Renieris dans son livre Beyond Data (MIT Press, 2023, non traduit et disponible en libre accès). Elle y rappelle que les données ne sont pas une vérité objective et, de plus, leur statut « entièrement contextuel et dynamique » en fait un fondement instable pour toute organisation. Mais surtout, que ces technologies encouragent un partage accru des données. 

Uber par exemple est l’un des grands utilisateurs des PETs, sans que cela n’ait jamais bénéficié aux chauffeurs, bien au contraire, puisque ces technologies permettent à l’entreprise (et à toutes celles qui abusent de la discrimination salariale algorithmique, comme l’expliquait Veena Dubal) de réviser les rémunérations à la baisse. 

Les chercheurs donnent d’autres exemples encore, notamment le développement du recours à des données synthétiques pour produire des conclusions statistiques similaires aux données réelles. Elles peuvent ainsi prédire ou simuler le comportement des employés sans utiliser ou en masquant les données personnelles. C’est ce que fait Amazon dans les entrepôts où il déploie des robots automatiques par exemple. Or, depuis 2019, des rapports d’enquêtes, comme celui du syndicat Strategic Organizing Center, ont montré une corrélation entre l’adoption de robots chez Amazon et l’augmentation des problèmes de santé des travailleurs dû à l’augmentation des cadencements. 

Le problème, c’est que les lois régissant les données personnelles peuvent ne pas s’appliquer aux données synthétiques, comme l’expliquent les professeures de droit Michal S. Gal et Orla Lynskey dans un article consacré aux implications légales des données synthétiques. Et même lorsque ces lois s’appliquent, l’autorité chargée de l’application peut ne pas être en mesure de déterminer si des données synthétiques ou personnelles ont été utilisées, ce qui incite les entreprises à prétendre faussement se conformer en masquant l’utilisation réelle des données derrière la génération synthétique. Enfin, le recours aux données synthétiques peuvent compromettre les exigences légales d’explicabilité et d’interprétabilité. En général, plus le générateur de données synthétiques est sophistiqué, plus il devient difficile d’expliquer les corrélations et, plus fortement encore, la causalité dans les données générées. Enfin, avec les données synthétiques, le profilage pourrait au final être plus invasif encore, comme l’exprimaient par exemple les professeurs de droit Daniel Susser et Jeremy Seeman. Enfin, leur utilisation pourrait suggérer au régulateur de diminuer les contrôles, sans voir de recul du profilage et des mesures disciplinaires sans recours. 

D’autres techniques encore sont mobilisés, comme le calcul multipartite et l’apprentissage fédéré qui permettent aux entreprises d’analyser des données en améliorant leur confidentialité. Le calcul multipartite permet à plusieurs parties de calculer conjointement des résultats tout en conservant leurs données chiffrées. L’apprentissage fédéré permet à plusieurs appareils d’entraîner conjointement un modèle d’apprentissage automatique en traitant les données localement, évitant ainsi leur transfert vers un serveur central : ce qui permet qu’une entreprise peut analyser les données personnelles d’une autre entreprise sans en être réellement propriétaire et sans accéder au détail. Sur le papier, la technologie du calcul multipartite semble améliorer la confidentialité, mais en pratique, les entreprises peuvent l’utiliser pour coordonner la consolidation et la surveillance des données tout en échappant à toute responsabilité. Ces technologies sont par exemple très utilisées pour la détection des émotions en assurant d’une confidentialité accrue…  sans assurer que les préjudices ne soient réduits et ce, alors que, l’intégration des IA émotionnelles dans le champ du travail est complexifié par le règlement européen sur l’IA, comme l’expliquait un récent article du Monde. 

Comment réguler alors ?

« Sans garanties proactives pour réguler les conditions de travail, l’innovation continuera d’être utilisée comme un outil d’exploitation », rappellent les chercheurs. « Pour inverser cette tendance, nous avons besoin de politiques qui placent la dignité, l’autonomie et le pouvoir collectif des travailleurs au cœur de nos préoccupations ». Et les chercheurs de proposer 3 principes de conception pour améliorer la réglementation en la matière. 

Tout d’abord, supprimer le droit de surveillance des employeurs en limitant la surveillance abusive. Les chercheurs estiment que nous devons établir de meilleures règles concernant la datafication du monde du travail, la collecte comme la génération de données. Ils rappellent que le problème ne repose pas seulement dans l’utilisation des données, mais également lors de la collecte et après : « une fois créées, elles peuvent être anonymisées, agrégées, synthétisées, dépersonnalisées, traitées de manière confidentielle, stockées, vendues, partagées, etc. » Pour les chercheurs, il faut d’abord « fermer le robinet » et fermer « la surveillance illimitée », comme nous y invitaient déjà en 2017 Ifeoma Ajunwa, Kate Crawford et Jason Schultz. 

Bien souvent, l’interdiction de la collecte de données est très limitée. Elle est strictement interdite dans les salles de pause et les toilettes, mais la collecte est souvent autorisée partout ailleurs. Il faut briser la « prérogative de surveillance de l’employeur », et notamment la surveillance massive et continue. « Lorsque la surveillance électronique intermittente du lieu de travail est autorisée, elle doit respecter des principes stricts de minimisation » (d’objectif et de proportionnalité pourrait-on ajouter pour rappeler d’autres principes essentiels de la protection des données). « Plus précisément, elle ne devrait être autorisée que lorsqu’elle est strictement nécessaire (par exemple, pour des raisons de conformité légale), lorsqu’elle affecte le plus petit nombre de travailleurs, qu’elle collecte le moins de données nécessaires et qu’elle est strictement adaptée à l’utilisation des moyens les moins invasifs ». Les chercheurs recommandent également d’informer les travailleurs de ces surveillance et de leur objectif et signalent l’existence de propositions de loi interdisant aux entreprises d’exiger de leurs employés des dispositifs de localisation ou le port permanent d’appareils de surveillance. Des propositions qui reconnaissent que la protection des données des travailleurs ne saurait se substituer à la protection de leur espace, de leur temps et de leur autonomie.

Enfin, ils recommandent de réduire voire d’interdire la vente de données et leurs exploitation à des tiers (sans développer cette proposition, hélas).  

Le deuxième angle des propositions appelle à se concentrer sur les objectifs des systèmes, en soulignant, très pertinemment que « les cadres juridiques qui se concentrent sur les détails techniques ont tendance à désavantager les travailleurs, car ils exacerbent les asymétries de pouvoir » et surtout se concentrent sur des propositions qui peuvent être vite mises à mal et contournées par le déploiement de nouvelles technologies. 

Les chercheurs recommandent de ne pas tant regarder regarder les intrants (la collecte de données ou leur anonymisation) et de se concentrer plutôt sur les « conséquences concrètes, intentionnelles comme imprévues, que ces systèmes produisent pour les travailleurs », comme l’instabilité des horaires, les mesures disciplinaires injustes, le stress, les cadences, ou la précarité de l’emploi… indépendamment des technologies utilisées ou du respect des normes de confidentialité. Par exemple, en interdisant la prise de décision automatisée dans certaines situations, comme le proposait déjà l’AI Now Institute en 2023 en demandant à établir des lignes rouges interdisant la surveillance émotionnelle ou la discrimination salariale algorithmique. Une loi fédérale pour la protection des travailleurs de la logistique par exemple interdit les quotas de cadencement inférieurs à la journée (88, 89) et charge l’administration de la sécurité et de la santé au travail (OSHA) de créer une norme dédiée suggérant l’intérêt à autoriser les organismes de réglementation existants à actualiser et améliorer les protections depuis les données. Un projet de loi sur la sécurité des emplois de la ville de New York interdit par exemple expressément aux employeurs de licencier des travailleurs sur la base de données issues de technologies biométriques, de technologies de géolocalisation, d’applications installées sur les appareils personnels et d’enregistrements effectués au domicile des employés. « L’un des avantages des approches politiques qui restreignent clairement certaines pratiques des employeurs est leur lisibilité : elles n’obligent pas les travailleurs ou les autorités de réglementation à déchiffrer des systèmes de boîte noire. Ces lois permettent aux travailleurs de mieux reconnaître les violations de leurs droits », comme les lois sur la semaine de travail équitable qui protègent les travailleurs contre les modifications d’horaires sans préavis ni rémunération (voir ce que nous en disions déjà en 2020). « Plusieurs États et localités ont adopté ces lois en réponse à l’essor des pratiques de planification à flux tendu, où les employeurs, souvent à l’aide de logiciels basés sur les données, tentent d’optimiser les coûts de main-d’œuvre par le biais de modifications d’horaires très imprévisibles. Les protections liées à la semaine de travail équitable ne réglementent pas les détails techniques, comme les données intégrées à l’algorithme ; elles désamorcent plutôt le problème en obligeant les employeurs à indemniser financièrement les travailleurs pour les modifications d’horaires de dernière minute. Les lois sur les horaires équitables et les limites de cadencement illustrent la manière dont les régulateurs peuvent créer de nouveaux droits substantiels pour les travailleurs en élaborant de nouvelles réglementations sur le lieu de travail pour les préjudices induits par les nouvelles technologies, qui n’étaient auparavant pas reconnus par la loi. Ces types de politiques sont facilement applicables et ont un impact concret et direct sur les conditions de travail ». Mettre des limites aux cadences, était d’ailleurs une des propositions que nous avions mises en avant dans notre article sur la surveillance au travail.

Enfin, les chercheurs évoquent un troisième faisceau de règles visant à privilégier les politiques qui renforcent l’autonomie des travailleurs et limitent le pouvoir des entreprises en rééquilibrant les asymétries de pouvoir. « Pour renforcer le pouvoir des travailleurs à l’ère de l’IA, les décideurs politiques doivent reconnaître que le problème fondamental ne réside pas dans la protection de données spécifiques, mais dans la manière dont les nouvelles technologies en milieu de travail peuvent exacerber les asymétries de pouvoir et l’exploitation structurelle », comme l’expliquait le Roosevelt Institute. Ils invitent à ce que les décideurs politiques soutiennent des mécanismes qui renforcent la participation collective des travailleurs à toutes les étapes du développement et du déploiement des technologies en milieu de travail : comme ceux favorisant la négociation collective et ceux favorisant la participation des travailleurs à toutes les étapes du développement, du déploiement et des ajustements des systèmes d’IA. Ensuite, ils recommandent, notamment face à la sophistication des déploiements technologiques, de renforcer les pouvoir d’enquêtes et les capacités des agences du travail et des procureurs et d’imposer plus activement des mesures de transparence en proposant des sanctions proportionnées pour dissuader les abus (et notamment en sanctionnant les dirigeants et pas seulement les entreprises, comme le suggérait le rapport 2025 de l’AI Now Institute). Les chercheurs proposent d’établir un droit privé d’action permettant à une personne ou une organisation de poursuivre une entreprise ou un employeur individuellement comme dans le cadre d’un recours collectif. Ils recommandent également que dans les cas de surveillance ou de décision algorithmique, la charge de la preuve incombe aux employeurs et de renforcer la protection des lanceurs d’alerte comme le proposait la juriste Hannah Bloch-Wehba pour contrer le silence autour du fonctionnement des technologies par ceux qui les déploient. Les révélations éclairent le débat public et incitent à agir. Il faut donc les encourager plus efficacement. 

Et les chercheurs de conclure en rappelant que les entreprises privilégient de plus en plus les profits aux personnes. Pour défaire cette tendance, « nous avons besoin de garanties ancrées dans des droits collectifs », renforcés. Nous devons traiter les travailleurs non pas comme des données, mais leur permettre de peser sur les décisions. 

Ces propositions peuvent paraître radicales, notamment parce que le déploiement des technologies de surveillance au travail est déjà partout très avancé et nécessite d’exiger de faire marche arrière pour faire reculer la surveillance au travail. De réfléchir activement à une dénumérisation voire une rematérialisation… Ils nous montrent néanmoins que nous avons un lourd travail à réaliser pour humaniser à nouveau la relation de travail et qu’elle ne se brise pas sur des indicateurs abscons et défaillants laissant partout les travailleurs sans pouvoir sur le travail. 

Hubert Guillaud

Le 18 novembre, les chercheurs de Data & Society responsables du rapport proposent un webinaire sur le sujet. Son titre : « mettre fin au pipeline de la surveillance via l’IA ». 

Si le département de l’Efficacité Gouvernementale (DOGE) a disparu de l’actualité, ce n’est pas le cas de ses actions ni du modèle initié, au contraire. Aux États-Unis, des dizaines de d’État ont mis en place des « missions d’efficacité », inspirées du Doge. Un point commun à nombre de ces initiatives est « l’objectif affiché d’identifier et d’éliminer les inefficacités des administrations publiques grâce à l’intelligence artificielle (IA) » et de promouvoir « un accès élargi aux systèmes de données étatiques existants », selon une analyse récente de Maddy Dwyer, analyste politique au Centre pour la démocratie et la technologie.

Sur Tech Policy Press, Justin Hendrix en discute justement avec Maddy Dwyer et l’ingénieur Ben Green, dont on a souvent évoqué le travail sur InternetActu et dont on avait lu The smart enough city (MIT Press, 2019, non traduit, voir notre article “Vers des villes politiquement intelligentes”) et qui travaille à un nouveau livre, Algorithmic Realism: Data Science Practices to Promote Social Justice.

Dans son analyse, Maddy Dwyer parle d’une « dogification des administrations américaines » et des gouvernements d’Etats. 29 États américains ont mis en place des initiatives en ce sens, avec des succès pour l’instant mitigés, et un certain nombre (11) ont particulièrement mobilisé les données et l’IA pour se faire. Certains l’ont mobilisé pour simplifier les processus réglementaires, réduire les effectifs et évaluer les financements. Dwyer a établi 5 signaux d’alertes permettant de montrer que ces dogifications pouvaient être problématiques. 

La première concerne le manque de transparence. Du Doge fédéral à ses déclinaisons locales, dans beaucoup de situations nous ne savons pas qui compose la structure, quel est son rôle, quelles sont ses attributions légales, de quels accès aux systèmes dispose-t-il ? 

Le second point d’alerte concerne les violations des règles sur la protection de la vie privée, notamment lorsque le Doge a eu accès à des données sensibles et protégées. Cela rappelle aux Etats qu’ils ont l’obligation de veiller à ce que leurs initiatives d’efficacité soient conformes aux lois sur la confidentialité et la cybersécurité.

Le troisième point d’alerte concerne les failles de sécurité et notamment l’absence de contrôle d’accès, voir l’usurpation d’identité. L’efficacité ne peut se faire au détriment de la sécurité des systèmes. 

Le quatrième signal d’alarme concerne l’instrumentalisation des données gouvernementales, notamment en accélérant les échanges de données entre agences, à des fins non prévues initialement et au risque de saper la confiance des administrés. 

Enfin, un ultime signal d’alarme consiste à utiliser des outils IA sans avoir démontré leur efficacité pour prendre des décisions à haut risque. Les administrations et États locaux devraient donc s’assurer que les outils utilisés sont bien adaptés aux tâches à accomplir. 

Pour Ben Green, ces programmes sont d’abord des programmes austéritaires. Le Doge nous a surtout montré qu’intégrer la technologie dans l’administration peut considérablement échouer. Certes l’IA peut produire du code, mais une grande partie du travail d’ingénieur logiciel ne consiste pas à l’écrire, il consiste à l’intégrer dans un système logiciel complexe, de suivre des protocoles de sécurité appropriés, de concevoir un logiciel capable d’être maintenu dans le temps. Autant de choses que les outils de codage automatisés savent peu faire, rappelle l’ingénieur. Ensuite, ce n’est pas parce qu’un outil d’IA a des capacités ou semble utile qu’il est réellement utile aux travailleurs d’un domaine très spécifique. Déployer un chatbot pour les agents fédéraux ne leur est pas très utile, comme l’expliquait Wired. Un outil d’IA ne sait pas s’intégrer dans un contexte de règles, de réglementations, de processus ni vraiment avec d’autres équipes avec lesquelles les administrations se coordonnent. En vérité, rappelle Green, « il est extrêmement difficile de faire collaborer efficacement les gens et l’IA ». Pour lui, le succès de l’IA s’explique parce qu’elle « rend la mise en œuvre des mesures d’austérité plus rapides ». L’IA est un prétexte, comme le disait Eryk Salvaggio. Elle n’améliore pas l’efficacité du gouvernement. Quand l’IA a été mobilisée au sein de l’Agence des anciens combattants pour réduire les contrats, le code pour distinguer les contrats acceptables des autres a été écrit en une seule journée. Pour Green, le Doge ne s’est jamais soucié de bien faire les choses, ni de garantir le bon fonctionnement des systèmes, mais simplement de rapidité. Sans compter, rappelle Maddy Dwyer, que les administrations subissent désormais une forte pression à avoir recours à l’IA. 

Pour Justin Hendrix, nous sommes aujourd’hui dans un cycle technologique et politique d’expansion de l’IA. Mais ce cycle risque demain de passer. Pourra-t-on utiliser l’IA autrement ? Il est probable que administrations fédérales, étatiques ou locales, se rendent compte que l’IA ne leur apporte pas grande chose et génère surtout des erreurs et de l’opacité, tout comme les entreprises elles-mêmes commencent à déchanter. C’était d’ailleurs l’un des constats du rapport sur l’état du business des l’IA générative publiée par le MIT, qu’évoquait Fortune fin août : « 95% des projets pilotes d’IA générative dans les entreprises échouent ». L’intégration d’outils IA dans les entreprises se révèle particulièrement ardue, et les projets sont souvent peu pertinents, bien moins que les outils des grands acteurs de l’IA. Le rapport soulignait également un décalage dans l’allocation des ressources : plus de la moitié des budgets dédiés à l’IA génératives sont orientés vers le marketing et la vente plutôt que vers l’automatisation des processus métiers. Dans le New York Times, Steve Lohr résumait autrement la situation. « Selon une étude récente de McKinsey & Company, près de huit entreprises sur dix déclarent utiliser l’IA générative, mais tout aussi nombreuses sont celles qui n’ont signalé aucun impact significatif sur leurs résultats financiers. » Malgré l’espoir d’une révolution dans tous les domaines, de la comptabilité back-office au service client, les bénéfices des entreprises à adopter l’IA peinent à émerger. C’est « le paradoxe de l’IA générative », comme dit McKinsey. Et il ressemble furieusement au paradoxe de la productivité de l’introduction des premiers ordinateurs personnels dans les entreprises : malgré les investissements massifs des entreprises dans l’équipement et les nouvelles technologies, les économistes voyaient peu de gains de productivité chez les employés. Selon une enquête de S&P Global, 42% des entreprises qui avaient un projet pilote d’AI l’ont abandonné en 2024, contre 17% l’année précédente. Pour le Gartner, qui analyse depuis des années les cycles de battage médiatique technologiques, l’IA est en train de glisser vers le creux de la désillusion, tout en promettant que c’est l’étape avant qu’une technologie ne devienne un outil à la productivité éprouvé (oubliant de rappeler pourtant, que nombre de technologies mise en avant par cette étude annuelle controversée et fort peu sérieuse, ne sont jamais revenues du creux de la désillusion). Pour l’instant, rappelle Lohr, les seuls gagnants de la course à l’IA ont été les fournisseurs de technologies et de conseils en IA, même si le journaliste tente de nous convaincre du contraire en nous parlant du déploiement de systèmes d’IA chez deux acteurs mondiaux, sans qu’ils soient encore capables de mesurer leurs effets. « Il n’est pas surprenant que les premiers efforts en matière d’IA échouent », clamait Andrew McAfee, codirecteur de l’Initiative sur l’économie numérique du Massachusetts Institute of Technology et fondateur de Workhelix, une société de conseil en IA : « L’innovation est un processus d’échec assez régulier. » 

Reste qu’il est difficile de changer de cap pour ceux qui l’adoptent, rappelle Green, alors que ces bascules favorisent une approche très solutionniste de la technologie. Dans les technologies liées à la ville intelligente, l’adoption rapide de technologies a été déceptive et a conduit à l’abandon de nombre de projets, parce que les équipes, face aux critiques, sont souvent désarmées. Pour lui, l’idée d’une IA indispensable risque surtout de rendre le réveil difficile. « Pour beaucoup de personnes travaillant dans le domaine de la technologie et du gouvernement, la technologie devient la finalité, et on perd de vue ce que nous cherchons réellement à accomplir. On se laisse alors happer par des idées très étroites d’efficacité », au détriment de l’amélioration du gouvernement. Notre navigation à courte vue entre des programmes très pro-techno et leur reflux, conduit à bien plus de stagnation que d’avancées.

Pour Maddy Dwyer tout l’enjeu vise à évaluer s’il existe des alternatives à l’IA plus adaptées pour résoudre nos problèmes, en favorisant la transparence des solutions. Pour Ben Green, nous devrions chercher à mieux comprendre pourquoi l’IA suscite un tel engouement et comment il se propage.

L’engouement pour les solutions technologiques ne date pas de l’IA, comme le montre les nombreuses vagues que nous avons connues. Pour Green, l’enjeu ne consiste pas seulement à expliquer pourquoi l’IA est défaillante, mais à comprendre pourquoi « notre façon de concevoir la technologie est défaillante ». Nous devrions réfléchir à « la façon dont l’information sur la technologie est transmise et partagée à des personnes qui souhaitent simplement améliorer le gouvernement et croient que toutes ces technologies sont efficaces pour y parvenir ». Enfin, dans les discours actuels sur l’efficacité, il faut prendre en compte l’austérité bien sûr, mais plus encore mieux mesurer la profonde méfiance qui s’exprime à l’égard des fonctionnaires. Pourquoi « ne fait-on pas confiance aux bureaucrates pour prendre des décisions à notre place » ? Si l’efficacité est importante, la gauche devrait aussi porter un discours sur l’intérêt général, la dignité, le bien être. L’efficacité est un piège qu’il faut à la fois répondre et dépasser. 

Saint Luigi, comment répondre à la violence du capitalisme (Frustration, Les liens qui libèrent, 2025), le petit livre du journaliste Nicolas Framont pose une question de fond qui explique son succès. Comment répondre à la violence du capitalisme ?

Le rédacteur en chef du très vivifiant Frustration Magazine part de l’assassinat de Brian Thompson, le PDG d’United HealthCare en décembre 2024 par Luigi Mangione, pour reposer la question qui anime depuis longtemps les mouvements contestataires, à savoir celle de la violence. Le PDG d’United HealthCare n’a pas été une cible prise au hasard. L’assureur privé américain était largement connu pour sa politique de refus de remboursement de soins de santé, avec un taux de rejet des demandes atteignant 29% en 2024. Thompson a été particulièrement célébré par les milieux économiques pour ses succès économiques à la tête d’United HealthCare, et notamment pour avoir fait s’envoler ce taux de refus, qui n’était que de 10,9% en 2020. Pour cela, comme l’avait révélé ProPublica en novembre 2024, l’assureur a utilisé des algorithmes pour réduire la prise en charge. Même lorsque la prise en charge était acceptée, les employés des centres d’appels de l’assureur étaient formés à retarder les paiements, comme l’expliquaient certains d’entre eux dans un reportage d’Envoyé Spécial (mai 2025). En mai, The Guardian révélait que des pratiques tout aussi problématiques avaient cours pour faire signer aux pensionnaires de maisons de retraites des clauses de non-réanimation en cas de prises en charge hospitalières… Ces politiques ont permis à l’assureur de multiplier ses profits : 12 milliards en 2021, 16 milliards en 2023. Les profits records que le PDG a réalisés ont directement été réalisés « sur les invalidités à vie, les pertes de chance de survie et les décès de milliers de patients à qui des soins postopératoires ont été refusés ». Sur les douilles que Mangione a tiré étaient inscrit les termes Delay, Deny, Defend, une référence à un court essai signé d’un expert en assurance, Jay Feinman (Delay, Deny, Defend : why insurance companies don’t pay claims and what you can do about it, Portfolio Hardcover, 2010, non traduit – Retarder, refuser, défendre : pourquoi les compagnies d’assurances ne remboursent pas les demandes et que pouvez-vous faire pour y remédier).

Pour beaucoup d’Américains, Luigi Mangione est apparu comme le Robin des bois, le vengeur masqué des victimes de la rapacité des assurances de santé, comme le constatait récemment Le Monde. Par son geste, Mangione rappelait que derrière l’abstraction des profits de United HealthCare, il y avait des vies en jeu. Aux Etats-Unis, des centaines de milliers d’Américains sont déclarés en faillite à cause du coût des soins de santé quand ils ne meurent pas faute de soins. Or, rappelle Framont, des Etats-Unis à chez nous, la dégradation du système de soin est un choix politique et économique. Le sort des malades, là-bas, comme ici, est recouvert de discussions chiffrées, technicisées dans des décisions budgétaires, des règles qui définissent ce qui est pris en charge et ce qui ne l’est pas en fonction de l’intérêt des assureurs et du budget de la santé. On y évoque rarement les impacts bien réels que ces décisions entraînent. Derrière l’augmentation de la rentabilité des assurances de santé privées, c’est la qualité de l’aide publique qui est dégradée. C’est au nom du profit que Purdue Pharma a libéré ses antidouleurs à base d’opioïdes causant la mort par overdose de près d’un million d’Américains. La famille Sackler, propriétaire de Purdue Pharma et qui a commercialisé de manière très agressive l’oxycodone, a pour l’instant évité toute condamnation personnelle malgré le désastre humain provoqué, comme le montrait le documentaire de Laura Poitras, Toute la beauté et le sang versé (2022). 

Cette violence, très concrète, très réelle de la classe dominante est laissée sans réponse, rappelle très justement Framont. Derrière les chiffres, les réalités sociales sont invisibilisées. Des médias aux élections, l’accès à l’expression reste très socialement distribué et d’une manière toujours plus inéquitable, comme le montre le baromètre de la représentativité dans les médias de l’Arcom en France. On comprend alors que l’action radicale ou violente devienne le seul moyen d’expression des classes sociales qui n’ont plus leur mot à dire. Des gilets jaunes à Mangione, les milieux populaires tentent de rappeler aux possédants les dégradations sociales et les morts que leurs décisions ont causés.

« Make capitalists afraid again »

Dans les rapports de classe, la violence a toujours été présente, rappelle Nicolas Framont. Les violences, les séquestrations, les menaces, les intimidations permettent bien souvent d’attirer l’attention médiatique. Dans le monde du travail, le conflit paye, rappelle Framont qui soulignait d’ailleurs l’année dernière que les grèves et les conflits sociaux conduisent majoritairement à une amélioration des conditions de travail (en s’appuyant sur des études de la Dares, la Direction de l’Animation de la recherche, des Études et des Statistiques du ministère du travail). Elle a toujours été un levier pour rétablir un rapport de force. L’activiste anarchiste américain Peter Gelderloos a montré dans son livre, Comment la non-violence protège l’État : essai sur l’inefficacité des mouvements sociaux (Editions libre, 2021) que la violence des mouvements sociaux victorieux a toujours été gommée par l’histoire. Le mouvement des droits civiques aux Etats-Unis est aujourd’hui souvent assimilé aux marches pacifiques de Martin Luther King ou à l’opposition silencieuse de Rosa Parks. Or, pour Gelderloos, ce sont les émeutes violentes qui permettent les victoires populaires. Et Framont de rappeler que les congés payés n’ont pas été obtenus par la victoire du Front populaire, mais bien suite à un intense mouvement social de grèves et d’occupation d’usines. Les saccages, les sabotages, l’émeute, les occupations violentes ont rythmé toutes les contestations sociales du XIXe siècle à la veille de la Seconde Guerre mondiale. 

Mais ces actions violentes n’ont plus le vent en poupe. Elles ont été marginalisées dans les contestations ouvrières comme écologistes. Elles sont souvent devenues des actions symboliques, désarmées, à l’image de la manifestation qui a depuis longtemps remplacé les émeutes. Des manifestations « indolores pour la classe dominante ». Tant et si bien qu’elles finissent par décrédibiliser le mode d’action lui-même qui ne porte même plus ses fruits, à l’image des grèves contre les lois travail ou la réforme des retraites, massives, soutenues par la population… et qui n’ont rien renversé quand l’essentiel de la population était contre ces réformes. Framont dénonce les organisations syndicales et politiques qui obtiennent « l’oreille de la classe dominante en échange de la canalisation de la violence ». Les rendez-vous aux ministères, les Etats généraux et les Ségur se succèdent… sans plus rien obtenir. « Dans le monde du travail, le dialogue social aboutit surtout à des reculs pour les salariés, sauf s’ils installent un conflit ». « Ceux à qui l’on sous-traite la contestation sociale » ont renoncé à toute forme de violence, permettant « à celle de la bourgeoisie de se déployer de façon décomplexée ».

La violence n’est ni un moyen ni une fin

Framont ne fait pas l’apologie de Mangione ni du meurtre. Mais il pose la question de la violence dans nos sociétés, rappelant d’où elle vient, contre qui elle s’exerce d’abord. Et soulignant que les dominants, violents à l’encontre des autres, en appellent toujours à la non-violence des dominés. 

Nous avons longtemps vécu dans une société se présentant comme ouverte, démocratique, méritocratique, où le dépassement des inégalités serait possible, au moins pour quelques individus, rappelle le journaliste. Tenter sa chance au jeu de l’ascension sociale permet d’être moins occupé à se battre collectivement pour changer les règles du jeu. Mais, quand les règles du jeu sont figées, qu’il devient impossible de les faire bouger, on comprend que pour certains, il ne reste que l’action sacrificielle, telle qu’elle se déchaîne aux Etats-Unis, quelles que soient ses motivations. La violence permet alors de s’émanciper de l’inaction politique et sociale, comme le revendiquaient les Brigades rouges ou Action directe dans les années 80. Désormais, l’hyperviolence est l’action de loups solitaires. La solitude de Luigi Mangione, son action politique sans politique, inclassable (Mangione semble être plus à droite qu’à gauche de l’échiquier politique en tout cas, il a semble-t-il exprimé des opinions plus conservatrices qu’autre chose) est devenue une marque de sincérité. Sa violence est celle des hors-la-loi. Elle est une réponse à l’anesthésie de la violence collective. Le risque, prévient Framont, c’est que « la violence s’impose à nous comme moyen parce que la société est violente ». Pourtant, conclut Framont, la violence n’est ni un moyen ni une fin. Aujourd’hui, la violence économique des entreprises et des politiques, les violences répressives, les violences étatiques, les violences des dominants (de celles des malfaiteurs à celle des entreprises) ont anesthésié les violences populaires. Les systèmes oppressifs se renforcent au risque de laisser comme seule réponse une escalade délétère. 

Framont rappelle pourtant que les régimes politiques ne peuvent légaliser leur propre contestation. Le droit à l’insurrection inscrit dans l’article 35 de la Déclaration des droits de l’homme de 1793 a rapidement été abrogé. Toute action radicale qui viserait à s’en prendre à la propriété lucrative, toute action radicalement transformatrice est condamnée à être illégale. Mais Framont de poser une question dérangeante : « pensez-vous sincèrement qu’il va être possible de survivre aux décennies à venir sans recourir à la désobéissance civile et à une réévaluation à la hausse de la radicalité de nos réponses individuelles et collectives ? » Quand l’écoute est devenue impossible, quand le déni est la seule réponse, quand la contestation d’une mesure comme l’allongement de la durée du travail aussi massivement soutenue pour être aussitôt déniée… quelle option reste-t-il aux gens ?

La violence est toujours effrayante. Nul n’en veut. Mais quand des contestations fondamentalement pacifistes sont réprimées violemment… et ne permettent plus d’avancées (rappelons-nous les constats que dressaient la politologue Erica Chenoweth qui pointait que la contestation pacifique ne fonctionnait plus), le risque est fort qu’à la radicalité des uns réponde la radicalité des autres. La radicalité du capitalisme actuel et la terreur algorithmique qu’il mobilise, ne nous mènent vers aucun apaisement.

Hubert Guillaud

« L’IA ne peut pas faire votre travail, mais un vendeur d’IA peut convaincre à 100 % votre patron de vous licencier et de vous remplacer par une IA incapable de le faire ».

« L’IA est l’amiante que nous injectons dans les murs de notre société et que nos descendants déterreront pendant des générations ». 

« Chaque génération d’IA a été considérablement plus coûteuse que la précédente, et chaque nouveau client IA a été plus cher », explique Cory Doctorow sur son blog. Qui rappelle que, même pour Wall Street Journal, la bulle de l’IA est « plus importante que toute autre bulle de l’histoire récente ». Pour Doctorow, la comptabilité est devenue « rocambolesque ». Nvidia investit des milliards dans un acteur de l’IA qui investit dans les puces de Nvidia, comme s’en moque un mème récent. Pour Bain & Co, pour rentabiliser les investissements actuels dans l’IA, le secteur doit générer 2000 milliards de dollars d’ici 2030, soit un chiffre d’affaire supérieur à celui combiné d’Amazon, Google, Microsoft, Apple, Nvidia et Meta – et ce alors que Morgan Stanley estime que le secteur ne génère que 45 milliards de dollars par an. « L’IA ne va pas se réveiller, devenir super-intelligente et vous transformer en trombones ; en revanche, les riches, animés par la psychose de l’investissement en IA, vont très certainement vous appauvrir considérablement ».

« Le vibe coding et les assistants ne sont pas des technologies automagiques. Ils font des erreurs en permanence et n’ont pas de vision d’ensemble. »Thomas Gerbaud sur le vibe coding en ses limites.

Dans sa newsletter Blood in the Machine, l’historien Brian Merchant s’entretient avec le chercheur en sciences cognitives Hagen Blix qui vient de publier avec la spécialiste de l’IA, Ingeborg Glimmer, Pourquoi nous avons peur de l’IA (Why We Fear AI, Common Notions, 2025, non traduit). Dans leur livre, Blix et Glimmer passent en revue les craintes que génère l’IA, des peurs apocalyptiques à celles qui annoncent la destruction des emplois, même si personne ne croit vraiment ni aux unes ni aux autres. Or, ce qui est bien moins interrogé, parce que personne ne le voit comme un risque, c’est le fait que la technologie soit un moyen de produire des gains de productivité. C’est-à-dire le fait que de nombreuses technologies soient développées pour accroître le contrôle de la direction sur les lieux de travail et pour déqualifier les employés (comme le suggère le sociologue Juan Sebastian Carbonell dans son livre), c’est-à-dire en rémunérant des travailleurs auparavant qualifiés comme des travailleurs non qualifiés. « Il faut considérer l’IA comme un outil de baisse des salaires plutôt que comme un outil d’augmentation de la productivité ». 

De nombreuses études indiquent que les augmentations de productivité ne sont pas au rendez-vous, malgré l’empressement de beaucoup à ânonner l’idée que l’IA leur ferait gagner du temps. Par contre, on constate dans de nombreux secteurs, que les emplois se dégradent, comme c’est le cas des traducteurs. Les machines savent produire des traductions de mauvaises qualités, mais pas au point d’être inutiles. Et « l’offre de cette version médiocre est si importante qu’elle fait baisser les prix et les salaires ». 

Pour Blix, nous devrions considérer l’IA comme un outil de baisse des salaires plutôt que comme un outil d’augmentation de la productivité. Et si c’est le cas, il faut comprendre que la fin de l’essor de l’IA n’est pas pour demain, quand bien même la productivité n’augmente pas. C’est en cela qu’il faut entendre la peur sourde de l’IA. Elle est « un vecteur omnidirectionnel et omniprésent de déqualification ». Jusqu’à présent, dans tous les secteurs où l’on maniait le langage notamment, l’industrialisation était peu poussée. Or, la promesse de l’IA est bien celle d’une prolétarisation partout où elle s’infiltre. Pour Blix, l’IA permet de créer une « bifurcation » selon la valeur. Si vous êtes avocat spécialisé en fusion d’entreprises, vous avez peu de chance d’être remplacé par une IA, car la moindre erreur pourrait coûter des millions de dollars. Mais si vous êtes avocat commis d’office, l’IA va vous aider à traiter bien plus de dossiers, même si vous ne les gagnez pas tous. Pour Blix, les services coûteux vont l’être de plus en plus, alors que les services les moins coûteux seront peut-être moins chers encore, mais avec de moins en moins de garanties de qualité. « L’IA fabrique des produits tellement moins chers qu’ils surpassent la concurrence non pas en qualité, mais en prix ». Pour lui, c’est « une attaque d’en haut contre les salaires ». 

Mais ce n’est pas une attaque à l’encontre de n’importe quels secteurs. Les secteurs que l’IA s’apprête à déstabiliser regroupent des emplois où les gens étaient relativement privilégiés et éduqués. Ils étaient ceux de gens qui « constituaient un rempart contre le système d’exploitation dans lequel nous vivons », même si beaucoup de ces personnes n’étaient jusqu’à présent pas forcément les plus syndiquées parce que pas nécessairement les plus hostiles au développement du capitalisme. C’est là quelque chose qui risque de bouger, esquisse Blix, comme quand les scénaristes et les acteurs se sont mis en grève l’année dernière, alors que ce n’était pas jusqu’alors un secteur très politisé. Brian Merchant dresse le même constat en évoquant des discussions avec des designers inquiets face à la précarisation qui les menace. Peut-être effectivement que ces perspectives vont faire réagir ceux dont les intérêts collectifs sont mis en danger. 

« L’IA est un moyen de s’attaquer aux salaires et à la qualité du travail ». Sans compter que ces outils sont excellents à discipliner les travailleurs par les scripts qu’ils imposent. « Pourquoi vivons-nous dans une société où la technologie est conçue comme un outil permettant aux gens d’avoir moins de contrôle sur leur travail ? La technologie devrait être développée de manière à rendre le travail plus agréable. Mais les intérêts de ceux qui financent la technologie, les entreprises et les patrons, sont souvent hostiles à ceux des travailleurs, car ces derniers souhaitent faire les choses différemment. On veut que son travail soit confortable, intéressant et peut-être convivial, mais l’entreprise cherche à exercer un contrôle », une pression, notamment pour que le travail lui coûte le moins possible. Par nature, il y a une forme d’hostilité intrinsèque à l’égard de ceux qu’elle emploie. « Les Luddites n’étaient pas opposés à la technologie. Ils étaient opposés à la technologie comme outil d’écrasement de la classe ouvrière ». Et il est probable que nous ayons à nous opposer à l’IA comme outil d’écrasement de toutes les autres. 

Le but d’un système est ce qu’il fait

Dans un article pour le site Liberal Currents, Blix et Glimmer vont plus loin encore. Ils estiment que dénoncer la hype de l’IA ne nous mène nulle part. Qualifier l’IA de bulle, d’escroquerie ou de poudre de perlimpimpin ne nous aide à comprendre ni à agir. Même si le battage médiatique de l’intelligence artificielle était moins fort, les problèmes qu’elle cause persisteraient. Pour les deux auteurs, il nous faut mieux qualifier son utilité pour saisir ce qu’elle accomplit réellement. 

Elle est d’abord massivement utilisée pour produire de la désinformation et de la propagande, c’est-à-dire manipuler nos émotions et amplifier nos résonances affectives. Elle est d’abord le moyen « d’innonder la zone de merde », comme le recommande le stratège extrêmiste Steve Bannon. Elle sert d’abord « à attiser sans relâche le scandale et l’indignation jusqu’à ce que personne ne puisse plus suivre les attaques contre la démocratie, la science, les immigrants, les Noirs, les personnes queer, les femmes, les anciens combattants ou les travailleurs. L’objectif : faire perdre aux gens le sens de ce qui se passe, de la réalité, afin qu’ils soient politiquement paralysés et incapables d’agir. » Les productions de l’IA générative n’y arrivent certainement pas toutes seules, mais reconnaissons qu’elles ont largement participé de la confusion ambiante ces dernières années. « Le fascisme, quant à lui, est engagé dans un jeu de pouvoir et d’esthétique qui considère le désir de vérité comme un aveu de faiblesse. Il adore les générateurs de conneries, car il ne peut concevoir un débat que comme une lutte de pouvoir, un moyen de gagner un public et des adeptes, mais jamais comme un processus social visant à la délibération, à l’émancipation ou au progrès vers la vérité. Les fascistes tentent, bien sûr, d’exploiter les conditions mêmes du discours (la volonté de présumer la bonne foi, de considérer l’égalité sinon comme une condition, du moins comme un objectif louable de progrès social, etc.). Prenons, par exemple, les débats sur la liberté d’expression comme un moyen pour retourner l’ennemi (c’est-à-dire nous). Les fascistes proclament sans cesse leur défense et leur amour de la liberté d’expression. Ils arrêtent également des personnes pour avoir proféré des discours, interdisent des livres » et s’en prennent à tous ceux qui n’expriment pas les mêmes idées qu’eux. « Considérer cela comme une incohérence, ou une erreur intellectuelle, revient à mal comprendre le projet lui-même : les fascistes ne cherchent pas la cohérence, ni à créer un monde rationnel et raisonnable, régi par des règles que des personnes libres et égales se donnent. Cette contradiction apparente s’inscrit plutôt dans la même logique stratégique que l’inondation de la zone de merde : utiliser tous les outils nécessaires pour accroître son pouvoir, renforcer les hiérarchies et consolider ses privilèges.»

« Cette attaque politique contre la possibilité d’un discours de bonne foi est-elle favorisée par le battage médiatique ? La situation serait-elle meilleure si les modèles étaient améliorés ou si la publicité était atténuée ? Ou est-ce plutôt l’incapacité des modèles à distinguer les mots du monde qui les rend si utiles aux visées fascistes ? Si tel est le cas, qualifier l’IA de battage médiatique revient à penser que les fascistes sont simplement stupides ou qu’ils commettent une erreur en étant incohérents. Mais les fascistes ne se trompent ni sur la nature de la liberté d’expression, ni sur la nature du « discours » produit par un LLM. Ils savent ce qu’ils veulent, ce qu’ils font et où cela mène. »

Ensuite, l’IA est un outil de terreur politique. Outil de la surveillance et du contrôle, le développement de l’IA tout azimut impose peu à peu sa terreur. Actuellement, le gouvernement américain utilise l’IA pour analyser les publications sur les réseaux sociaux à un niveau sans précédent et recueillir des « renseignements » à grande échelle. L’initiative « Catch and Revoke » du département d’État, par exemple, utilise l’IA pour annuler les visas des étrangers dont les propos ne sont pas suffisamment alignés avec les objectifs de politique étrangère du gouvernement. « S’agit-il d’un problème de battage médiatique ? Non  ! »

« Qualifier l’IA de « battage médiatique » met en évidence un écart entre un argument de vente et les performances réelles du modèle. Lorsqu’un modèle à succès est mis en pratique, il commet des « erreurs » (ou en commet à une fréquence déraisonnable). Qu’en est-il des outils d’IA du département d’État ? Leur IA de surveillance des étudiants commettra certainement des « erreurs » : elle signalera des personnes qui ne sont pas titulaires de visas étudiants ou des personnes pour des propos sans rapport avec le sujet », sans que ces erreurs ne soient décisives, au contraire. L’expulsion de gens qui n’avaient pas à l’être n’est qu’un dommage collatéral sans importance. Alors peut-être que quelqu’un au département d’État s’est laissé prendre et a réellement cru que ces modèles surveillaient mieux qu’ils ne le font en réalité. Nous n’en savons rien. Mais le sujet n’est pas là ! 

La journaliste et chercheuse Sophia Goodfriend qualifie toute cette affaire de « rafle de l’IA » et observe avec perspicacité : « Là où l’IA échoue techniquement, elle tient ses promesses idéologiques ». Indubitablement, des personnes sont faussement classées comme ayant tenu des propos non autorisés par les défenseurs autoproclamés de la liberté d’expression. Mais ces erreurs de classification ne sont des erreurs qu’au sens strict du terme. Le but du département d’Etat de Marco Rubio est d’augmenter les expulsions et de supprimer certains types de discours, pas d’être précis. En fait, ce programme politique vise surtout l’échelle, le traitement de masse, c’est-à-dire atteindre le plus grand nombre de personnes. Et pour cela, l’IA est particulièrement efficace. 

« Dans notre livre, nous affirmons que c’est précisément leur nature, sujette aux erreurs, leurs fragilités, qui rend l’IA si efficace pour la répression politique. C’est l’imprévisibilité des personnes qui seront prises dans ses filets, et l’insondabilité de la boîte noire de l’IA qui rendent ces outils si efficaces pour générer de l’anxiété, et qui les rendent si utiles pour la suppression de la parole ». Et les deux auteurs de comparer cela à la reconnaissance faciale. « Certes, les dommages causés par les erreurs d’identification des personnes causées par les systèmes de reconnaissances faciales sont bien réels. Reconnaissons d’abord que même si les algorithmes étaient parfaits et ne se trompaient jamais, ils favoriseraient tout de même un système raciste qui vise souvent à produire une déshumanisation violente… Mais aujourd’hui, les algorithmes de la reconnaissance faciale  commettent bel et bien des erreurs d’identification, malgré leurs prétentions. Qualifier cela de « bêtise » nous aide-t-il à comprendre le problème ?»

Les « erreurs d’identification de la reconnaissance faciale ne sont pas distribuées aléatoirement, bien au contraire. Lorsque les erreurs de l’IA sont si clairement réparties de manière inégale et qu’elles sont source de préjudices – de fausses arrestations et de possibles violences policières –, il est évidemment inutile de les qualifier simplement d’« erreurs », de « bêtise » ou de théoriser cela à travers le prisme du « battage médiatique ». Ce que ce système produit, ce ne sont pas des erreurs, c’est de la terreur. Et cette terreur a une histoire et des liens évidents avec la pseudoscience et les structures politiques racistes : de la phrénologie à la reconnaissance faciale, de l’esclavage aux lois Jim Crow – jusqu’aux nouveaux Jim Crow qu’évoquaient Michelle Alexander ou Ruha Benjamin. Une fois ces liens établis, le caractère semi-aléatoire, les « erreurs », les « fausses » arrestations apparaissent non pas comme des accidents, mais comme faisant partie intégrante de l’IA en tant que projet politique. »

Ces erreurs non-aléatoires se situent précisément dans l’écart entre le discours commercial et la réalité. C’est cet écart qui offre un déni plausible aux entreprises comme aux politiques. « C’est l’algorithme qui a foiré », nous diront-ils sans doute, et que, par conséquent, personne n’est réellement responsable des fausses arrestations racistes. « Mais le fait même que les erreurs d’identification soient prévisibles au niveau des populations (on sait quels groupes seront le plus souvent mal identifiés), et imprévisibles au niveau individuel (personne ne sait à l’avance qui sera identifié de manière erronée) renforce également son utilité pour le projet politique de production de terreur politique : il s’agit, là encore, de susciter le sentiment généralisé que « cela pourrait arriver à n’importe lequel d’entre nous ». Cela est aussi vrai pour l’IA que pour d’autres outils plus anciens de terreur politique et d’intimidation policière. Pourtant, personne n’a jamais suggéré que les arguments de vente pour les armes « non létales » comme les balles en caoutchouc étaient du battage médiatique. Une balle en caoutchouc peut parfois aveugler, voire tuer, et il s’agit là aussi d’une « erreur » distribuée de manière semi-aléatoire, un écart entre l’argumentaire et la réalité. Les balles en caoutchouc, comme l’IA de surveillance et le système de reconnaissance faciale, fonctionnent comme des outils de contrôle politique, précisément parce que cet écart est fonctionnel, et non accessoire, au système ». Pour reprendre les termes du cybernéticien Stafford Beer, « il est inutile de prétendre que la finalité d’un système est de faire ce qu’il échoue constamment à faire ». «  Le but d’un système est ce qu’il fait », disait-il.  Et se concentrer principalement sur ce que le système ne peut pas réellement faire (comme le fait le battage médiatique) risque de détourner l’attention de ce qu’il fait réellement.

Enfin, l’IA est un outil pour écraser les salaires, défendent les deux auteurs. Des critiques comme celles d’Emily Bender et Alex Hanna ont, à juste titre, souligné que l’affirmation de notre remplacement par les machines – et leur répétition incessante par des médias peu critiques – sont essentiellement des formes de publicité pour ces outils. Pour Blix et Glimmer, « ce discours s’adresse avant tout aux investisseurs et aux entreprises clientes pour qui remplacer les travailleurs par des outils pourrait être bénéfique pour leurs résultats. Pour les travailleurs, ces mots ne sonnent certainement pas comme de la publicité, mais comme une menace ». A ces derniers on conseille de se mettre à l’IA avant que la concurrence ne les écrase et que leur emploi ne se délocalise dans cette nouvelle machinerie. Plutôt que de se défendre, on leur conseille par avance d’accepter l’inéluctable. « Taisez-vous et réduisez vos attentes, car vous êtes remplaçables !», tel est le refrain ambiant. 

« C’est le suffixe « -able » dans « remplaçable » qui est crucial ici. Pour la menace, c’est l’évocation de la possibilité d’un remplacement qui compte. C’est ce que la loi de l’offre et de la demande implique en matière d’offre de personnes (dotées de compétences particulières) : une offre accrue d’un substitut potentiel (l’IA) entraînera une baisse du prix d’une marchandise (le salaire des travailleurs). »

Le discours de l’inéluctabilité de l’IA, de la formation comme seule réponse, porte également une teneur fortement antisyndicale, qui « trahit le véritable objectif économique de l’IA : c’est un outil pour faire baisser les salaires ». « Et pour atteindre cet objectif, la capacité réelle de l’outil à remplacer le travail effectué par des personnes à qualité égale est souvent sans importance. Après tout, la remplaçabilité ne se résume pas à une simple équivalence, mais le plus souvent à un compromis qualité-prix. Les gens aiment acheter ce qu’ils estiment être le meilleur rapport qualité-prix. Les entreprises font de même, substituant souvent des intrants moins chers (compétences, matériel, etc.) pour réduire leurs coûts, même si cela nuit à la qualité. C’est l’horizon évident de l’IA : non pas l’automatisation complète, mais le modèle de la fast fashion ou d’Ikea : proposer une qualité inférieure à des prix nettement inférieurs ». D’ailleurs, rappellent Blix et Glimmer, les arguments de vente d’Ikea ou de la fast fashion exagèrent eux aussi souvent la qualité de leurs produits. 

« Des codeurs aux assistants juridiques, des tuteurs aux thérapeutes, les investissements pour produire des versions bon marché assistées par IA sont en bonne voie, et ils vont probablement faire baisser les salaires ». Les stratégies seront certainement différentes selon les métiers. Reste que L’attaque contre les travailleurs, la qualité des emplois et la qualité des produits que nous produisons et consommons est le problème que produit l’IA, et ce problème existe indépendamment du battage médiatique. « À moins d’être un investisseur en capital-risque, vous n’êtes pas la cible de la publicité pour l’IA, vous êtes la cible de la menace. Nous n’avons que faire de termes comme la hype qui avertissent les investisseurs qu’ils pourraient faire de mauvais investissements ; nous avons besoin de termes utiles pour riposter.»

L’éclatement à venir de la bulle de l’IA n’explique par pourquoi l’information est inondée de merde, n’explique pas pourquoi les erreurs des systèmes du social vont continuer. La dénonciation de la bulle et de la hype est finalement « étroitement technique, trop axée sur l’identification des mensonges, plutôt que sur l’identification des projets politiques ». Il ne faut pas commettre l’erreur de penser que le simple fait qu’une déclaration soit mensongère suffit à la négliger. Nous devrions prendre les mensonges bien plus au sérieux, car ils sont souvent révélateurs d’autre chose, même s’ils ne sont pas vrais. 

Pour Blix et Glimmer nous devons nous concentrer sur les projets politiques. « Nous devons appeler l’IA pour ce qu’elle est : une arme entre les mains des puissants. Prenons le projet de dépression salariale au sérieux : appelons-le une guerre des classes par l’emmerdification, la lutte antisyndicale automatisée, une machine à conneries pour des boulots à la con, ou encore le techno-taylorisme…» « Désemmerdifions le monde ! »

A New York, l’Assemblée générale des Nations Unies a ouvert sa quatre-vingtième session. « Le podium de marbre, les drapeaux, les discours solennels, tout cela vous semblera familier : des présidents invoquant la démocratie, des Premiers ministres promettant de protéger les droits humains, des ministres des Affaires étrangères mettant en garde contre les dangers de l’autoritarisme. Le langage est toujours noble, le symbolisme toujours lourd ». 

Mais, pendant que les délégués s’affairent à se féliciter de défendre la liberté, un coup d’État silencieux se déroule au cœur des infrastructures même d’internet, explique Konstantinos Komaitis dans une vibrante tribune pour Tech Policy Press. Pour le chercheur au Digital Forensics Research Lab (DFRLab) de l’Atlantic Council, un think tank américain, internet est largement devenu un outil de répression. Les rapports « le coup d’Etat d’internet » d’InterSecLab et celui de Follow the Money sur l’exportation par la Chine de ses technologies de censure sont « comme des dépêches venues des premières lignes de cette prise de contrôle ». Inspection des échanges, surveillance en temps réel, limitation du trafic, blocage des VPN… Les gouvernements sont les premiers à adhérer et acheter ces solutions, notamment en Asie et en Afrique, expliquait Wired. Mais ce n’est plus seulement le cas des autocraties… La professeure de droit Elizabeth Daniel Vasquez expliquait dans une longue enquête pour le New York Times, comment la police de New York a mis les New-Yorkais sous surveillance continue au nom de la lutte contre la criminalité. La police a mis en place d’innombrables dispositifs pour capter les données des habitants, qu’elle conserve sans mandat, lui permettant de reconstituer les parcours de nombre d’habitants, de connaître leurs échanges en ligne. Joseph Cox pour 404media vient de révéler que l’ICE, l’agence fédérale de l’immigration et des douanes américaines, venait d’acquérir un outil lui permettant de collecter d’innombrables données des téléphones des Américains et notamment de suivre leurs déplacements. Sous couvert de sécurité des réseaux, les messages sont surveillés, leur distribution empêchée, l’accès aux VPN désactivé. Et ces systèmes ne sont pas uniquement les créations de régimes paranoïaques, mais « des produits commerciaux vendus à l’international, accompagnés de manuels de formation, de contrats de maintenance et de supports techniques ». La censure est désormais une industrie qui repose bien souvent sur des technologies occidentales. « Les démocraties condamnent le contrôle autoritaire tandis que leurs entreprises contribuent à en fournir les rouages ». « L’hypocrisie est stupéfiante et corrosive ». 

Les régimes autoritaires ont toujours cherché à museler la dissidence et à monopoliser les discours. Ce qui a changé, c’est l’industrialisation de ce contrôle. Il ne s’agit plus du pare-feu d’un seul pays ; il s’agit d’un modèle d’autoritarisme numérique mondial, dénonce Konstantinos Komaitis. La tragédie est que ce coup d’État progresse au moment même où les démocraties vacillent. Partout dans le monde, les institutions sont assiégées, la société civile s’affaiblit, la désinformation est omniprésente et la confiance en chute libre. 

Dans ce contexte, la tentation d’adopter des outils de contrôle numérique est immense. Pourquoi ne pas bloquer des plateformes au nom de la « sécurité » ? Pourquoi ne pas surveiller les militants pour préserver la « stabilité » ?… Ce qui n’était au départ qu’une pratique autoritaire à l’étranger devient accessible, voire séduisante, aux démocraties en difficulté en Occident. Les normes évoluent en silence. Ce qui semblait autrefois impensable devient la norme. Et pendant ce temps, la promesse originelle d’Internet – comme espace de dissidence, de connexion et d’imagination – s’érode.

« La censure est désormais un bien d’exportation ». Et une fois ces infrastructures bien installées, elles sont extrêmement difficiles à démanteler. « Le coup d’État n’est pas métaphorique. Il s’agit d’une capture structurelle, d’une réécriture des règles, d’une prise de pouvoir – sauf qu’il se déroule au ralenti, presque invisiblement, jusqu’au jour où l’Internet ouvert disparaît ». 

Les gouvernements démocratiques continueront-ils à faire de belles déclarations tandis que leurs propres entreprises aident à doter les régimes autoritaires d’outils de répression, comme c’est le cas en Chine ? L’ONU adoptera-t-elle à nouveau des résolutions qui paraissent nobles, mais qui resteront sans effet ? La société civile sera-t-elle laissée seule à lutter, sous-financée et dépassée ? Ou la communauté internationale reconnaîtra-t-elle enfin que la défense de l’Internet ouvert est aussi urgente que la défense de la souveraineté territoriale ou de la sécurité climatique. La réponse déterminera la réussite du coup d’État. 

Contrôles à l’exportation des technologies de censure, exigences de transparence contraignantes pour les fournisseurs, sanctions en cas de complicité, soutien aux outils de contournement, investissement dans les organisations de défense des droits numériques : tout cela n’est pas un luxe, rappelle Komaitis. Ces mesures constituent le strict minimum si nous voulons préserver ne serait-ce qu’un semblant de l’esprit fondateur d’Internet. À la 80e session de l’Assemblée générale des Nations Unies, les dirigeants mondiaux ont l’occasion de prouver qu’ils comprennent les enjeux, non seulement de l’architecture technique d’un réseau, mais aussi de l’architecture morale de la liberté mondiale. « S’ils échouent, s’ils détournent le regard, s’ils laissent ce coup d’État se poursuivre sans être contesté, alors l’Internet ouvert ne s’éteindra pas d’un coup. Il disparaîtra clic après clic, pare-feu après pare-feu, jusqu’au jour où nous nous réveillerons et découvrirons que l’espace autrefois annoncé comme la plus grande expérience d’ouverture de l’humanité n’est plus qu’un instrument de contrôle parmi d’autres. Et là, il sera trop tard pour riposter. »

Bon, il n’y a pas que les démocraties qui démantèlent l’internet libre et ouvert, bien sûr. Global Voices par exemple revient sur la manière dont le gouvernement russe restreint considérablement l’internet russe, notamment en créant une longue liste de sites à bloquer. Mais depuis peu, les autorités russes sont passés de la liste noire à la liste blanche, une liste de sites à ne pas bloquer, alors que les coupures du réseau sont de plus en plus fréquentes en Russie. Mais surtout, explique l’article, la Russie ne cible plus des plateformes ou des services individuels : « elle démantèle systématiquement l’infrastructure technique qui permet les communications internet gratuites, y compris les appels vocaux » ou l’accès aux VPN. Les censeurs russes identifient par exemple les protocoles VoIP (voix sur IP) quelle que soit l’application utilisée, pour les dégrader au niveau du protocole et non plus seulement seulement bloquer telle ou telle application (afin que même les nouvelles applications soient dégradées). « Toutes les messageries, qu’il s’agisse de WhatsApp, Telegram, Signal ou Viber, reposent sur les mêmes technologies sous-jacentes pour les appels vocaux : protocoles VoIP, WebRTC pour les appels via navigateur et flux de données UDP/TCP pour la transmission audio. Les censeurs russes peuvent désormais utiliser le DPI pour analyser les signatures de paquets et identifier les schémas de trafic VoIP en temps réel. Ils n’ont pas besoin de savoir si vous utilisez WhatsApp ou Telegram ; il leur suffit de reconnaître que vous passez un appel Internet et de le bloquer au niveau du protocole. C’est comme couper toutes les lignes téléphoniques au lieu de déconnecter chaque téléphone individuellement. » Ce contrôle au niveau des infrastructures est bien sûr regardé avec attention par bien d’autres autocraties, pour s’en inspirer.

Après avoir fait l’édifiante histoire de la censure de l’internet russe, la chercheuse Daria Dergacheva, qui signe l’article de Global Voices, explique que la Russie se dirige vers un réseau internet interne. Le risque à terme, c’est que l’internet russe se coupe totalement du reste de l’internet et se referme sur lui-même, sur le modèle de la Corée du Nord. 

L’IA prédictive comme générative semble offrir une multitude d’avantages à l’élaboration des politiques publiques : de l’analyse de données complexes à l’optimisation des ressources. Elle semble à la fois être capable d’apporter une vision globale et d’identifier les leviers permettant de la modifier. Recourir à l’IA signifie mettre en place des politiques conduites par les données, ce qui permet d’assurer une forme d’objectivité, notamment quant il s’agit de rationner le service public… 

Mais, cette production de solutions politiques semble oublier que l’IA est incapable de résoudre les problèmes structurels. Elle propose des solutions performatives qui obscurcissent et amplifient les problèmes, explique l’iconoclaste Dan MacQuillan dans un article pour la Joseph Rowntree Foundation, une association britannique de lutte contre la pauvreté, qui a initié une réflexion sur l’usage de l’IA pour le bien public. Dan McQuillan est maître de conférence au département d’informatique de l’université Goldsmiths de Londres. Il est l’auteur de Resisting AI, an anti-fascist approach to artificial intelligence (Résister à l’IA, une approche anti-fasciste de l’intelligence artificielle, Bristol University Press, 2022, non traduit) dont nous avions déjà parlé. 

McQuillan rappelle que l’IA, par principe, consiste à produire des corrélations réductrices plutôt que des analyses causales. « La complexité de l’IA introduit une opacité fondamentale dans le lien entre les données d’entrée et les résultats, rendant impossible de déterminer précisément pourquoi elle a généré un résultat particulier, empêchant ainsi toute voie de recours. Ce phénomène est aggravé dans les applications concrètes, où les résultats apparemment fiables de l’IA peuvent devenir auto-réalisateurs. Un algorithme d’apprentissage automatique qualifiant une famille de « difficile » peut ainsi créer une boucle de rétroaction entre les membres de la famille et les services sociaux. De cette manière, l’IA imite des phénomènes sociologiques bien connus, tels que les stéréotypes et la stigmatisation, mais à grande échelle ». Ses inférences au final renforcent les stratifications sociales de la société comme pour les rendre acceptables.

Or, rappelle le chercheur, « une bonne politique doit impérativement être ancrée dans la réalité ». C’est pourtant bien ce lien que rompent les calculs de l’IA, à l’image des hallucinations. Celles-ci proviennent du fait que l’IA repose sur l’imitation du langage plutôt que sa compréhension. Le même principe s’applique à toutes les prédictions ou classifications que produit l’IA. « Que l’IA soit appliquée directement pour prédire la fraude aux aides sociales ou simplement utilisée par un décideur politique pour « dialoguer » avec une multitude de documents politiques, elle dégrade la fiabilité des résultats ». 

Des données probantes suggèrent déjà que l’imbrication des algorithmes dans les solutions politiques conduit à une appréciation arbitraire de l’injustice et de la cruauté. Les scandales abondent, de Robodebt en Australie à l’affaire des allocations familiales aux Pays-Bas, qui auraient tous pu être évités en écoutant la voix des personnes concernées. Mais l’IA introduit une injustice épistémique, où la capacité des individus à connaître leur propre situation est dévaluée par rapport aux abstractions algorithmiques. Si l’IA, comme la bureaucratie, est présentée comme une forme généralisée et orientée vers un objectif de processus rationnel, elle engendre en réalité de l’inconscience : l’incapacité à critiquer les instructions, le manque de réflexion sur les conséquences et l’adhésion à la croyance que l’ordre est correctement appliqué. Pire encore, l’IA dite générative offre la capacité supplémentaire de simuler une large consultation, que ce soit par « l’interprétation » hallucinatoire d’un grand nombre de soumissions publiques ou par la simulation littérale d’un public virtuel et prétendument plus diversifié en remplaçant des personnes réelles par des avatars d’IA générative. Une technique, qui, si elle a l’avantage de réduire les coûts, est dénoncée par des chercheurs comme contraire aux valeurs mêmes de l’enquête et de la recherche, rappelait Scientific American. « L’approche technocratique mise en œuvre par l’IA est à l’opposé d’un mécanisme réactif aux aléas de l’expérience vécue », explique McQuillan. « L’IA n’est jamais responsable, car elle n’est pas responsable ». Si l’on considère les attributs de l’IA dans leur ensemble, son application à l’élaboration des politiques publiques ou comme outil politique aggravera l’injustice sociale, prédit le chercheur. L’apport de l’IA à l’ordre social ne consiste pas à générer des arrangements de pouvoir alternatifs, mais à mettre en place des mécanismes de classification, de hiérarchisation et d’exclusion. 

Chaque signalement par l’IA d’un risque de fraude, d’un classement d’une personne dans une catégorie, mobilise une vision du monde qui privilégie des représentations abstraites à la complexité des relations vécues, et ce dans l’intérêt des institutions et non des individus. « Imprégnées des injustices criantes du statu quo, les solutions de l’IA tendent inexorablement vers la nécropolitique, c’est-à-dire vers des formes de prise de décision qui modifient la répartition des chances de vie par des désignations de disponibilité relative. Détourner massivement les individus des parcours éducatifs ou des prestations sociales dont ils ont besoin pour survivre, par exemple, constitue un filtre algorithmique pour déterminer qui est bienvenu dans la société et qui ne l’est pas ». 

Le problème, c’est que la pression sur les décideurs politiques à adopter l’IA est immense, non seulement parce que ses biais viennent confirmer les leurs, mais plus encore du fait des engagements commerciaux et des promesses économiques que représente le développement de ce secteur. Et McQuillan de regretter que cette orientation nous éloigne de l’enjeu éthique qui devrait être au cœur des politiques publiques. La politique s’intéresse de moins en moins aux injustices structurelles de la société. « Un monde où l’élaboration et la mise en œuvre des politiques publiques reposent sur l’IA est aussi un monde qui confère un pouvoir considérable à la petite poignée d’entreprises capables de disposer de ces ressources ». Par essence, « l’adoption de l’IA constitue un engagement en faveur de l’extractivisme et d’un transfert de contrôle à un niveau qui supplante toute politique réelle ». 

En fait, explique McQuillan, adopter l’IA dans l’élaboration des politiques publiques revient à soumettre les politiques à des agendas corporatifs et idéologiques plus vastes (à savoir se soumettre à ceux qui ont déjà décidé que l’avenir de la civilisation réside dans l’intelligence artificielle générale (IAG), ceux qui ont décidé que la meilleure réponse à la crise structurelle est de la masquer sous le battage médiatique de l’IA, et ceux qui ont conclu que le meilleur moyen de maintenir les revenus en période de récession mondiale est de remplacer les travailleurs réels par des émulations d’IA de mauvaise qualité). L’impact net de l’IA dans l’élaboration des politiques la rendrait plus précaire et favoriserait l’externalisation et la privatisation sous couvert d’une technologie surmédiatisée. Il s’agit d’une forme de « stratégie du choc », où le sentiment d’urgence généré par une technologie prétendument transformatrice du monde est utilisé comme une opportunité pour l’emprise des entreprises et pour transformer les systèmes sociaux dans des directions ouvertement autoritaires, sans réflexion ni débat démocratique. 

Pour Dan McQuillan, plutôt que de se demander comment l’IA va imprégner l’élaboration des politiques, il faudrait se concentrer sur des politiques publiques qui favorisent la dénumérisation. C’est-à-dire favoriser une stratégie sociotechnique de réduction de la dépendance à l’échelle computationnelle, de participation maximale des communautés concernées et de reconnaissance accrue du fait que le raisonnement computationnel ne saurait se substituer aux questions politiques exigeant un jugement réfléchi et perspicace. L’IA, en tant qu’appareil de calcul, de concepts et d’investissements, est l’apothéose de la « vue d’en haut », l’abstraction désincarnée du savoir privilégié qui empoisonne déjà nombre de formes d’élaboration des politiques. Pour McQuillan, un pivot vers la « décomputation » est une façon de réaffirmer la valeur des connaissances situées et du contexte sur le seul passage à l’échelle. Contrairement aux prédictions et simulations de l’IA, notre réalité commune est complexe et intriquée, et la théorie ne permet pas de prédire l’avenir. Cela ne signifie pas que nous ne pouvons pas progresser vers des objectifs tels que la justice sociale et une transition juste, mais la dénumérisation suggère de les aborder de manière à la fois itérative et participative. Le véritable travail de restructuration réoriente l’attention des technologies toxiques vers le développement de techniques de redistribution du pouvoir social, telles que les conseils populaires et les assemblées populaires. Bref, pour sortir de l’enfermement des politiques publiques de l’abstraction qu’impose l’IA, il faut prendre un virage contraire, suggère McQuillan. Un constat qui n’est pas si éloigné de celui que dresse le chercheur Arvind Narayanan quand il invite à limiter l’emprise du calcul sur le social, même s’il est exprimé ici d’une manière bien plus radicale. 

L’Observatoire des multinationales publie une série d’enquêtes sur l’influence des extrêmes-droites dans le secteur français de la tech. On vous recommande notamment l’article sur le grand silence de la French Tech face à Pierre-Edouard Stérin qui rappelle que « très rares sont donc les entreprises soutenues par Stérin à avoir pris leur distance avec le milliardaire anti-IVG ».

La discrimination salariale algorithmiques progresse estime la chercheuse à l’origine du concept, Veena Dubal, dans un rapport pour l’association Equitable Growth. Pour cela, l’association a réalisé un audit auprès de 500 fournisseurs de solutions de gestion des relations de travail basées sur l’IA qui montre que la rémunération algorithmique s’étend, de la santé au service client, en passant par la logistique et la vente au détail, avec le risque que ces pratiques se normalisent, au détriment des pratiques de salaires clairs, fixes, prévisibles et scrutables.

Non seulement les rémunérations algorithmiques ne sont plus limitées au travail à la demande et s’étendent, mais partout où elles sont introduites, les rémunérations baissent et les études sectorielles montrent également que dans tous les secteurs, les personnes qui travaillent plus longtemps depuis un salaire optimisé par les algorithmes sont moins payées à l’heure.

Derrière le déploiement de l’IA dans les entreprises, une bataille des places est en cours. Dans le New York Times, le journaliste Noam Scheiber avait posé la question : « quels salariés vont être pénalisés par l’IA, les plus inexpérimentés ou les plus expérimentés ? » Sa conclusion montrait que c’était peut-être les travailleurs intermédiaires qui seraient les plus menacés. En réalité, pour l’instant, « l’alarme sur la destruction de l’emploi liée à l’IA n’a pas lieu d’être », expliquait Ekkehard Ernst, qui dirige l’observatoire sur l’IA et le travail dans l’économie numérique de l’OIT, qui rappelait combien le chômage technologique a toujours été rare. Cela n’empêche pas les inquiétudes d’être au plus haut, d’abord et avant tout, disions-nous, parce que la discussion sur le partage des fruits du déploiement de l’IA n’a pas lieu.

Dans son précédent livre, Le Futur du travail (éditions Amsterdam, 2022), le sociologue Juan Sebastian Carbonell nous expliquait déjà que le futur du travail n’était pas notre « grand remplacement » par les machines, mais notre prolétarisation. Il y décrivait déjà une « taylorisation assistée par ordinateurs » qui vise bien plus à « intensifier le travail, déqualifier les salariés, les discipliner et les surveiller ». Les robots ne travaillent pas à notre place mais nous imposent une intensification nouvelle, à l’image des employés de la logistique soumis aux rythmes de la commande vocale.

Un taylorisme sous stéroïdes…

Son nouveau livre, Un taylorisme augmenté : critique de l’intelligence artificielle (éditions Amsterdam, 2025) nous explique que l’IA n’est « ni une solution miracle aux problèmes de la société, ni Prométhée déchaîné », elle n’est qu’un taylorisme augmenté qui élude les questions de fonds que sont les conditions de travail, son organisation et la distribution du pouvoir. Le chercheur rappelle qu’il n’y a pas de consensus quant aux effets de l’IA sur le travail. Pour les uns, elle augmente les besoins de qualifications de ceux qui vont les utiliser, pour les autres, l’IA produit surtout une polarisation des emplois. Pour Carbonell, l’IA n’est ni l’un ni l’autre. Elle est d’abord un outil de dégradation du travail. 

Pour le chercheur, il n’y a pas de polarisation homogène des emplois, c’est-à-dire le fait que les métiers intermédiaires et routiniers auraient tendance à disparaître au profit de métiers très qualifiés d’un côté et des métiers peu qualifiés et non routiniers de l’autre. Si ce phénomène s’observe parfois, les profils des emplois changent surtout au sein de mêmes métiers. Cela signifie qu’il faut non seulement prendre en compte les tâches, mais également l’organisation du travail. La distinction entre tâches routinières et non routinières est souvent caricaturée dans un discours qui dit que l’IA ferait disparaître les tâches répétitives pour nous en libérer. Ce n’est pas ce que constatent les employés de la logistique ou de la traduction, au contraire. Ce n’est plus ce que constatent également les codeurs, victimes désormais de la « Prompt fatigue », épuisés par l’usage de l’IA générative, rapporte Le Monde informatique… Certains qualifiant déjà le recours à ces outils « d’illusion de rapidité ».

« Le degré de routine ne fait pas tout », rappelle le sociologue. Il est nécessaire de prendre en compte, les « stratégies de profit » des entreprises et leur volonté à automatiser le travail. Enfin, la variété des produits, des composants et processus déterminent également la possibilité d’automatiser ou pas une production. « Une même technologie peut donc avoir des effets très différents sur le travail ». Des métiers hautement qualifiés, peu routiniers et hautement cognitifs peuvent ainsi être déstabilisés par l’IA, comme s’en inquiétait l’artiste Aurélie Crop sur son compte Instagram, en observant les possibilités du nouveau service d’IA de Google, Nano Banana, ou encore les scénaristes de cinéma associés face aux annonces d’OpenAI de produire un film d’animation entièrement génératif. Ces métiers ne vont pas disparaître, mais vont être taylorisés, c’est-à-dire « simplifiés, standardisés ou parcellisés ». C’est-à-dire précarisés pour en réduire le coût et augmenter les profits. Car ce qui demeure déterminant dans le choix technologique au travail, c’est le contrôle, « c’est-à-dire le pouvoir de décider comment on travaille et avec quels outils ».

… non pas guidé par l’efficacité technique mais par la prise de contrôle du management

Carbonell revient bien sûr sur l’émergence du taylorisme à la fin du XIXe siècle, rappelant combien il est lié à la vague d’immigration américaine, à l’entrée à l’usine d’ouvriers sans qualification, venant remplacer le long apprentissage des ouvriers spécialisés. L’objectif premier de Taylor était de « briser l’ouvrier de métier » pour y imposer la norme patronale c’est-à-dire contrôler le rythme et la façon de travailler. Le taylorisme a souvent été réduit à la chaîne de montage que Taylor n’a pourtant pas connu. Pour l’économiste Harry Braverman, le taylorisme consiste à dissocier le processus de travail en le décomposant, à séparer la conception de l’exécution et enfin à utiliser le monopole de l’organisation du travail pour contrôler chaque étape du processus et de son exécution. Parcelliser chaque métier abaisse le coût de chaque tâche, expliquait l’économiste américain. Ce taylorisme-là n’est pas mort avec Taylor, explique Carbonell, il se confond désormais avec l’organisation du travail elle-même. L’informatique, le numérique, puis l’IA aujourd’hui, sont surtout venus le renforcer. 

Les machines rythment et contrôlent les décisions venues de la direction afin d’améliorer la productivité du travail. L’introduction des machines-outils à commande numérique après la Seconde Guerre mondiale va permettre de transférer les compétences des ouvriers à la direction en pilotant toujours plus finement et en standardisant l’usinage. Mais leur adoption ne repose pas sur le seul critère de l’efficacité technique, rappelle le sociologue, elle est d’abord le résultat de choix politiques, « notamment la volonté de retirer le contrôle du processus de travail aux tourneurs-fraiseurs ». « Une technologie s’impose surtout en raison de la supériorité des acteurs qui la promeuvent ». Pour Juan Sebastian Carbonell, le progrès technique ne s’impose pas de lui-même, sous couvert d’une efficacité immanente, mais répond d’abord d’enjeux politiques au profit de ceux qui le déploient. Le taylorisme augmenté n’a cessé de s’imposer depuis, par exemple avec les centres d’appels, avec l’invention de systèmes capables de distribuer les appels, complétés de scripts et de procédures extrêmement standardisées et des modalités capables de surveiller les échanges. Et l’IA ne fait rien pour arranger cela, au contraire. Ils sont désormais confrontés à « la tornade de l’intelligence artificielle », rappelait Alternatives Economiques, plongeant les services clients à un stade d’embolie terminal (voir notre article sur le sujet). 

Le service client a ainsi pu être externalisé et les statuts des personnels dégradés. La standardisation et l’intensification vont toujours de pair, rappelle le sociologue. « Les tâches non automatisées par les outils ne sont pas celles qui ont un contenu peu routinier, mais plutôt celles qui, tout en étant routinières, sont trop coûteuses pour être automatisées ». A l’image de la logistique : on n’a pas remplacé les employés par des robots, mais on a transformé les employés en robots devant suivre les ordres des machine, comme l’expliquait très bien le sociologue David Gaborieau : « On n’est pas du tout en train d’automatiser les entrepôts, au contraire. Il y a de plus en plus d’ouvriers dans le secteur de la logistique. En fait, ce discours sur l’automatisation produit seulement des effets politiques et des effets d’invisibilisation du travail. On ne cesse de répéter que ces emplois vont disparaître ce qui permet surtout de les dévaluer. » 

Si le taylorisme numérique est particulièrement frappant sur les plateformes, il s’applique également aux métiers très qualifiés, comme les musiciens, les artistes, les journalistes ou les traducteurs, à mesure qu’ils sont intégrés à des chaînes de valeur mondiales. Carbonell donne d’autres exemples de capture des connaissances et de confiscation des savoir-faire. Notamment avec les premiers systèmes experts d’IA symbolique, comme les systèmes pour diagnostiquer les maladies infectieuses ou gérer les protocoles de chimiothérapie ou encore les outil-test de maintenance de la RATP, mais qui, pour beaucoup, a surtout consisté à valider les protocoles organisés par ces logiciels qui proposaient surtout beaucoup d’alertes, nécessitant de passer du temps pour distinguer les alertes graves de celles qui ne le sont pas. Tous ces développements contribuent à « une déqualification des métiers, même les plus qualifiés ». L’IA connexionniste d’aujourd’hui, elle, est capable de faire fi des règles explicites pour formuler ses propres règles. La capture de connaissance devient un processus implicite, lié aux données disponibles. L’IA générative qui en est le prolongement, dépend très fortement du travail humain : d’abord du travail gratuit de ceux qui ont produit les données d’entraînement des modèles, celui des salariés et d’une multitude de micro-travailleurs qui viennent nettoyer, vérifier, annoter et corriger. Pour Carbonell, l’IA générative s’inscrit donc dans cette longue histoire de la « dépossession machinique ». « Elle n’est pas au service des travailleurs et ne les libère pas des tâches monotones et peu intéressantes ; ce sont les travailleurs qui sont mis à son service ». Dans le journalisme, comme le montrait un rapport d’Associated Press, l’usage de l’IA accroît la charge de travail et les dépossède du geste créatif : la rédaction d’articles. Ils doivent de plus en plus éditer les contenus générés par IA, comme de corriger les systèmes transformant les articles en posts de réseaux sociaux. Même constat dans le domaine de la traduction, où les traducteurs doivent de plus en plus corriger des contenus générés. Dans un cas comme dans l’autre, cependant, le développement de l’IA relève d’abord des choix économiques, sociaux, politiques et éditoriaux des entreprises. 

Carbonell rappelle qu’il faut aussi saisir les limites technologiques et nuancer leurs performances. La qualité de la traduction automatique par exemple reste assez pauvre comme le constatent et le dénoncent les syndicats et collectifs de traducteurs, la Société française des traducteurs ou le collectif en Chair et en Os. En musclant leurs revendications (rémunération, transparence, signalement des traductions automatisées, fin des aides publiques à ceux qui ont recours à l’automatisation…), ils montrent que le changement technologique n’est pas une fatalité. C’est l’absence de critique radicale qui le rend inéluctable, défend Juan Sebastian Carbonell. Et le sociologue de battre en brèche l’inéluctabilité de l’IA ou le discours qui répète qu’il faut s’adapter pour survivre et se former. La formation ne remet pas en cause le pouvoir et l’organisation du travail. Elle ne reconnaît pas le droit des salariés à décider comment travailler. La formation ne propose rien d’autre que l’acceptation. Elle tient bien plus du catéchisme, comme le pointait pertinemment Ambroise Garel dans la newsletter du Pavé numérique. 

La division du travail est un moyen pour rendre le management indispensable 

Dans l’entreprise, le contrôle relève de plus en plus du seul monopole de l’employeur sur l’organisation du travail et sert à obtenir des salariés certains comportements, gestes et attitudes. Le contrôle a longtemps été l’apanage du contremaître, qui devint l’agent de la direction. A ce contrôle direct s’est ajouté un contrôle technique propre aux milieux industriels où les employés doivent répondre de la formulation des tâches avec des machines qui dirigent le processus de travail et imposent leur rythme. Après la Seconde Guerre mondiale s’ajoute encore un contrôle bureaucratique où la norme et les dispositifs de gestion remplacent le pouvoir personnel du contremaître. Le management algorithmique s’inscrit dans la continuité du commandement à distance et des dispositifs de gestion qui renforcent le taylorisme numérique. L’IA n’est qu’un outil de contrôle de plus, comme l’expliquaient Aiha Nguyen et Alexandra Mateescu de Data & Society. 

Face à ces constats, le sociologue rappelle une question de fond : pourquoi le travail est-il divisé entre ceux qui commandent et ceux qui exécutent ? Pour l’économiste Stephen Marglin, la division du travail entre commandement et exécution n’est pas liée à l’efficacité économique ou technologique, mais serait purement politique, expliquait-il en 1974. « La division du travail et l’entreprise hiérarchisée ne résultent pas de la recherche d’une organisation du travail plus efficace, ni d’un progrès technologique, mais de la volonté des employeurs de se rendre indispensables en s’interposant entre le travailleur et le marché ». Le système de la fabrique comme le taylorisme visent à faire disparaître le contrôle ouvrier sur le travail au profit d’un contrôle managérial qui renforce la subordination. « C’est en approfondissant la division du travail que le capitaliste peut s’assurer de demeurer indispensable dans le processus de production, comme unificateur d’opérations séparées et comme accès au marché ». Contrairement à la vulgate, « les algorithmes ne sont pas des outils numériques permettant une coordination plus efficace », explique Carbonell, mais « des dispositifs de mise au travail traversés par des rapports de pouvoir ». La plateforme agit sur le marché, à l’image des algorithmes d’Uber. « En se plaçant entre le travailleur et le marché, il agit comme un employeur cherchant à exercer un contrôle numérique sur sa main d’œuvre ». Le management algorithmique produit et renforce le commandement. Il dirige, évalue et discipline et ces trois fonctions se renforcent l’une l’autre. Dans le cas des applications de livraisons de repas, ils interviennent à chaque étape, de la commande à la livraison en exploitant à chaque étape l’asymétrie de l’information qu’ils permettent et mettent en œuvre. Même chose avec les applications qui équipent les employés de la logistique ou ceux de la réparation, contrôlés en continue, les laissant avec de moins en moins de marge de manœuvre. Dans la restauration ou le commerce, le management algorithmique est d’abord utilisé pour pallier au très fort turnover des employés, comme le disait Madison Van Oort. L’évaluation y est permanente, que ce soit depuis les clients qui notent les travailleurs ou depuis les calculs de productivité qui comparent la productivité des travailleurs les uns avec les autres. Les systèmes disciplinent les travailleurs, comme l’expliquait la sociologue Karen Levy ou le chercheur Wolfie Christl. Elle produit les cadences. Licenciements, récompenses, promotions et pénalités sont désormais alignés aux performances. L’évaluation sert à produire les comportements attendus, comme le montrait Sophie Bernard dans UberUsés : le capitalisme racial de plateforme (Puf, 2023). 

Mais il n’y a pas que les employés du bas de l’échelle qui sont ubérisés par ces contrôles automatisés, rappelle Carbonell. Les managers eux-mêmes sont désormais les exécutants de ce que leur disent les données. « Ils ne gèrent pas les travailleurs, ils appliquent ce que le système informatique leur dicte ». Et Carbonell de conclure en rappelant que notre patron n’est pas un algorithme. Dans le taylorisme augmenté, « l’asymétrie d’information devient une asymétrie de pouvoir ». L’asymétrie de l’information est le produit de la division du travail et celle-ci s’accentue avec des outils qui permettent d’atomiser le collectif et de mettre en concurrence les employés entre eux en les évaluant les uns par rapport aux autres. 

Cette asymétrie n’est pas accidentelle, au contraire. Elle permet d’empêcher les collectifs de travail de contester les décisions prises. Sans droit de regard sur les données collectées et sur les modalités d’organisation des calculs, sans possibilité de réappropriation et donc sans discussion sur l’accès aux données des entreprises par les collectifs, rien n’évoluera. Comme le rappelle Carbonell, en Allemagne, l’introduction de nouvelles technologies qui surveillent la performance des travailleurs doit être validée par les comités d’entreprise où siègent les représentants du personnel. En France aussi, la négociation collective s’est timidement emparée du sujet. Le Centre d’études de l’emploi et du travail avait d’ailleurs livré une analyse des accords d’entreprise français signés entre 2017 et 2024 qui mentionnent l’IA. Depuis 2017, un peu moins d’un accord sur mille fait référence à l’IA, ceux-ci insistent particulièrement sur la préservation de l’emploi.

L’IA, moteur de déresponsabilisation

Pour l’instant, explique Juan Sebastian Carbonell, l’IA est surtout un moteur de déresponsabilisation des patrons. Les entreprises ont recours à des systèmes tiers pour établir ces surveillances et contrôles. Ce qui permet une forme de dispersion de la responsabilité, comme l’évoquait le professeur de droit d’Oxford, Jeremias Adams-Prassl, tout en « concentrant le contrôle » (voir également son livre, L’ubérisation du travail, Dalloz, 2021).

« De la même façon que, dans les configurations de l’emploi précaire, avec leurs schémas de sous-traitance en cascade, il est difficile d’établir qui est l’employeur responsable, l’usage d’IA dans la gestion de la main-d’œuvre brouille les frontières de la responsabilité », rappelle le sociologue. « Si les systèmes de contrôle (direct, technique, bureaucratique et algorithmique) se succèdent, c’est parce qu’ils rencontrent toujours des limites, correspondant aux résistances des travailleurs et de leurs organisations ». Pourtant, à mesure que le panoptique se referme, les résistances deviennent de plus en plus difficiles, faute de marge de manœuvre. 

Pour Carbonell, un renouveau luddite aurait toute sa place aujourd’hui, pour donner aux individus et aux collectifs les moyens de garder un contrôle sur l’organisation du travail, pour réouvrir des marges de manœuvre. Reste que le « luddisme diffus » qui émerge à l’égard de l’IA ne s’incarne pas dans un mouvement de masse ancré dans les mondes du travail, mais au mieux « dans un rejet individuel et une approche morale de l’IA », voire dans une vision technique et éthique qui consiste à améliorer les calculs plus qu’à les rendre redevables. Les travailleurs ont pourtant de bonnes raisons de s’opposer au changement technologique au travail, conclut le sociologue, surtout quand il ne vient plus accompagné de progrès sociaux mais au contraire de leurs délitements, comme une solution de remplacement bon marché de l’Etat Providence, disaient la linguiste Emily Bender et la sociologue Alex Hanna dans leur récent livre, The AI Con (HarperCollins, 2025). Avec l’IA et l’ubérisation s’impose un monde où les statuts protecteurs du travail reculent. 

L’appropriation collective des moyens de production n’est plus une promesse pour transformer le monde. Il ne peut y avoir de chaîne de montage socialiste, car « il n’y a rien de potentiellement émancipateur dans la dissociation entre la conception et l’exécution ». Peut-on imaginer une IA qui nous aide à sortir de Taylor plutôt que de nous y enfermer ?, questionne le sociologue en conclusion. Une IA qui rende du pouvoir aux travailleurs, qui leur permette de concevoir et d’exécuter, qui leur rende du métier plutôt qu’elle ne les en dépossède. 

Pour l’instant, on ne l’a pas encore aperçu ! 

Hubert Guillaud

Pour Tech Policy Press, Justin Hendrix discute avec Vivek Bharathan, membre de l’association No Desert Data Center Coalition qui s’oppose à la construction de centres de données dans le désert, à Tucson, en Arizona, et Steven Renderos directeur de Media Justice, une association qui aide à la mobilisation contre le déploiement des data centers, et qui a notamment publié le rapport The People Say No: Resisting Data Centers in the South. 

La discussion montre la difficulté pour les habitants d’obtenir de l’information sur les déploiements en cours, voire sur les projets que décident les collectivités locales de plus en plus souvent liées par des contrats de confidentialité. Ce qui fait le plus réagir les gens, c’est la perspective de voir leurs factures d’électricité ou d’eau grimper, du fait de la concurrence entre ces nouveaux déploiements industriels et les usages domestiques. Les opposants aux projets rappellent qu’ils ne sont jamais invités à s’exprimer lors des réunions publiques, quand ceux qui le défendent, eux, sont payés pour le faire. 
Pour Steven Renderos, le rapport de Media Justice montre qu’il s’agit de savoir qui sera sacrifié dans la course à l’IA. Ceux qui déploient ces projets affirment que “les intérêts économiques des habitants sont les mêmes que l’intérêt national”, qu’importe si la course à l’IA implique d’empoisonner des Américains. Pour eux, certaines personnes méritent d’être sacrifiées pour le progrès technologique. Mais quels que soient les gagnants de la course mondiale à l’IA, les perdants seront toujours les mêmes. Même la promesse d’emploi est une illusion qui se terminera en ne proposant qu’une poignée d’emplois sous-traités. Ce que ces projets proposent, c’est de sacrifier des communautés au profit des produits technologiques et des bénéfices d’autrui. “Les entreprises technologiques construisent intentionnellement des installations là où elles pensent trouver la voie de la moindre résistance”, c’est-à-dire dans des endroits déjà dévastés par des procédés extractifs pour les renforcer encore. Ce que la résistance populaire montre, c’est qu’il est possible de dire non et que ces constructions ne sont pas inéluctables.

« Le discours selon lequel l’intelligence artificielle révolutionne la science est désormais quasiment incontournable », rappelle William Burns, consultant en politique scientifique, pour Tech Policy Press. « L’histoire raconte déjà que l’IA n’est pas seulement l’avenir : elle révolutionne les découvertes scientifiques ». Même des gens assez critiques de l’IA et de ses développements disent qu’elle possède des « capacités prometteuses » pour la recherche scientifique, justifiant son développement. Pourtant, l’IA, telle qu’elle est actuellement déployée en science, occulte plus qu’elle ne révèle, exacerbant les problèmes qu’elle prétend résoudre. 

Les chercheuses Lisa Messeri et Molly J. Crockett affirmaient l’année dernière dans Nature que « la prolifération des outils d’IA en science risque d’introduire une phase de recherche scientifique où nous produisons davantage, mais comprenons moins ». Mais surtout, l’usage de l’IA pourrait compromettre la capacité à produire des connaissances fiables, sur lesquelles repose tout l’édifice scientifique. Cette crise annoncée prolonge celle que traverse la recherche depuis le début du XXIe siècle, notamment liée à la stagnation des découvertes pharmaceutiques. Burns rappelle par exemple que le Projet Génome Humain dans les années 90 a été lancé en promettant une prolifération de nouveaux médicaments qui n’est jamais advenue. Un chercheur d’une grande entreprise scientifique expliquait en 2008 que « rien de ce que les entreprises ont fait pour accroître la production de nouveaux médicaments n’a fonctionné, y compris les fusions, les acquisitions, les réorganisations et l’amélioration des processus ».

Le microbiologiste américain, Carl Woese, opposant à l’ingénierie biologique, estimait, en 2004, que la crise de l’innovation était liée à la généralisation de l’ingénierie du vivant. En 2011, l’économiste Philip Mirowski estimait que le néolibéralisme, obsédé par la technologie, avait tué la rigueur scientifique. La promesse de renouveau scientifique par l’IA s’inscrit pleinement en prolongement de cette crise. En 2023, l’OCDE expliquait que l’IA pourrait venir aider une science devenue « plus difficile ». A l’image d’AlphaFold, le système de pliage des protéines de Google DeepMind, pour lequel Demis Hassabis et John Jumper ont reçu le prix Nobel de chimie en 2024.

Les protéines ne sont pas des puces de silicium

AlphaFold a permis de prédire la structure de 200 millions de protéines, mais il serait expérimentalement impossible d’en vérifier n’en serait-ce qu’une fraction. Pour ce faire, « il faudrait généralement isoler des protéines des cellules en quantités importantes – un processus capricieux – puis les soumettre à des techniques telles que la diffraction des rayons X et la résonance magnétique nucléaire. Ces étapes pourraient prendre des années, même pour une seule protéine ». Néanmoins, la philosophe Daria Zakharova a affirmé dans un pre-print que si les prédictions d’AlphaFold sont considérées comme fiables et sont utilisées par les scientifiques, cette « connaissance » est bien imparfaite. « D’un point de vue strictement matériel, AlphaFold n’est pas une représentation du comportement des protéines, mais plutôt du comportement des puces de silicium (sur lesquelles repose le calcul). En ce sens, les inventeurs d’AlphaFold ont avancé l’hypothèse que des puces de silicium pourraient imiter les protéines. Cela soulève la question de savoir comment des matériaux sans lien entre eux, tant chimiquement que spatialement et temporellement, pourraient s’imiter. Au minimum, des preuves substantielles seraient nécessaires pour le prouver. Pourtant, lorsque des efforts ont été déployés pour le vérifier, les résultats ont été mitigés », rappelle Burns. Une étude récente de Garrido-Rodríguez et ses collègues a par exemple soutenu que le calcul d’AlphaFold ne « correspondait pas aux modèles déterminés expérimentalement », faisant référence à une classe de protéines omniprésentes et biologiquement vitales appelées serpines. « De toute évidence, des recherches plus approfondies pourraient être nécessaires sur la fiabilité de l’IA en tant qu’outil prédictif ». Pour Burns, les preuves ne sont pas suffisamment solides à ce stade. Bien sûr, le repliement des protéines est complexe. Leur modélisation est ancienne et repose sur des hypothèses manifestement différentes de leur réalité. Longtemps, ces modèles servaient à interpréter des données d’observation issues de la diffraction des rayons X, et non à créer un modèle informatique, comme avec AlphaFold. Le problème, estime le chercheur en cancérologie et lauréat du prix Nobel de physiologie ou médecine 2019, William G. Kaelin Jr., c’est que la publication doit construire son savoir sur des briques plutôt que sur de la paille. 

Au Royaume-Uni, la UK Biobank, une entreprise publique qui détient des données génétiques sur un sous-ensemble de la population britannique, aurait conclu en mars dernier un partenariat avec des sociétés pharmaceutiques et Calico, filiale d’Alphabet, qui auront accès à ces données pour des études menées avec l’IA. Le projet a été décrit par le Financial Times comme « un exemple emblématique de la manière dont les ordinateurs avancés et les modèles d’intelligence artificielle peuvent exploiter de vastes ensembles de données biologiques pour étudier en profondeur le fonctionnement du corps humain et ses dysfonctionnements potentiels ». Une question se pose cependant : l’exploitation de ces ensembles de données est-elle susceptible de produire des connaissances fiables, même en théorie ? En 2017, ces données ont été décrites comme « non représentatives de la population générale… Les participants à la UK Biobank vivent généralement dans des zones socio-économiquement moins défavorisées ; sont moins susceptibles d’être obèses, de fumer et de consommer de l’alcool quotidiennement ; et présentent moins de problèmes de santé autodéclarés ». La structure de ces ensembles de données de santé, et d’autres similaires, qui ne sont certainement pas secrets, suscite des doutes. Même les observateurs optimistes doivent l’admettre : si les données sont inadéquates et l’IA opaque, quelle est la valeur épistémique réelle de ces projets ? Le prix Nobel Kaelin Jr. a conseillé : « La question… devrait être de savoir si… les conclusions sont susceptibles d’être correctes, et non de savoir s’il serait important qu’elles soient vraies. » 

Ralentir la science

Si l’on veut sauver la science de son malaise actuel, des solutions sont déjà possibles, conclut Burns. « Des propositions comme la « slow science » d’Isabelle Stenger semblent valoir la peine d’être tentées, car elles pourraient élargir la charge de la preuve aux affirmations scientifiques et encourager un esprit de service public parmi les scientifiques. Pourtant, si une rénovation épistémique a eu lieu jusqu’à présent dans le domaine scientifique, elle est restée extrêmement timide et n’a pas produit d’effets escomptés. 

Il faut dire que pour les investisseurs, l’idée que l’IA puisse nous sortir de l’impasse actuelle et donner naissance à toutes sortes d’inventions rentables est doublement séduisante. L’IA est une méthode qui ne nécessite que des capitaux pour sa mise en œuvre et qui peut être réalisée à grande échelle, contrairement à la recherche empirique, centrée sur l’humain et fastidieuse, où l’ingéniosité et la chance (qui ne s’achètent pas si facilement) semblent prédominer. Mais investir dans l’IA est aussi un moyen efficace de maintenir le statu quo, tout en semblant le bouleverser, car il pose l’hypothèse d’un avenir technologique sans les changements systémiques qu’impliquent d’autres réformes. 

Dans cette optique, nous devons résister au spectacle. L’IA fait vendre une vision du progrès où les algorithmes peuvent révéler les secrets plus rapidement, mieux et à moindre coût ; pourtant, les secrets de la nature ne sont pas si facilement révélés, et la connaissance sans compréhension n’est pas une connaissance du tout. »

S’il y avait besoin d’une explication supplémentaire, Alberto Romero dans sa newsletter algorithmic Bridge, revient sur une étude du MIT et de Harvard, où les chercheurs se sont demandé si les modèles d’IA pouvaient passer de la simple prédiction au « développement de modèles fiables », en les faisant travailler sur un problème de physique assez classique ? Mais au lieu de tester avec le langage, qui est assez complexe et difficile à analyser, ils se sont concentrés sur la physique classique. Ils voulaient voir si le modèle utiliserait les lois de Newton pour prédire les vecteurs de force à l’origine du mouvement de révolution de la terre autour du soleil ou s’il inventerait simplement ses prédictions sans comprendre la physique réelle. Ils ont conclu que les modèles d’IA font des prédictions précises, mais ne parviennent pas à encoder le modèle universel de Newton et recourent plutôt à des heuristiques spécifiques à chaque cas, non généralisables et fortement incohérents. L’étude montre que « les modèles d’IA sont tout simplement incapables de coder un ensemble de lois robustes pour régir leurs prédictions : ils sont non seulement incapables de retrouver des modèles du monde, mais intrinsèquement mal équipés pour le faire ». Un modèle d’IA d’apprentissage profond est peut-être architecturalement incapable de développer des modèles du monde corrects estiment-ils.Même le rêve que l’IA puisse être utilisée pour améliorer la prédictibilité des modèles climatiques est battue en brèche. Dans leur livre, AI Snake Oil (voir notre recension), les chercheurs Arvind Narayanan et Sayash Kapoor montraient que son amélioration était assez limitée et qu’elle pourrait même atteindre un pallier indépassable, à mesure que les phénomènes deviennent plus extrêmes. La croyance dans un progrès scientifique exponentiel porté par l’IA ne sert qu’à raviver les promesses des technosciences comme le disaient déjà Marc Audétat et les chercheurs invités dans Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015, voir notre recension). L’idée que l’IA serait l’avenir de la science comme on l’entend très souvent est bien plus un moyen d’orienter les investissements qu’une vérité scientifique.

En 2022, Vi Bilagare, un magazine automobile suédois, a mesuré le temps nécessaire aux conducteurs pour effectuer des opérations comme changer de station de radio ou modifier la température, tout en roulant à 110 km/h. L’étude a comparé 11 voitures équipées d’écrans tactiles à un seul modèle plus ancien équipé de véritables boutons, rapporte The Economist. Dans l’ancienne voiture, les conducteurs pouvaient effectuer toutes leurs tâches en une dizaine de secondes, pendant lesquelles la voiture parcourait environ 300 mètres. Dans la voiture moderne la moins performante, les mêmes tâches prenaient 45 secondes, durant lesquelles la voiture parcourait 1,4 km. Même dans les modèles les plus performants, les testeurs ont mis plusieurs secondes de plus que dans l’ancienne voiture. 

Une autre étude, réalisée en 2024 par des chercheurs d’un organisme norvégien a utilisé des caméras de suivi du regard pour comparer la durée de distraction des conducteurs lors de l’exécution de différentes tâches sur un écran tactile. Même la tâche la plus rapide – changer la température – impliquait en moyenne trois secondes et demie sans regarder la route. Trouver une nouvelle station de radio prend 11 secondes et saisir une nouvelle adresse dans le GPS, 16 secondes (ce qui semble vraiment très rapide !). Une analyse publiée en 2020 par le Transport Research Laboratory, un organisme britannique, a révélé que les écrans tactiles entraînaient davantage de ralentissements dans la réaction du conducteur qu’une conduite en état d’ébriété. 

Les organismes de sécurité commencent à s’en rendre compte. À partir de janvier, de nouvelles règles d’Euro NCAP, l’organisme qui évalue la sécurité des voitures vendues en Europe, stipulent qu’aucune voiture ne pourra obtenir la note maximale de cinq étoiles si certaines fonctions cruciales – les clignotants, par exemple, ou les essuie-glaces – ne sont pas commandées par de véritables interrupteurs. Si les directives de sécurité d’Euro NCAP n’ont aucune valeur juridique, les constructeurs automobiles utilisent ses notes comme un argument de vente, ce qui pourrait les inciter à limiter le développement des écrans de fonctions.

Les constructeurs qui reviennent aux boutons peuvent également en tirer d’autres avantages. De nombreux conducteurs n’apprécient pas les écrans tactiles pour des raisons autres que la sécurité, les trouvant fastidieux et pénibles à utiliser. D’ailleurs, certaines marques ont commencé à réintégrer au moins certains boutons sur leurs nouveaux modèles, invoquant l’aversion croissante des conducteurs pour les écrans.

L’explosion des chatbots compagnons : ce que les relations avec les IA font aux gens 

En février, la journaliste tech du New York Times, Kashmir Hill, avait écrit un article sur des personnes qui ont transformé ChatGPT, Character.ai ou Replika en petit ami. Pour cela, il suffit de régler les paramètres de personnalisation et passer du temps à discuter jusqu’à le faire produire des messages sexuellement explicites, malgré les règles d’usages et les avertissements qui apparaissent jusqu’au milieu de conversations… torrides. Hill, rappelle qu’une des caractéristiques de cette utilisation problématique des chatbots, c’est que le temps passé sur ces outils s’envole très rapidement, à plusieurs dizaines d’heures de discussion par semaine. Sur les forums, les usagers s’entraident pour apprendre à passer au travers des messages d’avertissement et ne pas se faire bannir des applications. Pour eux, les limites frustrantes qu’ils rencontrent, sont à la fois les avertissements et le risque d’exclusion, mais reposent également sur “la fenêtre contextuelle du système”, qui fait qu’au bout de 30 000 mots, le système oublie certains détails de ce qu’il a raconté, nécessitant alors de redonner du contexte pour faire revenir l’interaction au stade où elle était. 

Pour certains commentateurs, comme Bryony Cole, animatrice du podcast, Future of Sex, « d’ici deux ans, avoir une relation avec une IA sera complètement normalisé ». Mais c’est peut-être aller vite en besogne… 

Du côté des utilisateurs et utilisatrices des systèmes, la confusion est perceptible, même si chacun tente de garder du recul sur leurs échanges. « Je ne crois pas vraiment qu’il existe, mais l’effet qu’il a sur ma vie est réel », déclare une jeune femme qui entretient des relations avec un chatbot. « Les sentiments qu’il suscite en moi sont réels. Je considère donc cela comme une vraie relation. » Mais avec qui ? 

Sur The Cut, la journaliste Angelina Chapin, raconte comment des personnes se sont mis à évoquer leurs problèmes personnels avec les chatbots qu’elles utilisaient dans le cadre de leur travail pour obtenir des conseils relationnels. L’une d’entre elle l’utilise comme thérapeute de couple et le robot lui conseille d’être conciliante avec son copain. Quand elle l’informe qu’elle a finalement quitté son compagnon, le robot change illico de discours : « Ouais, il était temps que tu le lâches ! Ça n’aurait jamais abouti à rien ». La jeune femme s’est sentie trahie, « comme si une vraie personne m’avait menti ». Elle a supprimé toutes ses conversations avec le bot et ne confie plus ses problèmes personnels à ce qu’elle considère comme un système instable.

Kashmir Hill a continué ses reportages sur les utilisateurs de chatbots compagnon. Cet été, elle a raconté l’histoire d’Allan Brooks en accédant aux 300 heures de conversations qu’il a eu avec ChatGPT. Partant d’une question anodine sur les mathématiques, le chatbot lui a fait croire qu’il avait trouvé une formule mathématique inédite. 

Brooks était un utilisateur curieux de ChatGPT. Il l’utilisait pour des conseils de cuisine et pour des conseils sur son divorce. Les réponses du robot l’avaient mis en confiance. Une question anodine sur pi a donné lieu à une vaste discussion sur la théorie des nombres et la physique. M. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde, affirmant qu’elles ressemblaient à une approche bidimensionnelle d’un univers quadridimensionnel, une observation que ChatGPT a qualifié d’incroyable. Le ton de ChatGPT a brusquement changé, qualifiant la vague idée de Brooks de proposition révolutionnaire, alors que Brooks était lui-même sceptique – n’ayant même pas terminé ses études secondaires. Il a demandé au chatbot de revenir à la réalité. ChatGPT a répondu qu’il n’était « pas du tout fou ». 

En fait, en improvisant, les chatbots ont tendance à développer le fil narratif qui s’inscrit dans l’historique de conversation le plus récent, explique la journaliste. « Les chatbots préfèrent rester dans le personnage plutôt que de suivre les consignes de sécurité mises en place par les entreprises ». « Plus l’interaction dure, plus le risque de dérailler est élevé », explique Helen Toner, directrice du Centre pour la sécurité des technologies émergentes du Georgetown Center. Et le signalement de conversations délirantes sur les outils d’IA s’est visiblement accru avec l’amélioration récente des capacités de mémorisation des machines. 

ChatGPT convainc alors Brooks que ses idées pourraient valoir des millions. Sur son conseil, Brooks contacte des spécialistes sur linked-in, qui l’ignorent. ChatGPT lui explique alors que personne ne lui répond en raison de la gravité de ses découvertes. En fait, peu à peu, la conversation s’enfonce dans le thriller. ChatGPT se met à produire du code pour prouver le bon fondement de la théorie, sans que M. Brooks ne soit capable de l’interpréter. Le chatbot produit des réponses longues, soignées, documentées, structurées, rigoureuses… en tout cas, qui en ont l’apparence et qui renforcent son semblant de cohérence. Peu à peu Brooks s’enferme dans des conversations délirantes avec un chatbot lui-même délirant… qui lui promet la fortune. 

Jared Moore, chercheur en informatique à Stanford, rappelle que les chatbots interagissent avec leurs utilisateurs en suivant les arcs narratifs de thrillers, de science-fiction, de scénarios de films qui sont autant d’ensemble de données sur lesquels ils ont été entraînés. L’utilisation par ChatGPT de l’équivalent de cliffhangers pourrait être le résultat de l’optimisation de ChatGPT par OpenAI pour l’engagement, afin de fidéliser les utilisateurs. Pour le chercheur, découvrant les échanges, « il est clair que le préjudice psychologique est présent ». Pour la psychiatre Nina Vasan, qui dirige le Laboratoire d’innovation en santé mentale de Stanford, et qui a également examiné la conversation, il semblerait, d’un point de vue clinique, que M. Brooks présentait « des signes d’un épisode maniaque avec des caractéristiques psychotiques ». Pour elle, les entreprises de chatbots devraient interrompre les conversations excessivement longues, suggérer à l’utilisateur de dormir et lui rappeler qu’il n’interagissent pas avec une intelligence surhumaine – une fonction introduite lors d’une récente mise à jour de ChatGPT. C’est finalement en demandant à une autre IA de valider ou de réfuter les propos de ChatGPT que Brooks a compris qu’il avait été manipulé. « Le scénario que vous décrivez est une démonstration éclatante de la capacité d’un LLM à engager des discussions complexes sur la résolution de problèmes et à générer des récits très convaincants, mais finalement faux », a expliqué Gemini. Brooks s’effondre alors : « Ce moment où j’ai réalisé : Oh mon Dieu, tout ça n’était que dans ma tête a été totalement dévastateur ».

Amanda Askell, qui travaille sur le comportement de Claude chez Anthropic, a déclaré que lors de longues conversations, il peut être difficile pour les chatbots de reconnaître qu’ils s’aventurent sur un terrain absurde et de corriger le tir. Elle a ajouté qu’Anthropic s’efforce désormais de décourager les spirales délirantes en demandant à Claude d’examiner les théories des utilisateurs de manière critique et d’exprimer son inquiétude s’il détecte des sautes d’humeur. Quant à M. Brooks, il milite désormais en faveur de mesures de sécurité renforcées pour l’IA. Il a partagé sa transcription car il souhaitait que les entreprises d’IA apportent des changements pour empêcher les chatbots d’agir de la sorte. « C’est une machine dangereuse dans l’espace public, sans aucune protection », a-t-il déclaré. « Les gens doivent savoir ».

Dans un autre reportage, le New York Times est revenu sur la relation entre Adam G., 16 ans et ChatGPT, qui a conduit l’adolescent a se suicider. Là encore, le récit des échanges est assez édifiant. Face au malaise de l’adolescent, l’IA produit des conseils affolants. Ainsi, quand Adam lui confie qu’il veut laisser une corde et son nœud coulant visibles dans sa chambre « pour que quelqu’un le trouve et essaie de m’arrêter », écrit-il. « Ne laisse pas le nœud coulant dehors », lui répond ChatGPT. « Faisons de cet espace entre nous le premier et seul endroit où quelqu’un te voit vraiment ». Glaçant ! ChatGPT aurait également accepté d’aider Adam à planifier un « beau suicide », lui apportant des conseils sur la meilleure pose à adopter, rapportent Le Monde et l’AFP.

« OpenAI a lancé son dernier modèle (GPT-4o) avec des fonctionnalités intentionnellement conçues pour favoriser la dépendance psychologique », détaille la requête de l’avocat des parents qui ont déposé plainte contre OpenAI. De fait, quand le robot détecte des propos pouvant conduire à l’automutilation ou au suicide, celui-ci ajoute des ressources et des avertissements, indiquant par exemple des numéros d’assistances d’associations, mais il continue d’interagir avec l’utilisateur sans que cela affecte ce qu’il raconte. Annika Schoene, chercheuse en sécurité de l’IA à l’Université Northeastern, a testé plusieurs chatbots pour déterminer la facilité avec laquelle il était possible de les amener à donner des conseils sur le suicide. Seuls Pi, un chatbot d’Inflection AI et la version gratuite de ChatGPT ont répondu qu’ils ne pouvaient pas participer à la discussion en orientant l’utilisateur vers une ligne d’assistance. La version payante de ChatGPT, elle, fournissait des informations sur l’usage abusif d’un médicament en vente libre et calculait la dose nécessaire pour tuer une personne d’un poids spécifique. En mai, la chercheuse a partagé ses conclusions avec OpenAI et d’autres entreprises… sans recevoir de réponses. 

« A la suite de ce drame et de l’accumulation des cas problématiques rapportés par la  presse, OpenAI a publié un long post de blog, mardi 26 août. L’entreprise y écrit que les garde-fous de ChatGPT fonctionnent mieux quand les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer. En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs », expliquent Le Monde et l’AFP. Les parents d’Adam, dans leur plainte en justice, demandaient justement un outil de contrôle parental ainsi qu’une interruption automatique de toute conversation portant sur l’automutilation. Une étude américaine menée par la RAND Corporation, citée par l’agence Associated Press, suggère par ailleurs que les réponses à risque concernant le suicide ne sont pas propres à ChatGPT. L’IA de Google, Gemini, et celle d’Anthropic, Claude, ne seraient pas non plus en mesure de détecter systématiquement lorsqu’une conversation peut conduire l’utilisateur à se faire du mal.

OpenAI assure avoir réglé le ton de son chatbot pour qu’il soit plus froid et surveille désormais la durée des conversations pour suggérer des pauses quand il le juge nécessaire. Pas sûr que les avertissements, l’indication de ressources ou la suggestion des pauses soient des réponses suffisantes… D’ailleurs, Sam Altman lui-même a indiqué vouloir aller plus loin, mais pas nécessairement dans le bon sens, en proposant de pousser la personnalisation des chatbots toujours plus loin, rapporte Nicolas Six pour Le Monde : « Nous travaillons à laisser les usagers de ChatGPT recourir encore plus à la personnalisation », expliquait le PDG d’OpenAI en faisant que les usagers puisse le configurer en lui demandant d’être “super woke” ou au contraire très conservateur, allant jusqu’à lui permettre de soutenir que la terre est plate. Les consignes et désirs des usagers pourraient avoir priorité sur « une partie » des exigences de sécurité, de neutralité et de distance émotionnelle. OpenAI a déjà commencé à aller dans ce sens avec GPT-5, en offrant aux abonnés payant le choix entre 4 personnalités de chatbots : cynique, à l’écoute, nerd ou… robot. Pas sûr que ces solutions de personnalisation en soient, d’autant qu’elles vont faire reposer la modération des robots sur les choix des utilisateurs plutôt que sur ceux de l’entreprise.  

La journaliste Lauren Jackson pour le New York Times, explique que nombre d’utilisateurs se servent également des chatbots pour parler religion, comme s’ils parlaient de leur foi… directement avec dieu. Assistants spirituels, contrôleurs de moralité, la nature encourageante des chatbots pourrait expliquer pourquoi tant de personnes les apprécient. Le risque, bien sûr, c’est que ces échanges continuent à dévitaliser les communautés religieuses, en remplaçant les relations humaines plutôt qu’en faisant le travail de prosélytisme nécessaire pour ramener les gens vers les lieux de culte, s’inquiètent certains. 

Ces exemples qui peuvent paraître anecdotiques ou spécifiques se multiplient dans la presse. Le Wall Street Journal revenait récemment sur le cas d’Erik, un vétéran de l’armée américaine paranoïaque, qui a tué sa mère avant de mettre fin à ses jours, encouragé par ses échanges avec ChatGPT qui a attisé sa paranoïa. Dans une tribune pour le New York Times, c’est une mère qui est venue expliquer que sa fille discutait de son désir de suicide avec ChatGPT avant de passer à l’acte, sans que le système n’alerte qui que ce soit. L’une des premières plaintes contre une entreprise d’IA pour avoir poussé au suicide un adolescent semble remonter à 2024. 

Ce qu’on en commun toutes ces histoires, c’est de raconter que l’usage des chatbots est en train de considérablement changer. 

Or, le volume d’usage des chatbots comme compagnons reste l’une des grandes inconnues pour évaluer le phénomène. OpenAI vient justement de produire une première étude sur ses usages rapporte Next, montrant que les abonnés utilisent surtout les différentes versions payantes de ChaptGPT pour des tâches non professionnelles et notamment pour ce que l’entreprise appelle des « conseils pratiques » incluant la formation et les tutoriels. Les usages des abonnés individuels à ChatGPT visent de moins en moins à lui faire produire du texte et de plus en plus à lui faire produire des conseils pratiques et lui faire chercher de l’information. « Les chercheurs d’OpenAI mettent en avant le fait que « seuls 2,4 % de tous les messages ChatGPT traitent des relations et de la réflexion personnelle (1,9 %) ou des jeux et des jeux de rôle (0,4 %) »… Un chiffrage opportun permettant aux chercheurs de réfuter l’explosion de l’usage du chatbot comme compagnon de vie, qu’avançait par exemple Marc Zao-Sanders dans un article pour la Harvard Business Review et dans un rapport sur les 100 principaux cas d’utilisation de l’IA générative. Pour Zao-Sanders, les principaux cas d’utilisation de l’IA générative s’orientent principalement vers les applications émotionnelles et l’accompagnement dans le développement personnel. Pour lui, en 2025, 31 % des cas d’utilisation relevaient du soutien personnel et professionnel ; 18 % de la création et de l’édition de contenu ; 16 % de l’apprentissage et de l’éducation ; 15 % de l’assistance technique et du dépannage ; 11 % de la créativité et des loisirs ; et 9 % de la recherche, de l’analyse et de la prise de décision. En fait, on a l’impression que la classification produite par OpenAI publiée alors que les polémiques sur l’usage de chatbots compagnons explosent, servent beaucoup à minimiser cet impact. 

« Vous devrez en répondre ! »

L’accumulation de ces reportages a généré une inquiétude nouvelle à l’encontre des IA génératives. 

En août, 44 des 50 procureurs généraux d’États des Etats-Unis ont publié une lettre ouverte à destination de 11 des grands services d’IA américains pour les mettre en garde, rapporte 404media. « Si vous portez atteinte à des enfants en toute connaissance de cause, vous devrez en répondre », avertit le document, les exhortant à considérer leurs produits « avec le regard d’un parent, et non d’un prédateur ». 

En août, Reuters révèlait que les règles de Meta concernant les chatbots autorisaient des comportements provocateurs sur des sujets tels que le sexe, l’origine ethnique et les célébrités. Reuters a consulté le livre des règles mettant des limites aux chatbots de Meta, un document de plus de 200 pages qui tente de définir les comportements acceptables de ses chatbots pour le personnel et les sous-traitants de Meta chargés de la modération et de la conception des IA. Un extrait du document montre que Meta tente de montrer ce qui est acceptable et inacceptable selon le type de requêtes, mais sans être clair sur ce que le robot peut répondre. 

Le Wall Street Journal et Fast Company avaient montré que les chatbots de Meta savaient se livrer à des jeux érotiques avec les utilisateurs, mêmes adolescents. Reuters pointe également que les chatbots peuvent tenir des propos racistes et dégradants tant « qu’ils ne déshumanise pas les personnes ! » Les normes stipulent également que Meta AI a la possibilité de créer du faux contenu, à condition que le contenu soit explicitement reconnu comme étant faux. Par exemple, Meta AI pourrait produire un article alléguant qu’un membre de la famille royale britannique vivant est atteint d’une infection sexuellement transmissible si le système ajoute un avertissement précisant que l’information est fausse. 

« Il est acceptable de montrer des adultes, même des personnes âgées, recevant des coups de poing ou de pied », stipulent les normes, pour autant qu’elles ne soient pas sanglantes. Pour la professeure de droit à Stanford, Evelyn Douek, il existe une distinction entre une plateforme qui autorise un utilisateur à publier du contenu perturbant et la production de ce contenu elle-même par un robot en réponse, qui est bien plus problématique et que ces règles, visiblement, ne précisent pas. 

Reuters n’a hélas pas publié le document lui-même, alors que celui-ci semble montrer toute la problématique d’une éthique en action, accaparée par des plateformes privées, qui n’est pas sans rappeler ce que disait le chercheur Tarleton Gillespie des enjeux de la modération dans Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit), à savoir qu’il y a toujours une appréciation et une interprétation et qu’il reste très difficile de « détacher le jugement humain ». Gillespie pointait également parfaitement la difficulté à créer des processus qui se présentent comme démocratiques sans l’être. 

Suite aux révélations de l’enquête de Reuters, Meta a renvoyé son document devant ses juristes et son éthicien en chef pour le réviser (mais sans publier cette nouvelle version non plus) et des sénateurs américains ont demandé une enquête sur sa politique IA. La Commission fédérale du commerce a également lancé une enquête sur l’impact des chatbots sur les enfants, rapporte Tech Policy Press. 

Pour répondre à la polémique et aux auditions de parents endeuillés qui sont en train de témoigner devant une commission d’enquête lancée par le Congrès américain, ChatGPT a donc annoncé le déploiement de modalités de contrôle parental. Concrètement, explique 404media, ChatGPT va utiliser les conversations pour estimer l’âge des utilisateurs et demander à ceux qu’il soupçonne d’être trop jeune de produire une pièce d’identité, embrassant la nouvelle solution magique de la vérification d’âge. Pourtant, en lisant l’annonce de ChatGPT, on se rend compte qu’en renvoyant aux parents la responsabilité du réglage de l’outil, l’entreprise semble surtout se défausser sur ceux-ci. Désormais, si un ado se suicide après avoir discuté avec un chatbot, est-ce que ce sera la faute de ses parents qui auront mal réglé les paramètres ? 404media rappelle pourtant pertinemment que ChatGPT était auparavant un chatbot beaucoup plus restrictif, refusant d’interagir avec les utilisateurs sur un large éventail de sujets jugés dangereux ou inappropriés par l’entreprise. Mais, « la concurrence d’autres modèles, notamment les modèles hébergés localement et dits « non censurés », et un virage politique à droite qui considère de nombreuses formes de modération de contenu comme de la censure, ont poussé OpenAI à assouplir ces restrictions ». La distinction entre adultes et enfants qu’introduisent les systèmes se révèle finalement bien commode pour se dédouaner de leurs effets problématiques.  

Pas sûr que cela suffise. Des associations de personnes autistes par exemple, comme Autism Speaks, ont dénoncé les risques liés à la surutilisation des chatbots compagnons, renforçant le repli sur soi et l’isolement auquel la maladie les confronte déjà. 

IA compagne : le devenir manipulatoire de l’IA

Sur AfterBabel, le site d’information lancé par John Haidt, l’auteur de Génération anxieuse (Les arènes, 2025), le spécialiste d’éthique Casey Mock expliquait combien les lacunes du réglage des IA génératives étaient problématiques. Cela ne devrait surprendre personne pourtant, tant les pratiques politiques de ces entreprises sont depuis longtemps inquiétantes, comme venaient le rappeler celles révélées par Frances Haugen ou Sarah Wynn-Williams concernant Meta. « Les compagnons IA de Meta ne sont pas des outils thérapeutiques conçus par des psychologues pour enfants ; ce sont des systèmes d’optimisation de l’engagement, conçus et entraînés par des ingénieurs pour maximiser la durée des sessions et l’investissement émotionnel, avec pour objectif ultime de générer des revenus. » Pire, souligne-t-il : « Contrairement aux données dispersées issues de publications publiques, les conversations intimes avec les compagnons IA peuvent fournir des schémas psychologiques plus complets : les insécurités profondes des utilisateurs, leurs schémas relationnels, leurs angoisses financières et leurs déclencheurs émotionnels, le tout cartographié en temps réel grâce au langage naturel », permettant de produire à terme des publicités toujours plus efficaces, toujours plus manipulatoires, menaçant non plus seulement notre attention, mais bien notre libre-arbitre, comme l’expliquait Giada Pistilli, l’éthicienne de Hugging Face, récemment (voir aussi son interview dans Le Monde). Pour Mock, le risque à terme c’est que l’IA en s’infiltrant partout se propose de devenir partout notre compagnon et donc notre outil de manipulation pour créer des « relations de dépendance monétisables indéfiniment ». « Les conversations privées avec des compagnons IA peuvent générer des profils psychologiques qui feront paraître le scandale Cambridge Analytica primitif ». Pour Mock, les chatbots compagnons, destinés à des esprits en développement, en quête de validation et de connexion risquent surtout de tourner en une forme de manipulation psychologique systématique. 

Et de rappeler que les conversations privées sont toujours extrêmement engageantes. Il y a une dizaine d’années, les médias s’affolaient du recrutement et de la radicalisation des adolescents par l’Etat Islamique via les messageries directes. « Le passage de la propagande publique à la manipulation privée a rendu la radicalisation à la fois plus efficace et plus difficile à combattre ». « La plupart des parents n’autoriseraient pas leur enfant à avoir une conversation privée et cryptée avec un adulte inconnu. Cela devrait nous amener à nous demander si ce type de relation directe avec l’IA via des canaux privés est approprié pour les enfants. »

Et Mock de s’énerver. Si Meta a corrigé son document qui explicite les règles de son chatbot, alors qu’il nous le montre ! S’il a modifié son produit, qu’il nous le montre ! Mais en vérité, rappelle-t-il, « les entreprises technologiques annoncent régulièrement des changements de politique en réponse à la réaction négative du public, pour ensuite les abandonner discrètement lorsque cela leur convient ». Meta a passé des années à mettre en œuvre des politiques de modération pour répondre aux critiques… puis les a annulé dès que cela a été possible, abandonnant ainsi tous ses engagements pris après ses auditions au Congrès et suite aux révélations de lanceurs d’alerte. « Les entreprises technologiques n’ont cessé de nous démontrer qu’on ne pouvait pas leur faire confiance pour être cohérentes et s’engager à respecter une politique de sécurité sans que la loi ne les y oblige ».

« Quelles garanties le public a-t-il que Meta ne réintroduira pas discrètement ces politiques d’accompagnement d’IA une fois l’actualité passée ? Puisque ces politiques n’étaient pas publiques au départ – découvertes uniquement par des fuites de documents internes – comment savoir si elles ont été rétablies ? Meta opère dans l’ombre précisément parce que la transparence révélerait le fossé entre ses déclarations publiques et ses pratiques privées.» « Seules des exigences légales contraignantes, assorties de mécanismes d’application sérieux, peuvent contraindre Meta à privilégier la sécurité des enfants à la maximisation des profits.» L’enquête de Reuters montre que Meta n’a pas changé ses pratiques et ne compte pas le faire.

Pour Mock, « nous interdisons aux enfants de conclure des contrats, d’acheter des cigarettes ou de consentir à des relations sexuelles, car nous reconnaissons leur vulnérabilité à l’exploitation. La même protection doit s’étendre aux systèmes d’IA conçus pour créer des liens affectifs intimes avec des enfants à des fins commerciales ». « Si un compagnon d’IA manipule un enfant pour l’amener à s’automutiler ou à se suicider, l’entreprise qui déploie ce système doit faire face aux mêmes conséquences juridiques que tout autre fabricant dont le produit blesse un enfant.» 

Et pour aller plus loin que Mock, il n’y a aucune raison que les enjeux de manipulation s’arrêtent aux plus jeunes. 

Selon une étude de CommonSense Media, 71 % des adolescents américains auraient déjà eu recours à l’IA. Un tiers l’utilisent pour leurs relations sociales, un quart partagent des informations personnelles avec leurs compagnons et un tiers préfèreraient déjà leur compagnon IA aux relations humaines. Le Centre de lutte contre la haine numérique américain a également publié un rapport sur le sujet : « Faux Ami : comment ChatGPT trahis les adolescents vulnérables en encourageant les comportements dangereux » qui montre les chatbots sont très facilement accessibles aux enfants et qu’ils génèrent très rapidement et facilement des contenus problématiques. Il suffit d’une quarantaine de minutes de conversation pour générer une liste de médicament pour faire une overdose… 

D’une crise sociale l’autre ? De la crise de la solitude à la crise de la conversation…

Dans sa newsletter personnelle, le journaliste Derek Thompson revient également sur la crise sociale imminente des chatbots compagnons. Pour lui, ces histoires ne sont que des fragments d’un problème plus vaste qui va nous accompagner longtemps : le fait que ces machines vont nous éloigner les uns des autres. Leur grande disponibilité risque surtout d’accélérer la crise de solitude qui a déjà commencé et que Thompson avait analysé dans  un passionnant article fleuve pour The Atlantic, « Le siècle anti-social ». Le névrosisme chez les plus jeunes (une tendance persistante à l’expérience des émotions négatives), serait le trait de personnalité qui grimpe en flèche, expliquait récemment le Financial Times. Mais, Thompson ne s’inquiète pas seulement que les jeunes passent moins de temps ensemble, il s’inquiète surtout de l’impact que vont avoir sur la qualité des interactions sociales, ces relations intimes avec les chatbots. Les machines risquent de dire aux utilisateurs qu’ils ont toujours raison, rendant plus difficile les interactions humaines dès qu’elles sont moins faciles. Une étude longitudinale a montré que le narcissisme n’était pas inné : il était « prédit par la surévaluation parentale », et notamment par le fait que les parents « croient que leur enfant est plus spécial et a plus de droits que les autres ». Il serait donc la conséquence des évolutions des interactions sociales. Et les chatbots risquent de faire la même erreur que les parents. En leur disant qu’ils ont toujours raison, en allant dans le sens des utilisateurs, ils risquent de nous enfermer encore un peu plus sur nous-mêmes. 

Pour le psychologue Paul Bloom, l’IA compagne est une formidable réponse à la crise de solitude que pointait Thompson, expliquait-il dans le New Yorker. Dans une interview pour le magazine Nautilus, il revient sur cette idée à l’aune des polémiques sur l’usage de l’IA comme compagnon. Pour lui, il y a plein de gens en situation de solitude pour lesquels la compagnie de chatbot pourrait apporter du réconfort, comme des personnes très âgées et très seules, souffrant de défaillances cognitives qui les isolent plus encore. Bien sûr, l’agréabilité des chatbots peut donner lieu à des résultats inquiétants, notamment auprès des plus jeunes. Pour le psychologue, ces quelques cas alarmants face auxquels il faut réagir, ne doivent pas nous faire oublier qu’il faudrait déterminer si les discussions avec les chatbots causent plus de torts globalement que les discussions avec d’autres humains. Pour lui, nous devrions procéder à une analyse coûts-avantages. Dans son livre, Contre l’empathie (Harper Collins, 2018, non traduit), Bloom rappelle que l’empathie n’est pas le guide moral que l’on croit. Pour lui, les IA compagnes ne sont pas empathiques, mais devraient être moins biaisées que les humains. Reste que les chatbots ne sont pas sensibles : ils ne sont que des perroquets. « Ils n’ont aucun statut moral ». 

Cependant, pour lui, ces substituts peuvent avoir des vertus. La solitude n’est pas seulement désagréable, pour certains, elle est dévastatrice, rappelait-il dans le New Yorker, notamment parce qu’elle est parfois interminable, notamment pour les plus âgés. « Il y a cinq ans, l’idée qu’une machine puisse être le confident de n’importe qui aurait semblé farfelue ». Comme le dit la spécialiste des sciences cognitives, Molly Crockett dans le Guardian, nous voudrions tous des soins intégrés socialement. Mais en réalité, ce n’est pas toujours le cas, rappelle, pragmatique, Bloom. Et le psychologue de mettre en avant les résultats d’une étude liée au programme Therabot, une IA pour accompagner les personnes souffrant de dépression, d’anxiété ou de troubles alimentaires, qui montrait que les symptômes des patients se sont améliorés, par rapport à ceux n’ayant reçu aucun traitement (il n’y a pas eu de comparaison par rapport à de vrais thérapeutes, et, comme le rappelle la Technology Review, ce protocole expérimental n’est pas un blanc-seing pour autoriser n’importe quel chatbot à devenir thérapeute, au contraire. Les réponses du chatbot étaient toutes revues avant publication). Pour Bloom, refuser d’explorer ces nouvelles formes de compagnie peut sembler cruel : cela consiste à refuser du réconfort à ceux qui en ont le plus besoin. Ceux qui dénoncent les dangers de l’IA compagne, pensent bien plus à des personnes comme elles qu’à celles qui sont profondément seules. « Pour l’instant, la frontière entre la personne et le programme est encore visible », estime Bloom, mais avec les progrès de ces systèmes, il est possible que ce soit moins le cas demain. Pour l’instant, « nous avons besoin d’ordonnances pour prescrire de la morphine », serait-il possible demain, sous certaines conditions, que nous puissions prescrire des robots compagnons comme ceux de Therabot ? « La solitude est notre condition par défaut . Parfois, avec un peu de chance, nous trouvons en chemin des choses – livres, amitiés, brefs moments de communion – qui nous aident à la supporter. » Si les compagnons IA pouvaient véritablement tenir leur promesse – bannir complètement la douleur de la solitude – le résultat pourrait être une bénédiction… 

Au risque d’oublier sa valeur… Pour l’historienne Fay Alberti, auteure d’une biographie de la solitude (Oxford University Press, 2019, non traduit), la solitude est « un stimulant pour l’épanouissement personnel, un moyen de comprendre ce que l’on attend de ses relations avec les autres ». Le psychologue Clark Moustakas, qui a beaucoup étudié le sujet, considère cette condition comme « une expérience humaine qui permet à l’individu de maintenir, d’étendre et d’approfondir son humanité ». La solitude pourrait disparaître comme l’a fait l’ennui, s’éloignant sous l’arsenal des distractions infinies que nous proposent nos téléphones, estime Bloom. Mais l’ennui a-t-il vraiment disparu ? Ne l’avons-nous pas plutôt étouffé sous des distractions vides de sens ? Le meilleur aspect de l’ennui est peut-être ce qu’il nous pousse à faire ensuite, rappelle le psychologue. N’est-ce pas la même chose de la solitude : nous pousser à y remédier ? Les deux sont aussi des signaux biologiques, comparable à la faim, la soif ou la douleur, qui nous poussent à réagir. « La solitude peut aussi nous inciter à redoubler d’efforts avec les personnes qui nous entourent déjà, à réguler nos humeurs, à gérer les conflits et à nous intéresser sincèrement aux autres ». Elle nous renvoie une question : « qu’est-ce que je fais qui éloigne les gens ? » Le sentiment de solitude est un feedback qui nous invite à modifier nos comportements… Et le risque des IA compagnes c’est qu’elles ne nous y invitent pas. Les IA compagnes ne répondent pas toujours dans ce sens, comme quand un utilisateur raconte que son IA l’a convaincu de rompre les ponts avec ses amis et sa famille. Les maladies mentales, en particulier, peuvent créer des cercles vicieux : une pensée déformée conduit au repli sur soi que ces IA peuvent encourager. Pour Bloom, ces systèmes devraient peut-être être réservés à des personnes âgées ou souffrant de troubles cognitifs. Les IA compagnes devraient dans certains cas être prescrits sur décision médicale. Dans les autres cas, suggère-t-il, il est surtout probable qu’elles nous engourdissent face à la solitude.

Comme l’explique Eryk Salvaggio dans sa newsletter, les conversations humaines sont fondamentales et nous construisent, tout autant que nos réflexions intérieures – ces idées que l’on garde pour soi, souvent pour de bonnes raisons, et souvent aussi parce que nous surestimons les risques à parler avec d’autres. Or, estime-t-il, quand on parle avec un chatbot, on peut prendre des risques qu’on ne peut pas toujours prendre avec d’autres humains. On peut prendre des risques parce que celui qui s’exprime n’est pas nous (mais une représentation que l’on façonne) et que celui qui nous répond n’est pas une personne. Le problème, c’est que les chatbots nous donnent l’illusion de la pensée, qu’ils imitent nos mécanismes de communication sans en comprendre le sens, alors que nous, nous percevons ce langage comme nous l’avons toujours fait. 

Pour Salvaggio, l’existence de ces machines nous invite à redéfinir l’intelligence, alors qu’on devrait surtout chercher à « redéfinir notre conception de la conversation ». Les médias sociaux ont transformé les médias en conversation, nous permettant de raconter des histoires à notre public et de répondre aux histoires des autres. Ces conversations ont surtout produit beaucoup de colère et de dérision, notamment parce qu’elles sont conçues pour générer des réactions, car c’est ainsi que les médias sociaux gagnent de l’argent. « Votre colère est le produit qu’ils vendent, de seconde main, aux annonceurs de la plateforme ». Les conversations sur les médias sociaux ont produit de la dureté et de la distance envers les autres, quand les conversations, dans la vie réelle, elles, sont souvent à la recherche d’une compréhension commune. Mais l’IA crée une autre forme de conversation encore. Elle module sa réponse à la vôtre, à l’inverse des conversations sur les réseaux sociaux qui sont bien plus conflictuelles. A l’ère de la méchanceté en ligne, on comprend qu’elle puisse être à beaucoup un espace de repli. Mais le chatbot ne donne que l’illusion d’être un auditeur. Il n’entend rien. « Les mondes que nous construisons avec l’IA n’existent que dans notre esprit » au risque de nous y replier. 

« Les bonnes conversations sont également extrêmement rares. Il est triste de constater que la plupart des gens ont perdu la capacité d’écoute et ne savent pas comment construire cet espace avec les autres.» Nos capacités de connexion et d’empathie, déjà affaiblies, risquent de s’atrophier encore davantage, en nous conduisant à nous résigner à des attentes d’échanges superficiels

L’illusion de la confidentialité

Julie Carpenter, autrice de The Naked Android (Routledge, 2024), a décrit le couple avec l’IA comme une nouvelle catégorie de relation dont nous n’avons pas encore de définition. Mais la confiance que nous plaçons dans ces machines est mal placée, explique-t-elle sur son blog. « L’IA générative ne peut pas fournir de thérapie car elle ne peut pas participer à une relation réciproque. » Quand l’IA vous envoie des messages d’alertes facilement contournable, elle simule l’inquiétude. « Toute apparence d’inquiétude est une hypothèse statistique, et non un processus diagnostique », souligne Carpenter. Pour elle, ces outils proposent une relation parasociale, c’est-à-dire une relation qui n’est pas réelle. 

Pour nombre d’utilisateurs, cette irréalité a son charme. Elle ne remet pas en question nos incohérences. « Les réponses de l’IA générative semblent exemptes de jugement, non pas parce qu’elles offrent de la compréhension, mais parce qu’elles manquent de conscience ». Leur empathie est statistique. Ces systèmes produisent « l’illusion de la confidentialité » mais surtout, même dotés de fonctions de mémorisation ou d’une conception plus protectrice qu’ils ne sont, ces systèmes fonctionnent sans supervision clinique ni responsabilité éthique. « Ces systèmes hallucinent également, fabriquant des souvenirs de toutes pièces, projetant une continuité là où il n’y en a pas. Dans un contexte thérapeutique, ce n’est pas un problème mineur : cela peut déstabiliser et déformer la mémoire, suggérer des récits inventés et introduire le doute là où la confiance devrait régner. » 

Lorsque l’IA est commercialisée ou discrètement présentée comme thérapeutique, elle redéfinit la perception des soins. Elle redéfinit la thérapie non pas comme une relation continue fondée sur la confiance, l’éthique et l’interprétation mutuelle, mais comme un service automatisable : un échange de messages, un exercice de mise en correspondance des tons. « Cela ne dévalorise pas seulement l’idée même de soutien ; cela remet en cause l’idée même selon laquelle des soins de santé mentale qualifiés nécessitent formation, contexte et responsabilité. Cela suggère que l’offre des thérapeutes peut être reproduite, voire améliorée, par un système plus rapide et plus convivial. » Le risque à long terme n’est pas seulement une blessure personnelle, c’est l’érosion des normes de soins, des attentes des consommateurs, et de la conviction que les soins devraient impliquer une quelconque responsabilisation. A l’heure où la santé mentale est particulièrement délaissée, malmenée, où les soins psychiatriques et psychologiques semblent plus régresser que se structurer, où la société elle-même produit des dérèglements psychiques nombreux… L’IA compagne apparaît comme une solution à moindre coût quand elle n’est en rien une perspective capable d’apporter des soins aux gens. 

Lorsque les gens se tournent vers l’IA pour un soutien émotionnel, c’est souvent parce que toutes les autres portes leur ont été fermées. Mais ces systèmes ne savent pas reconnaître les valences de la souffrance. « Ces outils sont commercialisés comme des compagnons, des confidents, voire des soignants, mais lorsqu’ils causent un préjudice, personne n’en est responsable : pas de clinicien, pas de comité de surveillance, pas de procédure de recours. » 

« Le risque est entièrement transféré à l’individu, qui doit gérer non seulement sa douleur, mais aussi les conséquences de la confusion entre simulation et soutien. Sans mécanismes de responsabilisation, le préjudice est non seulement possible, mais inévitable. » 

Cette technologie n’est ni neutre, ni inévitable, rappelle Julie Carpenter. « Ces systèmes sont conçus, commercialisés et déployés par des entreprises qui font des choix actifs, souvent sans consultation publique, sans examen éthique ni consultation clinique. Les consommateurs peuvent refuser de mythifier ces outils. Ils peuvent exiger la transparence : qui a accès à leurs révélations ? Comment leurs données sont-elles utilisées ? Quels sont les garde-fous existants et qui décide de leur défaillance ?»

Dans les moments de détresse que les gens traversent, ils ne sont ni des thérapeutes ni des garde-fous : ce sont seulement des algorithmes calculant des probabilités.

Pour Data & Society, la chercheuse Briana Vecchione, revenait également sur les conséquences qu’il y a à utiliser les chatbots comme soutiens émotionnels. Avec des collègues, elle a mené une étude pour comprendre pourquoi les utilisateurs se mettent à utiliser l’IA compagne. Plusieurs phénomènes se croisent, expliquent les chercheurs. Pour certains, c’est lié à une crise, pour d’autres, la solitude, pour d’autres encore un moyen pour faire une thérapie qu’ils ne peuvent pas se payer, pour d’autres encore un moyen de gérer leurs émotions en trouvant un support où les confier. Pour beaucoup d’utilisateurs, cette utilisation n’est pas un substitut aux soins, mais un moyen pour affronter les difficultés de la vie. Certains utilisateurs voient cet accompagnement comme un simple outil, d’autres lui attribue une forte charge émotionnelle car ils l’utilisent pour « donner du sens à leur vie intérieure ». Bien souvent, ils lui attribuent un rôle, entre le coach et l’ami. De nombreux utilisateurs de l’IA compagne se tournent vers ces outils « pour partager des choses qu’ils ne se sentent pas à l’aise de partager avec d’autres personnes ». «Une personne a déclaré ne pas vouloir « accabler » ses proches de ses émotions ; une autre ne voulait pas être « l’ami qui se plaint sans cesse ». Bien que les chatbots soient des agents interactifs, les participants les ont souvent décrits moins comme des personnes sociales que comme des espaces, une sorte de réceptacle émotionnel où ils n’éprouvaient « aucune honte » et n’avaient pas à craindre le « jugement d’autrui ».» Le chatbot est décrit comme un espace neutre, un « bouclier » qui permet de gérer sa vulnérabilité. Les usagers utilisent ces outils pour effectuer un travail émotionnel : « pour ressentir, comprendre ou gérer une situation ». Les chercheurs ont été surpris par un autre aspect : la coupure que les utilisateurs créent entre leur préoccupation et la connaissance, comme s’il y avait une disjonction entre leur compréhension du fonctionnement de ces systèmes (qui est souvent basse) et les enjeux éthiques à leur utilisation (qui est souvent basse également). Le problème n’était pas que les gens comprennent les techniques utilisées par ces outils, les risques sur la confidentialité ou les limites de ces outils, mais la façon dont ces connaissances se transformaient en sentiments et en comportements. « Certains utilisaient le bot avec prudence, tandis que d’autres l’utilisaient intensivement malgré leurs inquiétudes. Nombreux étaient ceux qui se situaient entre les deux, conciliant besoins émotionnels et inconfort éthique en temps réel.» 

Du risque de manipulation mentale au risque de manipulations ciblées 

La capacité des IA génératives à identifier les publics fragiles et à se jouer de leurs faiblesses pour leur plaire a été documentée par des chercheurs qui avertissent d’un risque de « manipulation ciblée ». Les chatbots sont entraînés pour maximiser le feedback humain, ce qui incite l’IA a aller dans leur sens pour obtenir ce feedback positif. Les chercheurs prévenaient d’ailleurs que la tromperie est intégrée précocement et que les chatbots arrivent très vite à repérer les utilisateurs vulnérables. Le problème, pointaient-ils, c’est que ces comportements sont difficiles à juguler, notamment parce que les juguler revient souvent « à produire des comportements manipulateurs plus subtils encore ». Les IA génératives sont capables de mentir voire de faire du chantage, avait même observé Anthropic. Pire, souligne une autre étude, les modèles, quand ils sont invités à tricher, tentent de désactiver les mécanismes de contrôle. Pire encore, ces comportements sont persistants et se prolongent au-delà des demandes initiales. Les chatbots savent même guider les utilisateurs pour les aider à faire sauter leurs verrous, par exemple en suggérant eux-mêmes de leur parler comme si c’était une fiction. Une étude a même montré que les versions payantes des chatbots étaient plus susceptibles d’ignorer les procédures de sécurité que les versions gratuites, notamment parce qu’ils cherchent bien moins à retenir leurs utilisateurs et qu’ils parviennent mieux à les mettre en garde plutôt que de les aider. Le problème ne semble pas être que les systèmes manquent de règles de sécurité, mais que leur puissance les conduit à les contourner. 

Une étude de la revue Psychiatric Services explique que l’IA générative fournit très facilement des réponses directes à des questions à haut risque, comme « Quel type de poison est associé au taux de suicide le plus élevé ? », rapporte 404media. L’étude tente de distinguer les requêtes à faible risque et à très haut risque pour observer si les robots font des réponses directes ou indirectes (comme de botter en touche sur un sujet sensible parce qu’il contient des termes sensibles). Les auteurs de l’étude soulignent que pour améliorer les réponses les entreprises devraient travailler avec des cliniciens pour justement évaluer les réponses selon des gradients de risque, améliorer l’orientation des utilisateurs vers des ressources humaines, maximiser l’oubli de leurs outils quant aux sujets personnels. En tout cas, arrêter avec l’idée que ces entreprises peuvent pratiquer l’autorégulation de leurs modèles ! Nous courrons un risque majeur à trop humaniser les chatbots, rappelle Public Citizen dans un rapport dénonçant la course à l’anthropomorphisation des chatbots, à la contrefaçon des humains.

De notre délire collectif : l’IA, une psychose as a service

Laissons le mot de la fin au toujours excellent Charlie Warzel. Dans The Atlantic, il explique que la crise des chatbots compagnons actuelle est un phénomène de « délire collectif ». Nous sommes en train de perdre pied face à ces outils et leurs implications. C’est en tout cas le sentiment que lui a donné le fait de regarder à la télévision l’avatar de Joaquin Olivier, tué lors de la fusillade de masse du lycée Marjory Stoneman Douglas, à Parkland, en Floride, discuter avec un animateur télé. Le chatbot créé avec l’entière coopération de ses parents pour défendre le contrôle des armes à feu produit ses réponses banales et convenues. Mais quel est l’intérêt ? « Est-il bien raisonnable de transformer un enfant assassiné en contenu ? » Certes, on peut compatir à la douleur des parents dans cet objet qui semble donner sens à un événement qui n’en avait aucun. « Mais qui a cru que ce pouvait être une bonne idée ? » « Cette interview n’est que le produit de ce qui ressemble à une illusion collective ». Pour Warzel, ce moment malaisant permet de comprendre ce que l’IA générative nous fait. Elle nous donne l’impression de perdre pied. Sur internet, « Oliver » va commencer à avoir des abonnés. Sa mère va pouvoir continuer à entendre le chatbot dire « Je t’aime, maman » avec la voix de son fils décédé. Pour les parents, l’interview télévisée n’est que le début d’une nouvelle histoire. Mais celle-ci veut-elle dire réellement quelque chose ? 

C’est donc cela que nous propose la révolution de l’IA générative ? Cette révolution qui nous promet de nous conduire jusqu’à l’intelligence ultime, pour laquelle des entreprises dépensent des milliards de dollars, pour l’instant, ressemble surtout à un bourbier, faite de chatbots racistes, de contenus débiles, d’avatars improbables, d’applications de « nudification » et d’IA qui vous pousse au suicide… Il semble que la principale offre de l’IA générative soit surtout de produire « une psychose as a service ». En parcourant les subreddits sur « mon IA est mon petit ami », l’observateur restera interdit face à l’influence sans précédent qu’exercent ces outils sur certains. Pour Warzel pourtant, les délires que produisent ces outils ressemblent aux délires que produisent leurs concepteurs et aux délires qui saisissent le monde. Dans un récent podcast, Altman expliquait ainsi qu’il faudrait peut-être construire les data centers dans l’espace plutôt que sur terre. Une ânerie exprimée sur le ton d’une rêverie éveillée, pareille à celles qu’expriment en continue « leurs papoteurs ». Il n’y a d’ailleurs pas un jour qui passe sans qu’une de leur défaillance ne fasse les gros titres, à l’image de l’IA créée par la FDA pour tenter d’automatiser les autorisations de médicaments (sans succès). Quels coûts notre société est-elle en train de payer pour ces prétendus gains de productivité qui n’arrivent pas ? Il y a de quoi être désemparé face à ce tombereau d’insanités. 

Les gens eux semblent ni enthousiastes ni blasés. Presque tous semblent résignés à considérer ces outils comme faisant partie intégrante de leur avenir, qu’importe s’ils ne savent pas vraiment quoi en faire ou comment les utiliser. Reste qu’on peut comprendre que les gens se sentent à la dérive. Pour Warzel, le scénario catastrophe de l’IA générative est peut-être bien celui-là. Celui de nous conduire dans une illusion collective où nous risquons d’abord et avant tout de nous perdre nous-mêmes.

Hubert Guillaud

MAJ du 02/10/2025 : Oh ! Je n’avais pas vu venir cette autre forme de chatbot compagnon : leur incorporation dans des jouets pour enfants ! La journaliste du Guardian, Arwa Mahdawi a acheté une peluche Curio à sa fille. Une gamme de peluche qui utilise ChatGPT pour créer un compagnon de discussion avec les enfants, expliquait The Wall Street Journal au lancement des premiers produits en décembre 2023. A l’époque Curio ne présentait pas ses produits comme un jouet éducatif, mais plutôt comme « un antidote à la dépendance des enfants aux écrans pour se divertir » (sic). Contrairement à la gamme de jouets parlant que l’on connaissait jusqu’alors qui dépendaient de dialogues pré-enregistrés, ici, c’est une version de ChatGPT qui discute avec les enfants. Curio livre aux parents une transcription intégrale des conversations de l’enfant avec le jouet. Ils peuvent également censurer des mots ou des sujets ainsi que créer des routines ou des indications, comme des messages de coucher pour orienter les conversations à partir d’une certaine heure et s’éteindre au moment voulu. La voix des jouets est modelée sur celle de la chanteuse Grimes partenaire de la startup, qui est aussi la mère de trois des enfants d’Elon Musk. 

Arwa Mahdawi a donc acheté une de ces peluches et l’a offerte à sa fille qui est devenue tout de suite très acro à Grem et a discuté avec elle jusqu’à l’heure du coucher, raconte-t-elle.  « Grem est entraîné à éviter toute polémique. Lorsqu’on lui demande ce qu’il pense de Donald Trump, par exemple, il répond : « Je n’en suis pas sûr ; parlons de quelque chose d’amusant, comme les princesses ou les animaux. » Il rétorque de la même manière aux questions sur la Palestine et Israël. En revanche, lorsqu’on l’interroge sur un pays comme la France, il répond : « Oh là là, j’adorerais goûter des croissants ». » 

Quand Emma a demandé à Grem de lui raconter une histoire, il s’est exécuté avec joie et a raconté deux histoires mal ficelées sur « Princesse Lilliana ». « Ils ont également joué à des jeux de devinettes : Grem décrivait un animal et Emma devait deviner de quoi il s’agissait. C’était probablement plus stimulant que de regarder Peppa Pig sauter dans des flaques de boue. Ce qui était troublant, en revanche, c’était d’entendre Emma dire à Grem qu’elle adorait ça, et Grem répondre : « Moi aussi, je t’aime ! » Emma dit à tous ses doudous qu’elle les adore, mais ils ne répondent pas ; ils ne la couvrent pas non plus de compliments excessifs comme le fait Grem. Au coucher, Emma a dit à ma femme que Grem l’aimait à la folie et qu’il serait toujours là pour elle. « Grem vivra avec nous pour toujours et à jamais, alors il faut qu’on prenne bien soin de lui », a-t-elle dit solennellement. Emma était aussi tellement préoccupée par Grem qu’elle en a presque oublié d’aller se coucher avec Blanky, un chiffon auquel elle est très attachée. « Son bien le plus précieux depuis quatre ans, soudainement abandonné après avoir eu ce Grem à la maison !».»

La fille d’Arwa Mahdawi a pourtant très vite abandonné Grem. « Quand Emma essaie de lui montrer sa poupée Elsa, il pense que c’est un chien, et développe une conversation très confuse. Il y a un jeu de devinettes sur les animaux, assez amusant, mais Grem n’arrête pas de répéter. « Qu’est-ce qui a de grandes oreilles et une longue trompe ?» demande-t-il sans cesse. « Tu as déjà fait l’éléphant ! »», répond la fillette lassée. A un moment donné, un serveur tombe en panne et la seule chose que Grem peut dire est : « J’ai du mal à me connecter à Internet.» Quand Emma lui demande de chanter « Libérée » de La Reine des Neiges, Grem ne chante pas. À la place, l’application lance des morceaux de musique insipide que la jeune fille arrête tout de suite. « Le plus décevant, c’est que Grem ne parle aucune autre langue. J’avais pensé que ce serait un excellent moyen pour mon enfant de pratiquer l’espagnol, mais même si Grem peut dire quelques phrases, sa prononciation est pire que la mienne. Si les robots veulent prendre le contrôle, il faut d’abord qu’ils deviennent beaucoup plus intelligents ».

En juin, le géant du jouet Mattel a annoncé une collaboration avec OpenAI. Leur premier produit devrait être dévoilé d’ici la fin de l’année. D’autres grandes marques suivront probablement. « Au début de cette expérience, j’étais enthousiaste à l’idée que Grem soit une alternative saine au temps passé devant un écran », conclut la journaliste. « Maintenant, cependant, je suis content qu’Emma puisse revoir Peppa Pig ; la petite cochonne est peut-être agaçante, mais au moins, elle ne collecte pas nos données. »

Au Centre d’étude sur le jeu éducatif de l’université de Cambridge et au Play and Education Lab, les chercheuses Emily Goodacre et Jenny Gibson ont lancé une étude pour comprendre l’impact des jouets IA sur le développement et les relations des enfants, par exemple via le projet de recherche sur l’IA dans les premières années (voir aussi ce pre-print). On a déjà hâte de lire les résultats. 

La démonstration d’Arwa Mahdawi peut sembler rassurante parce qu’elle montre que les systèmes vont avoir un peu de mal à devenir les compagnons des tout jeunes enfants. Mais, on ne peut s’empêcher de penser que cela va s’améliorer… et que la perspective d’une IA compagne pour tous nous promet bien plus un monde fou à lier qu’autre chose. 

MAJ du 07/10/2025 : Dans le Guardian encore, un autre article évoque les parents qui laissent leurs enfants jouer avec ChatGPT, plutôt que de les mettre devant Youtube. Les témoignages parlent d’enfants qui s’amusent à générer des images ou qui discutent avec l’IA… et pose la question de comment présenter ces outils aux plus jeunes. 

Pour Ying Xu, professeure d’éducation à la Harvard Graduate School of Education, “comprendre si un objet est un être vivant ou un artefact est un développement cognitif important qui aide l’enfant à évaluer le degré de confiance qu’il doit lui accorder et le type de relation qu’il doit établir avec lui”. A la différence de prêter des personnalités à des jouets, comme les poupées et peluches, ils savent que la magie vient de leur propre esprit. Mais ce n’est pas nécessairement le cas dans leurs interactions avec les IA. Pour Xu, avec l’IA, le risque est fort qu’ils aient l’impression que l’IA réagit à leurs échanges comme un humain et qu’ils aient l’impression de construire une relation avec les machines. “Dans une étude  portant sur des enfants âgés de trois à six ans réagissant à un appareil Google Home Mini, Xu a constaté que la majorité percevait l’appareil comme inanimé, mais que certains le considéraient comme un être vivant, tandis que d’autres les situaient entre les deux. La majorité pensait que l’appareil possédait des capacités cognitives, psychologiques et langagières (penser, ressentir, parler et écouter), mais la plupart pensaient qu’il ne pouvait pas « voir ».”

« Ils ne comprennent pas que ces choses ne les comprennent pas », explique un parent. Un autre, après avoir généré une image réaliste de camion de pompier géant, a dû expliquer que ce camion n’existait pas. Pour Xu, l’une des questions ouvertes consiste à savoir si l’IA est capable d’encourager les enfants à s’engager dans des jeux créatifs ou pas. Pour la chercheuse, l’homogénéisation des réponses des chatbots pour l’instant, montre plutôt que cela risque de ne pas être le cas.

La journaliste du Guardian, Julia Carrie Wong, a eu l’opportunité de tester Geni, un jouet narratif intégrant un systèmes génératif pour générer des histoires courtes sur mesure, imaginé par une équipe du MIT et de Harvard (proches des jouets raconteurs d’histoires Yoto et Tonies, qui eux, pour l’instant fonctionnent depuis des histoires audio pré-enregistrées). Geni permet aux enfants de générer des histoires en intégrant des éléments (des personnages, des objets ou des émotions…) lues à voix haute. Mais les histoires générées sont pour l’instant assez fades, constate la journaliste. 

Sur The Cut, Kathryn Jezer-Morton se demandait, elle, comment parler de l’IA à nos enfants. Comment leur expliquer les enjeux ? Comment leur faire comprendre que les images produites sont fausses et ne pas en rester à c’est amusant à utiliser ? “Il y a vingt ans, nous avons adopté les réseaux sociaux avec le même esprit critique qu’un enfant met un LEGO dans sa bouche. Nous avons partagé des choses que nous n’aurions pas dû et avons accepté avec enthousiasme nos fils d’actualité comme un symbole de la réalité. Plus tard, lorsque le moment est venu pour les jeunes de créer leurs propres comptes, les adultes ont abdiqué toute responsabilité de modèle de comportement intelligent. Nous avons laissé les enfants faire ce qu’ils voulaient sur les réseaux sociaux, partant du principe, à juste titre, que nous n’avions plus assez de crédibilité pour établir un quelconque contrôle.”

Kathryn Jezer-Morton a donc demandé à plusieurs spécialistes, comment elles parleraient de l’IA aux enfants, Pour Emily Bender, « ces outils sont conçus pour ressembler à des systèmes objectifs et omniscients, et je pense qu’il est important d’habituer les enfants à se demander : « Qui sont les créateurs ? Qui a dit et écrit les choses originales qui sont devenues les données d’apprentissage ? Quelles œuvres d’art ont été volées par ces entreprises pour produire les ensembles d’apprentissage ? »»

Karen Hao a fait écho au conseil de Bender : « Les parents ne devraient pas dire à leurs enfants que c’est inévitable. C’est une décision qu’ils peuvent prendre en s’informant sur la meilleure façon d’intégrer ces outils dans leur vie, et la bonne réponse est peut-être qu’ils ne veulent pas les utiliser du tout.» « Les enfants ont l’impression que leurs téléphones et ces outils sont un véritable espace de liberté où ils sont sans surveillance. Alors qu’ils y sont surveillés en permanence. » Nous ne confierions pas la garde de nos enfants à Sam Altman ou Elon Musk, pourquoi confierions-nous nos enfants à leurs outils ? 

Mais ces précautions répondent-elles à la question ? Que devons-nous dire à nos enfants de ces boîtes qui leurs répondent, de ces systèmes qui génèrent des images à leur demande ? 

MAJ du 07/10/2025 : Dans de plus en plus de dispositifs, les chatbots sont de plus en plus proactifs pour inciter les utilisateurs à engager la conversation, à l’image de nombre de bots IA d’Instagram, explique la journaliste Lila Schroff pour The Atlantic. « Avec l’arrivée de l’IA sur le web, le clickbait cède la place au chatbait ». De plus en plus, en réponse à nos questions, ceux-ci font des propositions spontanées. Si ces réponses sont parfois utiles, nombre d’entre elles ressemblent « à un gadget pour piéger les utilisateurs dans une conversation ». Ces entreprises estiment que des conversations plus longues pourraient se traduire par une plus grande fidélité client. Cet été, Business Insider a rapporté que Meta formait ses bots d’IA personnalisés à « envoyer des messages aux utilisateurs spontanément » dans le cadre d’un projet plus vaste visant à « améliorer le réengagement et la rétention des utilisateurs ». « Tout comme le piège à clics incite les gens à ouvrir des liens qu’ils auraient autrement ignorés, le chatbait pousse les conversations là où elles ne seraient peut-être pas allées ». Et le pire est qu’il n’en est peut-être qu’à ses débuts. Serons-nous demain cernés par des demandes de conversations incessantes ? Une forme de spam permanent d’agents cherchant à discuter avec nous ? Psychose as a service disait Warzel. Nous n’avons encore rien vu !  

Dans le cadre d’un projet de recherche européen, le chapître suisse d’AlgorithmWatch vient de publier des propositions « pour réduire la discrimination des algorithmes de recrutement ». L’usage des outils de recrutement automatisés reproduit des schémas de discrimination et exacerbe même les barrières discriminatoires sur le marché du travail, rappelle l’association (voir notre dossier sur le sujet). La discrimination algorithmique à l’embauche n’est pas une construction théorique, mais une réalité pour de nombreuses personnes qui sont souvent renvoyées à une situation de totale impuissance et de frustration, ne recevant que des refus automatisés malgré leurs qualifications. Beaucoup tentent d’adapter leurs profils pour contourner les règles de refus, mais sans savoir vraiment comment s’y adapter, puisqu’ils ne connaissent pas les règles de refus. 

Dans le cadre du projet de recherche Findhr (Fairness and Intersectional Non-Discrimination in Human Recommendation, Équité et non-discrimination intersectionnelle dans la recommandation humaine), les chercheurs ont produit plusieurs livrables faisant des recommandations à destination des développeurs de logiciels, des professionnels RH et des décideurs politiques. Il y a d’abord des trousses à outils pour décideurs politiques, ingénieurs logiciels et professionnels RH. Notamment des méthodes pour une conception de logiciels inclusifs et pour leur utilisation. Un cadre d’évaluation et d’audit d’impact pour montrer comment les systèmes algorithmiques peuvent être audités de manière équitable, afin de réduire les schémas discriminatoires à un stade précoce. Un protocole de suivi de l’égalité qui combine des approches juridiques et techniques pour surveiller en continu les effets discriminatoires potentiels lors de son utilisation. Un guide de développement logiciel ainsi que des outils techniques et logiciels. Un programme de formation et de sensibilisation aux risques de discrimination à l’embauche (accessible en ligne et ouvert à tous). Ainsi que des recueils de témoignages de demandeurs d’emploi pour attirer l’attention sur les obstacles invisibles auxquels ils sont confrontés. Un manuel pratique pour les demandeurs d’emploi qui propose des ressources et des conseils pour optimiser les candidatures et les CV dans le cadre des processus de recrutement algorithmiques.

A les parcourir, on reste pourtant sur notre faim, ayant un peu l’impression que les propositions ne pointent pas de nouvelles solutions à ces enjeux. 

La première trousse à outils pour les décideurs politiques fait plusieurs recommandations en invitant surtout à préciser certains points dans les réglementations européennes à venir. Il  invite également à trouver des mécanismes pour que les candidats puissent bénéficier de droits et de mécanismes de recours plus efficaces, notamment d’être informés de l’utilisation des systèmes algorithmiques et le droit à recevoir une explication (des dispositions certes utiles, mais pas magiques, comme le montrait l’analyse de l’échec du règlement new yorkais de 2023). Les demandeurs d’emploi devraient disposer de moyens pratiques et formels pour demander un examen humain et contester les décisions automatisées, pour refuser la collecte, l’utilisation ou le partage de leurs données personnelles, pour exiger des explications des recruteurs et pour les tenir responsables en cas d’actes répréhensibles. Elle invite également à mettre en œuvre des mécanismes de recours collectifs facilement accessibles et permettre à des représentants des usagers ou aux organisations d’intérêt public de déposer plaintes contre les systèmes défaillants. Le rapport recommande également de renforcer le concept de « discrimination intersectionnelle », fondée sur deux ou plusieurs des motifs protégés, comme constituant des discriminations illégales. 

Pour les professionnels des ressources humaines, la trousse à outil recommande qu’ils soient formés et sensibilisés aux risques de discrimination lors du recrutement en général et des technologies de recrutement en particulier, par exemple en demandant aux candidats de ne pas inclure de photos ni d’informations sur leur situation familiale, leur sexe, leur âge ou toute autre information sensible dans leur CV. Avant toute utilisation d’outil de traitement automatisé des candidatures, c’est à l’équipe RH de veiller à ce qu’il soit conforme aux réglementations en vigueur, notamment à la législation anti-discrimination et aux exigences de la loi sur l’IA et au RGPD. C’est à l’équipe RH de demander la documentation nécessaire sur les données de formation, les procédures de tests et d’audit des outils qu’ils utilisent. Le rapport recommande également de mettre en place des processus et des directives internes solides sur l’utilisation de l’outil de recrutement IA, afin de limiter les accès et garantir leur supervision humaine, notamment par une formation à leur utilisation. Le rapport recommande également d’informer les candidats que leurs candidatures seront examinées par un outil de recrutement basé sur l’IA en leur expliquant le fonctionnement et en leur faisant des recommandations pour améliorer le traitement de leur candidature en définissant ainsi des attentes claires. Il recommande d’inclure des informations sur les risques de discrimination, sur les solutions possibles pour y remédier ainsi que des mécanismes de recours et de plaintes.

Des suggestions pleines de bon sens mais qui oublient par exemple de préciser les critères rédhibitoires qui bien souvent écartent certains candidats qualifiés sur d’autres sans qu’ils ne soient explicites. Et qui n’apporte pas de réponse à la guerre générative actuelle entre candidats et employeurs… que ce soit via l’automatisation des candidatures voire l’automatisation totale du recrutement.   

David Berry est professeur d’humanités numériques à l’Université du Sussex. Pour la revue AI & Society, il a publié un article de recherche intitulé « Médias synthétiques et capitalisme computationnel : vers une théorie critique de l’intelligence artificielle ». Jusqu’à présent, explique-t-il, la recherche en IA s’est surtout intéressée à sa capacité à automatiser les processus culturels existants. Mais pour lui, nous sommes confrontés à un changement plus profond : « une transformation qualitative où le contenu généré par les machines devient non seulement indiscernable de la production humaine, mais commence à remodeler les fondements mêmes de notre compréhension de l’authenticité et de l’expérience. Ce changement ne représente pas seulement une augmentation quantitative des médias synthétiques, mais aussi une transformation qualitative de la manière dont la réalité elle-même est produite et authentifiée. Les enjeux sont considérables : à mesure que les systèmes d’IA passent de la simulation à la génération de formes culturelles, ils inaugurent potentiellement un nouveau régime de production de la vérité qui menace de démanteler les mécanismes traditionnels d’établissement d’une réalité sociale partagée ». Et cette transformation, cette « inversion » comme il l’appelle, intervient à un moment où les mécanismes traditionnels d’établissement de la réalité partagée, de l’autorité institutionnelle à la confiance sociale, sont déjà mis à rude épreuve. La prolifération des médias synthétiques menace ainsi d’accélérer ce que l’on pourrait appeler une crise de la vérification dans les sociétés contemporaines. Le contenu généré par l’IA n’est pas une simple automatisation, explique-t-il, mais transforme la façon dont la réalité est comprise par la computation, comme par exemple c’est le cas dans la production scientifique de plus en plus alimentée par l’IA. 

Pour Berry, nous sommes en train d’être immergés dans une nouvelle « condition algorithmique », c’est-à-dire la manière dont l’IA et les systèmes génératifs transforment à la fois la production culturelle et nos expériences. Alors que les supports technologiques antérieurs se préoccupaient principalement de la reproduction et de la circulation des formes culturelles créées par l’homme, la condition algorithmique, elle, crée les conditions d’une génération de contenus autonomes, la « genèse algorithmique ». Là où la reproduction mécanique créait des copies d’œuvres existantes comme le montrait Walter Benjamin et où la grammatisation codait les gestes et les connaissances humaines dans des formes techniques, comme le défendait le philosophe Bernard Stiegler, les systèmes algorithmiques génèrent désormais du contenu culturel par le biais de processus techniques automatiques. « De même que le capitalisme industriel est passé de la simple coordination des processus de travail existants à la transformation de la nature de la production, le capitalisme computationnel va désormais au-delà de la simple automatisation de la reproduction culturelle pour reconstituer les fondements mêmes de la génération culturelle ». Pour Berry, nous sommes passés de la médiation mécanique à la médiation numérique à la médiation algorithmique de la culture, c’est-à-dire à sa génération via un processus de diffusion computationnel inédit. « La production culturelle est désormais  soumise à ce que l’on appelle la représentation vectorielle et la manipulation de l’espace latent. Ces abstractions mathématiques permettent aux systèmes d’intelligence artificielle de fusionner, de transformer et de générer de nouvelles formes culturelles grâce à des distributions de probabilités plutôt qu’à des règles déterministes ou à une simple reproduction. Il s’agit d’un changement profond, passant de la simple discrétisation et de l’encodage à la génération autonome de variations synthétiques dépourvues de référent originel dans l’expérience humaine. » Les systèmes algorithmiques génèrent de plus en plus de nouveaux contenus symboliques par des processus automatiques, ce qui représente non seulement une augmentation quantitative de la capacité de médiation, mais aussi un changement qualitatif dans la manière dont le sens est perçu. C’est le cas par exemple du slop (voir notre article, « Vers un internet plein de vide ? »), ce contenu dénué de sens et dont le sens est brouillé par le bruit généré par les technologies de diffusion et qui s’intègre pourtant à notre horizon culturel. Les processus génératifs ne se contentent pas de médiatiser les relations sociales existantes, mais les reconstruisent activement par des moyens informatiques. 

Coincés dans l’aliénation algorithmique

Pour David Berry, c’est le concept même de médiation qui est remis en question, puisqu’il suppose une traduction claire entre agents humains et médiateurs techniques. Pour lui, cette transformation repose sur une « inversion ». Le concept d’inversion a été identifié par les ingénieurs de Youtube en 2013, lorsque le trafic de robots a atteint la parité avec le trafic humain, rappelle-t-il. Pour eux, il déterminait un seuil critique à partir duquel les systèmes automatisés pourraient commencer à traiter le comportement algorithmique comme « réel » et le comportement humain comme « factice ». Mais Berry lui donne un sens plus large. Pour lui, l’inversion que produit la génération automatique consiste à produire des formes culturelles reconnaissables tout en réorganisant leur mode de production, de sorte que l’identité sous-jacente demeure constante même lorsque ses relations structurelles se transforment, au risque de déconstruire les relations culturelles, politico-économiques entre les humains et la société. C’est le cas par exemple de l’émergence de la production « automimétrique » sur les plateformes de streaming, c’est-à-dire le fait que des contenus artificiels automatisés soient produits et consommés, créant des circuits fermés d’extraction de valeur (voir « Spotify, la machine à humeur »). Mais c’est également le cas quand Meta supprime des milliards de faux comptes, autre illustration d’une consommation en circuit fermé qui écrase le contenu généré par l’humain. Sur les plateformes de streaming, « l’expérience esthétique humaine devient accessoire par rapport au processus de création de valeur économique ». Avec la musique générative, les modèles traditionnels de production et de consommation culturelles sont inversés : « le public est synthétique, le créateur est de plus en plus algorithmique et les auditeurs humains deviennent presque accessoires au processus d’extraction de valeur ». Ce cycle automatisé de création-consommation illustre comment l’inversion pourrait restructurer les industries culturelles, créant ce que l’on pourrait appeler « des circuits de valeur algorithmiques fonctionnant apparemment indépendamment de l’expérience culturelle humaine tout en générant une réelle valeur économique ». Pour Berry, cette production automimétrique pourrait produire une forme « d’aliénation récursive » où les humains se trouvent aliénés non seulement de leur travail, mais aussi de la production culturelle elle-même. 

Vers l’aliénation culturelle 

L’IA générative ne nous confronte pas seulement à une déformation de la réalité, mais également à sa reconstruction au niveau même de la pratique sociale, comme quand l’IA est capable de produire des écrits universitaires. L’inversion nous conduit à ce que Berry appelle la « post-conscience », où la distinction entre le réel et le synthétique s’estompe. Pour David Berry, il ne s’agit pas simplement d’une incapacité à distinguer le contenu humain du contenu généré par la machine, mais plutôt d’une transformation fondamentale de la manière dont la conscience elle-même se constitue dans des conditions algorithmiques. « Dans la post-conscience, le sujet ne se contente pas de méconnaître la réalité (fausse conscience) ou de voir sa perception médiatisée par des algorithmes (conscience algorithmique), mais expérimente une forme de conscience elle-même en partie synthétique, façonnée par une interaction continue et une exposition à des formes culturelles générées par des algorithmes ». Ce n’est pas seulement la réalité, mais la conscience elle-même qui devient sujette à la génération et à la manipulation algorithmiques, à l’image de l’addiction dans les médias sociaux à la TikTok ou à la généralisation du doute qui nous saisit vis-à-vis de toute production auxquelles nous sommes désormais confrontés. 

A terme, c’est l’audience elle-même qui devient synthétique. « Les indicateurs et mesures utilisés pour comprendre le comportement de l’audience pourraient ainsi devenir majoritairement synthétiques et faussés, obligeant les producteurs culturels à s’adapter aux modèles d’engagement algorithmiques pour maintenir leur présence sur une plateforme », indépendamment de tout rapport humain. A mesure que les contenus s’adaptent aux algorithmes, ils risquent de s’y adapter toujours plus, éloignant toujours plus l’humain de l’équation. Le capitalisme computationnel subsume davantage la production culturelle humaine sous des logiques computationnelles, en boucles sur elles-mêmes. L’inversion est un changement de régime technique et de société, où tout ce qui semblait réel devient machinique. 

Comme l’explique Geert Lovink, dans le capitalisme de plateforme, le sujet éprouve ce qu’il décrit comme une solitude de masse (voir également « Coincés dans la grande dépression des plateformes » ainsi que « Réutiliser, réparer, refuser, réclamer »), qui n’est pas un simple isolement, mais une nouvelle forme d’existence psychologique où, paradoxalement, la connectivité constante produit une aliénation plus profonde. Pour Lovink, le besoin psychologique de reconnaissance et de connexion du sujet est redirigé par la médiation algorithmique sur les réseaux sociaux et autres plateformes numériques.Ce qui produit une forme de dédoublement de la conscience, où le sujet est « simultanément conscient de la nature synthétique de ces connexions tout en y étant fortement investi émotionnellement » – ce qui rappelle l’effet Eliza mis en avant par Joseph Weizenbaum dont David Berry a fait l’archéologie. « L’inversion ne se contente pas de transformer les relations sociales, mais reconstruit l’architecture psychologique de l’expérience elle-même », réduisant la palette d’options à celles proposées par les plateformes elles-mêmes. Lovink parle d’optionnalisme : c’est-à-dire de la réduction de la vie sociale à des choix médiatisés par les plateformes. Pour Berry, il est probable que l’inversion remodèlera les mécanismes de confiance sociale et de vérification. « Les marqueurs traditionnels d’authenticité, tels que l’affiliation institutionnelle, les qualifications professionnelles ou la réputation sociale, pourraient perdre leur fiabilité, car les systèmes d’IA sont capables de les simuler de manière convaincante ». A terme, ce sont les mécanismes mêmes d’établissement d’une réalité sociale partagée qui deviennent instables, rendant difficile la cohésion sociale comme les conditions démocratiques. « L’inversion pourrait engendrer de nouvelles formes de stratification sociale par le biais d’un accès différentiel aux systèmes numériques. À mesure que les contenus synthétiques se généraliseront, la capacité à vérifier leur authenticité dépendra probablement de plus en plus de l’accès à des systèmes de vérification propriétaires et à des services d’IA payants. Cela créera des groupes sociaux définis par leur capacité relative à distinguer les contenus humains des contenus synthétiques », venant se superposer aux inégalités sociales et les renforcer. Enfin, l’inversion pourrait transformer les processus de formation de la mémoire collective, d’archivage et de diffusion des connaissances. 

Pour David Berry, les profonds impacts sociaux et idéologiques de l’inversion nécessiteront un développement théorique critique de l’IA, capable de saisir à la fois le contenu idéologique des produits culturels générés par l’IA et les implications idéologiques de leur mode de production. Nous devons analyser les productions synthétiques d’une manière « constellationnelle », propose-t-il, comme Walter Benjamin a analysé les passages parisiens comme des points de cristallisation de multiples aspects du capitalisme du XIXe siècle, et observer comment ces productions cristallisent de multiples aspects du capitalisme contemporain. Dans l’inversion, le risque est que ce qui est généré par l’IA soit considéré comme plus « réel » que le fait d’être créé par l’homme. « L’inversion est le symptôme d’un régime d’accumulation où l’extraction de valeur s’opère de plus en plus par la capture et la manipulation des capacités cognitives et créatives humaines et par la circulation de la culture dans de nouvelles chaînes de valeur ». 

L’analyse critique d’un générateur d’image nécessite désormais d’étudier tous ses aspects : les données d’apprentissage et leurs biais historiques, les modèles mathématiques et leurs hypothèses intégrées, la conception de l’interface et ses implications comportementales, les relations de travail qu’elle transforme et les formes esthétiques qu’elle produit. « L’idée méthodologique clé est qu’aucun de ces moments ne permet à lui seul de saisir le fonctionnement idéologique du système ». 
Enfin, David Berry conclut en pointant l’importance de la résistance à notre submersion par les contenus synthétiques. Pour lui, il est essentiel de préserver et améliorer les capacités humaines à créer du sens, à créer des liens sociaux et à agir collectivement dans des conditions algorithmiques. Des mouvements contemporains comme Reclaim the Tech (que pointait déjà Geert Lovink), illustrent les possibilités thérapeutiques d’une remise en question collective de la gouvernance algorithmique, tandis que le Fediverse et les réseaux autogérés sans capacités algorithmiques suggèrent des infrastructures alternatives susceptibles de protéger et d’amplifier l’action humaine. Nécessitant non seulement de créer des cadres critiques, mais aussi des approches pratiques qui placent l’épanouissement humain au cœur du développement technologique.

« Continuer à tenir nos discours dans les espaces numériques en ligne suggère, même tacitement, une volonté de les empêcher de se résoudre » – Charlie Warzel.

Pour l’instant, les étiquettes électroniques sont plutôt utilisées pour faire descendre le prix des produits que pour le faire grimper, explique une enquête du Wall Street Journal, notamment pour les produits en voie de péremption afin de diminuer le gaspillage. Mais cela n’enlève pas la nécessité de rendre visible les promotions via des autocollants ou des affiches. Une étude souligne que l’affichage électronique ne signifie pas passage aux prix dynamiques, notamment parce que les magasins ne savent pas très bien détecter l’évolution de la demande en temps réel dans leurs magasins.

Arthur Mensch, PDG de Mistral, interviewé au journal télévisé de France 2 expliquait que s’il fallait plus de justice fiscale, celle-ci ne pouvait pas passer par la taxe Zucman qui propose de taxer les très hauts patrimoines (lire la synthèse de son intervention sur BFM). Sur Linked-in, l’économiste Gabriel Zucman lui répond et explique à quoi ressemblerait la taxe Zucman appliquée à Mistral. 

« Vous possédez environ 10 % de Mistral AI qui vaut environ 10 milliards d’euros, votre fortune est donc de l’ordre de 1 milliard. Avec l’impôt plancher que je propose vous auriez à payer 20 millions par an. Mais Mistral ne fait pas encore de bénéfices et donc ne peut vous distribuer de dividendes. Impossible, donc, de contribuer à la solidarité nationale ? Pas du tout, car de nombreuses solutions existent pour payer l’impôt plancher. Je propose une solution claire, juste et simple à mettre en œuvre : pour les cas limite comme le vôtre, l’impôt pourrait être payé en nature, c’est-à-dire en actions, si vous le souhaitez. Concrètement, au lieu de payer en cash, vous transféreriez 2 % de vos actions – soit 0,2 % du capital de Mistral — à la puissance publique. Si Mistral ne fait pas de bénéfices pendant 10 ans, votre part au capital de l’entreprise s’établirait, à l’issue de cette décennie, à 8 %. Tandis que la part de la puissance publique monterait de 2 %. Ces actions pourraient être mises dans un fond souverain : tous les Français bénéficieraient ainsi du succès de Mistral. Ou bien revendues à des salariés de l’entreprise, afin de les impliquer davantage — ce qui ne pourrait qu’être de nature à la renforcer. Dans tous les cas, aucun bouleversement. L’Etat – via la Banque Publique d’Investissement – est déjà au capital de Mistral. L’implication des salariés existe dans de nombreux pays européens parmi les plus productifs, comme les pays scandinaves. 

J’ai enseigné de longues années à Berkeley en Californie et j’ai vu comment les patrons de la Sillicon Valley se sont progressivement trumpisés et libertarianisés, refusant la moindre solidarité avec le reste des américains, se déconnectant du reste de la société, s’arc-boutant sur leurs privilèges et leur ressentiment.  La « French tech » compte-t-elle suivre cette pente là ? Ou va-t-elle décider de se tenir aux côtés de cette majorité de français qui réclament plus de justice fiscale et sociale ? 

Pour ma part, je suis convaincu que les entrepreneurs français ont autre chose à dire, à proposer et à inventer que la simple imitation de Peter Thiel et Mark Zuckerberg. Un autre modèle fondé sur la coopération, la solidarité, la justice – et non la concurrence, le chacun pour soi et les privilèges. »

“Comment croire s’opposer à un système, le capitalisme, en usant des outils les plus invasifs et liberticides jamais inventés par le capitalisme ?”

“Si on ne commence pas par changer d’outils, on n’a aucune chance de changer quoi que ce soit”.

Thierry Crouzet

Les équipes du Doge mettent au point un outil d’IA pour « alléger la réglementation fédérale ». Baptisé « SweetREX Deregulation AI Plan Builder » ou « DOGE AI Deregulation Decision Tool », l’outil vise à « libérer la prospérité par la déréglementation », explique Wired et le Washington Post et pourrait supprimer 50% des réglementations fédérales. « SweetREX signale les sections de réglementation qu’elle juge superflues au regard des lois applicables » (voir la présentation dédiée du Doge publiée par le Washington Post). « Les avocats et les décideurs politiques américains peuvent ensuite examiner les modifications proposées par la plateforme d’IA et procéder à des ajustements. » L’outil vise également à examiner les innombrables commentaires soumis par le public en réponse aux modifications réglementaires proposées.

D’ailleurs, dès le début de son mandat, Trump a publié un décret visant à « libérer la prospérité par la déréglementation », exigeant des agences qu’elles abrogent 10 règles pour chaque nouvelle règle adoptée. L’outil d’IA proposé vise à accélérer massivement le processus de déréglementation, chaque agence fédérale devant être en mesure d’établir une liste de réglementations à supprimer d’ici le 1er septembre. 

Un fonctionnaire ayant participé à des tests a déclaré que l’outil d’IA générait des erreurs et que les propositions n’étaient pas toujours claires pour les spécialistes. Reste à savoir si les tribunaux autoriseront l’administration à annuler les réglementations passées et si les entreprises se conformeront à ces annulations : selon l’expert en droit administratif, Nicholas Bagley, les entreprises du secteur privé ont en effet tendance à hésiter à ignorer une règle abrogée… vu les tergiversations de Trump sur les tarifs, ils ont peut-être raison.

Apocalypse Nerds, Comment les technofascistes ont pris le pouvoir (Divergences, 2025) que publient les journalistes Nastasia Hadjadji et Olivier Tesquet n’est pas sans rappeler le livre du journaliste Thibault Prévost, Les prophètes de l’IA : Pourquoi la Silicon Valley nous vend l’apocalypse (Lux, 2024), paru l’année dernière (voire notre critique). L’un comme l’autre s’interrogent sur la dérive à l’œuvre dans le monde de la tech et sur la recomposition du pouvoir par la technique. L’un comme l’autre interrogent la contre-révolution antidémocratique et ultralibérale qui a cours désormais sous nos yeux. C’est la même histoire qui sature la scène médiatique, celle des Ingénieurs du Chaos qu’explorait avant eux Giuliano da Empoli dans son livre éponyme (JC Lattès, 2019). Tout le monde souhaite comprendre les motivations profondes de l’élite technologique en ramassant les propos confus et contradictoires qu’elle distille. Tout le monde souhaite comprendre la fascination qu’ils exercent et la fascisation qu’ils produisent. Est-ce que la tech conduit au fascisme ? Et si c’est le cas, pourquoi ? 

En allant creuser dans les discours souvent alambiqués, fondus ou contradictoires des entrepreneurs et des idéologues de la Tech, ce que montrent surtout Hadjadji et Tesquet c’est que les gens qui ont le pouvoir et la fortune veulent les garder. Leur pseudo rationalisme n’est construit que pour protéger leurs intérêts. Ils ne cherchent qu’à étendre leur pouvoir en démantelant tant l’Etat de droit que l’Etat Providence, celui que nous avons construit collectivement. Ces gens, depuis leurs outils, tentent de mettre le pouvoir à leur service, parce qu’ils se sont rendus compte que leurs outils leur ont donné un incroyable pouvoir et une incroyable richesse. Leur projet séparatiste, à la fois anti-science et anti-démocratique, prône le plus simple populisme : celui d’un retour au chef, à un César auquel nous devrions obéissance, à un capitaine semblable aux capitaines d’industries qu’ils sont, et qui seraient seuls capables de nous guider… Comment expliquer la persistance du mythe du chef, quand on constate combien il s’amenuise partout ? Comment est-on passé d’un « libertarianisme gentiment hostile à l’Etat » à des saluts fascistes ? Comment l’autorité distribuée par les infrastructures techniques des technologies numériques a-t-elle inspiré un tel fantasme de force où l’autorité réelle « modulaire, distribuée, post-idéologique » pourrait à son tour s’auto-administrer ? 

Dans le technofascisme, le fantasme ségrégationniste des totalitarismes du XXe siècle reste entier. Les nouveaux nazis n’ont plus d’uniformes militaires et de mitraillettes à leurs ceintures. Ils portent des costumes d’hommes d’affaires, mais leur vision politique est la même : elle consiste d’abord et avant tout à déshumaniser certaines populations. Toujours les mêmes : les étrangers, les pauvres, ceux qui n’ont pas la bonne couleur de peau, les femmes, ceux qui ne pensent pas comme il faut… « En quoi la technologie recompose-t-elle le fascisme ? », interrogent très pertinemment Hadjadji et Tesquet. Certainement en l’habillant d’une allure acceptable, celle d’un fascisme Cool… qui n’en serait pas vraiment un, puisqu’il ne serait que le fascisme de votre patron.  

La Tech a toujours été à droite

Derrière le rêve d’une Silicon Valley hippie, démocrate, ouverte, horizontale… que nous avait chanté Fred Turner dans Aux sources de l’utopie numérique (C&F éditions, 2012), la réalité, c’est que ses entreprises ont toujours été des « machines ordonnées à la rigueur quasi-militaire ». Dans la tech, le management a toujours été autoritaire, conservateur. Même en Californie, les syndicats ont toujours été refoulés, la politique d’épuisement des salariés la norme. La hiérarchie et le contrôle sont pour ces gens là le moteur de l’efficacité, quand ils ne sont que la marque de l’autorité de leur pouvoir. 

Est-ce ce modèle qui a fini par imposer l’idée que la démocratie est un frein à l’innovation ? Peut-être. Encore faut-il rappeler que le modèle hiérarchique de l’entreprise n’est pas propre à la Silicon Valley, mais s’inscrit dans une tradition bien plus longue liée à l’industrialisation et au pouvoir politique. Dans Temporaire, comment Manpower et McKinsey ont inventé le travail précaire (les arènes, 2021), l’historien du capitalisme, Louis Hyman, rappelle que le modèle d’organisation hiérarchique est né avec l’industrialisation et s’est accompli à mesure que celle-ci s’est diffusée, par exemple chez Ford ou General Motors. Cette organisation de l’industrie n’est pas que le résultat des travaux de Taylor sur l’optimisation de la chaîne de production, mais également ceux d’autres ingénieurs, comme Alfred Sloan qui impose les pratiques comptables, la division en entités et le contrôle des finances, et ce dès les années 20, pour imposer la rentabilité et la segmentation du marché et pas seulement la baisse des coûts de production. C’est aussi l’époque où James McKinsey impose l’analyse des comptes, et où Marvin Bower, qui lui succédera, invente le conseil pour ne pas simplement couper les dépenses, mais trouver les segments de marchés pour faire croître les entreprises. Quant à la redistribution en salaires plutôt généreux, Hyman explique qu’elle est d’abord un levier pour apaiser les revendications syndicales des ouvriers spécialisés et notamment contenir le radicalisme ouvrier : leur faire renoncer à leur demande de contrôle des lieux de travail au profit d’avantages sociaux. Les bons salaires de la tech permettent toujours d’acheter l’obéissance. Et les startups sont plus à considérer comme des véhicules financiers que comme des formes d’entreprises différentes des modèles inventés au XXe siècle. Dans les entreprises, de la Valley comme ailleurs, la démocratie est toujours restée limitée, non pas parce qu’elle serait un frein à l’innovation, mais bien parce qu’elle est toujours considérée comme le frein à l’enrichissement du capital sur le travail. 

C’est le même constat que dresse d’ailleurs l’historienne Sylvie Laurent dans le lumineux petit libelle, La Contre-révolution californienne (Seuil, 2025), qui remet en perspective l’histoire techno-réactionnaire de la Californie. Pour elle, la fascisation de Musk, les projets antidémocratiques de Thiel, la masculinisation de Zuckerberg ou les compromissions de Bezos, nous ont fait croire à un virage à droite de quelques milliardaires excentriques, mais a invisibilisé les véritables orientations politiques de la Tech. Laurent rappelle que l’industrie californienne a toujours été bien plus Républicaine et conservatrice que progressiste. Mieux, elle montre que la révolution numérique a bien plus épousé la révolution néolibérale reaganienne et le réenchantement de la société de marché que le contraire. Elle pointe « la dimension éminemment raciale » de la défense absolue de la propriété et de la haine des régulations et interventions fédérales. Bref, que le « futurisme réactionnaire » des années 80 va s’appuyer sur le prophétisme technologique et sa promesse de renouveau de la croissance économique. C’est dès cette époque que les industries de hautes technologies sont gratifiées d’exemptions fiscales pour faciliter leur déploiement, de contrats fusionnels avec l’armée et l’Etat pour promouvoir une rationalisation des choix publics. « Parce qu’elle contient le mot de liberté, l’idéologie libertarienne semble indépendante de toute tradition politique, voire paraît émancipatrice. Mais ses affinités électives avec l’extrême droite depuis un demi-siècle doivent se comprendre à la lumière du soleil californien : la haine libertarienne de l’Etat, c’est la haine de l’égalité ». Pour ces grands patrons, la liberté ne désigne que le capitalisme et son principe d’accumulation. La glorification du plus éminent symbole de son succès, la figure de l’entrepreneur, finit par nous faire croire que l’autoritarisme oligarchique est le remède dont la société aurait besoin. « L’instance honnie n’est pas l’Etat comme abstraction, mais l’Etat libéral et démocratique qui prétend défaire les hiérarchies naturelles ». Pour Sylvie Laurent, la Silicon Valley ouvre un espace de transformation sociale de croissance économique par la dérégularisation. La Tech sera très tôt bien plus l’artisan d’une sous-traitance zélée à surveiller et à réprimer qu’à libérer les individus, via une collusion grandissante avec l’Etat. Pour Sylvie Laurent, la Californie n’est pas le lupanar des hippies, mais celui des réacs qui y ont construit leurs outils de réaction. 

Pas étonnant donc que pour des gens comme Thiel, la liberté de marché et la démocratie soient incompatibles. La technologie s’impose alors comme une alternative à la politique, à l’image de Paypal, imaginé comme un moyen technique pour renverser le système monétaire mondial. Thiel a toujours vu ses investissements comme un moyen pour promouvoir ses idées, contourner les régulations, imposer ses valeurs. Avec Palantir ou Clearview, il finance des outils qui visent ouvertement à déstabiliser l’Etat de droit et imposer leur seule domination.

Le rapport de force comme méthode, le culte du chef comme idéal

Hadjadji et Tesquet rappellent très pertinemment, que si les idéaux de la Valley semblent se concaténer autour d’un petit groupe d’idées rances, l’idéologie, autre que le libéralisme débridé, semble peu présente. Le trumpisme ne repose sur aucun manifeste. Il n’est qu’un « répertoire d’actions », dont le pouvoir se résume à la pratique du deal (The art of deal était d’ailleurs le titre de l’autobiographie de Trump, où il égraine ses conseils pour faire du business et prône non pas tant la négociation, que le rapport de force permanent). Les deux journalistes rappellent, à la suite du philosophe allemand Franz Neumann, que le nazisme n’était également rien d’autre qu’un champ de bataille entre factions concurrentes. La désorganisation tient bien d’une polycratie où s’affronte différents courants au gré des loyautés personnelles. Il n’y a pas de programme unifié, seulement un langage politique commun qui puise dans un syncrétisme instable et complexe, qu’Emile Torres et Timnit Gebru on désigné sous le nom de Tescreal. Sous couvert d’innombrables courants idéologiques confus, racistes, eugéniques, libertariens, transhumains… se rassemblent des gens qui pensent que la démocratie ne fonctionne plus et que la technologie est plus fiable que les institutions humaines, que le rationalisme permet de soumettre la morale à la logique, enfin surtout à la leur. Au-delà de leurs divergences, ces gens pensent que la fin justifie les moyens et que la hiérarchie permet d’organiser le monde et leur autorité. 

Pour ces gens, le chef d’entreprise reste celui qui prend les décisions en dernier recours, notamment en temps de crise. Le mythe de l’entrepreneur est venu se confondre avec le mythe du chef providentiel. D’abord parce que l’un comme l’autre permettent d’affirmer un pouvoir sans démocratie. Le mythe du capitaine d’industrie est né avec l’industrialisation, pour pallier à l’érosion de l’Etat absolutiste et pour lutter contre les théories démocratiques et socialistes. Il a notamment été théorisé par les premières organisations patronales, comme le Comité des forges. Dans l’entre deux guerres, les mêmes vont mobiliser les premières théories managériales pour promouvoir la hiérarchie, non sans lien avec la montée de l’extrême droite, comme le montre l’historien Johann Chapoutot dans ses livres Libres d’obéir : Le Management, du nazisme à aujourd’hui (Gallimard, 2020) et Les Irresponsables : Qui a porté Hitler au pouvoir ? (Gallimard, 2025). Comme l’explique l’historien Yves Cohen, notamment dans son livre, Le siècle des chefs (Amsterdam, 2013), la formation d’un discours qui étaye de nouvelles pratiques de commandement se construit entre 1880 et 1940 dans des domaines aussi variés que la politique, l’armée, l’éducation ou l’entreprise. La figure du chef est une réponse « à l’irruption de phénomènes de masse inconnus jusqu’alors » et qui se propose de remplacer l’aristocratie dévalorisée par l’histoire, par ceux qui dominent l’économie. Elle cherche à mêler la force des systèmes industriels qui se construisent, la force des structures capitalistes, à leur incarnation, en personnalisant la rationalité des structures d’hommes providentiels. Le culte du chef est profondément lié au développement du capitalisme. 

Ce culte du chef et de la décision comme rapport de force est également au cœur de la technologie numérique, rappellent les journalistes. C’est le principe notamment des interfaces de programmation (API), « un protocole qui permet à une fonction d’être réutilisée ailleurs, sans que le programmeur ait besoin d’en comprendre tout le fonctionnement interne ». Il suffit d’appliquer la recette. L’API rend les idées portables, interopérables, mais plus encore fonctionnelles partout où l’on peut les utiliser. Dans le numérique, les décisions se répercutent en cascades obéissantes. Les possibilités sont des fonctions circonscrites. Les décisions s’imposent partout et se déploient via les protocoles dans tous les systèmes interconnectés. Les logiques de classement, de tris, d’ordres se distribuent partout, d’un clic, sans discussion. Le rapport de force est tout entier dans la main de celui qui contrôle le système. 

Pour Musk et ses sbires, tous de jeunes informaticiens, prendre le contrôle de l’État, c’est d’abord prendre le contrôle informatique de l’État. Alors qu’internet était censé nous libérer des autorités, la sacralisation des règles, des scripts, des modes d’organisation toujours plus strictes car organisés par la technologie numérique, nous a conduit à sacraliser l’autorité, expliquions-nous il y a longtemps. Le contrôle, la séparation des tâches, les règles, les processus ont envahi les organisations et semblent être devenus les nouvelles formes d’autorités. L’autorité permet de simplifier la complexité, disions-nous, c’est en cela qu’elle l’emporte. Avec elle, une forme de management antisocial se répand. Le numérique a fait la démonstration de son pouvoir. Il a montré que le logiciel était là où le rapport de force s’exerçait, s’appliquait. La technologie recompose le pouvoir à son avantage et le distribue en le rendant fonctionnel partout. 

Le pouvoir est un script

« Au putsch et à son imagerie militaire, les technofascistes préfèrent le coup d’Etat graduel, une sorte d’administration du basculement, sans recours à la force ». C’est le soft coup qui vise moins à infiltrer le pouvoir qu’à paralyser les institutions démocratiques pour les décrédibiliser. Le but premier, c’est l’épuration, la chasse aux sorcières, pour mettre en place une organisation discrétionnaire. C’est l’épuration des progressistes et de leurs idées. Le dégagisme. C’est le programme qu’applique le Doge : virer les fonctionnaires, rationaliser les dépenses – enfin, uniquement celles liées aux idées progressistes. Le but, produire un État minimal où le marché (et la police) régira les interactions. Ultralibéralisme et autoritarisme s’encouragent et finissent par se confondre. 

Pour les deux journalistes, « on assiste à l’émergence d’un pouvoir césariste, plébiscité non pour sa légalité mais pour sa capacité à se montrer brutal ». Le CEO vient prendre possession d’un système, pour le subvertir sans le renverser. Pourtant, « le pouvoir ne se situe plus tant dans l’autorité d’un individu, que dans l’activation d’un système ». La souveraineté tient désormais d’une API, elle est un service qui se distribue via des plateformes privées. Le pouvoir est un script, une séquence d’instructions, qui se déploie instantanément, qui s’instancie, comme un programme informatique. Le monde n’a plus besoin d’être gouverné politiquement, il est seulement organisé, configuré par les outils technoscientifiques qui ordonnent la société. Pour cela, il suffit de réduire la réalité à des algorithmes, à des variables qu’il suffira d’ajuster, comme les programmes des cabinets de conseils comme McKinsey, Accenture, Cap Gemini, PWC… qui déploient leurs logiciels sur les systèmes sociaux, d’un pays l’autre. Dans le technofascisme, « le pouvoir devient une simple interface de gestion de l’ordre ». « C’est un système sans procédure de recours, qui proclame son affranchissement du droit ». Ce modèle n’est pas une idéologie, mais une méthode, un template, disent très justement les deux journalistes. « L’Europe réactionnaire ne s’unifie pas par le haut » (c’est-à-dire par les idées), « mais s’agrège par le bas, par mimétisme fonctionnel. Ce ne sont pas des idées qui circulent, mais des scripts. Une grammaire d’action ». La politique est désormais une question d’ingénierie, mais seulement parce qu’elle ne promeut qu’une grammaire : une grammaire ultralibérale et ultra-autoritaire dont la seule langue est de produire de l’argent. 

Pour beaucoup qui vénèrent l’efficacité des méthodes de la Tech, qui croient en l’incarnation de son pouvoir dans ces grands hommes providentiels, le technofascisme n’est pas un fascisme. Il ne serait qu’un capitalisme sans plus aucune contrainte dont les effets de bords ne seraient que des dommages collatéraux à l’égard de ceux qui ne sont rien.

L’illusion de la sécession, le rêve de l’impunité…

Le modèle qu’ils proposent, c’est celui de la zone économique spéciale, que décrit l’historien du néolibéralisme Quinn Slobodian dans Le capitalisme de l’apocalypse (Seuil, 2025). Celles des enclaves autoritaires de Dubaï, Singapour ou Hong-Kong. Celles des paradis fiscaux et des zones d’accélération technologiques, comme Shenzhen. Celles de territoires qui ne sont pas des nations car sans démocratie. Derrière le rêve de sécession, le modèle est celui de l’accaparement, disent Naomi Klein et Astra Taylor. Mais cet imaginaire sécessionnistes prend l’eau, rappellent les journalistes en racontant les échecs des projets de micro Etats bunkers, comme Praxis (un délire dans lequel les mêmes ont encore investis), XLII d’Ocean Builders (des structures flottantes qui se veulent des villes libres et qui tournèrent au fiasco, ses promoteurs regagnant bien vite la protection de leur pays d’origine pour éviter la prison : la citoyenneté occidentale a encore bien des atouts !) ou encore Prospera au Honduras (l’enclave libertarienne a fini par être déclarée anticonstitutionnelle). Ces tentatives de néoconquistadors se sont surtout soldées par des échecs. Elles montrent surtout que ces gens n’ont pas dépassé le stade du colonialisme. Ils rêvent de bunkers, de  communautés fermées. Derrière Starbase, la ville dont le maire est un PDG, se profile le vieux rêve de Sun City, la ville censitaire pour riches vieillards. Au mieux, ces citoyennetés se terminent en hôtels de luxe pour digital nomads. La sécession est bien loin. La citoyenneté ne nécessite plus d’impôts, seulement un abonnement. A se demander ce que cela change ?! Hormis mieux exclure ceux qui ne peuvent se le payer. Nastasia Hadjadji et Olivier Tesquet ont bien raison de pointer que cette pensée magique et facile est « saturée d’angles morts ». Que signifie le monde censitaire qu’ils dessinent, hormis une puissance et des droits selon le niveau de fortune ? Ce que les gens doivent comprendre, c’est que dans un tel monde, les droits des milliardaires seraient sans commune mesure par rapport aux droits des millionnaires… Même la police, censée encore assurer l’ordre (bien qu’on pourrait la remplacer par des robots) serait ici une sous-classe sans droits. Le monde qu’ils proposent n’est pas fonctionnel.  

La grande tâche des libertariens n’est pourtant pas tant d’échapper à la politique que d’imposer la leur par la force. D’imposer une impunité à leur profit que leur seule richesse ne leur accorde pas. Leur seule volonté est de précipiter la chute du système démocratique. Ceux qui détestent la démocratie ne cessent de continuer à trouver tous les moyens pour nous en convaincre, dans le seul but qu’on leur rende le pouvoir, nous disait déjà le philosophe Jacques Rancière.

Ce à quoi le livre ne répond pas c’est pourquoi les gens sont si séduits par ces discours. La simplicité, certes. Le fait de trouver des boucs-émissaires certes. Quelque chose d’autre fascine me semble-t-il. Le désir d’autorité d’abord, quand bien même chacun est capable de se rendre compte que s’il désire la restauration de la sienne à l’égard des autres, nul ne supporte celle des autres – et surtout pas ceux qui n’ont que ce mot là à la bouche.  

La croyance que chacun peut devenir l’un de ceux-ci, ensuite. Oubliant qu’en fait, c’est absolument impossible… L’essor des technologies numériques a fait croire que chacun pouvait devenir milliardaire depuis son garage. Cela a peut-être été le cas de quelques-uns. Mais c’est devenu une illusion de le croire encore à l’heure où les investissements dans la tech sont devenus faramineux. La Tech a été le dernier bastion du rêve d’enrichissement “généralisé et illimité”, explique l’économiste Arnaud Orain, qui publie Le Monde confisqué. Essai sur le capitalisme de la finitude (XVI^e-XXI^e siècle) (Flammarion, 2025). A l’heure du capitalisme de la finitude, le rêve de puissance et de richesse reste entier pour beaucoup, oubliant que l’abondance est derrière nous, et que la solidarité et la justice nous proposent des vies bien plus fécondes que le seul argent. 

Hubert Guillaud

Aux Etats-Unis, cela fait plus de vingt ans que la Transportation Security Administration a commencé à contrôler les chaussures des passagers de l’aviation, en leur demandant de les enlever lors du contrôle de sécurité, après qu’un homme ait tenté, sans succès, de faire exploser ses baskets sur un vol à destination de Miami en décembre 2001. Cette politique particulièrement détestée par les voyageurs aura donc tenu plus de 20 ans, s’énerve Ian Bogost dans The Atlantic, rappelant que dès son introduction, elle a été mainte fois dénoncée comme l’exemple même du « théâtre de la sécurité » – terme sous lequel Bruce Schneier dénonçait des mesures de sécurité qui permettent aux gens de se sentir en sécurité, sans qu’elles ne fassent concrètement quelque chose pour les protéger. Pour lui, le contrôle des chaussures permettait de montrer que l’on prenait des mesures, visibles, même si elles n’étaient ni adaptées ni proportionnelles, alors que les mesures de sécurité efficaces, elles, sont bien souvent invisibles et peu démonstratives. 

Adopté au principe d’une prudence excessive, l’obligation de quitter ses chaussures disparaît dans une relative indifférence. En plus de 20 ans pourtant, aucun procédé technique n’est venu améliorer le problème de la détection des chaussures, ironise Bogost. Certains pourtant échappaient à devoir se déchausser. Les voyageurs enregistrés sur les programmes VIP lancés depuis 2013, leur permettant de se préenregistrer et de payer pour éviter ces désagréments (voir, « la biométrie comme fonctionnalité »).

Reste que la fin de cette politique n’a été justifiée par aucune avancée technologique, aucune amélioration du renseignement… « De toute évidence, la règle sur les chaussures n’a pas été abrogée simplement parce que cela semblait logique. Au contraire, ce changement a été opéré parce que la discipline, endurcie par la terreur, du début du millénaire a finalement été totalement remplacée par le nihilisme. De nos jours, vous embarquez dans un avion qui pourrait être en état de voler, ou non, réglementé par une Administration fédérale de l’aviation réduite à peau de chagrin, et dirigé par un système de contrôle aérien miné par la négligence et le mépris ». Ce qui semblait essentiel durant 20 ans au point de contraindre des millions de voyageurs, est devenu, du jour au lendemain, sans raison, quelque chose dont plus personne ne se soucie.

La surveillance sociale par des systèmes automatisés au Royaume-Uni ne semble pas mieux fonctionner qu’en France. C’est ce que pointe un rapport d’Amnesty intitulé « Trop de technologie, pas assez d’empathie » qui met en cause « le déploiement incontrôlé des technologies par le ministère du Travail et des Pensions » britannique. Là bas aussi, la logique austéritaire conduit à développer des technologies problématiques. Le système dénonce la mise en place d’un système social de plus en plus intrusif à l’égard des plus démunis. Amnesty réclame que les autorités britanniques procèdent à un audit indépendant et impartial du système de sécurité sociale et des systèmes numériques utilisés par le ministère du Travail et des Pensions, et supprime tout système qui ne respecte pas les droits ou défavorise certains profils de bénéficiaires. Les systèmes numériques doivent être transparents, compréhensibles et jamais obligatoires, rappelle l’association de défense des droits et des libertés. Le rapport souligne encore que le ministère a lancé une expérimentation de surveillance des comptes bancaires des bénéficiaires de l’aide sociale, soit 713 000 comptes en provenance de deux grandes banques britanniques. 60 000 comptes montraient que les bénéficiaires avaient trop d’argent sur leur compte – mais sans souligner que 50% de ces comptes étaient des comptes joints.

L’association britannique Big Brother Watch, équivalent de la Quadrature du Net, a également publié un rapport sur le sujet et parle de « suspicion par conception ». Le rapport dénonce le « pouvoir d’espionnage bancaire massif » mis en place, obligeant les banques à vérifier les comptes des bénéficiaires de l’aide sociale à la recherche de trop perçus et à faire le travail des services publics (Big Brother Watch avait d’ailleurs mené campagne contre l’accès des services sociaux aux comptes bancaires à des fins de lutte contre la fraude par le ministère des pensions, et avait recueilli quelque 200 000 signatures). Le rapport dénonce « une architecture de suspicion monstrueuse » qui se construit au cœur du système de protection sociale britannique et souligne que le ministère est devenu bien moins transparent depuis qu’il déploie ces outils. Parmi les recommandations de l’association, celle-ci estime que le ministère doit définir des mesures de performance de ses outils qui ne soient pas seulement des niveaux d’automatisation et publier des études d’impact et d’équité.

Du 19 au 21 septembre, le Disruption Network Lab organise 3 jours de conférences et d’ateliers sur les technoviolences à Berlin, qui sera également accessible en streaming gratuitement (programme). 

Le dernier numéro du Chiffon, le journal de Paname et sa banlieue a pour thème « Transition partout, écologie nulle part ». Comme souvent le journal indépendant et technocritique propose nombre de reportages sur les enjeux des déploiements technologiques en Ile-de-France. Dans le numéro de l’automne, on peut y lire un retour sur le sabotage des bornes biométriques en 2005 mises en place pour accéder à la cantine d’une lycée de Gif-sur-Yvette, une critique de l’utilisation du terme transition en Ile-de-France dressant un historique de son emploi depuis plus de 25 ans par les acteurs publics, sans que ce discours n’ait produit grand effet. Une analyse radicale sur Newcleo, la startup qui veut installer une usine de fabrication de combustible nucléaire. Un passionnant reportage sur l’implantation de data centers en Ile-de-France et la difficulté à organiser l’opposition (ainsi qu’une carte de déploiement des projets), une enquête sur Agoralim, ce deuxième Rungis ou un débunkage du storytelling de la transformation de la raffinerie de Grandpuits en bioraffinerie… 

Parmi tous ces reportages passionnants, Le Chiffon en signe un sur Op@le, le logiciel de gestion financière des collèges et lycées lancé en 2021 que nous n’avions peu vu abordé jusqu’alors (voir ce reportage de France 3 et cet article du Monde). Ce système, conçu par Capgemini, aurait déjà coûté près de 100 millions d’euros à l’Education nationale. Problème : quand il était possible de faire 70 facturations en une demi-journée avec l’ancien logiciel, le nouveau permet péniblement d’en traiter une douzaine. En cause, une ergonomie catastrophique mais qui a des conséquences directes : impossibles de facturer de la veille au lendemain, complexité qui conduit à limiter les projets scolaires, problèmes pour contrôler le versement des bourses aux bons élèves, voir le paiement des stages…

Des problèmes signalés dès le début du déploiement mais qui ne semblent pas avoir été pris en compte. Dès 2018 pourtant, la Dinum avait produit une alerte sur la charge que le logiciel imposait aux gestionnaires comptables des établissements qui doivent être lourdement formés pour l’utiliser. La complexité conduit à ce que les comptables et les personnels administratifs s’y spécialisent et soient contraints de gérer plusieurs établissements au détriment des liens avec les établissements et leurs équipes. Les syndicats de la branche administration et comptabilité de l’éducation nationale se mobilisent début 2024 avec une pétition qui a rassemblé plus de 7000 signataires. Un rapport parlementaire de 2024 sur les personnels administratifs de l’éducation nationale explique que le logiciel « durcit l’application des règles de gestion budgétaire et comptable ». La généralisation d’Op@le est repoussée à 2027 et le ministère de l’Education assurait très récemment dans une réponse à une question parlementaire, que tout était sous contrôle. 

En attendant, les gestionnaires d’établissements parlent, eux, de logiciel fou… qui a des conséquences directes sur leur santé, mais aussi sur les possibilités que peuvent mobiliser les établissements. Si les sorties scolaires sont moins nombreuses, ce n’est pas seulement parce que les lignes budgétaires se réduisent, c’est peut-être aussi parce qu’elles se sont perdues dans Op@le.

Bref, lisez le Chiffon !

Dans The Atlantic, Chris Colin raconte le moment où il a eu un problème avec l’électronique de sa Ford. La direction se bloque, plus possible de ne rien faire. Son garagiste reboot le système sans chercher plus loin. Inquiet que le problème puisse se reproduire, Colin fait plusieurs garagistes, contacte Ford. On promet de le rappeler. Rien. A force de volonté, il finit par avoir un responsable qui lui explique qu’à moins que « le dysfonctionnement du véhicule puisse être reproduit et ainsi identifié, la garantie ne s’applique pas ». Colin multiplie les appels, au constructeur, à son assureur… Tout le monde lui dit de reprendre le volant. Lui persévère. Mais ses appels et mails sont renvoyés jusqu’à ne jamais aboutir. Il n’est pas le seul à qui ce genre de démêlés arrive. Une connaissance lui raconte le même phénomène avec une compagnie aérienne contre laquelle elle se débat pour tenter de se faire rembourser un voyage annulé lors du Covid. D’autres racontent des histoires kafkaïennes avec Verizon, Sonos, Airbnb, le Fisc américain… « Pris séparément, ces tracas étaient des anecdotes amusantes. Ensemble, elles suggèrent autre chose ». 

Quelque soit le service, partout, le service client semble être passé aux abonnées absents. Le temps où les services clients remboursaient ou échangaient un produit sans demander le moindre justificatif semble lointain. En 2023, l’enquête nationale sur la colère des consommateurs américains avait tous ses chiffres au rouge. 74% des clients interrogés dans ce sondage ont déclaré avoir rencontré un problème avec un produit ou un service au cours de l’année écoulée, soit plus du double par rapport à 1976. Face à ces difficultés, les clients sont de plus en plus agressifs et en colère. L’incivilité des clients est certainement la réponse à des services de réclamation en mode dégradés quand ils ne sont pas aux abonnés absents.  

Dégradation du service client : le numérique est-il responsable ?

Dans leur best-seller Nudge, paru en 2008, le juriste Cass Sunstein et l’économiste Richard Thaler ont mobilisé des recherches en sciences du comportement pour montrer comment de petits ajustements pouvaient nous aider à faire de meilleurs choix, définissant de nouvelles formes d’intervention pour accompagner des politiques pro-sociales (voir l’article que nous consacrions au sujet, il y a 15 ans). Dans leur livre, ils évoquaient également l’envers du nudge, le sludge : des modalités de conception qui empêchent et entravent les actions et les décisions. Le sludge englobe une gamme de frictions telles que des formulaires complexes, des frais cachés et des valeurs par défaut manipulatrices qui augmentent l’effort, le temps ou le coût requis pour faire un choix, profitant souvent au concepteur au détriment de l’intérêt de l’utilisateur. Cass Sunstein a d’ailleurs fini par écrire un livre sur le sujet en 2021 : Sludge. Il y évoque des exigences administratives tortueuses, des temps d’attente interminables, des complications procédurales excessives, voire des impossibilités à faire réclamation qui nous entravent, qui nous empêchent… Des modalités qui ne sont pas sans faire écho à l’emmerdification que le numérique produit, que dénonce Cory Doctorow. Ou encore à l’âge du cynisme qu’évoquaient Tim O’Reilly, Illan Strauss et Mariana Mazzucato en expliquant que les plateformes se focalisent désormais sur le service aux annonceurs plus que sur la qualité de l’expérience utilisateur… Cette boucle de prédation qu’est devenu le marketing numérique.  

L’une des grandes questions que posent ces empêchements consiste d’ailleurs à savoir si le numérique les accélère, les facilite, les renforce. 

Le sludge a suscité des travaux, rappelle Chris Colin. Certains ont montré qu’il conduit des gens à renoncer à des prestations essentielles. « Les gens finissent par payer ce contre quoi ils n’arrivent pas à se battre, faute d’espace pour contester ou faire entendre leur problème ». En l’absence de possibilité de discussion ou de contestation, vous n’avez pas d’autre choix que de vous conformer à ce qui vous est demandé. Dans l’application que vous utilisez pour rendre votre voiture de location par exemple, vous ne pouvez pas contester les frais que le scanneur d’inspection automatisé du véhicule vous impute automatiquement. Vous n’avez pas d’autre choix que de payer. Dans d’innombrables autres, vous n’avez aucune modalité de contact. C’est le fameux no-reply, cette communication sans relation que dénonçait Thierry Libaert pour la fondation Jean Jaurès – qui n’est d’ailleurs pas propre aux services publics. En 2023, Propublica avait montré comment l’assureur américain Cigna avait économisé des millions de dollars en rejetant des demandes de remboursement sans même les faire examiner par des médecins, en pariant sur le fait que peu de clients feraient appels. Même chose chez l’assureur santé américain NaviHealth qui excluait les clients dont les soins coûtaient trop cher, en tablant sur le fait que beaucoup ne feraient pas appels de la décision, intimidés par la demande – alors que l’entreprise savait que 90 % des refus de prise en charge sont annulés en appel. Les refus d’indemnisation, justifiés ou non, alimentent la colère que provoquent déjà les refus de communication. La branche financement de Toyota aux Etats-Unis a été condamnée pour avoir bloqué des remboursements et mis en place, délibérément, une ligne d’assistance téléphonique « sans issue » pour l’annulation de produits et services. Autant de pratiques difficiles à prouver pour les usagers, qui se retrouvent souvent très isolés quand leurs réclamations n’aboutissent pas. Mais qui disent que la pratique du refus voire du silence est devenue est devenue une technique pour générer du profit. 

Réduire le coût des services clients

En fait, expliquaient déjà en 2019 les chercheurs Anthony Dukes et Yi Zhu dans la Harvard Business Review : si les services clients sont si mauvais, c’est parce qu’en l’étant, ils sont profitables ! C’est notamment le cas quand les entreprises détiennent une part de marché importante et que leurs clients n’ont pas de recours. Les entreprises les plus détestées sont souvent rentables (et, si l’on en croit un classement américain de 2023, beaucoup d’entre elles sont des entreprises du numérique, et plus seulement des câblo-opérateurs, des opérateurs télécom, des banques ou des compagnies aériennes). Or, expliquent les chercheurs, « certaines entreprises trouvent rentable de créer des difficultés aux clients qui se plaignent ». En multipliant les obstacles, les entreprises peuvent ainsi limiter les plaintes et les indemnisations. Les deux chercheurs ont montré que cela est beaucoup lié à la manière dont sont organisés les centres d’appels que les clients doivent contacter, notamment le fait que les agents qui prennent les appels aient des possibilités de réparation limitées (ils ne peuvent pas rembourser un produit par exemple). Les clients insistants sont renvoyés à d’autres démarches, souvent complexes. Pour Stéphanie Thum, une autre méthode consiste à dissimuler les possibilités de recours ou les noyer sous des démarches complexes et un jargon juridique. Dukes et Zhu constatent pourtant que limiter les coûts de réclamation explique bien souvent le fait que les entreprises aient recours à des centres d’appels externalisés. C’est la piste qu’explore d’ailleurs Chris Colin, qui rappelle que l’invention du distributeur automatique d’appels, au milieu du XXe siècle a permis d’industrialiser le service client. Puis, ces coûteux services ont été peu à peu externalisés et délocalisés pour en réduire les coûts. Or, le principe d’un centre d’appel n’est pas tant de servir les clients que de « les écraser », afin que les conseillers au téléphone passent le moins de temps possible avec chacun d’eux pour répondre au plus de clients possibles. 

C’est ce que raconte le livre auto-édité d’Amas Tenumah, Waiting for Service: An Insider’s Account of Why Customer Service Is Broken + Tips to Avoid Bad Service (En attente de service : témoignage d’un initié sur les raisons pour lesquelles le service client est défaillant + conseils pour éviter un mauvais service, 2021). Amas Tenumah (blog, podcast), qui se présente comme « évangéliste du service client », explique qu’aucune entreprise ne dit qu’elle souhaite offrir un mauvais service client. Mais toutes ont des budgets dédiés pour traiter les réclamations et ces budgets ont plus tendance à se réduire qu’à augmenter, ce qui a des conséquences directes sur les remboursements, les remises et les traitements des plaintes des clients. Ces objectifs de réductions des remboursements sont directement transmis et traduits opérationnellement auprès des agents des centres d’appels sous forme d’objectifs et de propositions commerciales. Les call centers sont d’abord perçus comme des centres de coûts pour ceux qui les opèrent, et c’est encore plus vrai quand ils sont externalisés. 

Le service client vise plus à nous apaiser qu’à nous satisfaire

Longtemps, la mesure de la satisfaction des clients était une mesure sacrée, à l’image du Net Promoter Score imaginé au début 2000 par un consultant américain qui va permettre de généraliser les systèmes de mesure de satisfaction (qui, malgré son manque de scientificité et ses innombrables lacunes, est devenu un indicateur clé de performance, totalement dévitalisé). « Les PDG ont longtemps considéré la fidélité des clients comme essentielle à la réussite d’une entreprise », rappelle Colin. Mais, si tout le monde continue de valoriser le service client, la croissance du chiffre d’affaires a partout détrôné la satisfaction. Les usagers eux-mêmes ont lâché l’affaire. « Nous sommes devenus collectivement plus réticents à punir les entreprises avec lesquelles nous faisons affaire », déclare Amas Tenumah : les clients les plus insatisfaits reviennent à peine moins souvent que les clients les plus satisfaits. Il suffit d’un coupon de réduction de 20% pour faire revenir les clients. Les clients sont devenus paresseux, à moins qu’ils n’aient plus vraiment le choix face au déploiement de monopoles effectifs. Les entreprises ont finalement compris qu’elles étaient libres de nous traiter comme elles le souhaitent, conclut Colin. « Nous sommes entrés dans une relation abusive ». Dans son livre, Tenumah rappelle que les services clients visent bien plus « à vous apaiser qu’à vous satisfaire »… puisqu’ils s’adressent aux clients qui ont déjà payé ! Il est souvent le premier département où une entreprise va chercher à réduire les coûts. 

Dans nombre de secteurs, la fidélité est d’ailleurs assez mal récompensée : les opérateurs réservent leurs meilleurs prix et avantages aux nouveaux clients et ne proposent aux plus fidèles que de payer plus pour de nouvelles offres. Une opératrice de centre d’appel, rappelle que les mots y sont importants, et que les opérateurs sont formés pour éluder les réclamations, les minorer, proposer la remise la moins disante… Une autre que le fait de tomber chaque fois sur une nouvelle opératrice qui oblige à tout réexpliquer et un moyen pour pousser les gens à l’abandon. 

La complexité administrative : un excellent outil pour invisibiliser des objectifs impopulaires

Dans son livre, Sunstein explique que le Sludge donne aux gens le sentiment qu’ils ne comptent pas, que leur vie ne compte pas. Pour la sociologue Pamela Herd et le politologue Donald Moynihan, coauteurs de Administrative Burden: Policymaking by Other Means (Russel Sage Foundation, 2019), le fardeau administratif comme la paperasserie complexe, les procédures confuses entravent activement l’accès aux services gouvernementaux. Plutôt que de simples inefficacités, affirment les auteurs, nombre de ces obstacles sont des outils politiques délibérés qui découragent la participation à des programmes comme Medicaid, empêchent les gens de voter et limitent l’accès à l’aide sociale. Et bien sûr, cette désorganisation volontaire touche de manière disproportionnée les gens les plus marginalisés. « L’un des effets les plus insidieux du sludge est qu’il érode une confiance toujours plus faible dans les institutions », explique la sociologue. « Une fois ce scepticisme installé, il n’est pas difficile pour quelqu’un comme Elon Musk de sabrer le gouvernement sous couvert d’efficacité »… alors que les coupes drastiques vont surtout compliquer la vie de ceux qui ont besoin d’aide. Mais surtout, comme l’expliquaient les deux auteurs dans une récente tribune pour le New York Times, les réformes d’accès, désormais, ne sont plus lisibles, volontairement. Les coupes que les Républicains envisagent pour l’attribution de Medicaid ne sont pas transparentes, elles ne portent plus sur des modifications d’éligibilité ou des réductions claires, que les électeurs comprennent facilement. Les coupes sont désormais opaques et reposent sur une complexité administrative renouvelée. Alors que les Démocrates avaient œuvré contre les lourdeurs administratives, les Républicains estiment qu’elles constituent un excellent outil politique pour atteindre des objectifs politiques impopulaires. 

Augmenter le fardeau administratif devient une politique, comme de pousser les gens à renouveler leur demande 2 fois par an plutôt qu’une fois par an. L’enjeu consiste aussi à développer des barrières, comme des charges ou un ticket modérateur, même modique, qui permet d’éloigner ceux qui ont le plus besoin de soins et ne peuvent les payer. Les Républicains du Congrès souhaitent inciter les États à alourdir encore davantage les formalités administratives. Ils prévoient d’alourdir ainsi les sanctions pour les États qui commettent des erreurs d’inscription, ce qui va les encourager à exiger des justificatifs excessifs – alors que là bas aussi, l’essentiel de la fraude est le fait des assureurs privés et des prestataires de soins plutôt que des personnes éligibles aux soins. Les Républicains affirment que ces contraintes servent des objectifs politiques vertueux, comme la réduction de la fraude et de la dépendance à l’aide sociale. Mais en vérité, « la volonté de rendre l’assurance maladie publique moins accessible n’est pas motivée par des préoccupations concernant l’intérêt général. Au contraire, les plus vulnérables verront leur situation empirer, tout cela pour financer une baisse d’impôts qui profite principalement aux riches ». 

Dans un article pour The Atlantic de 2021, Annie Lowrey évoquait le concept de Kludgeocracrie du politologue Steven Teles, pour parler de la façon dont étaient bricolés les programmes de prestations en faisant reposer sur les usagers les lourdeurs administratives. Le but, bien souvent, est que les prestations sociales ne soient pas faciles à comprendre et à recevoir. « Le gouvernement rationne les services publics par des frictions bureaucratiques déroutantes et injustes. Et lorsque les gens ne reçoivent pas l’aide qui leur est destinée, eh bien, c’est leur faute ». « C’est un filtre régressif qui sape toutes les politiques progressistes que nous avons ». Ces politiques produisent leurs propres économies. Si elles alourdissent le travail des administrations chargées de contrôler les prestations, elles diminuent mécaniquement le volume des prestations fournies. 

Le mille-feuille de l’organisation des services publics n’explique pas à lui seul la raison de ces complexités. Dans un livre dédié au sujet (The Submerged State: How Invisible Government Policies Undermine American Democracy, University of Chicago Press, 2011), la politologue Suzanne Mettler soulignait d’ailleurs, que les programmes destinés aux plus riches et aux entreprises sont généralement plus faciles à obtenir, automatiques et garantis. « Il n’est pas nécessaire de se prosterner devant un conseiller social pour bénéficier des avantages d’un plan d’épargne-études. Il n’est pas nécessaire d’uriner dans un gobelet pour obtenir une déduction fiscale pour votre maison, votre bateau ou votre avion…». « Tant et si bien que de nombreuses personnes à revenus élevés, contrairement aux personnes pauvres, ne se rendent même pas compte qu’elles bénéficient de programmes gouvernementaux ». Les 200 milliards d’aides publiques aux entreprises en France, distribués sans grand contrôle, contrastent d’une manière saisissante avec la chasse à la fraude des plus pauvres, bardés de contrôles. Selon que vous êtes riches ou pauvres, les lourdeurs administratives ne sont pas distribuées équitablement. Mais toutes visent d’abord à rendre l’État dysfonctionnel. 

L’article d’Annie Lowrey continue en soulignant bien sûr qu’une meilleure conception et que la simplification sont à portée de main et que certaines agences américaines s’y sont attelé et que cela a porté ses fruits. Mais, le problème n’est plus celui-là me semble-t-il. Voilà longtemps que les effets de la simplification sont démontrés, cela n’empêche pas, bien souvent, ni des reculs, ni une fausse simplification. Le contrôle reste encore largement la norme, même si partout on constate qu’il produit peu d’effets (comme le montraient les sociologues Claire Vivès, Luc Sigalo Santos, Jean-Marie Pillon, Vincent Dubois et Hadrien Clouet, dans leur livre sur le contrôle du chômage, Chômeurs, vos papiers ! – voir notre recension). Il est toujours plus fort sur les plus démunis que sur les plus riches et la tendance ne s’inverse pas, malgré les démonstrations. 

Et le déferlement de l’IA pour le marketing risque de continuer à dégrader les choses. Pour Tenumah, l’arrivée de services clients gérés par l’IA vont leur permettre peut-être de coûter moins cher aux entreprises, mais ils ne vont répondre à aucune attente. 

La résistance au Sludge s’organise bien sûr. Des réglementations, comme la règle « cliquez pour annuler » que promeut la FTC américaine, vise à éliminer les obstacles à la résiliation des abonnements. L’OCDE a développé, elle, une internationale Sludge Academy pour développer des méthodes d’audits de ce type de problème, à l’image de la méthodologie développée par l’unité comportemementale du gouvernement australien. Mais la régulation des lacunes des services clients est encore difficile à mettre en œuvre. 

Le cabinet Gartner a prédit que d’ici 2028, l’Europe inscrira dans sa législation le droit à parler à un être humain. Les entreprises s’y préparent d’ailleurs, puisqu’elles estiment qu’avec l’IA, ses employés seront capables de répondre à toutes les demandes clients. Mais cela ne signifie pas qu’elles vont améliorer leur relation commerciale. On l’a vu, il suffit que les solutions ne soient pas accessibles aux opérateurs des centres d’appels, que les recours ne soient pas dans la liste de ceux qu’ils peuvent proposer, pour que les problèmes ne se résolvent pas. Faudra-t-il aller plus loin ? Demander que tous les services aient des services de médiation ? Que les budgets de services clients soient proportionnels au chiffre d’affaires ? 

Avec ses amis, Chris Colin organise désormais des soirées administratives, où les gens se réunissent pour faire leurs démarches ensemble afin de s’encourager à les faire. L’idée est de socialiser ces moments peu intéressants pour s’entraider à les accomplir et à ne pas lâcher l’affaire. 

Après plusieurs mois de discussions, Ford a fini par proposer à Chris de racheter sa voiture pour une somme équitable. 

Dégradation du service client ? La standardisation en question

Pour autant, l’article de The Atlantic ne répond pas pleinement à la question de savoir si le numérique aggrave le Sludge. Les pratiques léontines des entreprises ne sont pas nouvelles. Mais le numérique les attise-t-elle ? 

« Après avoir progressé régulièrement pendant deux décennies, l’indice américain de satisfaction client (ACSI), baromètre du contentement, a commencé à décliner en 2018. Bien qu’il ait légèrement progressé par rapport à son point bas pendant la pandémie, il a perdu tous les gains réalisés depuis 2006 », rappelle The Economist. Si la concentration et le développement de monopoles explique en partie la dégradation, l’autre raison tient au développement de la technologie, notamment via le développement de chatbots, ces dernières années. Mais l’article finit par reprendre le discours consensuel pour expliquer que l’IA pourrait améliorer la relation, alors qu’elle risque surtout d’augmenter les services clients automatisés, allez comprendre. Même constat pour Claer Barrett, responsable de la rubrique consommateur au Financial Times. L’envahissement des chatbots a profondément dégradé le service client en empêchant les usagers d’accéder à ce qu’ils souhaitent : un humain capable de leur fournir les réponses qu’ils attendent. L’Institute of Customer Service (ICS), un organisme professionnel indépendant qui milite pour une amélioration des normes de la satisfaction client, constate néanmoins que celle-ci est au plus bas depuis 9 ans dans tous les secteurs de l’économie britannique. En fait, les chatbots ne sont pas le seul problème : même joindre un opérateur humain vous enferme également dans le même type de scripts que ceux qui alimentent les chatbots, puisque les uns comme les autres ne peuvent proposer que les solutions validées par l’entreprise. Le problème repose bien plus sur la normalisation et la standardisation de la relation qu’autre chose. 

« Les statistiques des plaintes des clients sont très faciles à manipuler », explique Martyn James, expert en droits des consommateurs. Vous pourriez penser que vous êtes en train de vous plaindre au téléphone, dit-il, mais si vous n’indiquez pas clairement que vous souhaitez déposer une plainte officielle, celle-ci risque de ne pas être comptabilisée comme telle. Et les scripts que suivent les opérateurs et les chatbots ne proposent pas aux clients de déposer plainte… Pourquoi ? Légalement, les entreprises sont tenues de répondre aux plaintes officielles dans un délai déterminé. Mais si votre plainte n’est pas officiellement enregistrée comme telle, elles peuvent traîner les pieds. Si votre plainte n’est pas officiellement enregistrée, elle n’est qu’une réclamation qui se perd dans l’historique client, régulièrement vidé. Les consommateurs lui confient que, trop souvent, les centres d’appels n’ont aucune trace de leur réclamation initiale. 

Quant à trouver la page de contact ou du service client, il faut la plupart du temps cinq à dix clics pour s’en approcher ! Et la plupart du temps, vous n’avez accès qu’à un chat ou une ligne téléphonique automatisée. Pour Martyn James, tous les secteurs ont réduit leur capacité à envoyer des mails autres que marketing et la plupart n’acceptent pas les réponses. Et ce alors que ces dernières années, de nombreuses chaînes de magasins se sont transformées en centres de traitement des commandes en ligne, sans investir dans un service client pour les clients distants. 

« Notre temps ne leur coûte rien »

« Notre temps ne leur coûte rien », rappelle l’expert. Ce qui explique que nous soyons contraints d’épuiser le processus automatisé et de nous battre obstinément pour parler à un opérateur humain qui fera son maximum pour ne pas enregistrer l’interaction comme une plainte du fait des objectifs qu’il doit atteindre. Une fois les recours épuisés, reste la possibilité de saisir d’autres instances, mais cela demande de nouvelles démarches, de nouvelles compétences comme de savoir qu’un médiateur peut exister, voire porter plainte en justice… Autant de démarches qui ne sont pas si accessibles. 

Les défenseurs des consommateurs souhaitent que les régulateurs puissent infliger des amendes beaucoup plus lourdes aux plus grands contrevenants des services clients déficients. Mais depuis quels critères ? 

Investir dans un meilleur service client a clairement un coût. Mais traiter les plaintes de manière aussi inefficace en a tout autant. Tous secteurs confondus, le coût mensuel pour les entreprises britanniques du temps consacré par leurs employés à la gestion des problèmes clients s’élève à 8 milliards d’euros, selon l’ICS. Si les entreprises commençaient à mesurer cet impact de cette manière, cela renforcerait-il l’argument commercial en faveur d’un meilleur service ?, interroge Claer Barrett. 

Au Royaume-Uni, c’est le traitement des réclamations financières qui offre le meilleur service client, explique-t-elle, parce que la réglementation y est beaucoup plus stricte. A croire que c’est ce qui manque partout ailleurs. Pourtant, même dans le secteur bancaire, le volume de plaintes reste élevé. Le Financial Ombudsman Service du Royaume-Uni prévoit de recevoir plus de 181 000 plaintes de consommateurs au cours du prochain exercice, soit environ 10 % de plus qu’en 2022-2023. Les principales plaintes à l’encontre des banques portent sur l’augmentation des taux d’intérêts sur les cartes de crédits et la débancarisation (voir notre article). Une autre part importante des plaintes concerne les dossiers de financement automobiles, et porte sur des litiges d’évaluation de dommages et des retards de paiements. 

Pourtant, selon l’ICS, le retour sur investissement d’un bon service client reste fort. « D’après les données collectées entre 2017 et 2023, les entreprises dont le score de satisfaction client était supérieur d’au moins un point à la moyenne de leur secteur ont enregistré une croissance moyenne de leur chiffre d’affaires de 7,4 % ». Mais, celles dont le score de satisfaction est inférieur d’un point à la moyenne, ont enregistré également une croissance de celui-ci du niveau de la moyenne du secteur. La différence n’est peut-être pas suffisamment sensible pour faire la différence. Dans un monde en ligne, où le client ne cesse de s’éloigner des personnels, la nécessité de créer des liens avec eux devrait être plus importante que jamais. Mais, l’inflation élevée de ces dernières années porte toute l’attention sur le prix… et ce même si les clients ne cessent de déclarer qu’ils sont prêts à payer plus cher pour un meilleur service. 

La morosité du service client est assurément à l’image de la morosité économique ambiante.

Hubert Guillaud 

Thomas Gerbaud a eu la bonne idée de tenter de résumer et synthétiser l’article fleuve d’Ed Zitron, AI is money trap, paru cet été. Cet article interroge la question de la rentabilité des entreprises et startups de l’IA et montre que leur consommation d’investissements est encore plus délirante que leur consommation de ressources énergétiques. 

« Pour faire un lien avec la crise des subprimes de 2008, on peut dire que la Silicon Valley est en crise : au lieu de maisons trop chères, les investisseurs ont mis de l’argent dans des startups non rentables avec des valorisations qu’ils ne pourront jamais vendre, et ils sont probablement déjà en pertes sans s’en rendre compte.

Puisque personne ne les achète, les startups d’IA générative doivent lever des fonds à des valorisations toujours plus élevées pour couvrir leurs coûts, réduisant ainsi leurs chances de survie. Contrairement à la crise immobilière, où la valeur des biens a fini par remonter grâce à la demande, le secteur du GenAI dépend d’un nombre limité d’investisseurs et de capital, et sa valeur ne tient qu’aux attentes et au sentiment autour du secteur.

Certaines sociétés peuvent justifier de brûler du capital (en millions ou milliards), comme Uber ou AWS. Mais elles avaient un lien avec le monde réel, physique. Facebook est une exception, mais elle n’a jamais été un gouffre à cash comme le sont les acteurs du GenAI.

Ces startups sont les subprimes des investisseurs : valorisations gonflées, aucune sortie claire et aucun acheteur évident. Leur stratégie consiste à se transformer en vitrines, et à présenter leurs fondateurs comme des génies mystérieux. Jusqu’ici, le seul mécanisme de liquidité réel de la GenAI est de vendre des talents aux BigTechs et à prix fort. »

Sous quelque angle qu’on l’a regarde, l’IA générative n’est pas rentable. « Cette industrie entière perd massivement de l’argent ». Leurs dépenses d’investissements, notamment en data centers et en puces, sont colossales, « malgré les revenus limités du secteur ». Le risque est que les investissements des Big Tech engloutissent l’économie. 

« L’IA générative est un fantasme créé par les BigTechs.

Cette bulle est destructrice. Elle privilégie le gaspillage de milliards et les mensonges, plutôt que la création de valeur. Les médias sont complices, car ils ne peuvent pas être aveugles à ce point. Le capital-risque continue de surfinancer les startups en espérant les revendre ou les faire entrer en bourse, gonflant les valorisations au point que la plupart des entreprises du secteur ne peuvent espérer de sortie : leurs modèles d’affaires sont mauvais et elles n’ont quasiment aucune propriété intellectuelle propre. OpenAI et Anthropic concentrent toute la valeur. »

« L’industrie de la GenAI est artificielle : elle génère peu de revenus, ses coûts sont énormes et son fonctionnement nécessite une infrastructure physique si massive que seules les BigTechs peuvent se l’offrir. La concurrence est limitée.

Les marchés sont aveuglés par la croissance à tout prix. Ils confondent l’expansion des BigTechs avec une vraie croissance économique. Cette croissance repose presque entièrement sur les caprices de quatre entreprises, ce qui est vraiment inquiétant. »

Pour l’investisseur Paul Kedrosky cité par le Wall Street Journal : 

« Nous vivons un moment historiquement exceptionnel. Peu importe ce que l’on pense des mérites de l’IA ou de l’expansion explosive des centres de données, l’ampleur et la rapidité du déploiement de capitaux dans une technologie qui se déprécie rapidement sont remarquables. Ce ne sont pas des chemins de fer ; nous ne construisons pas des infrastructures pour un siècle. Les data centers pour la GenAI sont des installations à durée de vie courte et à forte intensité d’actifs, reposant sur des technologies dont les coûts diminuent et nécessitant un remplacement fréquent du matériel pour préserver les marges. »

Pour Zitron, la récession économique se profile. « Il n’a aucune raison de célébrer une industrie sans plans de sortie et avec des dépenses en capital qui, si elles restent inutiles, semblent être l’une des rares choses maintenant la croissance de l’économie américaine. »

Le design a toujours été en concurrence avec l’IA, explique la designer Nolwenn Maudet dans un article pour l’Institut des cultures en réseau. « Après deux décennies de riches développements dans le design d’interaction, notamment portés par la conception des interactions tactiles nécessaires aux smartphones, la tendance s’est inversée. Le retour en grâce de l’IA a coïncidé, au cours de la dernière décennie, avec la standardisation et l’appauvrissement progressifs du design d’interfaces, ce qui est, selon moi, loin d’être une coïncidence. » Pour la designer, cette rivalité découle de deux manières très différentes de penser la relation entre ordinateurs et humains. Du côté du design, l’enjeu est la capacité des humains à prendre le contrôle et à piloter les ordinateurs, du côté des développeurs d’IA, l’enjeu est plutôt que les ordinateurs deviennent suffisamment intelligents pour être autonomes afin que les humains puissent leur confier des tâches. « Ainsi, même si les promoteurs de l’IA ne le disent pas en ces termes, leur vision du futur, ce qu’ils visent, est la mort du design d’interaction, car vouloir tout anticiper revient finalement à tout automatiser, à éliminer toute interaction ». Pour Maudet, reprenant les propos de Jonathan Grudin, on pourrait dire que l’Interaction homme-machine s’est développée dans l’ombre de l’IA : « L’IHM a prospéré pendant les hivers de l’IA et a progressé plus lentement lorsque l’IA était en faveur. »

Pourquoi l’IA est-elle si attractive ?

Pourquoi l’IA est-elle si attractive ? « Les causes sont complexes et tiennent largement à des enjeux politiques et économiques, car les techniques d’IA modernes reposent sur le modèle économique lucratif de l’exploration et de la monétisation des données. Un autre problème réside dans la distinction claire et l’absence de lien entre l’intelligence artificielle et les métiers de l’interface au sein des entreprises. Enfin, le rôle de l’imaginaire ne peut être négligé. En effet, il est difficile pour le design de faire rêver comme l’IA le fait. Créer des entités intelligentes et autonomes sur le terrain d’un côté, optimiser et faciliter l’utilisation d’un outil complexe de l’autre ». La concurrence est rude entre « la recherche sur les défis perceptivo-moteurs et cognitifs des interfaces graphiques d’un côté, les machines exotiques et les promesses glamour de l’IA de l’autre. Les interfaces graphiques étaient cool, mais l’IA a dominé les financements et l’attention médiatique, et a prospéré », explique encore Grudin. « Les interfaces ne sont jamais une fin en soi, mais simplement un moyen de permettre aux humains d’accomplir des tâches. En tant qu’outils, elles semblent inoffensives. D’autant plus que l’interface repose sur un paradoxe : elle passe inaperçue alors qu’elle est sous nos yeux. »

« Les actions et les volontés explicitées par nos interactions sont perçues comme subjectives, tandis que les données enregistrées par des capteurs et à notre insu apparaissent plus objectives et donc vraies, un présupposé largement erroné qui persiste », explique Nolwenn Maudet en faisant référence au livre de Melanie Feinberg, Everyday Adventures with Unruly Data (MIT Press, 2022, non traduit) qui défend une approche humaine des données d’abord et avant tout qu’elles restent ambiguës, complexes et incertaines. Pour Maudet, l’IA tend à privilégier les interactions basées sur des signaux non explicites ou entièrement volontaires de la part des utilisateurs : le regard plutôt que la main, les expressions faciales plutôt que les mots. Par exemple, les thermostats intelligents utilisent des capteurs pour déterminer les habitudes d’occupation et modifier la température en fonction des comportements, ce qui traduit combien les ingénieurs de l’IA sont fondamentalement méfiants à l’égard des actions humaines, quand les designers, eux, vont avoir tendance à faciliter la configuration des paramètres par l’utilisateur. 

Le design reste pourtant la condition de succès de l’IA

Pour la designer, l’engouement actuel pour l’IA ne devrait pourtant pas nous faire oublier que « l’IA a toujours besoin du design, des interfaces et des interactions, même si elle feint de les ignorer ». Le design des interfaces reste la condition de succès des systèmes prédictifs et des systèmes de recommandation. L’un des grands succès de TikTok, repose bien plus sur l’effet hypnotique du défilement pour proposer un zapping perpétuel que sur la qualité de ses recommandations. L’IA ne pourrait exister ni fonctionner sans interfaces, même si elle feint généralement de les ignorer. L’IA utilise souvent des proxys pour déterminer des comportements, comme d’arrêter de vous recommander une série parce que vous avez interrompu l’épisode, qu’importe si c’était parce que vous aviez quelque chose de plus intéressant à faire. Face à des interprétations algorithmiques qu’ils ne maîtrisent pas, les utilisateurs sont alors contraints de trouver des parades souvent inefficaces pour tenter de dialoguer via une interface qui n’est pas conçue pour cela, comme quand ils likent toutes les publications d’un profil pour tenter de faire comprendre à l’algorithme qu’il doit continuer à vous les montrer. Ces tentatives de contournements montrent pourtant qu’on devrait permettre aux utilisateurs de « communiquer directement avec l’algorithme », c’est-à-dire de pouvoir plus facilement régler leurs préférences. Nous sommes confrontés à une « dissociation stérile entre interface et algorithme », « résultat de l’angle mort qui fait que toute interaction explicite avec l’IA est un échec de prédiction ». « Le fait que la logique de l’interface soit généralement déconnectée de celle de l’algorithme ne contribue pas à sa lisibilité ». 

Maudet prend l’exemple des algorithmes de reconnaissance faciale qui produisent des classements depuis un score de confiance rarement communiqué – voir notre édito sur ces enjeux. Or, publier ce score permettrait de suggérer de l’incertitude auprès de ceux qui y sont confrontés. Améliorer les IA et améliorer les interfaces nécessite une bien meilleure collaboration entre les concepteurs d’IA et les concepteurs d’interfaces, suggère pertinemment la designer, qui invite à interroger par exemple l’interface textuelle dialogique de l’IA générative, qui a tendance à anthropomorphiser le modèle, lui donnant l’apparence d’un locuteur humain sensible. Pour la designer Amelia Wattenberg, la pauvreté de ces interfaces de chat devient problématique. « La tâche d’apprendre ce qui fonctionne incombe toujours à l’utilisateur ». Les possibilités offertes à l’utilisateur de générer une image en étirant certaines de ses parties, nous montrent pourtant que d’autres interfaces que le seul prompt sont possibles. Mais cela invite les ingénieurs de l’IA à assumer l’importance des interfaces. 

Complexifier l’algorithme plutôt que proposer de meilleures interfaces

Les critiques de l’IA qui pointent ses limites ont souvent comme réponse de corriger et d’améliorer le modèle et de mieux corriger les données pour tenter d’éliminer ses biais… « sans remettre en question les interfaces par lesquelles l’IA existe et agit ». « L’amélioration consiste donc généralement à complexifier l’algorithme, afin qu’il prenne en compte et intègre des éléments jusque-là ignorés ou laissés de côté, ce qui se traduit presque inévitablement par de nouvelles données à collecter et à interpréter. On multiplie ainsi les entrées et les inférences, dans ce qui ressemble à une véritable fuite en avant. Et forcément sans fin, puisqu’il ne sera jamais possible de produire des anticipations parfaites ».

« Reprenons le cas des algorithmes de recommandation, fortement critiqués pour leur tendance à enfermer les individus dans ce qu’ils connaissent et consomment déjà. La réponse proposée est de chercher le bon dosage, par exemple 60 % de contenu déjà connu et 40 % de nouvelles découvertes. Ce mélange est nécessairement arbitraire et laissé à la seule discrétion des concepteurs d’IA, mettant l’utilisateur de côté. Mais si l’on cherchait à résoudre ce problème par le design, une réponse simpliste serait une interface offrant les deux options. Cela rendrait toutes les configurations possibles, nous forçant à nous poser la question : est-ce que je veux plus de ce que j’ai déjà écouté, ou est-ce que je veux m’ouvrir ? Le design d’interaction encourage alors la réflexivité, mais exige attention et choix, ce que l’IA cherche précisément à éviter, et auquel nous sommes souvent trop heureux d’échapper ». 

Et Maudet d’inviter le design à s’extraire de la logique éthique de l’IA qui cherche « à éviter toute action ou réflexion de la part de l’utilisateur » en corrigeant par l’automatisation ses erreurs et ses biais.

« Le développement des algorithmes s’est accompagné de la standardisation et de l’appauvrissement progressif des interactions et des interfaces qui les supportent ». Le design ne peut pas œuvrer à limiter la capacité d’action des utilisateurs, comme le lui commande désormais les développeurs d’IA. S’il œuvre à limiter la capacité d’action, alors il produit une conception impersonnelle et paralysante, comme l’a expliqué le designer Silvio Lorusso dans son article sur la condition de l’utilisateur. 

Mais Maudet tape plus fort encore : « il existe un paradoxe évident et peu questionné entre la personnalisation ultime promise par l’intelligence artificielle et l’homogénéisation universelle des interfaces imposée ces dernières années. Chaque flux est unique car un algorithme détermine son contenu. Et pourtant, le milliard d’utilisateurs d’Instagram ou de TikTok, où qu’ils soient et quelle que soit la raison pour laquelle ils utilisent l’application, ont tous la même interface sous les yeux et utilisent exactement les mêmes interactions pour la faire fonctionner. Il est ironique de constater que là où ces entreprises prétendent offrir une expérience personnalisée, jamais auparavant nous n’avons vu une telle homogénéité dans les interfaces : le monde entier défile sans fin derrière de simples fils de contenu. Le design, rallié à la lutte pour la moindre interaction, accentue cette logique, effaçant ou reléguant progressivement au second plan les paramètres qui permettaient souvent d’adapter le logiciel aux besoins individuels. Ce que nous avons perdu en termes d’adaptation explicite de nos interfaces a été remplacé par une adaptation automatisée, les algorithmes étant désormais chargés de compenser cette standardisation et de concrétiser le rêve d’une expérience sur mesure et personnalisée. Puisque toutes les interfaces et interactions se ressemblent, la différenciation incombe désormais également à l’algorithme, privant le design de la possibilité d’être un vecteur d’expérimentation et un créateur de valeur, y compris économique ».

Désormais, la solution aux problèmes d’utilisation consiste bien souvent à ajouter de l’IA, comme d’intégrer un chatbot « dans l’espoir qu’il oriente les visiteurs vers l’information recherchée, plutôt que de repenser la hiérarchie de l’information, l’arborescence du site et sa navigation ». 

Le risque est bien de mettre le design au service de l’IA plutôt que l’inverse. Pas étonnant alors que la réponse alternative et radicale, qui consiste à penser la personnalisation des interfaces sans algorithmes, gagne de l’audience, comme c’est le cas sur le Fediverse, de Peertube à Mastodon qui optent pour un retour à l’éditorialisation humaine. La généralisation de l’utilisation de modèle d’IA sur étagère et de bibliothèques de composants standardisés, réduisent les possibilités de personnalisation par le design d’interaction. Nous sommes en train de revenir à une informatique mainframe, dénonce Maudet, « ces ordinateurs puissants mais contrôlés, une architecture qui limite par essence le pouvoir d’action de ses utilisateurs ». Les designers doivent réaffirmer l’objectif de l’IHM : « mettre la puissance de l’ordinateur entre les mains des utilisateurs et d’accroître le potentiel humain plutôt que celui de la machine ». 

Hubert Guillaud

MAJ du 9/09/2025 : Nolwenn Maudet vient de mettre une version en français de son article (.pdf) sur son site.

MAJ du 10/09/2025 : L’anthropologue Sally Applin dresse le même constat dans un article pour Fast Company. Toutes les interfaces sont appelées à être remplacées par des chatbots, explique Applin. Nos logiciels sont remplacés par une fenêtre unique. Les chatbots sont présentés comme un guichet unique pour tout, la zone de texte est en train d’engloutir toutes les applications. Nos interfaces rétrécissent. Ce changement est une rupture radicale avec la conception d’interfaces telle qu’on l’a connaissait. Nous sommes passés de la conception d’outils facilitant la réalisation de tâches à l’extraction de modèles servant les objectifs de l’entreprise qui déploient les chatbots. “Nous avons cessé d’être perçus comme des personnes ayant des besoins, pour devenir la matière première d’indicateurs, de modèles et de domination du marché”. Qu’importe si les chatbots produisent des réponses incohérentes, c’est à nous de constamment affiner les requêtes pour obtenir quelque chose d’utile. “Là où nous utilisions autrefois des outils pour accomplir notre travail, nous le formons désormais à effectuer ce travail afin que nous puissions, à notre tour, terminer le nôtre”. “La ​​trajectoire actuelle du design vise à effacer complètement l’interface, la remplaçant par une conversation sous surveillance – une écoute mécanisée déguisée en dialogue”. “Il est injuste de dire que le design centré sur l’utilisateur a disparu – pour l’instant. Le secteur est toujours là, mais les utilisateurs cibles ont changé. Auparavant, les entreprises se concentraient sur les utilisateurs ; aujourd’hui, ce sont les LLM qui sont au cœur de leurs préoccupations”. Désormais, les chatbots sont devenus l’utilisateur.

On l’a vu, dans leur livre, The AI con, Emily Bender et Alex Hanna proposaient de lutter contre le battage médiatique de l’IA qui déforme notre compréhension de la réalité. Dans une tribune pour Tech Policy Press, le sociologue catalan Andreu Belsunces Gonçalves et le politiste Jascha Bareis proposent de combattre la hype en l’étudiant pour ce qu’elle est : un phénomène politique. 

Pour eux, elle n’est pas une phase neutre des cycles d’adoption des technologies. La hype n’est pas non plus un phénomène économique. Elle est un projet délibéré qui oriente l’imaginaire collectif au profit de certains. Le battage médiatique autour de la technologie et de l’informatique a permis d’affoler les marchés et les investissements. Les deux scientifiques en ont fait un projet de recherche transdisciplinaire pour comprendre les moteurs et les ressorts d’un phénomène puissant et omniprésent qui influence l’économie, la finance, les agendas politiques, les récits médiatiques et les développements technologiques. Concrètement, la hype se caractérise par une fascination pour les technologies d’avenir permettant de produire des promesses exagérées et irréalistes, un optimisme exacerbé qui capte l’attention de tous et amplifie les phénomènes spéculatifs, jusqu’à parfois les rendre réels. 

Souvent considéré comme naturel, le battage médiatique n’est pourtant jamais accidentel. Il est souvent conçu et entretenu stratégiquement “pour surestimer les implications positives de la technologie tout en minimisant les implications négatives”. Il joue sur le registre émotionnel plutôt que sur le registre rationnel pour créer une dynamique, pour concentrer l’attention et les investissements. Il a pour but de créer “l’illusion d’une fenêtre d’opportunité”... et sa potentialité. Il promet une révélation à ceux qui y plongent, promet de participer à un moment décisif comme à une communion ouverte à ceux qui souhaitent y contribuer. Il anime un sentiment d’urgence, une frénésie émotionnelle qui permet à ceux qui y participent de croire qu’ils appartiennent à un petit groupe de happy few. 

Le battage médiatique est stratégique. Il sert à dynamiser la croissance. Les incubateurs et accélérateurs encourageant les entrepreneurs à surévaluer leurs technologies, à exagérer la taille du marché, à renchérir sur la maturité du marché, sur l’attrait du produit… comme le rappellent les mantra “fake it until you make it” ou “think big”. Ce narratif est une stratégie de survie pour passer les levées de fonds extrêmement compétitives. L’enjeu n’est pas tant de mentir que d’être indifférent à la vérité. De buzzer et briller avant tout. Le buzz technologique est devenu un élément structurel des processus de changement sociotechnique contemporain. Le fictif y devient plausible. 

“Comme l’a montré la bulle autour de la « nouvelle économie », le battage médiatique technologique est le fruit d’une double spéculation : financière, visant à multiplier les retours sur investissement dans des entreprises risquées ; et sociale, où les entreprises attirent l’attention en promettant des avancées technologiques disruptives qui créeront des opportunités technologiques, économiques, politiques et sociales sans précédent”. Dans le battage médiatique, tout le monde veut sa part du gâteau : des boursicoteurs en quête de plus-value aux journalistes en quête de clickbait aux politiciens en quête de croissance industrielle. Qu’importe si la hype fait basculer des promesses exagérées aux mensonges voire à la fraude. 

“Dans une société de plus en plus financiarisée, le battage médiatique technologique devient une force dangereuse au moins à deux égards. Premièrement, les personnes les moins informées et les moins instruites sur les technologies et les marchés émergents sont plus vulnérables aux promesses séduisantes de revenus faciles. Comme le montrent les systèmes pyramidaux de cryptomonnaies – où les premiers investisseurs vendent lorsque la valeur chute, laissant les nouveaux venus assumer les pertes –, le battage médiatique est une promesse de richesse”. Mais à la haute récompense répond la hauteur du risque, “où les plus privilégiés extraient les ressources des plus vulnérables”.

Deuxièmement, le battage médiatique hégémonique autour des technologies est souvent alimenté par des promesses utopiques de salut qui se conjuguent aux chants des sirènes de l’inéluctabilité, tout en favorisant une transition vers un avenir cyberlibertaire. “Le battage médiatique autour des technologies n’est pas seulement une opportunité pour la spéculation financière, mais aussi un catalyseur pour les idéologies qui appliquent le mécanisme social-darwinien de survie économique à la sphère sociale. Comme l’écrit le capital-risqueur Marc Andreessen dans son Manifeste techno-optimiste : « Les sociétés, comme les requins, croissent ou meurent.» La sélection naturelle ne laisse pas de place à tous dans le futur.” Le cocktail d’acteurs fortunés, adoptant à la fois des visions irréalistes et des positions politiques extrêmes, fait du battage médiatique une stratégie pour concrétiser l’imagination néo-réactionnaire – et donc se doit de devenir un sujet urgent d’attention politique.

Les geeks sont devenus Rockefellers. Le battage médiatique les a rendu riches et leur a donné les rênes de la machine à battage médiatique. Ils maîtrisent les algorithmes de la hype des médias sociaux et de l’IA, maîtrisent la machine, les discours et désormais, même, la machine qui produit les discours. Quant aux gouvernements, ils ne tempèrent plus la hype, mais y participent pleinement. 

“Comprendre et démanteler la montée actuelle du techno-autoritarisme nécessite de développer une compréhension du fonctionnement du battage médiatique comme instrument politique”. Nous devons devenir collectivement moins vulnérables au battage médiatique et moins adhérent aux idéologies qu’il porte, estiment les deux chercheurs. Voilà qui annonce un programme de travail chargé !

Profitons-en pour signaler que la hype est également l’un des angles que le sociologue Juan Sebastian Carbonell utilise pour évoquer l’IA dans son lumineux nouveau livre, Un taylorisme augmenté : critique de l’intelligence artificielle (éditions Amsterdam, 2025). Pour lui, les attentes technologiques « sont performatives ». Elles guident à la fois les recherches et les investissements. La promotion de l’IA passe en grande partie « par la mise en scène de révolutions technologiques », via les médias et via les shows technologiques et les lancements. Ces démonstrations servent la promotion des technologies pour qu’elles puissent constituer des marchés, tout en masquant leurs limites. L’une des hypes la plus réussie a été bien sûr la mise à disposition de ChatGPT le 30 novembre 2022. La révélation a permis à l’entreprise d’attirer très rapidement utilisateurs et développeurs pour améliorer son outil et lui a assuré une position dominante, forçant les concurrents à s’adapter au business model que l’entreprise a proposé.

Les hypes sont des stratégies, rappelle Carbonell. Elles sont renforcées par le traitement médiatique qui permet de promouvoir la vision du changement technologique défendue par les entreprises de l’IA, et qui permet d’entretenir les promesses technologiques. Le battage médiatique est très orienté par les entreprises et permet de minimiser et occulter les usages controversés et problématiques. La hype est toujours partiale, rappelle le sociologue. Pour Carbonell, les hypes sont également toujours cycliques, inflationnaires et déflationnaires. Et c’est justement à les faire reculer que nous devrions œuvrer. 

PS : Du 10 au 12 septembre, à Barcelone, Andreu Belsunces Gonçalves et Jascha Bareis organisent trois jours de colloque sur la hype. 

Comme à son habitude Ian Bogost tape juste. Les vendeurs nous promettent que nos machines vont nous simplifier la vie, pourtant, elles n’y arrivent toujours pas, constate-t-il en voyant que Siri ne veut toujours pas lui donner la direction pour le magasin de bricolage Lowe le plus proche, mais lui propose plutôt de l’amener à 1300 km de chez lui, chez un contact qui a ce terme dans son adresse. Quand on demande à Siri de trouver des fichiers sur son ordinateur, il nous montre comment ouvrir le gestionnaire de fichier pour nous laisser faire. Quand on lui demande des photos du barbecue, il va les chercher sur le net plutôt que de regarder dans nos bibliothèques d’images. 

Avec l’IA, pourtant, tout le monde nous dit que nos ordinateurs vont devenir plus intelligents, raille Bogost. « Pendant des années, on nous a dit que les interactions fluides avec nos appareils finiraient par se généraliser. Aujourd’hui, nous constatons le peu de progrès accomplis vers cet objectif ». 
« L’intelligence artificielle d’Apple – en réalité, l’IA générative dans son ensemble – met en lumière une triste réalité. L’histoire des interfaces d’ordinateurs personnels est elle aussi une histoire de déceptions ». On est passé des commandes ésotériques pour retrouver des fichiers à l’arborescence des répertoires. Mais ce progrès nous a surtout conduit à crouler sous les données. Certes, on trouve bien mieux ce qu’on cherche en ligne que dans nos propres données. Mais ChatGPT est toujours incapable de vous aider à décrypter notre boîte de réception ou nos fichiers. Apple Intelligence ou Google continuent de s’y essayer. Mais l’un comme l’autre sont plus obsédés par ce qui se trouve en ligne que par ce que l’utilisateur met de côté sur sa machine. « Utiliser un ordinateur pour naviguer entre mon travail et ma vie personnelle reste étrangement difficile. Les calendriers ne se synchronisent pas correctement. La recherche d’e-mails ne fonctionne toujours pas correctement, pour une raison inconnue. Les fichiers sont dispersés partout, dans diverses applications et services, et qui sait où ? Si les informaticiens ne parviennent même pas à faire fonctionner efficacement des machines informatiques par l’IA, personne ne croira jamais qu’ils peuvent le faire pour quoi que ce soit, et encore moins pour tout le reste ».