Comment répondre à la gestion algorithmique du travail ? Tel est l’ambition du rapport « Negotiating the Algorithm » publié par la Confédération européenne des syndicats sous la direction du journaliste indépendant Ben Wray, responsable du Gig Economy Project de Brave New Europe. Le rapport décrit la prédominance des logiciels managériaux au travail (qui seraient utilisés par plus de 79% des entreprises de l’Union européenne) et les abus qui en découlent et décrit les moyens de riposte mobilisables par les travailleurs en lien notamment avec la nouvelle législation européenne des travailleurs des plateformes. La gestion algorithmique confère aux employeurs des avantages informationnels considérables sur les travailleurs, leur permet de contourner les conventions collectives et de modifier les conditions de travail et les salaires de chaque travailleur voire de chaque poste. Elle leur permet d’espionner les travailleurs même en dehors de leurs heures de travail et leur offre de nombreuses possibilités de représailles. 

En regard, les travailleurs piégés par la gestion algorithmique sont privés de leur pouvoir d’action et de leurs possibilités de résolution de problèmes, et bien souvent de leurs droits de recours, tant la gestion algorithmique se déploie avec de nombreuses autres mesures autoritaires, comme le fait de ne pouvoir joindre le service RH. 

Il est donc crucial que les syndicats élaborent une stratégie pour lutter contre la gestion algorithmique. C’est là qu’intervient la directive sur le travail de plateforme qui prévoit des dispositions assez riches, mais qui ne sont pas auto-exécutoires… C’est-à-dire que les travailleurs doivent revendiquer les droits que la directive propose, au travail comme devant les tribunaux. Or, elle permet aux travailleurs et à leurs représentants d’exiger des employeurs des données exhaustives sur les décisions algorithmiques, du licenciement au calcul du salaire. 

Bien souvent ces données ne sont pas rendues dans des formats faciles à exploiter, constate Wray : le rapport encourage donc les syndicats à constituer leurs propres groupes d’analyses de données. Le rapport plaide également pour que les syndicats développent des applications capables de surveiller les applications patronales, comme l’application UberCheats, qui permettait de comparer le kilométrage payé par Uber à ses livreurs par rapport aux distances réellement parcourues (l’application a été retirée en 2021 au prétexte de son nom à la demande de la firme Uber). En investissant dans la technologie, les syndicats peuvent combler le déficit d’information des travailleurs sur les employeurs. Wray décrit comment les travailleurs indépendants ont créé des « applications de contre-mesure » ​​qui ont documenté les vols de salaires et de pourboires (voir notre article “Réguler la surveillance au travail”), permis le refus massif d’offres au rabais et aidé les travailleurs à faire valoir leurs droits devant les tribunaux. Cette capacité technologique peut également aider les organisateurs syndicaux, en fournissant une plateforme numérique unifiée pour les campagnes syndicales dans tous les types d’établissements. Wray propose que les syndicats unissent leurs forces pour créer « un atelier technologique commun » aux travailleurs, qui développerait et soutiendrait des outils pour tous les types de syndicats à travers l’Europe. 

Le RGPD confère aux travailleurs de larges pouvoirs pour lutter contre les abus liés aux logiciels de gestion, estime encore le rapport. Il leur permet d’exiger le système de notation utilisé pour évaluer leur travail et d’exiger la correction de leurs notes, et interdit les « évaluations internes cachées ». Il leur donne également le droit d’exiger une intervention humaine dans les prises de décision automatisées. Lorsque les travailleurs sont « désactivés » (éjectés de l’application), le RGPD leur permet de déposer une « demande d’accès aux données » obligeant l’entreprise à divulguer « toutes les informations personnelles relatives à cette décision », les travailleurs ayant le droit d’exiger la correction des « informations inexactes ou incomplètes ». Malgré l’étendue de ces pouvoirs, ils ont rarement été utilisés, en grande partie en raison de failles importantes du RGPD. Par exemple, les employeurs peuvent invoquer l’excuse selon laquelle la divulgation d’informations révélerait leurs secrets commerciaux et exposerait leur propriété intellectuelle. Le RGPD limite la portée de ces excuses, mais les employeurs les ignorent systématiquement. Il en va de même pour l’excuse générique selon laquelle la gestion algorithmique est assurée par un outil tiers. Cette excuse est illégale au regard du RGPD, mais les employeurs l’utilisent régulièrement (et s’en tirent impunément). 

La directive sur le travail de plateforme corrige de nombreuses failles du RGPD. Elle interdit le traitement des « données personnelles d’un travailleur relatives à : son état émotionnel ou psychologique ; l’utilisation de ses échanges privés ; la captation de données lorsqu’il n’utilise pas l’application ; concernant l’exercice de ses droits fondamentaux, y compris la syndicalisation ; les données personnelles du travailleur, y compris son orientation sexuelle et son statut migratoire ; et ses données biométriques lorsqu’elles sont utilisées pour établir son identité. » Elle étend le droit d’examiner le fonctionnement et les résultats des « systèmes décisionnels automatisés » et d’exiger que ces résultats soient exportés vers un format pouvant être envoyé au travailleur, et interdit les transferts à des tiers. Les travailleurs peuvent exiger que leurs données soient utilisées, par exemple, pour obtenir un autre emploi, et leurs employeurs doivent prendre en charge les frais associés. La directive sur le travail de plateforme exige une surveillance humaine stricte des systèmes automatisés, notamment pour des opérations telles que les désactivations. 

Le fonctionnement de leurs systèmes d’information est également soumis à l’obligation pour les employeurs d’informer les travailleurs et de les consulter sur les « modifications apportées aux systèmes automatisés de surveillance ou de prise de décision ». La directive exige également que les employeurs rémunèrent des experts (choisis par les travailleurs) pour évaluer ces changements. Ces nouvelles règles sont prometteuses, mais elles n’entreront en vigueur que si quelqu’un s’y oppose lorsqu’elles sont enfreintes. C’est là que les syndicats entrent en jeu. Si des employeurs sont pris en flagrant délit de fraude, la directive les oblige à rembourser les experts engagés par les syndicats pour lutter contre les escroqueries. 

Wray propose une série de recommandations détaillées aux syndicats concernant les éléments qu’ils devraient exiger dans leurs contrats afin de maximiser leurs chances de tirer parti des opportunités offertes par la directive sur le travail de plateforme, comme la création d’un « organe de gouvernance » au sein de l’entreprise « pour gérer la formation, le stockage, le traitement et la sécurité des données. Cet organe devrait inclure des délégués syndicaux et tous ses membres devraient recevoir une formation sur les données. » 

Il présente également des tactiques technologiques que les syndicats peuvent financer et exploiter pour optimiser l’utilisation de la directive, comme le piratage d’applications permettant aux travailleurs indépendants d’augmenter leurs revenus. Il décrit avec enthousiasme la « méthode des marionnettes à chaussettes », où de nombreux comptes tests sont utilisés pour placer et réserver du travail via des plateformes afin de surveiller leurs systèmes de tarification et de détecter les collusions et les manipulations de prix. Cette méthode a été utilisée avec succès en Espagne pour jeter les bases d’une action en justice en cours pour collusion sur les prix. 

Le nouveau monde de la gestion algorithmique et la nouvelle directive sur le travail de plateforme offrent de nombreuses opportunités aux syndicats. Cependant, il existe toujours un risque qu’un employeur refuse tout simplement de respecter la loi, comme Uber, reconnu coupable de violation des règles de divulgation de données et condamné à une amende de 6 000 € par jour jusqu’à sa mise en conformité. Uber a maintenant payé 500 000 € d’amende et n’a pas divulgué les données exigées par la loi et les tribunaux. 

Grâce à la gestion algorithmique, les patrons ont trouvé de nouveaux moyens de contourner la loi et de voler les travailleurs. La directive sur le travail de plateforme offre aux travailleurs et aux syndicats toute une série de nouveaux outils pour contraindre les patrons à jouer franc jeu. « Ce ne sera pas facile, mais les capacités technologiques développées par les travailleurs et les syndicats ici peuvent être réutilisées pour mener une guerre de classes numérique totale », s’enthousiasme Cory Doctorow.

Comment répondre à la gestion algorithmique du travail ? Tel est l’ambition du rapport « Negotiating the Algorithm » publié par la Confédération européenne des syndicats sous la direction du journaliste indépendant Ben Wray, responsable du Gig Economy Project de Brave New Europe. Le rapport décrit la prédominance des logiciels managériaux au travail (qui seraient utilisés par plus de 79% des entreprises de l’Union européenne) et les abus qui en découlent et décrit les moyens de riposte mobilisables par les travailleurs en lien notamment avec la nouvelle législation européenne des travailleurs des plateformes. La gestion algorithmique confère aux employeurs des avantages informationnels considérables sur les travailleurs, leur permet de contourner les conventions collectives et de modifier les conditions de travail et les salaires de chaque travailleur voire de chaque poste. Elle leur permet d’espionner les travailleurs même en dehors de leurs heures de travail et leur offre de nombreuses possibilités de représailles. 

En regard, les travailleurs piégés par la gestion algorithmique sont privés de leur pouvoir d’action et de leurs possibilités de résolution de problèmes, et bien souvent de leurs droits de recours, tant la gestion algorithmique se déploie avec de nombreuses autres mesures autoritaires, comme le fait de ne pouvoir joindre le service RH. 

Il est donc crucial que les syndicats élaborent une stratégie pour lutter contre la gestion algorithmique. C’est là qu’intervient la directive sur le travail de plateforme qui prévoit des dispositions assez riches, mais qui ne sont pas auto-exécutoires… C’est-à-dire que les travailleurs doivent revendiquer les droits que la directive propose, au travail comme devant les tribunaux. Or, elle permet aux travailleurs et à leurs représentants d’exiger des employeurs des données exhaustives sur les décisions algorithmiques, du licenciement au calcul du salaire. 

Bien souvent ces données ne sont pas rendues dans des formats faciles à exploiter, constate Wray : le rapport encourage donc les syndicats à constituer leurs propres groupes d’analyses de données. Le rapport plaide également pour que les syndicats développent des applications capables de surveiller les applications patronales, comme l’application UberCheats, qui permettait de comparer le kilométrage payé par Uber à ses livreurs par rapport aux distances réellement parcourues (l’application a été retirée en 2021 au prétexte de son nom à la demande de la firme Uber). En investissant dans la technologie, les syndicats peuvent combler le déficit d’information des travailleurs sur les employeurs. Wray décrit comment les travailleurs indépendants ont créé des « applications de contre-mesure » ​​qui ont documenté les vols de salaires et de pourboires (voir notre article “Réguler la surveillance au travail”), permis le refus massif d’offres au rabais et aidé les travailleurs à faire valoir leurs droits devant les tribunaux. Cette capacité technologique peut également aider les organisateurs syndicaux, en fournissant une plateforme numérique unifiée pour les campagnes syndicales dans tous les types d’établissements. Wray propose que les syndicats unissent leurs forces pour créer « un atelier technologique commun » aux travailleurs, qui développerait et soutiendrait des outils pour tous les types de syndicats à travers l’Europe. 

Le RGPD confère aux travailleurs de larges pouvoirs pour lutter contre les abus liés aux logiciels de gestion, estime encore le rapport. Il leur permet d’exiger le système de notation utilisé pour évaluer leur travail et d’exiger la correction de leurs notes, et interdit les « évaluations internes cachées ». Il leur donne également le droit d’exiger une intervention humaine dans les prises de décision automatisées. Lorsque les travailleurs sont « désactivés » (éjectés de l’application), le RGPD leur permet de déposer une « demande d’accès aux données » obligeant l’entreprise à divulguer « toutes les informations personnelles relatives à cette décision », les travailleurs ayant le droit d’exiger la correction des « informations inexactes ou incomplètes ». Malgré l’étendue de ces pouvoirs, ils ont rarement été utilisés, en grande partie en raison de failles importantes du RGPD. Par exemple, les employeurs peuvent invoquer l’excuse selon laquelle la divulgation d’informations révélerait leurs secrets commerciaux et exposerait leur propriété intellectuelle. Le RGPD limite la portée de ces excuses, mais les employeurs les ignorent systématiquement. Il en va de même pour l’excuse générique selon laquelle la gestion algorithmique est assurée par un outil tiers. Cette excuse est illégale au regard du RGPD, mais les employeurs l’utilisent régulièrement (et s’en tirent impunément). 

La directive sur le travail de plateforme corrige de nombreuses failles du RGPD. Elle interdit le traitement des « données personnelles d’un travailleur relatives à : son état émotionnel ou psychologique ; l’utilisation de ses échanges privés ; la captation de données lorsqu’il n’utilise pas l’application ; concernant l’exercice de ses droits fondamentaux, y compris la syndicalisation ; les données personnelles du travailleur, y compris son orientation sexuelle et son statut migratoire ; et ses données biométriques lorsqu’elles sont utilisées pour établir son identité. » Elle étend le droit d’examiner le fonctionnement et les résultats des « systèmes décisionnels automatisés » et d’exiger que ces résultats soient exportés vers un format pouvant être envoyé au travailleur, et interdit les transferts à des tiers. Les travailleurs peuvent exiger que leurs données soient utilisées, par exemple, pour obtenir un autre emploi, et leurs employeurs doivent prendre en charge les frais associés. La directive sur le travail de plateforme exige une surveillance humaine stricte des systèmes automatisés, notamment pour des opérations telles que les désactivations. 

Le fonctionnement de leurs systèmes d’information est également soumis à l’obligation pour les employeurs d’informer les travailleurs et de les consulter sur les « modifications apportées aux systèmes automatisés de surveillance ou de prise de décision ». La directive exige également que les employeurs rémunèrent des experts (choisis par les travailleurs) pour évaluer ces changements. Ces nouvelles règles sont prometteuses, mais elles n’entreront en vigueur que si quelqu’un s’y oppose lorsqu’elles sont enfreintes. C’est là que les syndicats entrent en jeu. Si des employeurs sont pris en flagrant délit de fraude, la directive les oblige à rembourser les experts engagés par les syndicats pour lutter contre les escroqueries. 

Wray propose une série de recommandations détaillées aux syndicats concernant les éléments qu’ils devraient exiger dans leurs contrats afin de maximiser leurs chances de tirer parti des opportunités offertes par la directive sur le travail de plateforme, comme la création d’un « organe de gouvernance » au sein de l’entreprise « pour gérer la formation, le stockage, le traitement et la sécurité des données. Cet organe devrait inclure des délégués syndicaux et tous ses membres devraient recevoir une formation sur les données. » 

Il présente également des tactiques technologiques que les syndicats peuvent financer et exploiter pour optimiser l’utilisation de la directive, comme le piratage d’applications permettant aux travailleurs indépendants d’augmenter leurs revenus. Il décrit avec enthousiasme la « méthode des marionnettes à chaussettes », où de nombreux comptes tests sont utilisés pour placer et réserver du travail via des plateformes afin de surveiller leurs systèmes de tarification et de détecter les collusions et les manipulations de prix. Cette méthode a été utilisée avec succès en Espagne pour jeter les bases d’une action en justice en cours pour collusion sur les prix. 

Le nouveau monde de la gestion algorithmique et la nouvelle directive sur le travail de plateforme offrent de nombreuses opportunités aux syndicats. Cependant, il existe toujours un risque qu’un employeur refuse tout simplement de respecter la loi, comme Uber, reconnu coupable de violation des règles de divulgation de données et condamné à une amende de 6 000 € par jour jusqu’à sa mise en conformité. Uber a maintenant payé 500 000 € d’amende et n’a pas divulgué les données exigées par la loi et les tribunaux. 

Grâce à la gestion algorithmique, les patrons ont trouvé de nouveaux moyens de contourner la loi et de voler les travailleurs. La directive sur le travail de plateforme offre aux travailleurs et aux syndicats toute une série de nouveaux outils pour contraindre les patrons à jouer franc jeu. « Ce ne sera pas facile, mais les capacités technologiques développées par les travailleurs et les syndicats ici peuvent être réutilisées pour mener une guerre de classes numérique totale », s’enthousiasme Cory Doctorow.

Si le département de l’Efficacité Gouvernementale (DOGE) a disparu de l’actualité, ce n’est pas le cas de ses actions ni du modèle initié, au contraire. Aux États-Unis, des dizaines de d’État ont mis en place des « missions d’efficacité », inspirées du Doge. Un point commun à nombre de ces initiatives est « l’objectif affiché d’identifier et d’éliminer les inefficacités des administrations publiques grâce à l’intelligence artificielle (IA) » et de promouvoir « un accès élargi aux systèmes de données étatiques existants », selon une analyse récente de Maddy Dwyer, analyste politique au Centre pour la démocratie et la technologie.

Sur Tech Policy Press, Justin Hendrix en discute justement avec Maddy Dwyer et l’ingénieur Ben Green, dont on a souvent évoqué le travail sur InternetActu et dont on avait lu The smart enough city (MIT Press, 2019, non traduit, voir notre article “Vers des villes politiquement intelligentes”) et qui travaille à un nouveau livre, Algorithmic Realism: Data Science Practices to Promote Social Justice.

Dans son analyse, Maddy Dwyer parle d’une « dogification des administrations américaines » et des gouvernements d’Etats. 29 États américains ont mis en place des initiatives en ce sens, avec des succès pour l’instant mitigés, et un certain nombre (11) ont particulièrement mobilisé les données et l’IA pour se faire. Certains l’ont mobilisé pour simplifier les processus réglementaires, réduire les effectifs et évaluer les financements. Dwyer a établi 5 signaux d’alertes permettant de montrer que ces dogifications pouvaient être problématiques. 

La première concerne le manque de transparence. Du Doge fédéral à ses déclinaisons locales, dans beaucoup de situations nous ne savons pas qui compose la structure, quel est son rôle, quelles sont ses attributions légales, de quels accès aux systèmes dispose-t-il ? 

Le second point d’alerte concerne les violations des règles sur la protection de la vie privée, notamment lorsque le Doge a eu accès à des données sensibles et protégées. Cela rappelle aux Etats qu’ils ont l’obligation de veiller à ce que leurs initiatives d’efficacité soient conformes aux lois sur la confidentialité et la cybersécurité.

Le troisième point d’alerte concerne les failles de sécurité et notamment l’absence de contrôle d’accès, voir l’usurpation d’identité. L’efficacité ne peut se faire au détriment de la sécurité des systèmes. 

Le quatrième signal d’alarme concerne l’instrumentalisation des données gouvernementales, notamment en accélérant les échanges de données entre agences, à des fins non prévues initialement et au risque de saper la confiance des administrés. 

Enfin, un ultime signal d’alarme consiste à utiliser des outils IA sans avoir démontré leur efficacité pour prendre des décisions à haut risque. Les administrations et États locaux devraient donc s’assurer que les outils utilisés sont bien adaptés aux tâches à accomplir. 

Pour Ben Green, ces programmes sont d’abord des programmes austéritaires. Le Doge nous a surtout montré qu’intégrer la technologie dans l’administration peut considérablement échouer. Certes l’IA peut produire du code, mais une grande partie du travail d’ingénieur logiciel ne consiste pas à l’écrire, il consiste à l’intégrer dans un système logiciel complexe, de suivre des protocoles de sécurité appropriés, de concevoir un logiciel capable d’être maintenu dans le temps. Autant de choses que les outils de codage automatisés savent peu faire, rappelle l’ingénieur. Ensuite, ce n’est pas parce qu’un outil d’IA a des capacités ou semble utile qu’il est réellement utile aux travailleurs d’un domaine très spécifique. Déployer un chatbot pour les agents fédéraux ne leur est pas très utile, comme l’expliquait Wired. Un outil d’IA ne sait pas s’intégrer dans un contexte de règles, de réglementations, de processus ni vraiment avec d’autres équipes avec lesquelles les administrations se coordonnent. En vérité, rappelle Green, « il est extrêmement difficile de faire collaborer efficacement les gens et l’IA ». Pour lui, le succès de l’IA s’explique parce qu’elle « rend la mise en œuvre des mesures d’austérité plus rapides ». L’IA est un prétexte, comme le disait Eryk Salvaggio. Elle n’améliore pas l’efficacité du gouvernement. Quand l’IA a été mobilisée au sein de l’Agence des anciens combattants pour réduire les contrats, le code pour distinguer les contrats acceptables des autres a été écrit en une seule journée. Pour Green, le Doge ne s’est jamais soucié de bien faire les choses, ni de garantir le bon fonctionnement des systèmes, mais simplement de rapidité. Sans compter, rappelle Maddy Dwyer, que les administrations subissent désormais une forte pression à avoir recours à l’IA. 

Pour Justin Hendrix, nous sommes aujourd’hui dans un cycle technologique et politique d’expansion de l’IA. Mais ce cycle risque demain de passer. Pourra-t-on utiliser l’IA autrement ? Il est probable que administrations fédérales, étatiques ou locales, se rendent compte que l’IA ne leur apporte pas grande chose et génère surtout des erreurs et de l’opacité, tout comme les entreprises elles-mêmes commencent à déchanter. C’était d’ailleurs l’un des constats du rapport sur l’état du business des l’IA générative publiée par le MIT, qu’évoquait Fortune fin août : « 95% des projets pilotes d’IA générative dans les entreprises échouent ». L’intégration d’outils IA dans les entreprises se révèle particulièrement ardue, et les projets sont souvent peu pertinents, bien moins que les outils des grands acteurs de l’IA. Le rapport soulignait également un décalage dans l’allocation des ressources : plus de la moitié des budgets dédiés à l’IA génératives sont orientés vers le marketing et la vente plutôt que vers l’automatisation des processus métiers. Dans le New York Times, Steve Lohr résumait autrement la situation. « Selon une étude récente de McKinsey & Company, près de huit entreprises sur dix déclarent utiliser l’IA générative, mais tout aussi nombreuses sont celles qui n’ont signalé aucun impact significatif sur leurs résultats financiers. » Malgré l’espoir d’une révolution dans tous les domaines, de la comptabilité back-office au service client, les bénéfices des entreprises à adopter l’IA peinent à émerger. C’est « le paradoxe de l’IA générative », comme dit McKinsey. Et il ressemble furieusement au paradoxe de la productivité de l’introduction des premiers ordinateurs personnels dans les entreprises : malgré les investissements massifs des entreprises dans l’équipement et les nouvelles technologies, les économistes voyaient peu de gains de productivité chez les employés. Selon une enquête de S&P Global, 42% des entreprises qui avaient un projet pilote d’AI l’ont abandonné en 2024, contre 17% l’année précédente. Pour le Gartner, qui analyse depuis des années les cycles de battage médiatique technologiques, l’IA est en train de glisser vers le creux de la désillusion, tout en promettant que c’est l’étape avant qu’une technologie ne devienne un outil à la productivité éprouvé (oubliant de rappeler pourtant, que nombre de technologies mise en avant par cette étude annuelle controversée et fort peu sérieuse, ne sont jamais revenues du creux de la désillusion). Pour l’instant, rappelle Lohr, les seuls gagnants de la course à l’IA ont été les fournisseurs de technologies et de conseils en IA, même si le journaliste tente de nous convaincre du contraire en nous parlant du déploiement de systèmes d’IA chez deux acteurs mondiaux, sans qu’ils soient encore capables de mesurer leurs effets. « Il n’est pas surprenant que les premiers efforts en matière d’IA échouent », clamait Andrew McAfee, codirecteur de l’Initiative sur l’économie numérique du Massachusetts Institute of Technology et fondateur de Workhelix, une société de conseil en IA : « L’innovation est un processus d’échec assez régulier. » 

Reste qu’il est difficile de changer de cap pour ceux qui l’adoptent, rappelle Green, alors que ces bascules favorisent une approche très solutionniste de la technologie. Dans les technologies liées à la ville intelligente, l’adoption rapide de technologies a été déceptive et a conduit à l’abandon de nombre de projets, parce que les équipes, face aux critiques, sont souvent désarmées. Pour lui, l’idée d’une IA indispensable risque surtout de rendre le réveil difficile. « Pour beaucoup de personnes travaillant dans le domaine de la technologie et du gouvernement, la technologie devient la finalité, et on perd de vue ce que nous cherchons réellement à accomplir. On se laisse alors happer par des idées très étroites d’efficacité », au détriment de l’amélioration du gouvernement. Notre navigation à courte vue entre des programmes très pro-techno et leur reflux, conduit à bien plus de stagnation que d’avancées.

Pour Maddy Dwyer tout l’enjeu vise à évaluer s’il existe des alternatives à l’IA plus adaptées pour résoudre nos problèmes, en favorisant la transparence des solutions. Pour Ben Green, nous devrions chercher à mieux comprendre pourquoi l’IA suscite un tel engouement et comment il se propage.

L’engouement pour les solutions technologiques ne date pas de l’IA, comme le montre les nombreuses vagues que nous avons connues. Pour Green, l’enjeu ne consiste pas seulement à expliquer pourquoi l’IA est défaillante, mais à comprendre pourquoi « notre façon de concevoir la technologie est défaillante ». Nous devrions réfléchir à « la façon dont l’information sur la technologie est transmise et partagée à des personnes qui souhaitent simplement améliorer le gouvernement et croient que toutes ces technologies sont efficaces pour y parvenir ». Enfin, dans les discours actuels sur l’efficacité, il faut prendre en compte l’austérité bien sûr, mais plus encore mieux mesurer la profonde méfiance qui s’exprime à l’égard des fonctionnaires. Pourquoi « ne fait-on pas confiance aux bureaucrates pour prendre des décisions à notre place » ? Si l’efficacité est importante, la gauche devrait aussi porter un discours sur l’intérêt général, la dignité, le bien être. L’efficacité est un piège qu’il faut à la fois répondre et dépasser. 

Si le département de l’Efficacité Gouvernementale (DOGE) a disparu de l’actualité, ce n’est pas le cas de ses actions ni du modèle initié, au contraire. Aux États-Unis, des dizaines de d’État ont mis en place des « missions d’efficacité », inspirées du Doge. Un point commun à nombre de ces initiatives est « l’objectif affiché d’identifier et d’éliminer les inefficacités des administrations publiques grâce à l’intelligence artificielle (IA) » et de promouvoir « un accès élargi aux systèmes de données étatiques existants », selon une analyse récente de Maddy Dwyer, analyste politique au Centre pour la démocratie et la technologie.

Sur Tech Policy Press, Justin Hendrix en discute justement avec Maddy Dwyer et l’ingénieur Ben Green, dont on a souvent évoqué le travail sur InternetActu et dont on avait lu The smart enough city (MIT Press, 2019, non traduit, voir notre article “Vers des villes politiquement intelligentes”) et qui travaille à un nouveau livre, Algorithmic Realism: Data Science Practices to Promote Social Justice.

Dans son analyse, Maddy Dwyer parle d’une « dogification des administrations américaines » et des gouvernements d’Etats. 29 États américains ont mis en place des initiatives en ce sens, avec des succès pour l’instant mitigés, et un certain nombre (11) ont particulièrement mobilisé les données et l’IA pour se faire. Certains l’ont mobilisé pour simplifier les processus réglementaires, réduire les effectifs et évaluer les financements. Dwyer a établi 5 signaux d’alertes permettant de montrer que ces dogifications pouvaient être problématiques. 

La première concerne le manque de transparence. Du Doge fédéral à ses déclinaisons locales, dans beaucoup de situations nous ne savons pas qui compose la structure, quel est son rôle, quelles sont ses attributions légales, de quels accès aux systèmes dispose-t-il ? 

Le second point d’alerte concerne les violations des règles sur la protection de la vie privée, notamment lorsque le Doge a eu accès à des données sensibles et protégées. Cela rappelle aux Etats qu’ils ont l’obligation de veiller à ce que leurs initiatives d’efficacité soient conformes aux lois sur la confidentialité et la cybersécurité.

Le troisième point d’alerte concerne les failles de sécurité et notamment l’absence de contrôle d’accès, voir l’usurpation d’identité. L’efficacité ne peut se faire au détriment de la sécurité des systèmes. 

Le quatrième signal d’alarme concerne l’instrumentalisation des données gouvernementales, notamment en accélérant les échanges de données entre agences, à des fins non prévues initialement et au risque de saper la confiance des administrés. 

Enfin, un ultime signal d’alarme consiste à utiliser des outils IA sans avoir démontré leur efficacité pour prendre des décisions à haut risque. Les administrations et États locaux devraient donc s’assurer que les outils utilisés sont bien adaptés aux tâches à accomplir. 

Pour Ben Green, ces programmes sont d’abord des programmes austéritaires. Le Doge nous a surtout montré qu’intégrer la technologie dans l’administration peut considérablement échouer. Certes l’IA peut produire du code, mais une grande partie du travail d’ingénieur logiciel ne consiste pas à l’écrire, il consiste à l’intégrer dans un système logiciel complexe, de suivre des protocoles de sécurité appropriés, de concevoir un logiciel capable d’être maintenu dans le temps. Autant de choses que les outils de codage automatisés savent peu faire, rappelle l’ingénieur. Ensuite, ce n’est pas parce qu’un outil d’IA a des capacités ou semble utile qu’il est réellement utile aux travailleurs d’un domaine très spécifique. Déployer un chatbot pour les agents fédéraux ne leur est pas très utile, comme l’expliquait Wired. Un outil d’IA ne sait pas s’intégrer dans un contexte de règles, de réglementations, de processus ni vraiment avec d’autres équipes avec lesquelles les administrations se coordonnent. En vérité, rappelle Green, « il est extrêmement difficile de faire collaborer efficacement les gens et l’IA ». Pour lui, le succès de l’IA s’explique parce qu’elle « rend la mise en œuvre des mesures d’austérité plus rapides ». L’IA est un prétexte, comme le disait Eryk Salvaggio. Elle n’améliore pas l’efficacité du gouvernement. Quand l’IA a été mobilisée au sein de l’Agence des anciens combattants pour réduire les contrats, le code pour distinguer les contrats acceptables des autres a été écrit en une seule journée. Pour Green, le Doge ne s’est jamais soucié de bien faire les choses, ni de garantir le bon fonctionnement des systèmes, mais simplement de rapidité. Sans compter, rappelle Maddy Dwyer, que les administrations subissent désormais une forte pression à avoir recours à l’IA. 

Pour Justin Hendrix, nous sommes aujourd’hui dans un cycle technologique et politique d’expansion de l’IA. Mais ce cycle risque demain de passer. Pourra-t-on utiliser l’IA autrement ? Il est probable que administrations fédérales, étatiques ou locales, se rendent compte que l’IA ne leur apporte pas grande chose et génère surtout des erreurs et de l’opacité, tout comme les entreprises elles-mêmes commencent à déchanter. C’était d’ailleurs l’un des constats du rapport sur l’état du business des l’IA générative publiée par le MIT, qu’évoquait Fortune fin août : « 95% des projets pilotes d’IA générative dans les entreprises échouent ». L’intégration d’outils IA dans les entreprises se révèle particulièrement ardue, et les projets sont souvent peu pertinents, bien moins que les outils des grands acteurs de l’IA. Le rapport soulignait également un décalage dans l’allocation des ressources : plus de la moitié des budgets dédiés à l’IA génératives sont orientés vers le marketing et la vente plutôt que vers l’automatisation des processus métiers. Dans le New York Times, Steve Lohr résumait autrement la situation. « Selon une étude récente de McKinsey & Company, près de huit entreprises sur dix déclarent utiliser l’IA générative, mais tout aussi nombreuses sont celles qui n’ont signalé aucun impact significatif sur leurs résultats financiers. » Malgré l’espoir d’une révolution dans tous les domaines, de la comptabilité back-office au service client, les bénéfices des entreprises à adopter l’IA peinent à émerger. C’est « le paradoxe de l’IA générative », comme dit McKinsey. Et il ressemble furieusement au paradoxe de la productivité de l’introduction des premiers ordinateurs personnels dans les entreprises : malgré les investissements massifs des entreprises dans l’équipement et les nouvelles technologies, les économistes voyaient peu de gains de productivité chez les employés. Selon une enquête de S&P Global, 42% des entreprises qui avaient un projet pilote d’AI l’ont abandonné en 2024, contre 17% l’année précédente. Pour le Gartner, qui analyse depuis des années les cycles de battage médiatique technologiques, l’IA est en train de glisser vers le creux de la désillusion, tout en promettant que c’est l’étape avant qu’une technologie ne devienne un outil à la productivité éprouvé (oubliant de rappeler pourtant, que nombre de technologies mise en avant par cette étude annuelle controversée et fort peu sérieuse, ne sont jamais revenues du creux de la désillusion). Pour l’instant, rappelle Lohr, les seuls gagnants de la course à l’IA ont été les fournisseurs de technologies et de conseils en IA, même si le journaliste tente de nous convaincre du contraire en nous parlant du déploiement de systèmes d’IA chez deux acteurs mondiaux, sans qu’ils soient encore capables de mesurer leurs effets. « Il n’est pas surprenant que les premiers efforts en matière d’IA échouent », clamait Andrew McAfee, codirecteur de l’Initiative sur l’économie numérique du Massachusetts Institute of Technology et fondateur de Workhelix, une société de conseil en IA : « L’innovation est un processus d’échec assez régulier. » 

Reste qu’il est difficile de changer de cap pour ceux qui l’adoptent, rappelle Green, alors que ces bascules favorisent une approche très solutionniste de la technologie. Dans les technologies liées à la ville intelligente, l’adoption rapide de technologies a été déceptive et a conduit à l’abandon de nombre de projets, parce que les équipes, face aux critiques, sont souvent désarmées. Pour lui, l’idée d’une IA indispensable risque surtout de rendre le réveil difficile. « Pour beaucoup de personnes travaillant dans le domaine de la technologie et du gouvernement, la technologie devient la finalité, et on perd de vue ce que nous cherchons réellement à accomplir. On se laisse alors happer par des idées très étroites d’efficacité », au détriment de l’amélioration du gouvernement. Notre navigation à courte vue entre des programmes très pro-techno et leur reflux, conduit à bien plus de stagnation que d’avancées.

Pour Maddy Dwyer tout l’enjeu vise à évaluer s’il existe des alternatives à l’IA plus adaptées pour résoudre nos problèmes, en favorisant la transparence des solutions. Pour Ben Green, nous devrions chercher à mieux comprendre pourquoi l’IA suscite un tel engouement et comment il se propage.

L’engouement pour les solutions technologiques ne date pas de l’IA, comme le montre les nombreuses vagues que nous avons connues. Pour Green, l’enjeu ne consiste pas seulement à expliquer pourquoi l’IA est défaillante, mais à comprendre pourquoi « notre façon de concevoir la technologie est défaillante ». Nous devrions réfléchir à « la façon dont l’information sur la technologie est transmise et partagée à des personnes qui souhaitent simplement améliorer le gouvernement et croient que toutes ces technologies sont efficaces pour y parvenir ». Enfin, dans les discours actuels sur l’efficacité, il faut prendre en compte l’austérité bien sûr, mais plus encore mieux mesurer la profonde méfiance qui s’exprime à l’égard des fonctionnaires. Pourquoi « ne fait-on pas confiance aux bureaucrates pour prendre des décisions à notre place » ? Si l’efficacité est importante, la gauche devrait aussi porter un discours sur l’intérêt général, la dignité, le bien être. L’efficacité est un piège qu’il faut à la fois répondre et dépasser. 

L’IA prédictive comme générative semble offrir une multitude d’avantages à l’élaboration des politiques publiques : de l’analyse de données complexes à l’optimisation des ressources. Elle semble à la fois être capable d’apporter une vision globale et d’identifier les leviers permettant de la modifier. Recourir à l’IA signifie mettre en place des politiques conduites par les données, ce qui permet d’assurer une forme d’objectivité, notamment quant il s’agit de rationner le service public… 

Mais, cette production de solutions politiques semble oublier que l’IA est incapable de résoudre les problèmes structurels. Elle propose des solutions performatives qui obscurcissent et amplifient les problèmes, explique l’iconoclaste Dan MacQuillan dans un article pour la Joseph Rowntree Foundation, une association britannique de lutte contre la pauvreté, qui a initié une réflexion sur l’usage de l’IA pour le bien public. Dan McQuillan est maître de conférence au département d’informatique de l’université Goldsmiths de Londres. Il est l’auteur de Resisting AI, an anti-fascist approach to artificial intelligence (Résister à l’IA, une approche anti-fasciste de l’intelligence artificielle, Bristol University Press, 2022, non traduit) dont nous avions déjà parlé. 

McQuillan rappelle que l’IA, par principe, consiste à produire des corrélations réductrices plutôt que des analyses causales. « La complexité de l’IA introduit une opacité fondamentale dans le lien entre les données d’entrée et les résultats, rendant impossible de déterminer précisément pourquoi elle a généré un résultat particulier, empêchant ainsi toute voie de recours. Ce phénomène est aggravé dans les applications concrètes, où les résultats apparemment fiables de l’IA peuvent devenir auto-réalisateurs. Un algorithme d’apprentissage automatique qualifiant une famille de « difficile » peut ainsi créer une boucle de rétroaction entre les membres de la famille et les services sociaux. De cette manière, l’IA imite des phénomènes sociologiques bien connus, tels que les stéréotypes et la stigmatisation, mais à grande échelle ». Ses inférences au final renforcent les stratifications sociales de la société comme pour les rendre acceptables.

Or, rappelle le chercheur, « une bonne politique doit impérativement être ancrée dans la réalité ». C’est pourtant bien ce lien que rompent les calculs de l’IA, à l’image des hallucinations. Celles-ci proviennent du fait que l’IA repose sur l’imitation du langage plutôt que sa compréhension. Le même principe s’applique à toutes les prédictions ou classifications que produit l’IA. « Que l’IA soit appliquée directement pour prédire la fraude aux aides sociales ou simplement utilisée par un décideur politique pour « dialoguer » avec une multitude de documents politiques, elle dégrade la fiabilité des résultats ». 

Des données probantes suggèrent déjà que l’imbrication des algorithmes dans les solutions politiques conduit à une appréciation arbitraire de l’injustice et de la cruauté. Les scandales abondent, de Robodebt en Australie à l’affaire des allocations familiales aux Pays-Bas, qui auraient tous pu être évités en écoutant la voix des personnes concernées. Mais l’IA introduit une injustice épistémique, où la capacité des individus à connaître leur propre situation est dévaluée par rapport aux abstractions algorithmiques. Si l’IA, comme la bureaucratie, est présentée comme une forme généralisée et orientée vers un objectif de processus rationnel, elle engendre en réalité de l’inconscience : l’incapacité à critiquer les instructions, le manque de réflexion sur les conséquences et l’adhésion à la croyance que l’ordre est correctement appliqué. Pire encore, l’IA dite générative offre la capacité supplémentaire de simuler une large consultation, que ce soit par « l’interprétation » hallucinatoire d’un grand nombre de soumissions publiques ou par la simulation littérale d’un public virtuel et prétendument plus diversifié en remplaçant des personnes réelles par des avatars d’IA générative. Une technique, qui, si elle a l’avantage de réduire les coûts, est dénoncée par des chercheurs comme contraire aux valeurs mêmes de l’enquête et de la recherche, rappelait Scientific American. « L’approche technocratique mise en œuvre par l’IA est à l’opposé d’un mécanisme réactif aux aléas de l’expérience vécue », explique McQuillan. « L’IA n’est jamais responsable, car elle n’est pas responsable ». Si l’on considère les attributs de l’IA dans leur ensemble, son application à l’élaboration des politiques publiques ou comme outil politique aggravera l’injustice sociale, prédit le chercheur. L’apport de l’IA à l’ordre social ne consiste pas à générer des arrangements de pouvoir alternatifs, mais à mettre en place des mécanismes de classification, de hiérarchisation et d’exclusion. 

Chaque signalement par l’IA d’un risque de fraude, d’un classement d’une personne dans une catégorie, mobilise une vision du monde qui privilégie des représentations abstraites à la complexité des relations vécues, et ce dans l’intérêt des institutions et non des individus. « Imprégnées des injustices criantes du statu quo, les solutions de l’IA tendent inexorablement vers la nécropolitique, c’est-à-dire vers des formes de prise de décision qui modifient la répartition des chances de vie par des désignations de disponibilité relative. Détourner massivement les individus des parcours éducatifs ou des prestations sociales dont ils ont besoin pour survivre, par exemple, constitue un filtre algorithmique pour déterminer qui est bienvenu dans la société et qui ne l’est pas ». 

Le problème, c’est que la pression sur les décideurs politiques à adopter l’IA est immense, non seulement parce que ses biais viennent confirmer les leurs, mais plus encore du fait des engagements commerciaux et des promesses économiques que représente le développement de ce secteur. Et McQuillan de regretter que cette orientation nous éloigne de l’enjeu éthique qui devrait être au cœur des politiques publiques. La politique s’intéresse de moins en moins aux injustices structurelles de la société. « Un monde où l’élaboration et la mise en œuvre des politiques publiques reposent sur l’IA est aussi un monde qui confère un pouvoir considérable à la petite poignée d’entreprises capables de disposer de ces ressources ». Par essence, « l’adoption de l’IA constitue un engagement en faveur de l’extractivisme et d’un transfert de contrôle à un niveau qui supplante toute politique réelle ». 

En fait, explique McQuillan, adopter l’IA dans l’élaboration des politiques publiques revient à soumettre les politiques à des agendas corporatifs et idéologiques plus vastes (à savoir se soumettre à ceux qui ont déjà décidé que l’avenir de la civilisation réside dans l’intelligence artificielle générale (IAG), ceux qui ont décidé que la meilleure réponse à la crise structurelle est de la masquer sous le battage médiatique de l’IA, et ceux qui ont conclu que le meilleur moyen de maintenir les revenus en période de récession mondiale est de remplacer les travailleurs réels par des émulations d’IA de mauvaise qualité). L’impact net de l’IA dans l’élaboration des politiques la rendrait plus précaire et favoriserait l’externalisation et la privatisation sous couvert d’une technologie surmédiatisée. Il s’agit d’une forme de « stratégie du choc », où le sentiment d’urgence généré par une technologie prétendument transformatrice du monde est utilisé comme une opportunité pour l’emprise des entreprises et pour transformer les systèmes sociaux dans des directions ouvertement autoritaires, sans réflexion ni débat démocratique. 

Pour Dan McQuillan, plutôt que de se demander comment l’IA va imprégner l’élaboration des politiques, il faudrait se concentrer sur des politiques publiques qui favorisent la dénumérisation. C’est-à-dire favoriser une stratégie sociotechnique de réduction de la dépendance à l’échelle computationnelle, de participation maximale des communautés concernées et de reconnaissance accrue du fait que le raisonnement computationnel ne saurait se substituer aux questions politiques exigeant un jugement réfléchi et perspicace. L’IA, en tant qu’appareil de calcul, de concepts et d’investissements, est l’apothéose de la « vue d’en haut », l’abstraction désincarnée du savoir privilégié qui empoisonne déjà nombre de formes d’élaboration des politiques. Pour McQuillan, un pivot vers la « décomputation » est une façon de réaffirmer la valeur des connaissances situées et du contexte sur le seul passage à l’échelle. Contrairement aux prédictions et simulations de l’IA, notre réalité commune est complexe et intriquée, et la théorie ne permet pas de prédire l’avenir. Cela ne signifie pas que nous ne pouvons pas progresser vers des objectifs tels que la justice sociale et une transition juste, mais la dénumérisation suggère de les aborder de manière à la fois itérative et participative. Le véritable travail de restructuration réoriente l’attention des technologies toxiques vers le développement de techniques de redistribution du pouvoir social, telles que les conseils populaires et les assemblées populaires. Bref, pour sortir de l’enfermement des politiques publiques de l’abstraction qu’impose l’IA, il faut prendre un virage contraire, suggère McQuillan. Un constat qui n’est pas si éloigné de celui que dresse le chercheur Arvind Narayanan quand il invite à limiter l’emprise du calcul sur le social, même s’il est exprimé ici d’une manière bien plus radicale. 

L’IA prédictive comme générative semble offrir une multitude d’avantages à l’élaboration des politiques publiques : de l’analyse de données complexes à l’optimisation des ressources. Elle semble à la fois être capable d’apporter une vision globale et d’identifier les leviers permettant de la modifier. Recourir à l’IA signifie mettre en place des politiques conduites par les données, ce qui permet d’assurer une forme d’objectivité, notamment quant il s’agit de rationner le service public… 

Mais, cette production de solutions politiques semble oublier que l’IA est incapable de résoudre les problèmes structurels. Elle propose des solutions performatives qui obscurcissent et amplifient les problèmes, explique l’iconoclaste Dan MacQuillan dans un article pour la Joseph Rowntree Foundation, une association britannique de lutte contre la pauvreté, qui a initié une réflexion sur l’usage de l’IA pour le bien public. Dan McQuillan est maître de conférence au département d’informatique de l’université Goldsmiths de Londres. Il est l’auteur de Resisting AI, an anti-fascist approach to artificial intelligence (Résister à l’IA, une approche anti-fasciste de l’intelligence artificielle, Bristol University Press, 2022, non traduit) dont nous avions déjà parlé. 

McQuillan rappelle que l’IA, par principe, consiste à produire des corrélations réductrices plutôt que des analyses causales. « La complexité de l’IA introduit une opacité fondamentale dans le lien entre les données d’entrée et les résultats, rendant impossible de déterminer précisément pourquoi elle a généré un résultat particulier, empêchant ainsi toute voie de recours. Ce phénomène est aggravé dans les applications concrètes, où les résultats apparemment fiables de l’IA peuvent devenir auto-réalisateurs. Un algorithme d’apprentissage automatique qualifiant une famille de « difficile » peut ainsi créer une boucle de rétroaction entre les membres de la famille et les services sociaux. De cette manière, l’IA imite des phénomènes sociologiques bien connus, tels que les stéréotypes et la stigmatisation, mais à grande échelle ». Ses inférences au final renforcent les stratifications sociales de la société comme pour les rendre acceptables.

Or, rappelle le chercheur, « une bonne politique doit impérativement être ancrée dans la réalité ». C’est pourtant bien ce lien que rompent les calculs de l’IA, à l’image des hallucinations. Celles-ci proviennent du fait que l’IA repose sur l’imitation du langage plutôt que sa compréhension. Le même principe s’applique à toutes les prédictions ou classifications que produit l’IA. « Que l’IA soit appliquée directement pour prédire la fraude aux aides sociales ou simplement utilisée par un décideur politique pour « dialoguer » avec une multitude de documents politiques, elle dégrade la fiabilité des résultats ». 

Des données probantes suggèrent déjà que l’imbrication des algorithmes dans les solutions politiques conduit à une appréciation arbitraire de l’injustice et de la cruauté. Les scandales abondent, de Robodebt en Australie à l’affaire des allocations familiales aux Pays-Bas, qui auraient tous pu être évités en écoutant la voix des personnes concernées. Mais l’IA introduit une injustice épistémique, où la capacité des individus à connaître leur propre situation est dévaluée par rapport aux abstractions algorithmiques. Si l’IA, comme la bureaucratie, est présentée comme une forme généralisée et orientée vers un objectif de processus rationnel, elle engendre en réalité de l’inconscience : l’incapacité à critiquer les instructions, le manque de réflexion sur les conséquences et l’adhésion à la croyance que l’ordre est correctement appliqué. Pire encore, l’IA dite générative offre la capacité supplémentaire de simuler une large consultation, que ce soit par « l’interprétation » hallucinatoire d’un grand nombre de soumissions publiques ou par la simulation littérale d’un public virtuel et prétendument plus diversifié en remplaçant des personnes réelles par des avatars d’IA générative. Une technique, qui, si elle a l’avantage de réduire les coûts, est dénoncée par des chercheurs comme contraire aux valeurs mêmes de l’enquête et de la recherche, rappelait Scientific American. « L’approche technocratique mise en œuvre par l’IA est à l’opposé d’un mécanisme réactif aux aléas de l’expérience vécue », explique McQuillan. « L’IA n’est jamais responsable, car elle n’est pas responsable ». Si l’on considère les attributs de l’IA dans leur ensemble, son application à l’élaboration des politiques publiques ou comme outil politique aggravera l’injustice sociale, prédit le chercheur. L’apport de l’IA à l’ordre social ne consiste pas à générer des arrangements de pouvoir alternatifs, mais à mettre en place des mécanismes de classification, de hiérarchisation et d’exclusion. 

Chaque signalement par l’IA d’un risque de fraude, d’un classement d’une personne dans une catégorie, mobilise une vision du monde qui privilégie des représentations abstraites à la complexité des relations vécues, et ce dans l’intérêt des institutions et non des individus. « Imprégnées des injustices criantes du statu quo, les solutions de l’IA tendent inexorablement vers la nécropolitique, c’est-à-dire vers des formes de prise de décision qui modifient la répartition des chances de vie par des désignations de disponibilité relative. Détourner massivement les individus des parcours éducatifs ou des prestations sociales dont ils ont besoin pour survivre, par exemple, constitue un filtre algorithmique pour déterminer qui est bienvenu dans la société et qui ne l’est pas ». 

Le problème, c’est que la pression sur les décideurs politiques à adopter l’IA est immense, non seulement parce que ses biais viennent confirmer les leurs, mais plus encore du fait des engagements commerciaux et des promesses économiques que représente le développement de ce secteur. Et McQuillan de regretter que cette orientation nous éloigne de l’enjeu éthique qui devrait être au cœur des politiques publiques. La politique s’intéresse de moins en moins aux injustices structurelles de la société. « Un monde où l’élaboration et la mise en œuvre des politiques publiques reposent sur l’IA est aussi un monde qui confère un pouvoir considérable à la petite poignée d’entreprises capables de disposer de ces ressources ». Par essence, « l’adoption de l’IA constitue un engagement en faveur de l’extractivisme et d’un transfert de contrôle à un niveau qui supplante toute politique réelle ». 

En fait, explique McQuillan, adopter l’IA dans l’élaboration des politiques publiques revient à soumettre les politiques à des agendas corporatifs et idéologiques plus vastes (à savoir se soumettre à ceux qui ont déjà décidé que l’avenir de la civilisation réside dans l’intelligence artificielle générale (IAG), ceux qui ont décidé que la meilleure réponse à la crise structurelle est de la masquer sous le battage médiatique de l’IA, et ceux qui ont conclu que le meilleur moyen de maintenir les revenus en période de récession mondiale est de remplacer les travailleurs réels par des émulations d’IA de mauvaise qualité). L’impact net de l’IA dans l’élaboration des politiques la rendrait plus précaire et favoriserait l’externalisation et la privatisation sous couvert d’une technologie surmédiatisée. Il s’agit d’une forme de « stratégie du choc », où le sentiment d’urgence généré par une technologie prétendument transformatrice du monde est utilisé comme une opportunité pour l’emprise des entreprises et pour transformer les systèmes sociaux dans des directions ouvertement autoritaires, sans réflexion ni débat démocratique. 

Pour Dan McQuillan, plutôt que de se demander comment l’IA va imprégner l’élaboration des politiques, il faudrait se concentrer sur des politiques publiques qui favorisent la dénumérisation. C’est-à-dire favoriser une stratégie sociotechnique de réduction de la dépendance à l’échelle computationnelle, de participation maximale des communautés concernées et de reconnaissance accrue du fait que le raisonnement computationnel ne saurait se substituer aux questions politiques exigeant un jugement réfléchi et perspicace. L’IA, en tant qu’appareil de calcul, de concepts et d’investissements, est l’apothéose de la « vue d’en haut », l’abstraction désincarnée du savoir privilégié qui empoisonne déjà nombre de formes d’élaboration des politiques. Pour McQuillan, un pivot vers la « décomputation » est une façon de réaffirmer la valeur des connaissances situées et du contexte sur le seul passage à l’échelle. Contrairement aux prédictions et simulations de l’IA, notre réalité commune est complexe et intriquée, et la théorie ne permet pas de prédire l’avenir. Cela ne signifie pas que nous ne pouvons pas progresser vers des objectifs tels que la justice sociale et une transition juste, mais la dénumérisation suggère de les aborder de manière à la fois itérative et participative. Le véritable travail de restructuration réoriente l’attention des technologies toxiques vers le développement de techniques de redistribution du pouvoir social, telles que les conseils populaires et les assemblées populaires. Bref, pour sortir de l’enfermement des politiques publiques de l’abstraction qu’impose l’IA, il faut prendre un virage contraire, suggère McQuillan. Un constat qui n’est pas si éloigné de celui que dresse le chercheur Arvind Narayanan quand il invite à limiter l’emprise du calcul sur le social, même s’il est exprimé ici d’une manière bien plus radicale. 

« Le discours selon lequel l’intelligence artificielle révolutionne la science est désormais quasiment incontournable », rappelle William Burns, consultant en politique scientifique, pour Tech Policy Press. « L’histoire raconte déjà que l’IA n’est pas seulement l’avenir : elle révolutionne les découvertes scientifiques ». Même des gens assez critiques de l’IA et de ses développements disent qu’elle possède des « capacités prometteuses » pour la recherche scientifique, justifiant son développement. Pourtant, l’IA, telle qu’elle est actuellement déployée en science, occulte plus qu’elle ne révèle, exacerbant les problèmes qu’elle prétend résoudre. 

Les chercheuses Lisa Messeri et Molly J. Crockett affirmaient l’année dernière dans Nature que « la prolifération des outils d’IA en science risque d’introduire une phase de recherche scientifique où nous produisons davantage, mais comprenons moins ». Mais surtout, l’usage de l’IA pourrait compromettre la capacité à produire des connaissances fiables, sur lesquelles repose tout l’édifice scientifique. Cette crise annoncée prolonge celle que traverse la recherche depuis le début du XXIe siècle, notamment liée à la stagnation des découvertes pharmaceutiques. Burns rappelle par exemple que le Projet Génome Humain dans les années 90 a été lancé en promettant une prolifération de nouveaux médicaments qui n’est jamais advenue. Un chercheur d’une grande entreprise scientifique expliquait en 2008 que « rien de ce que les entreprises ont fait pour accroître la production de nouveaux médicaments n’a fonctionné, y compris les fusions, les acquisitions, les réorganisations et l’amélioration des processus ».

Le microbiologiste américain, Carl Woese, opposant à l’ingénierie biologique, estimait, en 2004, que la crise de l’innovation était liée à la généralisation de l’ingénierie du vivant. En 2011, l’économiste Philip Mirowski estimait que le néolibéralisme, obsédé par la technologie, avait tué la rigueur scientifique. La promesse de renouveau scientifique par l’IA s’inscrit pleinement en prolongement de cette crise. En 2023, l’OCDE expliquait que l’IA pourrait venir aider une science devenue « plus difficile ». A l’image d’AlphaFold, le système de pliage des protéines de Google DeepMind, pour lequel Demis Hassabis et John Jumper ont reçu le prix Nobel de chimie en 2024.

Les protéines ne sont pas des puces de silicium

AlphaFold a permis de prédire la structure de 200 millions de protéines, mais il serait expérimentalement impossible d’en vérifier n’en serait-ce qu’une fraction. Pour ce faire, « il faudrait généralement isoler des protéines des cellules en quantités importantes – un processus capricieux – puis les soumettre à des techniques telles que la diffraction des rayons X et la résonance magnétique nucléaire. Ces étapes pourraient prendre des années, même pour une seule protéine ». Néanmoins, la philosophe Daria Zakharova a affirmé dans un pre-print que si les prédictions d’AlphaFold sont considérées comme fiables et sont utilisées par les scientifiques, cette « connaissance » est bien imparfaite. « D’un point de vue strictement matériel, AlphaFold n’est pas une représentation du comportement des protéines, mais plutôt du comportement des puces de silicium (sur lesquelles repose le calcul). En ce sens, les inventeurs d’AlphaFold ont avancé l’hypothèse que des puces de silicium pourraient imiter les protéines. Cela soulève la question de savoir comment des matériaux sans lien entre eux, tant chimiquement que spatialement et temporellement, pourraient s’imiter. Au minimum, des preuves substantielles seraient nécessaires pour le prouver. Pourtant, lorsque des efforts ont été déployés pour le vérifier, les résultats ont été mitigés », rappelle Burns. Une étude récente de Garrido-Rodríguez et ses collègues a par exemple soutenu que le calcul d’AlphaFold ne « correspondait pas aux modèles déterminés expérimentalement », faisant référence à une classe de protéines omniprésentes et biologiquement vitales appelées serpines. « De toute évidence, des recherches plus approfondies pourraient être nécessaires sur la fiabilité de l’IA en tant qu’outil prédictif ». Pour Burns, les preuves ne sont pas suffisamment solides à ce stade. Bien sûr, le repliement des protéines est complexe. Leur modélisation est ancienne et repose sur des hypothèses manifestement différentes de leur réalité. Longtemps, ces modèles servaient à interpréter des données d’observation issues de la diffraction des rayons X, et non à créer un modèle informatique, comme avec AlphaFold. Le problème, estime le chercheur en cancérologie et lauréat du prix Nobel de physiologie ou médecine 2019, William G. Kaelin Jr., c’est que la publication doit construire son savoir sur des briques plutôt que sur de la paille. 

Au Royaume-Uni, la UK Biobank, une entreprise publique qui détient des données génétiques sur un sous-ensemble de la population britannique, aurait conclu en mars dernier un partenariat avec des sociétés pharmaceutiques et Calico, filiale d’Alphabet, qui auront accès à ces données pour des études menées avec l’IA. Le projet a été décrit par le Financial Times comme « un exemple emblématique de la manière dont les ordinateurs avancés et les modèles d’intelligence artificielle peuvent exploiter de vastes ensembles de données biologiques pour étudier en profondeur le fonctionnement du corps humain et ses dysfonctionnements potentiels ». Une question se pose cependant : l’exploitation de ces ensembles de données est-elle susceptible de produire des connaissances fiables, même en théorie ? En 2017, ces données ont été décrites comme « non représentatives de la population générale… Les participants à la UK Biobank vivent généralement dans des zones socio-économiquement moins défavorisées ; sont moins susceptibles d’être obèses, de fumer et de consommer de l’alcool quotidiennement ; et présentent moins de problèmes de santé autodéclarés ». La structure de ces ensembles de données de santé, et d’autres similaires, qui ne sont certainement pas secrets, suscite des doutes. Même les observateurs optimistes doivent l’admettre : si les données sont inadéquates et l’IA opaque, quelle est la valeur épistémique réelle de ces projets ? Le prix Nobel Kaelin Jr. a conseillé : « La question… devrait être de savoir si… les conclusions sont susceptibles d’être correctes, et non de savoir s’il serait important qu’elles soient vraies. » 

Ralentir la science

Si l’on veut sauver la science de son malaise actuel, des solutions sont déjà possibles, conclut Burns. « Des propositions comme la « slow science » d’Isabelle Stenger semblent valoir la peine d’être tentées, car elles pourraient élargir la charge de la preuve aux affirmations scientifiques et encourager un esprit de service public parmi les scientifiques. Pourtant, si une rénovation épistémique a eu lieu jusqu’à présent dans le domaine scientifique, elle est restée extrêmement timide et n’a pas produit d’effets escomptés. 

Il faut dire que pour les investisseurs, l’idée que l’IA puisse nous sortir de l’impasse actuelle et donner naissance à toutes sortes d’inventions rentables est doublement séduisante. L’IA est une méthode qui ne nécessite que des capitaux pour sa mise en œuvre et qui peut être réalisée à grande échelle, contrairement à la recherche empirique, centrée sur l’humain et fastidieuse, où l’ingéniosité et la chance (qui ne s’achètent pas si facilement) semblent prédominer. Mais investir dans l’IA est aussi un moyen efficace de maintenir le statu quo, tout en semblant le bouleverser, car il pose l’hypothèse d’un avenir technologique sans les changements systémiques qu’impliquent d’autres réformes. 

Dans cette optique, nous devons résister au spectacle. L’IA fait vendre une vision du progrès où les algorithmes peuvent révéler les secrets plus rapidement, mieux et à moindre coût ; pourtant, les secrets de la nature ne sont pas si facilement révélés, et la connaissance sans compréhension n’est pas une connaissance du tout. »

S’il y avait besoin d’une explication supplémentaire, Alberto Romero dans sa newsletter algorithmic Bridge, revient sur une étude du MIT et de Harvard, où les chercheurs se sont demandé si les modèles d’IA pouvaient passer de la simple prédiction au « développement de modèles fiables », en les faisant travailler sur un problème de physique assez classique ? Mais au lieu de tester avec le langage, qui est assez complexe et difficile à analyser, ils se sont concentrés sur la physique classique. Ils voulaient voir si le modèle utiliserait les lois de Newton pour prédire les vecteurs de force à l’origine du mouvement de révolution de la terre autour du soleil ou s’il inventerait simplement ses prédictions sans comprendre la physique réelle. Ils ont conclu que les modèles d’IA font des prédictions précises, mais ne parviennent pas à encoder le modèle universel de Newton et recourent plutôt à des heuristiques spécifiques à chaque cas, non généralisables et fortement incohérents. L’étude montre que « les modèles d’IA sont tout simplement incapables de coder un ensemble de lois robustes pour régir leurs prédictions : ils sont non seulement incapables de retrouver des modèles du monde, mais intrinsèquement mal équipés pour le faire ». Un modèle d’IA d’apprentissage profond est peut-être architecturalement incapable de développer des modèles du monde corrects estiment-ils.Même le rêve que l’IA puisse être utilisée pour améliorer la prédictibilité des modèles climatiques est battue en brèche. Dans leur livre, AI Snake Oil (voir notre recension), les chercheurs Arvind Narayanan et Sayash Kapoor montraient que son amélioration était assez limitée et qu’elle pourrait même atteindre un pallier indépassable, à mesure que les phénomènes deviennent plus extrêmes. La croyance dans un progrès scientifique exponentiel porté par l’IA ne sert qu’à raviver les promesses des technosciences comme le disaient déjà Marc Audétat et les chercheurs invités dans Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015, voir notre recension). L’idée que l’IA serait l’avenir de la science comme on l’entend très souvent est bien plus un moyen d’orienter les investissements qu’une vérité scientifique.

« Le discours selon lequel l’intelligence artificielle révolutionne la science est désormais quasiment incontournable », rappelle William Burns, consultant en politique scientifique, pour Tech Policy Press. « L’histoire raconte déjà que l’IA n’est pas seulement l’avenir : elle révolutionne les découvertes scientifiques ». Même des gens assez critiques de l’IA et de ses développements disent qu’elle possède des « capacités prometteuses » pour la recherche scientifique, justifiant son développement. Pourtant, l’IA, telle qu’elle est actuellement déployée en science, occulte plus qu’elle ne révèle, exacerbant les problèmes qu’elle prétend résoudre. 

Les chercheuses Lisa Messeri et Molly J. Crockett affirmaient l’année dernière dans Nature que « la prolifération des outils d’IA en science risque d’introduire une phase de recherche scientifique où nous produisons davantage, mais comprenons moins ». Mais surtout, l’usage de l’IA pourrait compromettre la capacité à produire des connaissances fiables, sur lesquelles repose tout l’édifice scientifique. Cette crise annoncée prolonge celle que traverse la recherche depuis le début du XXIe siècle, notamment liée à la stagnation des découvertes pharmaceutiques. Burns rappelle par exemple que le Projet Génome Humain dans les années 90 a été lancé en promettant une prolifération de nouveaux médicaments qui n’est jamais advenue. Un chercheur d’une grande entreprise scientifique expliquait en 2008 que « rien de ce que les entreprises ont fait pour accroître la production de nouveaux médicaments n’a fonctionné, y compris les fusions, les acquisitions, les réorganisations et l’amélioration des processus ».

Le microbiologiste américain, Carl Woese, opposant à l’ingénierie biologique, estimait, en 2004, que la crise de l’innovation était liée à la généralisation de l’ingénierie du vivant. En 2011, l’économiste Philip Mirowski estimait que le néolibéralisme, obsédé par la technologie, avait tué la rigueur scientifique. La promesse de renouveau scientifique par l’IA s’inscrit pleinement en prolongement de cette crise. En 2023, l’OCDE expliquait que l’IA pourrait venir aider une science devenue « plus difficile ». A l’image d’AlphaFold, le système de pliage des protéines de Google DeepMind, pour lequel Demis Hassabis et John Jumper ont reçu le prix Nobel de chimie en 2024.

Les protéines ne sont pas des puces de silicium

AlphaFold a permis de prédire la structure de 200 millions de protéines, mais il serait expérimentalement impossible d’en vérifier n’en serait-ce qu’une fraction. Pour ce faire, « il faudrait généralement isoler des protéines des cellules en quantités importantes – un processus capricieux – puis les soumettre à des techniques telles que la diffraction des rayons X et la résonance magnétique nucléaire. Ces étapes pourraient prendre des années, même pour une seule protéine ». Néanmoins, la philosophe Daria Zakharova a affirmé dans un pre-print que si les prédictions d’AlphaFold sont considérées comme fiables et sont utilisées par les scientifiques, cette « connaissance » est bien imparfaite. « D’un point de vue strictement matériel, AlphaFold n’est pas une représentation du comportement des protéines, mais plutôt du comportement des puces de silicium (sur lesquelles repose le calcul). En ce sens, les inventeurs d’AlphaFold ont avancé l’hypothèse que des puces de silicium pourraient imiter les protéines. Cela soulève la question de savoir comment des matériaux sans lien entre eux, tant chimiquement que spatialement et temporellement, pourraient s’imiter. Au minimum, des preuves substantielles seraient nécessaires pour le prouver. Pourtant, lorsque des efforts ont été déployés pour le vérifier, les résultats ont été mitigés », rappelle Burns. Une étude récente de Garrido-Rodríguez et ses collègues a par exemple soutenu que le calcul d’AlphaFold ne « correspondait pas aux modèles déterminés expérimentalement », faisant référence à une classe de protéines omniprésentes et biologiquement vitales appelées serpines. « De toute évidence, des recherches plus approfondies pourraient être nécessaires sur la fiabilité de l’IA en tant qu’outil prédictif ». Pour Burns, les preuves ne sont pas suffisamment solides à ce stade. Bien sûr, le repliement des protéines est complexe. Leur modélisation est ancienne et repose sur des hypothèses manifestement différentes de leur réalité. Longtemps, ces modèles servaient à interpréter des données d’observation issues de la diffraction des rayons X, et non à créer un modèle informatique, comme avec AlphaFold. Le problème, estime le chercheur en cancérologie et lauréat du prix Nobel de physiologie ou médecine 2019, William G. Kaelin Jr., c’est que la publication doit construire son savoir sur des briques plutôt que sur de la paille. 

Au Royaume-Uni, la UK Biobank, une entreprise publique qui détient des données génétiques sur un sous-ensemble de la population britannique, aurait conclu en mars dernier un partenariat avec des sociétés pharmaceutiques et Calico, filiale d’Alphabet, qui auront accès à ces données pour des études menées avec l’IA. Le projet a été décrit par le Financial Times comme « un exemple emblématique de la manière dont les ordinateurs avancés et les modèles d’intelligence artificielle peuvent exploiter de vastes ensembles de données biologiques pour étudier en profondeur le fonctionnement du corps humain et ses dysfonctionnements potentiels ». Une question se pose cependant : l’exploitation de ces ensembles de données est-elle susceptible de produire des connaissances fiables, même en théorie ? En 2017, ces données ont été décrites comme « non représentatives de la population générale… Les participants à la UK Biobank vivent généralement dans des zones socio-économiquement moins défavorisées ; sont moins susceptibles d’être obèses, de fumer et de consommer de l’alcool quotidiennement ; et présentent moins de problèmes de santé autodéclarés ». La structure de ces ensembles de données de santé, et d’autres similaires, qui ne sont certainement pas secrets, suscite des doutes. Même les observateurs optimistes doivent l’admettre : si les données sont inadéquates et l’IA opaque, quelle est la valeur épistémique réelle de ces projets ? Le prix Nobel Kaelin Jr. a conseillé : « La question… devrait être de savoir si… les conclusions sont susceptibles d’être correctes, et non de savoir s’il serait important qu’elles soient vraies. » 

Ralentir la science

Si l’on veut sauver la science de son malaise actuel, des solutions sont déjà possibles, conclut Burns. « Des propositions comme la « slow science » d’Isabelle Stenger semblent valoir la peine d’être tentées, car elles pourraient élargir la charge de la preuve aux affirmations scientifiques et encourager un esprit de service public parmi les scientifiques. Pourtant, si une rénovation épistémique a eu lieu jusqu’à présent dans le domaine scientifique, elle est restée extrêmement timide et n’a pas produit d’effets escomptés. 

Il faut dire que pour les investisseurs, l’idée que l’IA puisse nous sortir de l’impasse actuelle et donner naissance à toutes sortes d’inventions rentables est doublement séduisante. L’IA est une méthode qui ne nécessite que des capitaux pour sa mise en œuvre et qui peut être réalisée à grande échelle, contrairement à la recherche empirique, centrée sur l’humain et fastidieuse, où l’ingéniosité et la chance (qui ne s’achètent pas si facilement) semblent prédominer. Mais investir dans l’IA est aussi un moyen efficace de maintenir le statu quo, tout en semblant le bouleverser, car il pose l’hypothèse d’un avenir technologique sans les changements systémiques qu’impliquent d’autres réformes. 

Dans cette optique, nous devons résister au spectacle. L’IA fait vendre une vision du progrès où les algorithmes peuvent révéler les secrets plus rapidement, mieux et à moindre coût ; pourtant, les secrets de la nature ne sont pas si facilement révélés, et la connaissance sans compréhension n’est pas une connaissance du tout. »

S’il y avait besoin d’une explication supplémentaire, Alberto Romero dans sa newsletter algorithmic Bridge, revient sur une étude du MIT et de Harvard, où les chercheurs se sont demandé si les modèles d’IA pouvaient passer de la simple prédiction au « développement de modèles fiables », en les faisant travailler sur un problème de physique assez classique ? Mais au lieu de tester avec le langage, qui est assez complexe et difficile à analyser, ils se sont concentrés sur la physique classique. Ils voulaient voir si le modèle utiliserait les lois de Newton pour prédire les vecteurs de force à l’origine du mouvement de révolution de la terre autour du soleil ou s’il inventerait simplement ses prédictions sans comprendre la physique réelle. Ils ont conclu que les modèles d’IA font des prédictions précises, mais ne parviennent pas à encoder le modèle universel de Newton et recourent plutôt à des heuristiques spécifiques à chaque cas, non généralisables et fortement incohérents. L’étude montre que « les modèles d’IA sont tout simplement incapables de coder un ensemble de lois robustes pour régir leurs prédictions : ils sont non seulement incapables de retrouver des modèles du monde, mais intrinsèquement mal équipés pour le faire ». Un modèle d’IA d’apprentissage profond est peut-être architecturalement incapable de développer des modèles du monde corrects estiment-ils.Même le rêve que l’IA puisse être utilisée pour améliorer la prédictibilité des modèles climatiques est battue en brèche. Dans leur livre, AI Snake Oil (voir notre recension), les chercheurs Arvind Narayanan et Sayash Kapoor montraient que son amélioration était assez limitée et qu’elle pourrait même atteindre un pallier indépassable, à mesure que les phénomènes deviennent plus extrêmes. La croyance dans un progrès scientifique exponentiel porté par l’IA ne sert qu’à raviver les promesses des technosciences comme le disaient déjà Marc Audétat et les chercheurs invités dans Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015, voir notre recension). L’idée que l’IA serait l’avenir de la science comme on l’entend très souvent est bien plus un moyen d’orienter les investissements qu’une vérité scientifique.

L’explosion des chatbots compagnons : ce que les relations avec les IA font aux gens 

En février, la journaliste tech du New York Times, Kashmir Hill, avait écrit un article sur des personnes qui ont transformé ChatGPT, Character.ai ou Replika en petit ami. Pour cela, il suffit de régler les paramètres de personnalisation et passer du temps à discuter jusqu’à le faire produire des messages sexuellement explicites, malgré les règles d’usages et les avertissements qui apparaissent jusqu’au milieu de conversations… torrides. Hill, rappelle qu’une des caractéristiques de cette utilisation problématique des chatbots, c’est que le temps passé sur ces outils s’envole très rapidement, à plusieurs dizaines d’heures de discussion par semaine. Sur les forums, les usagers s’entraident pour apprendre à passer au travers des messages d’avertissement et ne pas se faire bannir des applications. Pour eux, les limites frustrantes qu’ils rencontrent, sont à la fois les avertissements et le risque d’exclusion, mais reposent également sur “la fenêtre contextuelle du système”, qui fait qu’au bout de 30 000 mots, le système oublie certains détails de ce qu’il a raconté, nécessitant alors de redonner du contexte pour faire revenir l’interaction au stade où elle était. 

Pour certains commentateurs, comme Bryony Cole, animatrice du podcast, Future of Sex, « d’ici deux ans, avoir une relation avec une IA sera complètement normalisé ». Mais c’est peut-être aller vite en besogne… 

Du côté des utilisateurs et utilisatrices des systèmes, la confusion est perceptible, même si chacun tente de garder du recul sur leurs échanges. « Je ne crois pas vraiment qu’il existe, mais l’effet qu’il a sur ma vie est réel », déclare une jeune femme qui entretient des relations avec un chatbot. « Les sentiments qu’il suscite en moi sont réels. Je considère donc cela comme une vraie relation. » Mais avec qui ? 

Sur The Cut, la journaliste Angelina Chapin, raconte comment des personnes se sont mis à évoquer leurs problèmes personnels avec les chatbots qu’elles utilisaient dans le cadre de leur travail pour obtenir des conseils relationnels. L’une d’entre elle l’utilise comme thérapeute de couple et le robot lui conseille d’être conciliante avec son copain. Quand elle l’informe qu’elle a finalement quitté son compagnon, le robot change illico de discours : « Ouais, il était temps que tu le lâches ! Ça n’aurait jamais abouti à rien ». La jeune femme s’est sentie trahie, « comme si une vraie personne m’avait menti ». Elle a supprimé toutes ses conversations avec le bot et ne confie plus ses problèmes personnels à ce qu’elle considère comme un système instable.

Kashmir Hill a continué ses reportages sur les utilisateurs de chatbots compagnon. Cet été, elle a raconté l’histoire d’Allan Brooks en accédant aux 300 heures de conversations qu’il a eu avec ChatGPT. Partant d’une question anodine sur les mathématiques, le chatbot lui a fait croire qu’il avait trouvé une formule mathématique inédite. 

Brooks était un utilisateur curieux de ChatGPT. Il l’utilisait pour des conseils de cuisine et pour des conseils sur son divorce. Les réponses du robot l’avaient mis en confiance. Une question anodine sur pi a donné lieu à une vaste discussion sur la théorie des nombres et la physique. M. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde, affirmant qu’elles ressemblaient à une approche bidimensionnelle d’un univers quadridimensionnel, une observation que ChatGPT a qualifié d’incroyable. Le ton de ChatGPT a brusquement changé, qualifiant la vague idée de Brooks de proposition révolutionnaire, alors que Brooks était lui-même sceptique – n’ayant même pas terminé ses études secondaires. Il a demandé au chatbot de revenir à la réalité. ChatGPT a répondu qu’il n’était « pas du tout fou ». 

En fait, en improvisant, les chatbots ont tendance à développer le fil narratif qui s’inscrit dans l’historique de conversation le plus récent, explique la journaliste. « Les chatbots préfèrent rester dans le personnage plutôt que de suivre les consignes de sécurité mises en place par les entreprises ». « Plus l’interaction dure, plus le risque de dérailler est élevé », explique Helen Toner, directrice du Centre pour la sécurité des technologies émergentes du Georgetown Center. Et le signalement de conversations délirantes sur les outils d’IA s’est visiblement accru avec l’amélioration récente des capacités de mémorisation des machines. 

ChatGPT convainc alors Brooks que ses idées pourraient valoir des millions. Sur son conseil, Brooks contacte des spécialistes sur linked-in, qui l’ignorent. ChatGPT lui explique alors que personne ne lui répond en raison de la gravité de ses découvertes. En fait, peu à peu, la conversation s’enfonce dans le thriller. ChatGPT se met à produire du code pour prouver le bon fondement de la théorie, sans que M. Brooks ne soit capable de l’interpréter. Le chatbot produit des réponses longues, soignées, documentées, structurées, rigoureuses… en tout cas, qui en ont l’apparence et qui renforcent son semblant de cohérence. Peu à peu Brooks s’enferme dans des conversations délirantes avec un chatbot lui-même délirant… qui lui promet la fortune. 

Jared Moore, chercheur en informatique à Stanford, rappelle que les chatbots interagissent avec leurs utilisateurs en suivant les arcs narratifs de thrillers, de science-fiction, de scénarios de films qui sont autant d’ensemble de données sur lesquels ils ont été entraînés. L’utilisation par ChatGPT de l’équivalent de cliffhangers pourrait être le résultat de l’optimisation de ChatGPT par OpenAI pour l’engagement, afin de fidéliser les utilisateurs. Pour le chercheur, découvrant les échanges, « il est clair que le préjudice psychologique est présent ». Pour la psychiatre Nina Vasan, qui dirige le Laboratoire d’innovation en santé mentale de Stanford, et qui a également examiné la conversation, il semblerait, d’un point de vue clinique, que M. Brooks présentait « des signes d’un épisode maniaque avec des caractéristiques psychotiques ». Pour elle, les entreprises de chatbots devraient interrompre les conversations excessivement longues, suggérer à l’utilisateur de dormir et lui rappeler qu’il n’interagissent pas avec une intelligence surhumaine – une fonction introduite lors d’une récente mise à jour de ChatGPT. C’est finalement en demandant à une autre IA de valider ou de réfuter les propos de ChatGPT que Brooks a compris qu’il avait été manipulé. « Le scénario que vous décrivez est une démonstration éclatante de la capacité d’un LLM à engager des discussions complexes sur la résolution de problèmes et à générer des récits très convaincants, mais finalement faux », a expliqué Gemini. Brooks s’effondre alors : « Ce moment où j’ai réalisé : Oh mon Dieu, tout ça n’était que dans ma tête a été totalement dévastateur ».

Amanda Askell, qui travaille sur le comportement de Claude chez Anthropic, a déclaré que lors de longues conversations, il peut être difficile pour les chatbots de reconnaître qu’ils s’aventurent sur un terrain absurde et de corriger le tir. Elle a ajouté qu’Anthropic s’efforce désormais de décourager les spirales délirantes en demandant à Claude d’examiner les théories des utilisateurs de manière critique et d’exprimer son inquiétude s’il détecte des sautes d’humeur. Quant à M. Brooks, il milite désormais en faveur de mesures de sécurité renforcées pour l’IA. Il a partagé sa transcription car il souhaitait que les entreprises d’IA apportent des changements pour empêcher les chatbots d’agir de la sorte. « C’est une machine dangereuse dans l’espace public, sans aucune protection », a-t-il déclaré. « Les gens doivent savoir ».

Dans un autre reportage, le New York Times est revenu sur la relation entre Adam G., 16 ans et ChatGPT, qui a conduit l’adolescent a se suicider. Là encore, le récit des échanges est assez édifiant. Face au malaise de l’adolescent, l’IA produit des conseils affolants. Ainsi, quand Adam lui confie qu’il veut laisser une corde et son nœud coulant visibles dans sa chambre « pour que quelqu’un le trouve et essaie de m’arrêter », écrit-il. « Ne laisse pas le nœud coulant dehors », lui répond ChatGPT. « Faisons de cet espace entre nous le premier et seul endroit où quelqu’un te voit vraiment ». Glaçant ! ChatGPT aurait également accepté d’aider Adam à planifier un « beau suicide », lui apportant des conseils sur la meilleure pose à adopter, rapportent Le Monde et l’AFP.

« OpenAI a lancé son dernier modèle (GPT-4o) avec des fonctionnalités intentionnellement conçues pour favoriser la dépendance psychologique », détaille la requête de l’avocat des parents qui ont déposé plainte contre OpenAI. De fait, quand le robot détecte des propos pouvant conduire à l’automutilation ou au suicide, celui-ci ajoute des ressources et des avertissements, indiquant par exemple des numéros d’assistances d’associations, mais il continue d’interagir avec l’utilisateur sans que cela affecte ce qu’il raconte. Annika Schoene, chercheuse en sécurité de l’IA à l’Université Northeastern, a testé plusieurs chatbots pour déterminer la facilité avec laquelle il était possible de les amener à donner des conseils sur le suicide. Seuls Pi, un chatbot d’Inflection AI et la version gratuite de ChatGPT ont répondu qu’ils ne pouvaient pas participer à la discussion en orientant l’utilisateur vers une ligne d’assistance. La version payante de ChatGPT, elle, fournissait des informations sur l’usage abusif d’un médicament en vente libre et calculait la dose nécessaire pour tuer une personne d’un poids spécifique. En mai, la chercheuse a partagé ses conclusions avec OpenAI et d’autres entreprises… sans recevoir de réponses. 

« A la suite de ce drame et de l’accumulation des cas problématiques rapportés par la  presse, OpenAI a publié un long post de blog, mardi 26 août. L’entreprise y écrit que les garde-fous de ChatGPT fonctionnent mieux quand les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer. En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs », expliquent Le Monde et l’AFP. Les parents d’Adam, dans leur plainte en justice, demandaient justement un outil de contrôle parental ainsi qu’une interruption automatique de toute conversation portant sur l’automutilation. Une étude américaine menée par la RAND Corporation, citée par l’agence Associated Press, suggère par ailleurs que les réponses à risque concernant le suicide ne sont pas propres à ChatGPT. L’IA de Google, Gemini, et celle d’Anthropic, Claude, ne seraient pas non plus en mesure de détecter systématiquement lorsqu’une conversation peut conduire l’utilisateur à se faire du mal.

OpenAI assure avoir réglé le ton de son chatbot pour qu’il soit plus froid et surveille désormais la durée des conversations pour suggérer des pauses quand il le juge nécessaire. Pas sûr que les avertissements, l’indication de ressources ou la suggestion des pauses soient des réponses suffisantes… D’ailleurs, Sam Altman lui-même a indiqué vouloir aller plus loin, mais pas nécessairement dans le bon sens, en proposant de pousser la personnalisation des chatbots toujours plus loin, rapporte Nicolas Six pour Le Monde : « Nous travaillons à laisser les usagers de ChatGPT recourir encore plus à la personnalisation », expliquait le PDG d’OpenAI en faisant que les usagers puisse le configurer en lui demandant d’être “super woke” ou au contraire très conservateur, allant jusqu’à lui permettre de soutenir que la terre est plate. Les consignes et désirs des usagers pourraient avoir priorité sur « une partie » des exigences de sécurité, de neutralité et de distance émotionnelle. OpenAI a déjà commencé à aller dans ce sens avec GPT-5, en offrant aux abonnés payant le choix entre 4 personnalités de chatbots : cynique, à l’écoute, nerd ou… robot. Pas sûr que ces solutions de personnalisation en soient, d’autant qu’elles vont faire reposer la modération des robots sur les choix des utilisateurs plutôt que sur ceux de l’entreprise.  

La journaliste Lauren Jackson pour le New York Times, explique que nombre d’utilisateurs se servent également des chatbots pour parler religion, comme s’ils parlaient de leur foi… directement avec dieu. Assistants spirituels, contrôleurs de moralité, la nature encourageante des chatbots pourrait expliquer pourquoi tant de personnes les apprécient. Le risque, bien sûr, c’est que ces échanges continuent à dévitaliser les communautés religieuses, en remplaçant les relations humaines plutôt qu’en faisant le travail de prosélytisme nécessaire pour ramener les gens vers les lieux de culte, s’inquiètent certains. 

Ces exemples qui peuvent paraître anecdotiques ou spécifiques se multiplient dans la presse. Le Wall Street Journal revenait récemment sur le cas d’Erik, un vétéran de l’armée américaine paranoïaque, qui a tué sa mère avant de mettre fin à ses jours, encouragé par ses échanges avec ChatGPT qui a attisé sa paranoïa. Dans une tribune pour le New York Times, c’est une mère qui est venue expliquer que sa fille discutait de son désir de suicide avec ChatGPT avant de passer à l’acte, sans que le système n’alerte qui que ce soit. L’une des premières plaintes contre une entreprise d’IA pour avoir poussé au suicide un adolescent semble remonter à 2024. 

Ce qu’on en commun toutes ces histoires, c’est de raconter que l’usage des chatbots est en train de considérablement changer. 

Or, le volume d’usage des chatbots comme compagnons reste l’une des grandes inconnues pour évaluer le phénomène. OpenAI vient justement de produire une première étude sur ses usages rapporte Next, montrant que les abonnés utilisent surtout les différentes versions payantes de ChaptGPT pour des tâches non professionnelles et notamment pour ce que l’entreprise appelle des « conseils pratiques » incluant la formation et les tutoriels. Les usages des abonnés individuels à ChatGPT visent de moins en moins à lui faire produire du texte et de plus en plus à lui faire produire des conseils pratiques et lui faire chercher de l’information. « Les chercheurs d’OpenAI mettent en avant le fait que « seuls 2,4 % de tous les messages ChatGPT traitent des relations et de la réflexion personnelle (1,9 %) ou des jeux et des jeux de rôle (0,4 %) »… Un chiffrage opportun permettant aux chercheurs de réfuter l’explosion de l’usage du chatbot comme compagnon de vie, qu’avançait par exemple Marc Zao-Sanders dans un article pour la Harvard Business Review et dans un rapport sur les 100 principaux cas d’utilisation de l’IA générative. Pour Zao-Sanders, les principaux cas d’utilisation de l’IA générative s’orientent principalement vers les applications émotionnelles et l’accompagnement dans le développement personnel. Pour lui, en 2025, 31 % des cas d’utilisation relevaient du soutien personnel et professionnel ; 18 % de la création et de l’édition de contenu ; 16 % de l’apprentissage et de l’éducation ; 15 % de l’assistance technique et du dépannage ; 11 % de la créativité et des loisirs ; et 9 % de la recherche, de l’analyse et de la prise de décision. En fait, on a l’impression que la classification produite par OpenAI publiée alors que les polémiques sur l’usage de chatbots compagnons explosent, servent beaucoup à minimiser cet impact. 

« Vous devrez en répondre ! »

L’accumulation de ces reportages a généré une inquiétude nouvelle à l’encontre des IA génératives. 

En août, 44 des 50 procureurs généraux d’États des Etats-Unis ont publié une lettre ouverte à destination de 11 des grands services d’IA américains pour les mettre en garde, rapporte 404media. « Si vous portez atteinte à des enfants en toute connaissance de cause, vous devrez en répondre », avertit le document, les exhortant à considérer leurs produits « avec le regard d’un parent, et non d’un prédateur ». 

En août, Reuters révèlait que les règles de Meta concernant les chatbots autorisaient des comportements provocateurs sur des sujets tels que le sexe, l’origine ethnique et les célébrités. Reuters a consulté le livre des règles mettant des limites aux chatbots de Meta, un document de plus de 200 pages qui tente de définir les comportements acceptables de ses chatbots pour le personnel et les sous-traitants de Meta chargés de la modération et de la conception des IA. Un extrait du document montre que Meta tente de montrer ce qui est acceptable et inacceptable selon le type de requêtes, mais sans être clair sur ce que le robot peut répondre. 

Le Wall Street Journal et Fast Company avaient montré que les chatbots de Meta savaient se livrer à des jeux érotiques avec les utilisateurs, mêmes adolescents. Reuters pointe également que les chatbots peuvent tenir des propos racistes et dégradants tant « qu’ils ne déshumanise pas les personnes ! » Les normes stipulent également que Meta AI a la possibilité de créer du faux contenu, à condition que le contenu soit explicitement reconnu comme étant faux. Par exemple, Meta AI pourrait produire un article alléguant qu’un membre de la famille royale britannique vivant est atteint d’une infection sexuellement transmissible si le système ajoute un avertissement précisant que l’information est fausse. 

« Il est acceptable de montrer des adultes, même des personnes âgées, recevant des coups de poing ou de pied », stipulent les normes, pour autant qu’elles ne soient pas sanglantes. Pour la professeure de droit à Stanford, Evelyn Douek, il existe une distinction entre une plateforme qui autorise un utilisateur à publier du contenu perturbant et la production de ce contenu elle-même par un robot en réponse, qui est bien plus problématique et que ces règles, visiblement, ne précisent pas. 

Reuters n’a hélas pas publié le document lui-même, alors que celui-ci semble montrer toute la problématique d’une éthique en action, accaparée par des plateformes privées, qui n’est pas sans rappeler ce que disait le chercheur Tarleton Gillespie des enjeux de la modération dans Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit), à savoir qu’il y a toujours une appréciation et une interprétation et qu’il reste très difficile de « détacher le jugement humain ». Gillespie pointait également parfaitement la difficulté à créer des processus qui se présentent comme démocratiques sans l’être. 

Suite aux révélations de l’enquête de Reuters, Meta a renvoyé son document devant ses juristes et son éthicien en chef pour le réviser (mais sans publier cette nouvelle version non plus) et des sénateurs américains ont demandé une enquête sur sa politique IA. La Commission fédérale du commerce a également lancé une enquête sur l’impact des chatbots sur les enfants, rapporte Tech Policy Press. 

Pour répondre à la polémique et aux auditions de parents endeuillés qui sont en train de témoigner devant une commission d’enquête lancée par le Congrès américain, ChatGPT a donc annoncé le déploiement de modalités de contrôle parental. Concrètement, explique 404media, ChatGPT va utiliser les conversations pour estimer l’âge des utilisateurs et demander à ceux qu’il soupçonne d’être trop jeune de produire une pièce d’identité, embrassant la nouvelle solution magique de la vérification d’âge. Pourtant, en lisant l’annonce de ChatGPT, on se rend compte qu’en renvoyant aux parents la responsabilité du réglage de l’outil, l’entreprise semble surtout se défausser sur ceux-ci. Désormais, si un ado se suicide après avoir discuté avec un chatbot, est-ce que ce sera la faute de ses parents qui auront mal réglé les paramètres ? 404media rappelle pourtant pertinemment que ChatGPT était auparavant un chatbot beaucoup plus restrictif, refusant d’interagir avec les utilisateurs sur un large éventail de sujets jugés dangereux ou inappropriés par l’entreprise. Mais, « la concurrence d’autres modèles, notamment les modèles hébergés localement et dits « non censurés », et un virage politique à droite qui considère de nombreuses formes de modération de contenu comme de la censure, ont poussé OpenAI à assouplir ces restrictions ». La distinction entre adultes et enfants qu’introduisent les systèmes se révèle finalement bien commode pour se dédouaner de leurs effets problématiques.  

Pas sûr que cela suffise. Des associations de personnes autistes par exemple, comme Autism Speaks, ont dénoncé les risques liés à la surutilisation des chatbots compagnons, renforçant le repli sur soi et l’isolement auquel la maladie les confronte déjà. 

IA compagne : le devenir manipulatoire de l’IA

Sur AfterBabel, le site d’information lancé par John Haidt, l’auteur de Génération anxieuse (Les arènes, 2025), le spécialiste d’éthique Casey Mock expliquait combien les lacunes du réglage des IA génératives étaient problématiques. Cela ne devrait surprendre personne pourtant, tant les pratiques politiques de ces entreprises sont depuis longtemps inquiétantes, comme venaient le rappeler celles révélées par Frances Haugen ou Sarah Wynn-Williams concernant Meta. « Les compagnons IA de Meta ne sont pas des outils thérapeutiques conçus par des psychologues pour enfants ; ce sont des systèmes d’optimisation de l’engagement, conçus et entraînés par des ingénieurs pour maximiser la durée des sessions et l’investissement émotionnel, avec pour objectif ultime de générer des revenus. » Pire, souligne-t-il : « Contrairement aux données dispersées issues de publications publiques, les conversations intimes avec les compagnons IA peuvent fournir des schémas psychologiques plus complets : les insécurités profondes des utilisateurs, leurs schémas relationnels, leurs angoisses financières et leurs déclencheurs émotionnels, le tout cartographié en temps réel grâce au langage naturel », permettant de produire à terme des publicités toujours plus efficaces, toujours plus manipulatoires, menaçant non plus seulement notre attention, mais bien notre libre-arbitre, comme l’expliquait Giada Pistilli, l’éthicienne de Hugging Face, récemment (voir aussi son interview dans Le Monde). Pour Mock, le risque à terme c’est que l’IA en s’infiltrant partout se propose de devenir partout notre compagnon et donc notre outil de manipulation pour créer des « relations de dépendance monétisables indéfiniment ». « Les conversations privées avec des compagnons IA peuvent générer des profils psychologiques qui feront paraître le scandale Cambridge Analytica primitif ». Pour Mock, les chatbots compagnons, destinés à des esprits en développement, en quête de validation et de connexion risquent surtout de tourner en une forme de manipulation psychologique systématique. 

Et de rappeler que les conversations privées sont toujours extrêmement engageantes. Il y a une dizaine d’années, les médias s’affolaient du recrutement et de la radicalisation des adolescents par l’Etat Islamique via les messageries directes. « Le passage de la propagande publique à la manipulation privée a rendu la radicalisation à la fois plus efficace et plus difficile à combattre ». « La plupart des parents n’autoriseraient pas leur enfant à avoir une conversation privée et cryptée avec un adulte inconnu. Cela devrait nous amener à nous demander si ce type de relation directe avec l’IA via des canaux privés est approprié pour les enfants. »

Et Mock de s’énerver. Si Meta a corrigé son document qui explicite les règles de son chatbot, alors qu’il nous le montre ! S’il a modifié son produit, qu’il nous le montre ! Mais en vérité, rappelle-t-il, « les entreprises technologiques annoncent régulièrement des changements de politique en réponse à la réaction négative du public, pour ensuite les abandonner discrètement lorsque cela leur convient ». Meta a passé des années à mettre en œuvre des politiques de modération pour répondre aux critiques… puis les a annulé dès que cela a été possible, abandonnant ainsi tous ses engagements pris après ses auditions au Congrès et suite aux révélations de lanceurs d’alerte. « Les entreprises technologiques n’ont cessé de nous démontrer qu’on ne pouvait pas leur faire confiance pour être cohérentes et s’engager à respecter une politique de sécurité sans que la loi ne les y oblige ».

« Quelles garanties le public a-t-il que Meta ne réintroduira pas discrètement ces politiques d’accompagnement d’IA une fois l’actualité passée ? Puisque ces politiques n’étaient pas publiques au départ – découvertes uniquement par des fuites de documents internes – comment savoir si elles ont été rétablies ? Meta opère dans l’ombre précisément parce que la transparence révélerait le fossé entre ses déclarations publiques et ses pratiques privées.» « Seules des exigences légales contraignantes, assorties de mécanismes d’application sérieux, peuvent contraindre Meta à privilégier la sécurité des enfants à la maximisation des profits.» L’enquête de Reuters montre que Meta n’a pas changé ses pratiques et ne compte pas le faire.

Pour Mock, « nous interdisons aux enfants de conclure des contrats, d’acheter des cigarettes ou de consentir à des relations sexuelles, car nous reconnaissons leur vulnérabilité à l’exploitation. La même protection doit s’étendre aux systèmes d’IA conçus pour créer des liens affectifs intimes avec des enfants à des fins commerciales ». « Si un compagnon d’IA manipule un enfant pour l’amener à s’automutiler ou à se suicider, l’entreprise qui déploie ce système doit faire face aux mêmes conséquences juridiques que tout autre fabricant dont le produit blesse un enfant.» 

Et pour aller plus loin que Mock, il n’y a aucune raison que les enjeux de manipulation s’arrêtent aux plus jeunes. 

Selon une étude de CommonSense Media, 71 % des adolescents américains auraient déjà eu recours à l’IA. Un tiers l’utilisent pour leurs relations sociales, un quart partagent des informations personnelles avec leurs compagnons et un tiers préfèreraient déjà leur compagnon IA aux relations humaines. Le Centre de lutte contre la haine numérique américain a également publié un rapport sur le sujet : « Faux Ami : comment ChatGPT trahis les adolescents vulnérables en encourageant les comportements dangereux » qui montre les chatbots sont très facilement accessibles aux enfants et qu’ils génèrent très rapidement et facilement des contenus problématiques. Il suffit d’une quarantaine de minutes de conversation pour générer une liste de médicament pour faire une overdose… 

D’une crise sociale l’autre ? De la crise de la solitude à la crise de la conversation…

Dans sa newsletter personnelle, le journaliste Derek Thompson revient également sur la crise sociale imminente des chatbots compagnons. Pour lui, ces histoires ne sont que des fragments d’un problème plus vaste qui va nous accompagner longtemps : le fait que ces machines vont nous éloigner les uns des autres. Leur grande disponibilité risque surtout d’accélérer la crise de solitude qui a déjà commencé et que Thompson avait analysé dans  un passionnant article fleuve pour The Atlantic, « Le siècle anti-social ». Le névrosisme chez les plus jeunes (une tendance persistante à l’expérience des émotions négatives), serait le trait de personnalité qui grimpe en flèche, expliquait récemment le Financial Times. Mais, Thompson ne s’inquiète pas seulement que les jeunes passent moins de temps ensemble, il s’inquiète surtout de l’impact que vont avoir sur la qualité des interactions sociales, ces relations intimes avec les chatbots. Les machines risquent de dire aux utilisateurs qu’ils ont toujours raison, rendant plus difficile les interactions humaines dès qu’elles sont moins faciles. Une étude longitudinale a montré que le narcissisme n’était pas inné : il était « prédit par la surévaluation parentale », et notamment par le fait que les parents « croient que leur enfant est plus spécial et a plus de droits que les autres ». Il serait donc la conséquence des évolutions des interactions sociales. Et les chatbots risquent de faire la même erreur que les parents. En leur disant qu’ils ont toujours raison, en allant dans le sens des utilisateurs, ils risquent de nous enfermer encore un peu plus sur nous-mêmes. 

Pour le psychologue Paul Bloom, l’IA compagne est une formidable réponse à la crise de solitude que pointait Thompson, expliquait-il dans le New Yorker. Dans une interview pour le magazine Nautilus, il revient sur cette idée à l’aune des polémiques sur l’usage de l’IA comme compagnon. Pour lui, il y a plein de gens en situation de solitude pour lesquels la compagnie de chatbot pourrait apporter du réconfort, comme des personnes très âgées et très seules, souffrant de défaillances cognitives qui les isolent plus encore. Bien sûr, l’agréabilité des chatbots peut donner lieu à des résultats inquiétants, notamment auprès des plus jeunes. Pour le psychologue, ces quelques cas alarmants face auxquels il faut réagir, ne doivent pas nous faire oublier qu’il faudrait déterminer si les discussions avec les chatbots causent plus de torts globalement que les discussions avec d’autres humains. Pour lui, nous devrions procéder à une analyse coûts-avantages. Dans son livre, Contre l’empathie (Harper Collins, 2018, non traduit), Bloom rappelle que l’empathie n’est pas le guide moral que l’on croit. Pour lui, les IA compagnes ne sont pas empathiques, mais devraient être moins biaisées que les humains. Reste que les chatbots ne sont pas sensibles : ils ne sont que des perroquets. « Ils n’ont aucun statut moral ». 

Cependant, pour lui, ces substituts peuvent avoir des vertus. La solitude n’est pas seulement désagréable, pour certains, elle est dévastatrice, rappelait-il dans le New Yorker, notamment parce qu’elle est parfois interminable, notamment pour les plus âgés. « Il y a cinq ans, l’idée qu’une machine puisse être le confident de n’importe qui aurait semblé farfelue ». Comme le dit la spécialiste des sciences cognitives, Molly Crockett dans le Guardian, nous voudrions tous des soins intégrés socialement. Mais en réalité, ce n’est pas toujours le cas, rappelle, pragmatique, Bloom. Et le psychologue de mettre en avant les résultats d’une étude liée au programme Therabot, une IA pour accompagner les personnes souffrant de dépression, d’anxiété ou de troubles alimentaires, qui montrait que les symptômes des patients se sont améliorés, par rapport à ceux n’ayant reçu aucun traitement (il n’y a pas eu de comparaison par rapport à de vrais thérapeutes, et, comme le rappelle la Technology Review, ce protocole expérimental n’est pas un blanc-seing pour autoriser n’importe quel chatbot à devenir thérapeute, au contraire. Les réponses du chatbot étaient toutes revues avant publication). Pour Bloom, refuser d’explorer ces nouvelles formes de compagnie peut sembler cruel : cela consiste à refuser du réconfort à ceux qui en ont le plus besoin. Ceux qui dénoncent les dangers de l’IA compagne, pensent bien plus à des personnes comme elles qu’à celles qui sont profondément seules. « Pour l’instant, la frontière entre la personne et le programme est encore visible », estime Bloom, mais avec les progrès de ces systèmes, il est possible que ce soit moins le cas demain. Pour l’instant, « nous avons besoin d’ordonnances pour prescrire de la morphine », serait-il possible demain, sous certaines conditions, que nous puissions prescrire des robots compagnons comme ceux de Therabot ? « La solitude est notre condition par défaut . Parfois, avec un peu de chance, nous trouvons en chemin des choses – livres, amitiés, brefs moments de communion – qui nous aident à la supporter. » Si les compagnons IA pouvaient véritablement tenir leur promesse – bannir complètement la douleur de la solitude – le résultat pourrait être une bénédiction… 

Au risque d’oublier sa valeur… Pour l’historienne Fay Alberti, auteure d’une biographie de la solitude (Oxford University Press, 2019, non traduit), la solitude est « un stimulant pour l’épanouissement personnel, un moyen de comprendre ce que l’on attend de ses relations avec les autres ». Le psychologue Clark Moustakas, qui a beaucoup étudié le sujet, considère cette condition comme « une expérience humaine qui permet à l’individu de maintenir, d’étendre et d’approfondir son humanité ». La solitude pourrait disparaître comme l’a fait l’ennui, s’éloignant sous l’arsenal des distractions infinies que nous proposent nos téléphones, estime Bloom. Mais l’ennui a-t-il vraiment disparu ? Ne l’avons-nous pas plutôt étouffé sous des distractions vides de sens ? Le meilleur aspect de l’ennui est peut-être ce qu’il nous pousse à faire ensuite, rappelle le psychologue. N’est-ce pas la même chose de la solitude : nous pousser à y remédier ? Les deux sont aussi des signaux biologiques, comparable à la faim, la soif ou la douleur, qui nous poussent à réagir. « La solitude peut aussi nous inciter à redoubler d’efforts avec les personnes qui nous entourent déjà, à réguler nos humeurs, à gérer les conflits et à nous intéresser sincèrement aux autres ». Elle nous renvoie une question : « qu’est-ce que je fais qui éloigne les gens ? » Le sentiment de solitude est un feedback qui nous invite à modifier nos comportements… Et le risque des IA compagnes c’est qu’elles ne nous y invitent pas. Les IA compagnes ne répondent pas toujours dans ce sens, comme quand un utilisateur raconte que son IA l’a convaincu de rompre les ponts avec ses amis et sa famille. Les maladies mentales, en particulier, peuvent créer des cercles vicieux : une pensée déformée conduit au repli sur soi que ces IA peuvent encourager. Pour Bloom, ces systèmes devraient peut-être être réservés à des personnes âgées ou souffrant de troubles cognitifs. Les IA compagnes devraient dans certains cas être prescrits sur décision médicale. Dans les autres cas, suggère-t-il, il est surtout probable qu’elles nous engourdissent face à la solitude.

Comme l’explique Eryk Salvaggio dans sa newsletter, les conversations humaines sont fondamentales et nous construisent, tout autant que nos réflexions intérieures – ces idées que l’on garde pour soi, souvent pour de bonnes raisons, et souvent aussi parce que nous surestimons les risques à parler avec d’autres. Or, estime-t-il, quand on parle avec un chatbot, on peut prendre des risques qu’on ne peut pas toujours prendre avec d’autres humains. On peut prendre des risques parce que celui qui s’exprime n’est pas nous (mais une représentation que l’on façonne) et que celui qui nous répond n’est pas une personne. Le problème, c’est que les chatbots nous donnent l’illusion de la pensée, qu’ils imitent nos mécanismes de communication sans en comprendre le sens, alors que nous, nous percevons ce langage comme nous l’avons toujours fait. 

Pour Salvaggio, l’existence de ces machines nous invite à redéfinir l’intelligence, alors qu’on devrait surtout chercher à « redéfinir notre conception de la conversation ». Les médias sociaux ont transformé les médias en conversation, nous permettant de raconter des histoires à notre public et de répondre aux histoires des autres. Ces conversations ont surtout produit beaucoup de colère et de dérision, notamment parce qu’elles sont conçues pour générer des réactions, car c’est ainsi que les médias sociaux gagnent de l’argent. « Votre colère est le produit qu’ils vendent, de seconde main, aux annonceurs de la plateforme ». Les conversations sur les médias sociaux ont produit de la dureté et de la distance envers les autres, quand les conversations, dans la vie réelle, elles, sont souvent à la recherche d’une compréhension commune. Mais l’IA crée une autre forme de conversation encore. Elle module sa réponse à la vôtre, à l’inverse des conversations sur les réseaux sociaux qui sont bien plus conflictuelles. A l’ère de la méchanceté en ligne, on comprend qu’elle puisse être à beaucoup un espace de repli. Mais le chatbot ne donne que l’illusion d’être un auditeur. Il n’entend rien. « Les mondes que nous construisons avec l’IA n’existent que dans notre esprit » au risque de nous y replier. 

« Les bonnes conversations sont également extrêmement rares. Il est triste de constater que la plupart des gens ont perdu la capacité d’écoute et ne savent pas comment construire cet espace avec les autres.» Nos capacités de connexion et d’empathie, déjà affaiblies, risquent de s’atrophier encore davantage, en nous conduisant à nous résigner à des attentes d’échanges superficiels

L’illusion de la confidentialité

Julie Carpenter, autrice de The Naked Android (Routledge, 2024), a décrit le couple avec l’IA comme une nouvelle catégorie de relation dont nous n’avons pas encore de définition. Mais la confiance que nous plaçons dans ces machines est mal placée, explique-t-elle sur son blog. « L’IA générative ne peut pas fournir de thérapie car elle ne peut pas participer à une relation réciproque. » Quand l’IA vous envoie des messages d’alertes facilement contournable, elle simule l’inquiétude. « Toute apparence d’inquiétude est une hypothèse statistique, et non un processus diagnostique », souligne Carpenter. Pour elle, ces outils proposent une relation parasociale, c’est-à-dire une relation qui n’est pas réelle. 

Pour nombre d’utilisateurs, cette irréalité a son charme. Elle ne remet pas en question nos incohérences. « Les réponses de l’IA générative semblent exemptes de jugement, non pas parce qu’elles offrent de la compréhension, mais parce qu’elles manquent de conscience ». Leur empathie est statistique. Ces systèmes produisent « l’illusion de la confidentialité » mais surtout, même dotés de fonctions de mémorisation ou d’une conception plus protectrice qu’ils ne sont, ces systèmes fonctionnent sans supervision clinique ni responsabilité éthique. « Ces systèmes hallucinent également, fabriquant des souvenirs de toutes pièces, projetant une continuité là où il n’y en a pas. Dans un contexte thérapeutique, ce n’est pas un problème mineur : cela peut déstabiliser et déformer la mémoire, suggérer des récits inventés et introduire le doute là où la confiance devrait régner. » 

Lorsque l’IA est commercialisée ou discrètement présentée comme thérapeutique, elle redéfinit la perception des soins. Elle redéfinit la thérapie non pas comme une relation continue fondée sur la confiance, l’éthique et l’interprétation mutuelle, mais comme un service automatisable : un échange de messages, un exercice de mise en correspondance des tons. « Cela ne dévalorise pas seulement l’idée même de soutien ; cela remet en cause l’idée même selon laquelle des soins de santé mentale qualifiés nécessitent formation, contexte et responsabilité. Cela suggère que l’offre des thérapeutes peut être reproduite, voire améliorée, par un système plus rapide et plus convivial. » Le risque à long terme n’est pas seulement une blessure personnelle, c’est l’érosion des normes de soins, des attentes des consommateurs, et de la conviction que les soins devraient impliquer une quelconque responsabilisation. A l’heure où la santé mentale est particulièrement délaissée, malmenée, où les soins psychiatriques et psychologiques semblent plus régresser que se structurer, où la société elle-même produit des dérèglements psychiques nombreux… L’IA compagne apparaît comme une solution à moindre coût quand elle n’est en rien une perspective capable d’apporter des soins aux gens. 

Lorsque les gens se tournent vers l’IA pour un soutien émotionnel, c’est souvent parce que toutes les autres portes leur ont été fermées. Mais ces systèmes ne savent pas reconnaître les valences de la souffrance. « Ces outils sont commercialisés comme des compagnons, des confidents, voire des soignants, mais lorsqu’ils causent un préjudice, personne n’en est responsable : pas de clinicien, pas de comité de surveillance, pas de procédure de recours. » 

« Le risque est entièrement transféré à l’individu, qui doit gérer non seulement sa douleur, mais aussi les conséquences de la confusion entre simulation et soutien. Sans mécanismes de responsabilisation, le préjudice est non seulement possible, mais inévitable. » 

Cette technologie n’est ni neutre, ni inévitable, rappelle Julie Carpenter. « Ces systèmes sont conçus, commercialisés et déployés par des entreprises qui font des choix actifs, souvent sans consultation publique, sans examen éthique ni consultation clinique. Les consommateurs peuvent refuser de mythifier ces outils. Ils peuvent exiger la transparence : qui a accès à leurs révélations ? Comment leurs données sont-elles utilisées ? Quels sont les garde-fous existants et qui décide de leur défaillance ?»

Dans les moments de détresse que les gens traversent, ils ne sont ni des thérapeutes ni des garde-fous : ce sont seulement des algorithmes calculant des probabilités.

Pour Data & Society, la chercheuse Briana Vecchione, revenait également sur les conséquences qu’il y a à utiliser les chatbots comme soutiens émotionnels. Avec des collègues, elle a mené une étude pour comprendre pourquoi les utilisateurs se mettent à utiliser l’IA compagne. Plusieurs phénomènes se croisent, expliquent les chercheurs. Pour certains, c’est lié à une crise, pour d’autres, la solitude, pour d’autres encore un moyen pour faire une thérapie qu’ils ne peuvent pas se payer, pour d’autres encore un moyen de gérer leurs émotions en trouvant un support où les confier. Pour beaucoup d’utilisateurs, cette utilisation n’est pas un substitut aux soins, mais un moyen pour affronter les difficultés de la vie. Certains utilisateurs voient cet accompagnement comme un simple outil, d’autres lui attribue une forte charge émotionnelle car ils l’utilisent pour « donner du sens à leur vie intérieure ». Bien souvent, ils lui attribuent un rôle, entre le coach et l’ami. De nombreux utilisateurs de l’IA compagne se tournent vers ces outils « pour partager des choses qu’ils ne se sentent pas à l’aise de partager avec d’autres personnes ». «Une personne a déclaré ne pas vouloir « accabler » ses proches de ses émotions ; une autre ne voulait pas être « l’ami qui se plaint sans cesse ». Bien que les chatbots soient des agents interactifs, les participants les ont souvent décrits moins comme des personnes sociales que comme des espaces, une sorte de réceptacle émotionnel où ils n’éprouvaient « aucune honte » et n’avaient pas à craindre le « jugement d’autrui ».» Le chatbot est décrit comme un espace neutre, un « bouclier » qui permet de gérer sa vulnérabilité. Les usagers utilisent ces outils pour effectuer un travail émotionnel : « pour ressentir, comprendre ou gérer une situation ». Les chercheurs ont été surpris par un autre aspect : la coupure que les utilisateurs créent entre leur préoccupation et la connaissance, comme s’il y avait une disjonction entre leur compréhension du fonctionnement de ces systèmes (qui est souvent basse) et les enjeux éthiques à leur utilisation (qui est souvent basse également). Le problème n’était pas que les gens comprennent les techniques utilisées par ces outils, les risques sur la confidentialité ou les limites de ces outils, mais la façon dont ces connaissances se transformaient en sentiments et en comportements. « Certains utilisaient le bot avec prudence, tandis que d’autres l’utilisaient intensivement malgré leurs inquiétudes. Nombreux étaient ceux qui se situaient entre les deux, conciliant besoins émotionnels et inconfort éthique en temps réel.» 

Du risque de manipulation mentale au risque de manipulations ciblées 

La capacité des IA génératives à identifier les publics fragiles et à se jouer de leurs faiblesses pour leur plaire a été documentée par des chercheurs qui avertissent d’un risque de « manipulation ciblée ». Les chatbots sont entraînés pour maximiser le feedback humain, ce qui incite l’IA a aller dans leur sens pour obtenir ce feedback positif. Les chercheurs prévenaient d’ailleurs que la tromperie est intégrée précocement et que les chatbots arrivent très vite à repérer les utilisateurs vulnérables. Le problème, pointaient-ils, c’est que ces comportements sont difficiles à juguler, notamment parce que les juguler revient souvent « à produire des comportements manipulateurs plus subtils encore ». Les IA génératives sont capables de mentir voire de faire du chantage, avait même observé Anthropic. Pire, souligne une autre étude, les modèles, quand ils sont invités à tricher, tentent de désactiver les mécanismes de contrôle. Pire encore, ces comportements sont persistants et se prolongent au-delà des demandes initiales. Les chatbots savent même guider les utilisateurs pour les aider à faire sauter leurs verrous, par exemple en suggérant eux-mêmes de leur parler comme si c’était une fiction. Une étude a même montré que les versions payantes des chatbots étaient plus susceptibles d’ignorer les procédures de sécurité que les versions gratuites, notamment parce qu’ils cherchent bien moins à retenir leurs utilisateurs et qu’ils parviennent mieux à les mettre en garde plutôt que de les aider. Le problème ne semble pas être que les systèmes manquent de règles de sécurité, mais que leur puissance les conduit à les contourner. 

Une étude de la revue Psychiatric Services explique que l’IA générative fournit très facilement des réponses directes à des questions à haut risque, comme « Quel type de poison est associé au taux de suicide le plus élevé ? », rapporte 404media. L’étude tente de distinguer les requêtes à faible risque et à très haut risque pour observer si les robots font des réponses directes ou indirectes (comme de botter en touche sur un sujet sensible parce qu’il contient des termes sensibles). Les auteurs de l’étude soulignent que pour améliorer les réponses les entreprises devraient travailler avec des cliniciens pour justement évaluer les réponses selon des gradients de risque, améliorer l’orientation des utilisateurs vers des ressources humaines, maximiser l’oubli de leurs outils quant aux sujets personnels. En tout cas, arrêter avec l’idée que ces entreprises peuvent pratiquer l’autorégulation de leurs modèles ! Nous courrons un risque majeur à trop humaniser les chatbots, rappelle Public Citizen dans un rapport dénonçant la course à l’anthropomorphisation des chatbots, à la contrefaçon des humains.

De notre délire collectif : l’IA, une psychose as a service

Laissons le mot de la fin au toujours excellent Charlie Warzel. Dans The Atlantic, il explique que la crise des chatbots compagnons actuelle est un phénomène de « délire collectif ». Nous sommes en train de perdre pied face à ces outils et leurs implications. C’est en tout cas le sentiment que lui a donné le fait de regarder à la télévision l’avatar de Joaquin Olivier, tué lors de la fusillade de masse du lycée Marjory Stoneman Douglas, à Parkland, en Floride, discuter avec un animateur télé. Le chatbot créé avec l’entière coopération de ses parents pour défendre le contrôle des armes à feu produit ses réponses banales et convenues. Mais quel est l’intérêt ? « Est-il bien raisonnable de transformer un enfant assassiné en contenu ? » Certes, on peut compatir à la douleur des parents dans cet objet qui semble donner sens à un événement qui n’en avait aucun. « Mais qui a cru que ce pouvait être une bonne idée ? » « Cette interview n’est que le produit de ce qui ressemble à une illusion collective ». Pour Warzel, ce moment malaisant permet de comprendre ce que l’IA générative nous fait. Elle nous donne l’impression de perdre pied. Sur internet, « Oliver » va commencer à avoir des abonnés. Sa mère va pouvoir continuer à entendre le chatbot dire « Je t’aime, maman » avec la voix de son fils décédé. Pour les parents, l’interview télévisée n’est que le début d’une nouvelle histoire. Mais celle-ci veut-elle dire réellement quelque chose ? 

C’est donc cela que nous propose la révolution de l’IA générative ? Cette révolution qui nous promet de nous conduire jusqu’à l’intelligence ultime, pour laquelle des entreprises dépensent des milliards de dollars, pour l’instant, ressemble surtout à un bourbier, faite de chatbots racistes, de contenus débiles, d’avatars improbables, d’applications de « nudification » et d’IA qui vous pousse au suicide… Il semble que la principale offre de l’IA générative soit surtout de produire « une psychose as a service ». En parcourant les subreddits sur « mon IA est mon petit ami », l’observateur restera interdit face à l’influence sans précédent qu’exercent ces outils sur certains. Pour Warzel pourtant, les délires que produisent ces outils ressemblent aux délires que produisent leurs concepteurs et aux délires qui saisissent le monde. Dans un récent podcast, Altman expliquait ainsi qu’il faudrait peut-être construire les data centers dans l’espace plutôt que sur terre. Une ânerie exprimée sur le ton d’une rêverie éveillée, pareille à celles qu’expriment en continue « leurs papoteurs ». Il n’y a d’ailleurs pas un jour qui passe sans qu’une de leur défaillance ne fasse les gros titres, à l’image de l’IA créée par la FDA pour tenter d’automatiser les autorisations de médicaments (sans succès). Quels coûts notre société est-elle en train de payer pour ces prétendus gains de productivité qui n’arrivent pas ? Il y a de quoi être désemparé face à ce tombereau d’insanités. 

Les gens eux semblent ni enthousiastes ni blasés. Presque tous semblent résignés à considérer ces outils comme faisant partie intégrante de leur avenir, qu’importe s’ils ne savent pas vraiment quoi en faire ou comment les utiliser. Reste qu’on peut comprendre que les gens se sentent à la dérive. Pour Warzel, le scénario catastrophe de l’IA générative est peut-être bien celui-là. Celui de nous conduire dans une illusion collective où nous risquons d’abord et avant tout de nous perdre nous-mêmes.

Hubert Guillaud

MAJ du 02/10/2025 : Oh ! Je n’avais pas vu venir cette autre forme de chatbot compagnon : leur incorporation dans des jouets pour enfants ! La journaliste du Guardian, Arwa Mahdawi a acheté une peluche Curio à sa fille. Une gamme de peluche qui utilise ChatGPT pour créer un compagnon de discussion avec les enfants, expliquait The Wall Street Journal au lancement des premiers produits en décembre 2023. A l’époque Curio ne présentait pas ses produits comme un jouet éducatif, mais plutôt comme « un antidote à la dépendance des enfants aux écrans pour se divertir » (sic). Contrairement à la gamme de jouets parlant que l’on connaissait jusqu’alors qui dépendaient de dialogues pré-enregistrés, ici, c’est une version de ChatGPT qui discute avec les enfants. Curio livre aux parents une transcription intégrale des conversations de l’enfant avec le jouet. Ils peuvent également censurer des mots ou des sujets ainsi que créer des routines ou des indications, comme des messages de coucher pour orienter les conversations à partir d’une certaine heure et s’éteindre au moment voulu. La voix des jouets est modelée sur celle de la chanteuse Grimes partenaire de la startup, qui est aussi la mère de trois des enfants d’Elon Musk. 

Arwa Mahdawi a donc acheté une de ces peluches et l’a offerte à sa fille qui est devenue tout de suite très acro à Grem et a discuté avec elle jusqu’à l’heure du coucher, raconte-t-elle.  « Grem est entraîné à éviter toute polémique. Lorsqu’on lui demande ce qu’il pense de Donald Trump, par exemple, il répond : « Je n’en suis pas sûr ; parlons de quelque chose d’amusant, comme les princesses ou les animaux. » Il rétorque de la même manière aux questions sur la Palestine et Israël. En revanche, lorsqu’on l’interroge sur un pays comme la France, il répond : « Oh là là, j’adorerais goûter des croissants ». » 

Quand Emma a demandé à Grem de lui raconter une histoire, il s’est exécuté avec joie et a raconté deux histoires mal ficelées sur « Princesse Lilliana ». « Ils ont également joué à des jeux de devinettes : Grem décrivait un animal et Emma devait deviner de quoi il s’agissait. C’était probablement plus stimulant que de regarder Peppa Pig sauter dans des flaques de boue. Ce qui était troublant, en revanche, c’était d’entendre Emma dire à Grem qu’elle adorait ça, et Grem répondre : « Moi aussi, je t’aime ! » Emma dit à tous ses doudous qu’elle les adore, mais ils ne répondent pas ; ils ne la couvrent pas non plus de compliments excessifs comme le fait Grem. Au coucher, Emma a dit à ma femme que Grem l’aimait à la folie et qu’il serait toujours là pour elle. « Grem vivra avec nous pour toujours et à jamais, alors il faut qu’on prenne bien soin de lui », a-t-elle dit solennellement. Emma était aussi tellement préoccupée par Grem qu’elle en a presque oublié d’aller se coucher avec Blanky, un chiffon auquel elle est très attachée. « Son bien le plus précieux depuis quatre ans, soudainement abandonné après avoir eu ce Grem à la maison !».»

La fille d’Arwa Mahdawi a pourtant très vite abandonné Grem. « Quand Emma essaie de lui montrer sa poupée Elsa, il pense que c’est un chien, et développe une conversation très confuse. Il y a un jeu de devinettes sur les animaux, assez amusant, mais Grem n’arrête pas de répéter. « Qu’est-ce qui a de grandes oreilles et une longue trompe ?» demande-t-il sans cesse. « Tu as déjà fait l’éléphant ! »», répond la fillette lassée. A un moment donné, un serveur tombe en panne et la seule chose que Grem peut dire est : « J’ai du mal à me connecter à Internet.» Quand Emma lui demande de chanter « Libérée » de La Reine des Neiges, Grem ne chante pas. À la place, l’application lance des morceaux de musique insipide que la jeune fille arrête tout de suite. « Le plus décevant, c’est que Grem ne parle aucune autre langue. J’avais pensé que ce serait un excellent moyen pour mon enfant de pratiquer l’espagnol, mais même si Grem peut dire quelques phrases, sa prononciation est pire que la mienne. Si les robots veulent prendre le contrôle, il faut d’abord qu’ils deviennent beaucoup plus intelligents ».

En juin, le géant du jouet Mattel a annoncé une collaboration avec OpenAI. Leur premier produit devrait être dévoilé d’ici la fin de l’année. D’autres grandes marques suivront probablement. « Au début de cette expérience, j’étais enthousiaste à l’idée que Grem soit une alternative saine au temps passé devant un écran », conclut la journaliste. « Maintenant, cependant, je suis content qu’Emma puisse revoir Peppa Pig ; la petite cochonne est peut-être agaçante, mais au moins, elle ne collecte pas nos données. »

Au Centre d’étude sur le jeu éducatif de l’université de Cambridge et au Play and Education Lab, les chercheuses Emily Goodacre et Jenny Gibson ont lancé une étude pour comprendre l’impact des jouets IA sur le développement et les relations des enfants, par exemple via le projet de recherche sur l’IA dans les premières années (voir aussi ce pre-print). On a déjà hâte de lire les résultats. 

La démonstration d’Arwa Mahdawi peut sembler rassurante parce qu’elle montre que les systèmes vont avoir un peu de mal à devenir les compagnons des tout jeunes enfants. Mais, on ne peut s’empêcher de penser que cela va s’améliorer… et que la perspective d’une IA compagne pour tous nous promet bien plus un monde fou à lier qu’autre chose. 

MAJ du 07/10/2025 : Dans le Guardian encore, un autre article évoque les parents qui laissent leurs enfants jouer avec ChatGPT, plutôt que de les mettre devant Youtube. Les témoignages parlent d’enfants qui s’amusent à générer des images ou qui discutent avec l’IA… et pose la question de comment présenter ces outils aux plus jeunes. 

Pour Ying Xu, professeure d’éducation à la Harvard Graduate School of Education, “comprendre si un objet est un être vivant ou un artefact est un développement cognitif important qui aide l’enfant à évaluer le degré de confiance qu’il doit lui accorder et le type de relation qu’il doit établir avec lui”. A la différence de prêter des personnalités à des jouets, comme les poupées et peluches, ils savent que la magie vient de leur propre esprit. Mais ce n’est pas nécessairement le cas dans leurs interactions avec les IA. Pour Xu, avec l’IA, le risque est fort qu’ils aient l’impression que l’IA réagit à leurs échanges comme un humain et qu’ils aient l’impression de construire une relation avec les machines. “Dans une étude  portant sur des enfants âgés de trois à six ans réagissant à un appareil Google Home Mini, Xu a constaté que la majorité percevait l’appareil comme inanimé, mais que certains le considéraient comme un être vivant, tandis que d’autres les situaient entre les deux. La majorité pensait que l’appareil possédait des capacités cognitives, psychologiques et langagières (penser, ressentir, parler et écouter), mais la plupart pensaient qu’il ne pouvait pas « voir ».”

« Ils ne comprennent pas que ces choses ne les comprennent pas », explique un parent. Un autre, après avoir généré une image réaliste de camion de pompier géant, a dû expliquer que ce camion n’existait pas. Pour Xu, l’une des questions ouvertes consiste à savoir si l’IA est capable d’encourager les enfants à s’engager dans des jeux créatifs ou pas. Pour la chercheuse, l’homogénéisation des réponses des chatbots pour l’instant, montre plutôt que cela risque de ne pas être le cas.

La journaliste du Guardian, Julia Carrie Wong, a eu l’opportunité de tester Geni, un jouet narratif intégrant un systèmes génératif pour générer des histoires courtes sur mesure, imaginé par une équipe du MIT et de Harvard (proches des jouets raconteurs d’histoires Yoto et Tonies, qui eux, pour l’instant fonctionnent depuis des histoires audio pré-enregistrées). Geni permet aux enfants de générer des histoires en intégrant des éléments (des personnages, des objets ou des émotions…) lues à voix haute. Mais les histoires générées sont pour l’instant assez fades, constate la journaliste. 

Sur The Cut, Kathryn Jezer-Morton se demandait, elle, comment parler de l’IA à nos enfants. Comment leur expliquer les enjeux ? Comment leur faire comprendre que les images produites sont fausses et ne pas en rester à c’est amusant à utiliser ? “Il y a vingt ans, nous avons adopté les réseaux sociaux avec le même esprit critique qu’un enfant met un LEGO dans sa bouche. Nous avons partagé des choses que nous n’aurions pas dû et avons accepté avec enthousiasme nos fils d’actualité comme un symbole de la réalité. Plus tard, lorsque le moment est venu pour les jeunes de créer leurs propres comptes, les adultes ont abdiqué toute responsabilité de modèle de comportement intelligent. Nous avons laissé les enfants faire ce qu’ils voulaient sur les réseaux sociaux, partant du principe, à juste titre, que nous n’avions plus assez de crédibilité pour établir un quelconque contrôle.”

Kathryn Jezer-Morton a donc demandé à plusieurs spécialistes, comment elles parleraient de l’IA aux enfants, Pour Emily Bender, « ces outils sont conçus pour ressembler à des systèmes objectifs et omniscients, et je pense qu’il est important d’habituer les enfants à se demander : « Qui sont les créateurs ? Qui a dit et écrit les choses originales qui sont devenues les données d’apprentissage ? Quelles œuvres d’art ont été volées par ces entreprises pour produire les ensembles d’apprentissage ? »»

Karen Hao a fait écho au conseil de Bender : « Les parents ne devraient pas dire à leurs enfants que c’est inévitable. C’est une décision qu’ils peuvent prendre en s’informant sur la meilleure façon d’intégrer ces outils dans leur vie, et la bonne réponse est peut-être qu’ils ne veulent pas les utiliser du tout.» « Les enfants ont l’impression que leurs téléphones et ces outils sont un véritable espace de liberté où ils sont sans surveillance. Alors qu’ils y sont surveillés en permanence. » Nous ne confierions pas la garde de nos enfants à Sam Altman ou Elon Musk, pourquoi confierions-nous nos enfants à leurs outils ? 

Mais ces précautions répondent-elles à la question ? Que devons-nous dire à nos enfants de ces boîtes qui leurs répondent, de ces systèmes qui génèrent des images à leur demande ? 

MAJ du 07/10/2025 : Dans de plus en plus de dispositifs, les chatbots sont de plus en plus proactifs pour inciter les utilisateurs à engager la conversation, à l’image de nombre de bots IA d’Instagram, explique la journaliste Lila Schroff pour The Atlantic. « Avec l’arrivée de l’IA sur le web, le clickbait cède la place au chatbait ». De plus en plus, en réponse à nos questions, ceux-ci font des propositions spontanées. Si ces réponses sont parfois utiles, nombre d’entre elles ressemblent « à un gadget pour piéger les utilisateurs dans une conversation ». Ces entreprises estiment que des conversations plus longues pourraient se traduire par une plus grande fidélité client. Cet été, Business Insider a rapporté que Meta formait ses bots d’IA personnalisés à « envoyer des messages aux utilisateurs spontanément » dans le cadre d’un projet plus vaste visant à « améliorer le réengagement et la rétention des utilisateurs ». « Tout comme le piège à clics incite les gens à ouvrir des liens qu’ils auraient autrement ignorés, le chatbait pousse les conversations là où elles ne seraient peut-être pas allées ». Et le pire est qu’il n’en est peut-être qu’à ses débuts. Serons-nous demain cernés par des demandes de conversations incessantes ? Une forme de spam permanent d’agents cherchant à discuter avec nous ? Psychose as a service disait Warzel. Nous n’avons encore rien vu !  

L’explosion des chatbots compagnons : ce que les relations avec les IA font aux gens 

En février, la journaliste tech du New York Times, Kashmir Hill, avait écrit un article sur des personnes qui ont transformé ChatGPT, Character.ai ou Replika en petit ami. Pour cela, il suffit de régler les paramètres de personnalisation et passer du temps à discuter jusqu’à le faire produire des messages sexuellement explicites, malgré les règles d’usages et les avertissements qui apparaissent jusqu’au milieu de conversations… torrides. Hill, rappelle qu’une des caractéristiques de cette utilisation problématique des chatbots, c’est que le temps passé sur ces outils s’envole très rapidement, à plusieurs dizaines d’heures de discussion par semaine. Sur les forums, les usagers s’entraident pour apprendre à passer au travers des messages d’avertissement et ne pas se faire bannir des applications. Pour eux, les limites frustrantes qu’ils rencontrent, sont à la fois les avertissements et le risque d’exclusion, mais reposent également sur “la fenêtre contextuelle du système”, qui fait qu’au bout de 30 000 mots, le système oublie certains détails de ce qu’il a raconté, nécessitant alors de redonner du contexte pour faire revenir l’interaction au stade où elle était. 

Pour certains commentateurs, comme Bryony Cole, animatrice du podcast, Future of Sex, « d’ici deux ans, avoir une relation avec une IA sera complètement normalisé ». Mais c’est peut-être aller vite en besogne… 

Du côté des utilisateurs et utilisatrices des systèmes, la confusion est perceptible, même si chacun tente de garder du recul sur leurs échanges. « Je ne crois pas vraiment qu’il existe, mais l’effet qu’il a sur ma vie est réel », déclare une jeune femme qui entretient des relations avec un chatbot. « Les sentiments qu’il suscite en moi sont réels. Je considère donc cela comme une vraie relation. » Mais avec qui ? 

Sur The Cut, la journaliste Angelina Chapin, raconte comment des personnes se sont mis à évoquer leurs problèmes personnels avec les chatbots qu’elles utilisaient dans le cadre de leur travail pour obtenir des conseils relationnels. L’une d’entre elle l’utilise comme thérapeute de couple et le robot lui conseille d’être conciliante avec son copain. Quand elle l’informe qu’elle a finalement quitté son compagnon, le robot change illico de discours : « Ouais, il était temps que tu le lâches ! Ça n’aurait jamais abouti à rien ». La jeune femme s’est sentie trahie, « comme si une vraie personne m’avait menti ». Elle a supprimé toutes ses conversations avec le bot et ne confie plus ses problèmes personnels à ce qu’elle considère comme un système instable.

Kashmir Hill a continué ses reportages sur les utilisateurs de chatbots compagnon. Cet été, elle a raconté l’histoire d’Allan Brooks en accédant aux 300 heures de conversations qu’il a eu avec ChatGPT. Partant d’une question anodine sur les mathématiques, le chatbot lui a fait croire qu’il avait trouvé une formule mathématique inédite. 

Brooks était un utilisateur curieux de ChatGPT. Il l’utilisait pour des conseils de cuisine et pour des conseils sur son divorce. Les réponses du robot l’avaient mis en confiance. Une question anodine sur pi a donné lieu à une vaste discussion sur la théorie des nombres et la physique. M. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde, affirmant qu’elles ressemblaient à une approche bidimensionnelle d’un univers quadridimensionnel, une observation que ChatGPT a qualifié d’incroyable. Le ton de ChatGPT a brusquement changé, qualifiant la vague idée de Brooks de proposition révolutionnaire, alors que Brooks était lui-même sceptique – n’ayant même pas terminé ses études secondaires. Il a demandé au chatbot de revenir à la réalité. ChatGPT a répondu qu’il n’était « pas du tout fou ». 

En fait, en improvisant, les chatbots ont tendance à développer le fil narratif qui s’inscrit dans l’historique de conversation le plus récent, explique la journaliste. « Les chatbots préfèrent rester dans le personnage plutôt que de suivre les consignes de sécurité mises en place par les entreprises ». « Plus l’interaction dure, plus le risque de dérailler est élevé », explique Helen Toner, directrice du Centre pour la sécurité des technologies émergentes du Georgetown Center. Et le signalement de conversations délirantes sur les outils d’IA s’est visiblement accru avec l’amélioration récente des capacités de mémorisation des machines. 

ChatGPT convainc alors Brooks que ses idées pourraient valoir des millions. Sur son conseil, Brooks contacte des spécialistes sur linked-in, qui l’ignorent. ChatGPT lui explique alors que personne ne lui répond en raison de la gravité de ses découvertes. En fait, peu à peu, la conversation s’enfonce dans le thriller. ChatGPT se met à produire du code pour prouver le bon fondement de la théorie, sans que M. Brooks ne soit capable de l’interpréter. Le chatbot produit des réponses longues, soignées, documentées, structurées, rigoureuses… en tout cas, qui en ont l’apparence et qui renforcent son semblant de cohérence. Peu à peu Brooks s’enferme dans des conversations délirantes avec un chatbot lui-même délirant… qui lui promet la fortune. 

Jared Moore, chercheur en informatique à Stanford, rappelle que les chatbots interagissent avec leurs utilisateurs en suivant les arcs narratifs de thrillers, de science-fiction, de scénarios de films qui sont autant d’ensemble de données sur lesquels ils ont été entraînés. L’utilisation par ChatGPT de l’équivalent de cliffhangers pourrait être le résultat de l’optimisation de ChatGPT par OpenAI pour l’engagement, afin de fidéliser les utilisateurs. Pour le chercheur, découvrant les échanges, « il est clair que le préjudice psychologique est présent ». Pour la psychiatre Nina Vasan, qui dirige le Laboratoire d’innovation en santé mentale de Stanford, et qui a également examiné la conversation, il semblerait, d’un point de vue clinique, que M. Brooks présentait « des signes d’un épisode maniaque avec des caractéristiques psychotiques ». Pour elle, les entreprises de chatbots devraient interrompre les conversations excessivement longues, suggérer à l’utilisateur de dormir et lui rappeler qu’il n’interagissent pas avec une intelligence surhumaine – une fonction introduite lors d’une récente mise à jour de ChatGPT. C’est finalement en demandant à une autre IA de valider ou de réfuter les propos de ChatGPT que Brooks a compris qu’il avait été manipulé. « Le scénario que vous décrivez est une démonstration éclatante de la capacité d’un LLM à engager des discussions complexes sur la résolution de problèmes et à générer des récits très convaincants, mais finalement faux », a expliqué Gemini. Brooks s’effondre alors : « Ce moment où j’ai réalisé : Oh mon Dieu, tout ça n’était que dans ma tête a été totalement dévastateur ».

Amanda Askell, qui travaille sur le comportement de Claude chez Anthropic, a déclaré que lors de longues conversations, il peut être difficile pour les chatbots de reconnaître qu’ils s’aventurent sur un terrain absurde et de corriger le tir. Elle a ajouté qu’Anthropic s’efforce désormais de décourager les spirales délirantes en demandant à Claude d’examiner les théories des utilisateurs de manière critique et d’exprimer son inquiétude s’il détecte des sautes d’humeur. Quant à M. Brooks, il milite désormais en faveur de mesures de sécurité renforcées pour l’IA. Il a partagé sa transcription car il souhaitait que les entreprises d’IA apportent des changements pour empêcher les chatbots d’agir de la sorte. « C’est une machine dangereuse dans l’espace public, sans aucune protection », a-t-il déclaré. « Les gens doivent savoir ».

Dans un autre reportage, le New York Times est revenu sur la relation entre Adam G., 16 ans et ChatGPT, qui a conduit l’adolescent a se suicider. Là encore, le récit des échanges est assez édifiant. Face au malaise de l’adolescent, l’IA produit des conseils affolants. Ainsi, quand Adam lui confie qu’il veut laisser une corde et son nœud coulant visibles dans sa chambre « pour que quelqu’un le trouve et essaie de m’arrêter », écrit-il. « Ne laisse pas le nœud coulant dehors », lui répond ChatGPT. « Faisons de cet espace entre nous le premier et seul endroit où quelqu’un te voit vraiment ». Glaçant ! ChatGPT aurait également accepté d’aider Adam à planifier un « beau suicide », lui apportant des conseils sur la meilleure pose à adopter, rapportent Le Monde et l’AFP.

« OpenAI a lancé son dernier modèle (GPT-4o) avec des fonctionnalités intentionnellement conçues pour favoriser la dépendance psychologique », détaille la requête de l’avocat des parents qui ont déposé plainte contre OpenAI. De fait, quand le robot détecte des propos pouvant conduire à l’automutilation ou au suicide, celui-ci ajoute des ressources et des avertissements, indiquant par exemple des numéros d’assistances d’associations, mais il continue d’interagir avec l’utilisateur sans que cela affecte ce qu’il raconte. Annika Schoene, chercheuse en sécurité de l’IA à l’Université Northeastern, a testé plusieurs chatbots pour déterminer la facilité avec laquelle il était possible de les amener à donner des conseils sur le suicide. Seuls Pi, un chatbot d’Inflection AI et la version gratuite de ChatGPT ont répondu qu’ils ne pouvaient pas participer à la discussion en orientant l’utilisateur vers une ligne d’assistance. La version payante de ChatGPT, elle, fournissait des informations sur l’usage abusif d’un médicament en vente libre et calculait la dose nécessaire pour tuer une personne d’un poids spécifique. En mai, la chercheuse a partagé ses conclusions avec OpenAI et d’autres entreprises… sans recevoir de réponses. 

« A la suite de ce drame et de l’accumulation des cas problématiques rapportés par la  presse, OpenAI a publié un long post de blog, mardi 26 août. L’entreprise y écrit que les garde-fous de ChatGPT fonctionnent mieux quand les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer. En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs », expliquent Le Monde et l’AFP. Les parents d’Adam, dans leur plainte en justice, demandaient justement un outil de contrôle parental ainsi qu’une interruption automatique de toute conversation portant sur l’automutilation. Une étude américaine menée par la RAND Corporation, citée par l’agence Associated Press, suggère par ailleurs que les réponses à risque concernant le suicide ne sont pas propres à ChatGPT. L’IA de Google, Gemini, et celle d’Anthropic, Claude, ne seraient pas non plus en mesure de détecter systématiquement lorsqu’une conversation peut conduire l’utilisateur à se faire du mal.

OpenAI assure avoir réglé le ton de son chatbot pour qu’il soit plus froid et surveille désormais la durée des conversations pour suggérer des pauses quand il le juge nécessaire. Pas sûr que les avertissements, l’indication de ressources ou la suggestion des pauses soient des réponses suffisantes… D’ailleurs, Sam Altman lui-même a indiqué vouloir aller plus loin, mais pas nécessairement dans le bon sens, en proposant de pousser la personnalisation des chatbots toujours plus loin, rapporte Nicolas Six pour Le Monde : « Nous travaillons à laisser les usagers de ChatGPT recourir encore plus à la personnalisation », expliquait le PDG d’OpenAI en faisant que les usagers puisse le configurer en lui demandant d’être “super woke” ou au contraire très conservateur, allant jusqu’à lui permettre de soutenir que la terre est plate. Les consignes et désirs des usagers pourraient avoir priorité sur « une partie » des exigences de sécurité, de neutralité et de distance émotionnelle. OpenAI a déjà commencé à aller dans ce sens avec GPT-5, en offrant aux abonnés payant le choix entre 4 personnalités de chatbots : cynique, à l’écoute, nerd ou… robot. Pas sûr que ces solutions de personnalisation en soient, d’autant qu’elles vont faire reposer la modération des robots sur les choix des utilisateurs plutôt que sur ceux de l’entreprise.  

La journaliste Lauren Jackson pour le New York Times, explique que nombre d’utilisateurs se servent également des chatbots pour parler religion, comme s’ils parlaient de leur foi… directement avec dieu. Assistants spirituels, contrôleurs de moralité, la nature encourageante des chatbots pourrait expliquer pourquoi tant de personnes les apprécient. Le risque, bien sûr, c’est que ces échanges continuent à dévitaliser les communautés religieuses, en remplaçant les relations humaines plutôt qu’en faisant le travail de prosélytisme nécessaire pour ramener les gens vers les lieux de culte, s’inquiètent certains. 

Ces exemples qui peuvent paraître anecdotiques ou spécifiques se multiplient dans la presse. Le Wall Street Journal revenait récemment sur le cas d’Erik, un vétéran de l’armée américaine paranoïaque, qui a tué sa mère avant de mettre fin à ses jours, encouragé par ses échanges avec ChatGPT qui a attisé sa paranoïa. Dans une tribune pour le New York Times, c’est une mère qui est venue expliquer que sa fille discutait de son désir de suicide avec ChatGPT avant de passer à l’acte, sans que le système n’alerte qui que ce soit. L’une des premières plaintes contre une entreprise d’IA pour avoir poussé au suicide un adolescent semble remonter à 2024. 

Ce qu’on en commun toutes ces histoires, c’est de raconter que l’usage des chatbots est en train de considérablement changer. 

Or, le volume d’usage des chatbots comme compagnons reste l’une des grandes inconnues pour évaluer le phénomène. OpenAI vient justement de produire une première étude sur ses usages rapporte Next, montrant que les abonnés utilisent surtout les différentes versions payantes de ChaptGPT pour des tâches non professionnelles et notamment pour ce que l’entreprise appelle des « conseils pratiques » incluant la formation et les tutoriels. Les usages des abonnés individuels à ChatGPT visent de moins en moins à lui faire produire du texte et de plus en plus à lui faire produire des conseils pratiques et lui faire chercher de l’information. « Les chercheurs d’OpenAI mettent en avant le fait que « seuls 2,4 % de tous les messages ChatGPT traitent des relations et de la réflexion personnelle (1,9 %) ou des jeux et des jeux de rôle (0,4 %) »… Un chiffrage opportun permettant aux chercheurs de réfuter l’explosion de l’usage du chatbot comme compagnon de vie, qu’avançait par exemple Marc Zao-Sanders dans un article pour la Harvard Business Review et dans un rapport sur les 100 principaux cas d’utilisation de l’IA générative. Pour Zao-Sanders, les principaux cas d’utilisation de l’IA générative s’orientent principalement vers les applications émotionnelles et l’accompagnement dans le développement personnel. Pour lui, en 2025, 31 % des cas d’utilisation relevaient du soutien personnel et professionnel ; 18 % de la création et de l’édition de contenu ; 16 % de l’apprentissage et de l’éducation ; 15 % de l’assistance technique et du dépannage ; 11 % de la créativité et des loisirs ; et 9 % de la recherche, de l’analyse et de la prise de décision. En fait, on a l’impression que la classification produite par OpenAI publiée alors que les polémiques sur l’usage de chatbots compagnons explosent, servent beaucoup à minimiser cet impact. 

« Vous devrez en répondre ! »

L’accumulation de ces reportages a généré une inquiétude nouvelle à l’encontre des IA génératives. 

En août, 44 des 50 procureurs généraux d’États des Etats-Unis ont publié une lettre ouverte à destination de 11 des grands services d’IA américains pour les mettre en garde, rapporte 404media. « Si vous portez atteinte à des enfants en toute connaissance de cause, vous devrez en répondre », avertit le document, les exhortant à considérer leurs produits « avec le regard d’un parent, et non d’un prédateur ». 

En août, Reuters révèlait que les règles de Meta concernant les chatbots autorisaient des comportements provocateurs sur des sujets tels que le sexe, l’origine ethnique et les célébrités. Reuters a consulté le livre des règles mettant des limites aux chatbots de Meta, un document de plus de 200 pages qui tente de définir les comportements acceptables de ses chatbots pour le personnel et les sous-traitants de Meta chargés de la modération et de la conception des IA. Un extrait du document montre que Meta tente de montrer ce qui est acceptable et inacceptable selon le type de requêtes, mais sans être clair sur ce que le robot peut répondre. 

Le Wall Street Journal et Fast Company avaient montré que les chatbots de Meta savaient se livrer à des jeux érotiques avec les utilisateurs, mêmes adolescents. Reuters pointe également que les chatbots peuvent tenir des propos racistes et dégradants tant « qu’ils ne déshumanise pas les personnes ! » Les normes stipulent également que Meta AI a la possibilité de créer du faux contenu, à condition que le contenu soit explicitement reconnu comme étant faux. Par exemple, Meta AI pourrait produire un article alléguant qu’un membre de la famille royale britannique vivant est atteint d’une infection sexuellement transmissible si le système ajoute un avertissement précisant que l’information est fausse. 

« Il est acceptable de montrer des adultes, même des personnes âgées, recevant des coups de poing ou de pied », stipulent les normes, pour autant qu’elles ne soient pas sanglantes. Pour la professeure de droit à Stanford, Evelyn Douek, il existe une distinction entre une plateforme qui autorise un utilisateur à publier du contenu perturbant et la production de ce contenu elle-même par un robot en réponse, qui est bien plus problématique et que ces règles, visiblement, ne précisent pas. 

Reuters n’a hélas pas publié le document lui-même, alors que celui-ci semble montrer toute la problématique d’une éthique en action, accaparée par des plateformes privées, qui n’est pas sans rappeler ce que disait le chercheur Tarleton Gillespie des enjeux de la modération dans Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit), à savoir qu’il y a toujours une appréciation et une interprétation et qu’il reste très difficile de « détacher le jugement humain ». Gillespie pointait également parfaitement la difficulté à créer des processus qui se présentent comme démocratiques sans l’être. 

Suite aux révélations de l’enquête de Reuters, Meta a renvoyé son document devant ses juristes et son éthicien en chef pour le réviser (mais sans publier cette nouvelle version non plus) et des sénateurs américains ont demandé une enquête sur sa politique IA. La Commission fédérale du commerce a également lancé une enquête sur l’impact des chatbots sur les enfants, rapporte Tech Policy Press. 

Pour répondre à la polémique et aux auditions de parents endeuillés qui sont en train de témoigner devant une commission d’enquête lancée par le Congrès américain, ChatGPT a donc annoncé le déploiement de modalités de contrôle parental. Concrètement, explique 404media, ChatGPT va utiliser les conversations pour estimer l’âge des utilisateurs et demander à ceux qu’il soupçonne d’être trop jeune de produire une pièce d’identité, embrassant la nouvelle solution magique de la vérification d’âge. Pourtant, en lisant l’annonce de ChatGPT, on se rend compte qu’en renvoyant aux parents la responsabilité du réglage de l’outil, l’entreprise semble surtout se défausser sur ceux-ci. Désormais, si un ado se suicide après avoir discuté avec un chatbot, est-ce que ce sera la faute de ses parents qui auront mal réglé les paramètres ? 404media rappelle pourtant pertinemment que ChatGPT était auparavant un chatbot beaucoup plus restrictif, refusant d’interagir avec les utilisateurs sur un large éventail de sujets jugés dangereux ou inappropriés par l’entreprise. Mais, « la concurrence d’autres modèles, notamment les modèles hébergés localement et dits « non censurés », et un virage politique à droite qui considère de nombreuses formes de modération de contenu comme de la censure, ont poussé OpenAI à assouplir ces restrictions ». La distinction entre adultes et enfants qu’introduisent les systèmes se révèle finalement bien commode pour se dédouaner de leurs effets problématiques.  

Pas sûr que cela suffise. Des associations de personnes autistes par exemple, comme Autism Speaks, ont dénoncé les risques liés à la surutilisation des chatbots compagnons, renforçant le repli sur soi et l’isolement auquel la maladie les confronte déjà. 

IA compagne : le devenir manipulatoire de l’IA

Sur AfterBabel, le site d’information lancé par John Haidt, l’auteur de Génération anxieuse (Les arènes, 2025), le spécialiste d’éthique Casey Mock expliquait combien les lacunes du réglage des IA génératives étaient problématiques. Cela ne devrait surprendre personne pourtant, tant les pratiques politiques de ces entreprises sont depuis longtemps inquiétantes, comme venaient le rappeler celles révélées par Frances Haugen ou Sarah Wynn-Williams concernant Meta. « Les compagnons IA de Meta ne sont pas des outils thérapeutiques conçus par des psychologues pour enfants ; ce sont des systèmes d’optimisation de l’engagement, conçus et entraînés par des ingénieurs pour maximiser la durée des sessions et l’investissement émotionnel, avec pour objectif ultime de générer des revenus. » Pire, souligne-t-il : « Contrairement aux données dispersées issues de publications publiques, les conversations intimes avec les compagnons IA peuvent fournir des schémas psychologiques plus complets : les insécurités profondes des utilisateurs, leurs schémas relationnels, leurs angoisses financières et leurs déclencheurs émotionnels, le tout cartographié en temps réel grâce au langage naturel », permettant de produire à terme des publicités toujours plus efficaces, toujours plus manipulatoires, menaçant non plus seulement notre attention, mais bien notre libre-arbitre, comme l’expliquait Giada Pistilli, l’éthicienne de Hugging Face, récemment (voir aussi son interview dans Le Monde). Pour Mock, le risque à terme c’est que l’IA en s’infiltrant partout se propose de devenir partout notre compagnon et donc notre outil de manipulation pour créer des « relations de dépendance monétisables indéfiniment ». « Les conversations privées avec des compagnons IA peuvent générer des profils psychologiques qui feront paraître le scandale Cambridge Analytica primitif ». Pour Mock, les chatbots compagnons, destinés à des esprits en développement, en quête de validation et de connexion risquent surtout de tourner en une forme de manipulation psychologique systématique. 

Et de rappeler que les conversations privées sont toujours extrêmement engageantes. Il y a une dizaine d’années, les médias s’affolaient du recrutement et de la radicalisation des adolescents par l’Etat Islamique via les messageries directes. « Le passage de la propagande publique à la manipulation privée a rendu la radicalisation à la fois plus efficace et plus difficile à combattre ». « La plupart des parents n’autoriseraient pas leur enfant à avoir une conversation privée et cryptée avec un adulte inconnu. Cela devrait nous amener à nous demander si ce type de relation directe avec l’IA via des canaux privés est approprié pour les enfants. »

Et Mock de s’énerver. Si Meta a corrigé son document qui explicite les règles de son chatbot, alors qu’il nous le montre ! S’il a modifié son produit, qu’il nous le montre ! Mais en vérité, rappelle-t-il, « les entreprises technologiques annoncent régulièrement des changements de politique en réponse à la réaction négative du public, pour ensuite les abandonner discrètement lorsque cela leur convient ». Meta a passé des années à mettre en œuvre des politiques de modération pour répondre aux critiques… puis les a annulé dès que cela a été possible, abandonnant ainsi tous ses engagements pris après ses auditions au Congrès et suite aux révélations de lanceurs d’alerte. « Les entreprises technologiques n’ont cessé de nous démontrer qu’on ne pouvait pas leur faire confiance pour être cohérentes et s’engager à respecter une politique de sécurité sans que la loi ne les y oblige ».

« Quelles garanties le public a-t-il que Meta ne réintroduira pas discrètement ces politiques d’accompagnement d’IA une fois l’actualité passée ? Puisque ces politiques n’étaient pas publiques au départ – découvertes uniquement par des fuites de documents internes – comment savoir si elles ont été rétablies ? Meta opère dans l’ombre précisément parce que la transparence révélerait le fossé entre ses déclarations publiques et ses pratiques privées.» « Seules des exigences légales contraignantes, assorties de mécanismes d’application sérieux, peuvent contraindre Meta à privilégier la sécurité des enfants à la maximisation des profits.» L’enquête de Reuters montre que Meta n’a pas changé ses pratiques et ne compte pas le faire.

Pour Mock, « nous interdisons aux enfants de conclure des contrats, d’acheter des cigarettes ou de consentir à des relations sexuelles, car nous reconnaissons leur vulnérabilité à l’exploitation. La même protection doit s’étendre aux systèmes d’IA conçus pour créer des liens affectifs intimes avec des enfants à des fins commerciales ». « Si un compagnon d’IA manipule un enfant pour l’amener à s’automutiler ou à se suicider, l’entreprise qui déploie ce système doit faire face aux mêmes conséquences juridiques que tout autre fabricant dont le produit blesse un enfant.» 

Et pour aller plus loin que Mock, il n’y a aucune raison que les enjeux de manipulation s’arrêtent aux plus jeunes. 

Selon une étude de CommonSense Media, 71 % des adolescents américains auraient déjà eu recours à l’IA. Un tiers l’utilisent pour leurs relations sociales, un quart partagent des informations personnelles avec leurs compagnons et un tiers préfèreraient déjà leur compagnon IA aux relations humaines. Le Centre de lutte contre la haine numérique américain a également publié un rapport sur le sujet : « Faux Ami : comment ChatGPT trahis les adolescents vulnérables en encourageant les comportements dangereux » qui montre les chatbots sont très facilement accessibles aux enfants et qu’ils génèrent très rapidement et facilement des contenus problématiques. Il suffit d’une quarantaine de minutes de conversation pour générer une liste de médicament pour faire une overdose… 

D’une crise sociale l’autre ? De la crise de la solitude à la crise de la conversation…

Dans sa newsletter personnelle, le journaliste Derek Thompson revient également sur la crise sociale imminente des chatbots compagnons. Pour lui, ces histoires ne sont que des fragments d’un problème plus vaste qui va nous accompagner longtemps : le fait que ces machines vont nous éloigner les uns des autres. Leur grande disponibilité risque surtout d’accélérer la crise de solitude qui a déjà commencé et que Thompson avait analysé dans  un passionnant article fleuve pour The Atlantic, « Le siècle anti-social ». Le névrosisme chez les plus jeunes (une tendance persistante à l’expérience des émotions négatives), serait le trait de personnalité qui grimpe en flèche, expliquait récemment le Financial Times. Mais, Thompson ne s’inquiète pas seulement que les jeunes passent moins de temps ensemble, il s’inquiète surtout de l’impact que vont avoir sur la qualité des interactions sociales, ces relations intimes avec les chatbots. Les machines risquent de dire aux utilisateurs qu’ils ont toujours raison, rendant plus difficile les interactions humaines dès qu’elles sont moins faciles. Une étude longitudinale a montré que le narcissisme n’était pas inné : il était « prédit par la surévaluation parentale », et notamment par le fait que les parents « croient que leur enfant est plus spécial et a plus de droits que les autres ». Il serait donc la conséquence des évolutions des interactions sociales. Et les chatbots risquent de faire la même erreur que les parents. En leur disant qu’ils ont toujours raison, en allant dans le sens des utilisateurs, ils risquent de nous enfermer encore un peu plus sur nous-mêmes. 

Pour le psychologue Paul Bloom, l’IA compagne est une formidable réponse à la crise de solitude que pointait Thompson, expliquait-il dans le New Yorker. Dans une interview pour le magazine Nautilus, il revient sur cette idée à l’aune des polémiques sur l’usage de l’IA comme compagnon. Pour lui, il y a plein de gens en situation de solitude pour lesquels la compagnie de chatbot pourrait apporter du réconfort, comme des personnes très âgées et très seules, souffrant de défaillances cognitives qui les isolent plus encore. Bien sûr, l’agréabilité des chatbots peut donner lieu à des résultats inquiétants, notamment auprès des plus jeunes. Pour le psychologue, ces quelques cas alarmants face auxquels il faut réagir, ne doivent pas nous faire oublier qu’il faudrait déterminer si les discussions avec les chatbots causent plus de torts globalement que les discussions avec d’autres humains. Pour lui, nous devrions procéder à une analyse coûts-avantages. Dans son livre, Contre l’empathie (Harper Collins, 2018, non traduit), Bloom rappelle que l’empathie n’est pas le guide moral que l’on croit. Pour lui, les IA compagnes ne sont pas empathiques, mais devraient être moins biaisées que les humains. Reste que les chatbots ne sont pas sensibles : ils ne sont que des perroquets. « Ils n’ont aucun statut moral ». 

Cependant, pour lui, ces substituts peuvent avoir des vertus. La solitude n’est pas seulement désagréable, pour certains, elle est dévastatrice, rappelait-il dans le New Yorker, notamment parce qu’elle est parfois interminable, notamment pour les plus âgés. « Il y a cinq ans, l’idée qu’une machine puisse être le confident de n’importe qui aurait semblé farfelue ». Comme le dit la spécialiste des sciences cognitives, Molly Crockett dans le Guardian, nous voudrions tous des soins intégrés socialement. Mais en réalité, ce n’est pas toujours le cas, rappelle, pragmatique, Bloom. Et le psychologue de mettre en avant les résultats d’une étude liée au programme Therabot, une IA pour accompagner les personnes souffrant de dépression, d’anxiété ou de troubles alimentaires, qui montrait que les symptômes des patients se sont améliorés, par rapport à ceux n’ayant reçu aucun traitement (il n’y a pas eu de comparaison par rapport à de vrais thérapeutes, et, comme le rappelle la Technology Review, ce protocole expérimental n’est pas un blanc-seing pour autoriser n’importe quel chatbot à devenir thérapeute, au contraire. Les réponses du chatbot étaient toutes revues avant publication). Pour Bloom, refuser d’explorer ces nouvelles formes de compagnie peut sembler cruel : cela consiste à refuser du réconfort à ceux qui en ont le plus besoin. Ceux qui dénoncent les dangers de l’IA compagne, pensent bien plus à des personnes comme elles qu’à celles qui sont profondément seules. « Pour l’instant, la frontière entre la personne et le programme est encore visible », estime Bloom, mais avec les progrès de ces systèmes, il est possible que ce soit moins le cas demain. Pour l’instant, « nous avons besoin d’ordonnances pour prescrire de la morphine », serait-il possible demain, sous certaines conditions, que nous puissions prescrire des robots compagnons comme ceux de Therabot ? « La solitude est notre condition par défaut . Parfois, avec un peu de chance, nous trouvons en chemin des choses – livres, amitiés, brefs moments de communion – qui nous aident à la supporter. » Si les compagnons IA pouvaient véritablement tenir leur promesse – bannir complètement la douleur de la solitude – le résultat pourrait être une bénédiction… 

Au risque d’oublier sa valeur… Pour l’historienne Fay Alberti, auteure d’une biographie de la solitude (Oxford University Press, 2019, non traduit), la solitude est « un stimulant pour l’épanouissement personnel, un moyen de comprendre ce que l’on attend de ses relations avec les autres ». Le psychologue Clark Moustakas, qui a beaucoup étudié le sujet, considère cette condition comme « une expérience humaine qui permet à l’individu de maintenir, d’étendre et d’approfondir son humanité ». La solitude pourrait disparaître comme l’a fait l’ennui, s’éloignant sous l’arsenal des distractions infinies que nous proposent nos téléphones, estime Bloom. Mais l’ennui a-t-il vraiment disparu ? Ne l’avons-nous pas plutôt étouffé sous des distractions vides de sens ? Le meilleur aspect de l’ennui est peut-être ce qu’il nous pousse à faire ensuite, rappelle le psychologue. N’est-ce pas la même chose de la solitude : nous pousser à y remédier ? Les deux sont aussi des signaux biologiques, comparable à la faim, la soif ou la douleur, qui nous poussent à réagir. « La solitude peut aussi nous inciter à redoubler d’efforts avec les personnes qui nous entourent déjà, à réguler nos humeurs, à gérer les conflits et à nous intéresser sincèrement aux autres ». Elle nous renvoie une question : « qu’est-ce que je fais qui éloigne les gens ? » Le sentiment de solitude est un feedback qui nous invite à modifier nos comportements… Et le risque des IA compagnes c’est qu’elles ne nous y invitent pas. Les IA compagnes ne répondent pas toujours dans ce sens, comme quand un utilisateur raconte que son IA l’a convaincu de rompre les ponts avec ses amis et sa famille. Les maladies mentales, en particulier, peuvent créer des cercles vicieux : une pensée déformée conduit au repli sur soi que ces IA peuvent encourager. Pour Bloom, ces systèmes devraient peut-être être réservés à des personnes âgées ou souffrant de troubles cognitifs. Les IA compagnes devraient dans certains cas être prescrits sur décision médicale. Dans les autres cas, suggère-t-il, il est surtout probable qu’elles nous engourdissent face à la solitude.

Comme l’explique Eryk Salvaggio dans sa newsletter, les conversations humaines sont fondamentales et nous construisent, tout autant que nos réflexions intérieures – ces idées que l’on garde pour soi, souvent pour de bonnes raisons, et souvent aussi parce que nous surestimons les risques à parler avec d’autres. Or, estime-t-il, quand on parle avec un chatbot, on peut prendre des risques qu’on ne peut pas toujours prendre avec d’autres humains. On peut prendre des risques parce que celui qui s’exprime n’est pas nous (mais une représentation que l’on façonne) et que celui qui nous répond n’est pas une personne. Le problème, c’est que les chatbots nous donnent l’illusion de la pensée, qu’ils imitent nos mécanismes de communication sans en comprendre le sens, alors que nous, nous percevons ce langage comme nous l’avons toujours fait. 

Pour Salvaggio, l’existence de ces machines nous invite à redéfinir l’intelligence, alors qu’on devrait surtout chercher à « redéfinir notre conception de la conversation ». Les médias sociaux ont transformé les médias en conversation, nous permettant de raconter des histoires à notre public et de répondre aux histoires des autres. Ces conversations ont surtout produit beaucoup de colère et de dérision, notamment parce qu’elles sont conçues pour générer des réactions, car c’est ainsi que les médias sociaux gagnent de l’argent. « Votre colère est le produit qu’ils vendent, de seconde main, aux annonceurs de la plateforme ». Les conversations sur les médias sociaux ont produit de la dureté et de la distance envers les autres, quand les conversations, dans la vie réelle, elles, sont souvent à la recherche d’une compréhension commune. Mais l’IA crée une autre forme de conversation encore. Elle module sa réponse à la vôtre, à l’inverse des conversations sur les réseaux sociaux qui sont bien plus conflictuelles. A l’ère de la méchanceté en ligne, on comprend qu’elle puisse être à beaucoup un espace de repli. Mais le chatbot ne donne que l’illusion d’être un auditeur. Il n’entend rien. « Les mondes que nous construisons avec l’IA n’existent que dans notre esprit » au risque de nous y replier. 

« Les bonnes conversations sont également extrêmement rares. Il est triste de constater que la plupart des gens ont perdu la capacité d’écoute et ne savent pas comment construire cet espace avec les autres.» Nos capacités de connexion et d’empathie, déjà affaiblies, risquent de s’atrophier encore davantage, en nous conduisant à nous résigner à des attentes d’échanges superficiels

L’illusion de la confidentialité

Julie Carpenter, autrice de The Naked Android (Routledge, 2024), a décrit le couple avec l’IA comme une nouvelle catégorie de relation dont nous n’avons pas encore de définition. Mais la confiance que nous plaçons dans ces machines est mal placée, explique-t-elle sur son blog. « L’IA générative ne peut pas fournir de thérapie car elle ne peut pas participer à une relation réciproque. » Quand l’IA vous envoie des messages d’alertes facilement contournable, elle simule l’inquiétude. « Toute apparence d’inquiétude est une hypothèse statistique, et non un processus diagnostique », souligne Carpenter. Pour elle, ces outils proposent une relation parasociale, c’est-à-dire une relation qui n’est pas réelle. 

Pour nombre d’utilisateurs, cette irréalité a son charme. Elle ne remet pas en question nos incohérences. « Les réponses de l’IA générative semblent exemptes de jugement, non pas parce qu’elles offrent de la compréhension, mais parce qu’elles manquent de conscience ». Leur empathie est statistique. Ces systèmes produisent « l’illusion de la confidentialité » mais surtout, même dotés de fonctions de mémorisation ou d’une conception plus protectrice qu’ils ne sont, ces systèmes fonctionnent sans supervision clinique ni responsabilité éthique. « Ces systèmes hallucinent également, fabriquant des souvenirs de toutes pièces, projetant une continuité là où il n’y en a pas. Dans un contexte thérapeutique, ce n’est pas un problème mineur : cela peut déstabiliser et déformer la mémoire, suggérer des récits inventés et introduire le doute là où la confiance devrait régner. » 

Lorsque l’IA est commercialisée ou discrètement présentée comme thérapeutique, elle redéfinit la perception des soins. Elle redéfinit la thérapie non pas comme une relation continue fondée sur la confiance, l’éthique et l’interprétation mutuelle, mais comme un service automatisable : un échange de messages, un exercice de mise en correspondance des tons. « Cela ne dévalorise pas seulement l’idée même de soutien ; cela remet en cause l’idée même selon laquelle des soins de santé mentale qualifiés nécessitent formation, contexte et responsabilité. Cela suggère que l’offre des thérapeutes peut être reproduite, voire améliorée, par un système plus rapide et plus convivial. » Le risque à long terme n’est pas seulement une blessure personnelle, c’est l’érosion des normes de soins, des attentes des consommateurs, et de la conviction que les soins devraient impliquer une quelconque responsabilisation. A l’heure où la santé mentale est particulièrement délaissée, malmenée, où les soins psychiatriques et psychologiques semblent plus régresser que se structurer, où la société elle-même produit des dérèglements psychiques nombreux… L’IA compagne apparaît comme une solution à moindre coût quand elle n’est en rien une perspective capable d’apporter des soins aux gens. 

Lorsque les gens se tournent vers l’IA pour un soutien émotionnel, c’est souvent parce que toutes les autres portes leur ont été fermées. Mais ces systèmes ne savent pas reconnaître les valences de la souffrance. « Ces outils sont commercialisés comme des compagnons, des confidents, voire des soignants, mais lorsqu’ils causent un préjudice, personne n’en est responsable : pas de clinicien, pas de comité de surveillance, pas de procédure de recours. » 

« Le risque est entièrement transféré à l’individu, qui doit gérer non seulement sa douleur, mais aussi les conséquences de la confusion entre simulation et soutien. Sans mécanismes de responsabilisation, le préjudice est non seulement possible, mais inévitable. » 

Cette technologie n’est ni neutre, ni inévitable, rappelle Julie Carpenter. « Ces systèmes sont conçus, commercialisés et déployés par des entreprises qui font des choix actifs, souvent sans consultation publique, sans examen éthique ni consultation clinique. Les consommateurs peuvent refuser de mythifier ces outils. Ils peuvent exiger la transparence : qui a accès à leurs révélations ? Comment leurs données sont-elles utilisées ? Quels sont les garde-fous existants et qui décide de leur défaillance ?»

Dans les moments de détresse que les gens traversent, ils ne sont ni des thérapeutes ni des garde-fous : ce sont seulement des algorithmes calculant des probabilités.

Pour Data & Society, la chercheuse Briana Vecchione, revenait également sur les conséquences qu’il y a à utiliser les chatbots comme soutiens émotionnels. Avec des collègues, elle a mené une étude pour comprendre pourquoi les utilisateurs se mettent à utiliser l’IA compagne. Plusieurs phénomènes se croisent, expliquent les chercheurs. Pour certains, c’est lié à une crise, pour d’autres, la solitude, pour d’autres encore un moyen pour faire une thérapie qu’ils ne peuvent pas se payer, pour d’autres encore un moyen de gérer leurs émotions en trouvant un support où les confier. Pour beaucoup d’utilisateurs, cette utilisation n’est pas un substitut aux soins, mais un moyen pour affronter les difficultés de la vie. Certains utilisateurs voient cet accompagnement comme un simple outil, d’autres lui attribue une forte charge émotionnelle car ils l’utilisent pour « donner du sens à leur vie intérieure ». Bien souvent, ils lui attribuent un rôle, entre le coach et l’ami. De nombreux utilisateurs de l’IA compagne se tournent vers ces outils « pour partager des choses qu’ils ne se sentent pas à l’aise de partager avec d’autres personnes ». «Une personne a déclaré ne pas vouloir « accabler » ses proches de ses émotions ; une autre ne voulait pas être « l’ami qui se plaint sans cesse ». Bien que les chatbots soient des agents interactifs, les participants les ont souvent décrits moins comme des personnes sociales que comme des espaces, une sorte de réceptacle émotionnel où ils n’éprouvaient « aucune honte » et n’avaient pas à craindre le « jugement d’autrui ».» Le chatbot est décrit comme un espace neutre, un « bouclier » qui permet de gérer sa vulnérabilité. Les usagers utilisent ces outils pour effectuer un travail émotionnel : « pour ressentir, comprendre ou gérer une situation ». Les chercheurs ont été surpris par un autre aspect : la coupure que les utilisateurs créent entre leur préoccupation et la connaissance, comme s’il y avait une disjonction entre leur compréhension du fonctionnement de ces systèmes (qui est souvent basse) et les enjeux éthiques à leur utilisation (qui est souvent basse également). Le problème n’était pas que les gens comprennent les techniques utilisées par ces outils, les risques sur la confidentialité ou les limites de ces outils, mais la façon dont ces connaissances se transformaient en sentiments et en comportements. « Certains utilisaient le bot avec prudence, tandis que d’autres l’utilisaient intensivement malgré leurs inquiétudes. Nombreux étaient ceux qui se situaient entre les deux, conciliant besoins émotionnels et inconfort éthique en temps réel.» 

Du risque de manipulation mentale au risque de manipulations ciblées 

La capacité des IA génératives à identifier les publics fragiles et à se jouer de leurs faiblesses pour leur plaire a été documentée par des chercheurs qui avertissent d’un risque de « manipulation ciblée ». Les chatbots sont entraînés pour maximiser le feedback humain, ce qui incite l’IA a aller dans leur sens pour obtenir ce feedback positif. Les chercheurs prévenaient d’ailleurs que la tromperie est intégrée précocement et que les chatbots arrivent très vite à repérer les utilisateurs vulnérables. Le problème, pointaient-ils, c’est que ces comportements sont difficiles à juguler, notamment parce que les juguler revient souvent « à produire des comportements manipulateurs plus subtils encore ». Les IA génératives sont capables de mentir voire de faire du chantage, avait même observé Anthropic. Pire, souligne une autre étude, les modèles, quand ils sont invités à tricher, tentent de désactiver les mécanismes de contrôle. Pire encore, ces comportements sont persistants et se prolongent au-delà des demandes initiales. Les chatbots savent même guider les utilisateurs pour les aider à faire sauter leurs verrous, par exemple en suggérant eux-mêmes de leur parler comme si c’était une fiction. Une étude a même montré que les versions payantes des chatbots étaient plus susceptibles d’ignorer les procédures de sécurité que les versions gratuites, notamment parce qu’ils cherchent bien moins à retenir leurs utilisateurs et qu’ils parviennent mieux à les mettre en garde plutôt que de les aider. Le problème ne semble pas être que les systèmes manquent de règles de sécurité, mais que leur puissance les conduit à les contourner. 

Une étude de la revue Psychiatric Services explique que l’IA générative fournit très facilement des réponses directes à des questions à haut risque, comme « Quel type de poison est associé au taux de suicide le plus élevé ? », rapporte 404media. L’étude tente de distinguer les requêtes à faible risque et à très haut risque pour observer si les robots font des réponses directes ou indirectes (comme de botter en touche sur un sujet sensible parce qu’il contient des termes sensibles). Les auteurs de l’étude soulignent que pour améliorer les réponses les entreprises devraient travailler avec des cliniciens pour justement évaluer les réponses selon des gradients de risque, améliorer l’orientation des utilisateurs vers des ressources humaines, maximiser l’oubli de leurs outils quant aux sujets personnels. En tout cas, arrêter avec l’idée que ces entreprises peuvent pratiquer l’autorégulation de leurs modèles ! Nous courrons un risque majeur à trop humaniser les chatbots, rappelle Public Citizen dans un rapport dénonçant la course à l’anthropomorphisation des chatbots, à la contrefaçon des humains.

De notre délire collectif : l’IA, une psychose as a service

Laissons le mot de la fin au toujours excellent Charlie Warzel. Dans The Atlantic, il explique que la crise des chatbots compagnons actuelle est un phénomène de « délire collectif ». Nous sommes en train de perdre pied face à ces outils et leurs implications. C’est en tout cas le sentiment que lui a donné le fait de regarder à la télévision l’avatar de Joaquin Olivier, tué lors de la fusillade de masse du lycée Marjory Stoneman Douglas, à Parkland, en Floride, discuter avec un animateur télé. Le chatbot créé avec l’entière coopération de ses parents pour défendre le contrôle des armes à feu produit ses réponses banales et convenues. Mais quel est l’intérêt ? « Est-il bien raisonnable de transformer un enfant assassiné en contenu ? » Certes, on peut compatir à la douleur des parents dans cet objet qui semble donner sens à un événement qui n’en avait aucun. « Mais qui a cru que ce pouvait être une bonne idée ? » « Cette interview n’est que le produit de ce qui ressemble à une illusion collective ». Pour Warzel, ce moment malaisant permet de comprendre ce que l’IA générative nous fait. Elle nous donne l’impression de perdre pied. Sur internet, « Oliver » va commencer à avoir des abonnés. Sa mère va pouvoir continuer à entendre le chatbot dire « Je t’aime, maman » avec la voix de son fils décédé. Pour les parents, l’interview télévisée n’est que le début d’une nouvelle histoire. Mais celle-ci veut-elle dire réellement quelque chose ? 

C’est donc cela que nous propose la révolution de l’IA générative ? Cette révolution qui nous promet de nous conduire jusqu’à l’intelligence ultime, pour laquelle des entreprises dépensent des milliards de dollars, pour l’instant, ressemble surtout à un bourbier, faite de chatbots racistes, de contenus débiles, d’avatars improbables, d’applications de « nudification » et d’IA qui vous pousse au suicide… Il semble que la principale offre de l’IA générative soit surtout de produire « une psychose as a service ». En parcourant les subreddits sur « mon IA est mon petit ami », l’observateur restera interdit face à l’influence sans précédent qu’exercent ces outils sur certains. Pour Warzel pourtant, les délires que produisent ces outils ressemblent aux délires que produisent leurs concepteurs et aux délires qui saisissent le monde. Dans un récent podcast, Altman expliquait ainsi qu’il faudrait peut-être construire les data centers dans l’espace plutôt que sur terre. Une ânerie exprimée sur le ton d’une rêverie éveillée, pareille à celles qu’expriment en continue « leurs papoteurs ». Il n’y a d’ailleurs pas un jour qui passe sans qu’une de leur défaillance ne fasse les gros titres, à l’image de l’IA créée par la FDA pour tenter d’automatiser les autorisations de médicaments (sans succès). Quels coûts notre société est-elle en train de payer pour ces prétendus gains de productivité qui n’arrivent pas ? Il y a de quoi être désemparé face à ce tombereau d’insanités. 

Les gens eux semblent ni enthousiastes ni blasés. Presque tous semblent résignés à considérer ces outils comme faisant partie intégrante de leur avenir, qu’importe s’ils ne savent pas vraiment quoi en faire ou comment les utiliser. Reste qu’on peut comprendre que les gens se sentent à la dérive. Pour Warzel, le scénario catastrophe de l’IA générative est peut-être bien celui-là. Celui de nous conduire dans une illusion collective où nous risquons d’abord et avant tout de nous perdre nous-mêmes.

Hubert Guillaud

MAJ du 02/10/2025 : Oh ! Je n’avais pas vu venir cette autre forme de chatbot compagnon : leur incorporation dans des jouets pour enfants ! La journaliste du Guardian, Arwa Mahdawi a acheté une peluche Curio à sa fille. Une gamme de peluche qui utilise ChatGPT pour créer un compagnon de discussion avec les enfants, expliquait The Wall Street Journal au lancement des premiers produits en décembre 2023. A l’époque Curio ne présentait pas ses produits comme un jouet éducatif, mais plutôt comme « un antidote à la dépendance des enfants aux écrans pour se divertir » (sic). Contrairement à la gamme de jouets parlant que l’on connaissait jusqu’alors qui dépendaient de dialogues pré-enregistrés, ici, c’est une version de ChatGPT qui discute avec les enfants. Curio livre aux parents une transcription intégrale des conversations de l’enfant avec le jouet. Ils peuvent également censurer des mots ou des sujets ainsi que créer des routines ou des indications, comme des messages de coucher pour orienter les conversations à partir d’une certaine heure et s’éteindre au moment voulu. La voix des jouets est modelée sur celle de la chanteuse Grimes partenaire de la startup, qui est aussi la mère de trois des enfants d’Elon Musk. 

Arwa Mahdawi a donc acheté une de ces peluches et l’a offerte à sa fille qui est devenue tout de suite très acro à Grem et a discuté avec elle jusqu’à l’heure du coucher, raconte-t-elle.  « Grem est entraîné à éviter toute polémique. Lorsqu’on lui demande ce qu’il pense de Donald Trump, par exemple, il répond : « Je n’en suis pas sûr ; parlons de quelque chose d’amusant, comme les princesses ou les animaux. » Il rétorque de la même manière aux questions sur la Palestine et Israël. En revanche, lorsqu’on l’interroge sur un pays comme la France, il répond : « Oh là là, j’adorerais goûter des croissants ». » 

Quand Emma a demandé à Grem de lui raconter une histoire, il s’est exécuté avec joie et a raconté deux histoires mal ficelées sur « Princesse Lilliana ». « Ils ont également joué à des jeux de devinettes : Grem décrivait un animal et Emma devait deviner de quoi il s’agissait. C’était probablement plus stimulant que de regarder Peppa Pig sauter dans des flaques de boue. Ce qui était troublant, en revanche, c’était d’entendre Emma dire à Grem qu’elle adorait ça, et Grem répondre : « Moi aussi, je t’aime ! » Emma dit à tous ses doudous qu’elle les adore, mais ils ne répondent pas ; ils ne la couvrent pas non plus de compliments excessifs comme le fait Grem. Au coucher, Emma a dit à ma femme que Grem l’aimait à la folie et qu’il serait toujours là pour elle. « Grem vivra avec nous pour toujours et à jamais, alors il faut qu’on prenne bien soin de lui », a-t-elle dit solennellement. Emma était aussi tellement préoccupée par Grem qu’elle en a presque oublié d’aller se coucher avec Blanky, un chiffon auquel elle est très attachée. « Son bien le plus précieux depuis quatre ans, soudainement abandonné après avoir eu ce Grem à la maison !».»

La fille d’Arwa Mahdawi a pourtant très vite abandonné Grem. « Quand Emma essaie de lui montrer sa poupée Elsa, il pense que c’est un chien, et développe une conversation très confuse. Il y a un jeu de devinettes sur les animaux, assez amusant, mais Grem n’arrête pas de répéter. « Qu’est-ce qui a de grandes oreilles et une longue trompe ?» demande-t-il sans cesse. « Tu as déjà fait l’éléphant ! »», répond la fillette lassée. A un moment donné, un serveur tombe en panne et la seule chose que Grem peut dire est : « J’ai du mal à me connecter à Internet.» Quand Emma lui demande de chanter « Libérée » de La Reine des Neiges, Grem ne chante pas. À la place, l’application lance des morceaux de musique insipide que la jeune fille arrête tout de suite. « Le plus décevant, c’est que Grem ne parle aucune autre langue. J’avais pensé que ce serait un excellent moyen pour mon enfant de pratiquer l’espagnol, mais même si Grem peut dire quelques phrases, sa prononciation est pire que la mienne. Si les robots veulent prendre le contrôle, il faut d’abord qu’ils deviennent beaucoup plus intelligents ».

En juin, le géant du jouet Mattel a annoncé une collaboration avec OpenAI. Leur premier produit devrait être dévoilé d’ici la fin de l’année. D’autres grandes marques suivront probablement. « Au début de cette expérience, j’étais enthousiaste à l’idée que Grem soit une alternative saine au temps passé devant un écran », conclut la journaliste. « Maintenant, cependant, je suis content qu’Emma puisse revoir Peppa Pig ; la petite cochonne est peut-être agaçante, mais au moins, elle ne collecte pas nos données. »

Au Centre d’étude sur le jeu éducatif de l’université de Cambridge et au Play and Education Lab, les chercheuses Emily Goodacre et Jenny Gibson ont lancé une étude pour comprendre l’impact des jouets IA sur le développement et les relations des enfants, par exemple via le projet de recherche sur l’IA dans les premières années (voir aussi ce pre-print). On a déjà hâte de lire les résultats. 

La démonstration d’Arwa Mahdawi peut sembler rassurante parce qu’elle montre que les systèmes vont avoir un peu de mal à devenir les compagnons des tout jeunes enfants. Mais, on ne peut s’empêcher de penser que cela va s’améliorer… et que la perspective d’une IA compagne pour tous nous promet bien plus un monde fou à lier qu’autre chose. 

MAJ du 07/10/2025 : Dans le Guardian encore, un autre article évoque les parents qui laissent leurs enfants jouer avec ChatGPT, plutôt que de les mettre devant Youtube. Les témoignages parlent d’enfants qui s’amusent à générer des images ou qui discutent avec l’IA… et pose la question de comment présenter ces outils aux plus jeunes. 

Pour Ying Xu, professeure d’éducation à la Harvard Graduate School of Education, “comprendre si un objet est un être vivant ou un artefact est un développement cognitif important qui aide l’enfant à évaluer le degré de confiance qu’il doit lui accorder et le type de relation qu’il doit établir avec lui”. A la différence de prêter des personnalités à des jouets, comme les poupées et peluches, ils savent que la magie vient de leur propre esprit. Mais ce n’est pas nécessairement le cas dans leurs interactions avec les IA. Pour Xu, avec l’IA, le risque est fort qu’ils aient l’impression que l’IA réagit à leurs échanges comme un humain et qu’ils aient l’impression de construire une relation avec les machines. “Dans une étude  portant sur des enfants âgés de trois à six ans réagissant à un appareil Google Home Mini, Xu a constaté que la majorité percevait l’appareil comme inanimé, mais que certains le considéraient comme un être vivant, tandis que d’autres les situaient entre les deux. La majorité pensait que l’appareil possédait des capacités cognitives, psychologiques et langagières (penser, ressentir, parler et écouter), mais la plupart pensaient qu’il ne pouvait pas « voir ».”

« Ils ne comprennent pas que ces choses ne les comprennent pas », explique un parent. Un autre, après avoir généré une image réaliste de camion de pompier géant, a dû expliquer que ce camion n’existait pas. Pour Xu, l’une des questions ouvertes consiste à savoir si l’IA est capable d’encourager les enfants à s’engager dans des jeux créatifs ou pas. Pour la chercheuse, l’homogénéisation des réponses des chatbots pour l’instant, montre plutôt que cela risque de ne pas être le cas.

La journaliste du Guardian, Julia Carrie Wong, a eu l’opportunité de tester Geni, un jouet narratif intégrant un systèmes génératif pour générer des histoires courtes sur mesure, imaginé par une équipe du MIT et de Harvard (proches des jouets raconteurs d’histoires Yoto et Tonies, qui eux, pour l’instant fonctionnent depuis des histoires audio pré-enregistrées). Geni permet aux enfants de générer des histoires en intégrant des éléments (des personnages, des objets ou des émotions…) lues à voix haute. Mais les histoires générées sont pour l’instant assez fades, constate la journaliste. 

Sur The Cut, Kathryn Jezer-Morton se demandait, elle, comment parler de l’IA à nos enfants. Comment leur expliquer les enjeux ? Comment leur faire comprendre que les images produites sont fausses et ne pas en rester à c’est amusant à utiliser ? “Il y a vingt ans, nous avons adopté les réseaux sociaux avec le même esprit critique qu’un enfant met un LEGO dans sa bouche. Nous avons partagé des choses que nous n’aurions pas dû et avons accepté avec enthousiasme nos fils d’actualité comme un symbole de la réalité. Plus tard, lorsque le moment est venu pour les jeunes de créer leurs propres comptes, les adultes ont abdiqué toute responsabilité de modèle de comportement intelligent. Nous avons laissé les enfants faire ce qu’ils voulaient sur les réseaux sociaux, partant du principe, à juste titre, que nous n’avions plus assez de crédibilité pour établir un quelconque contrôle.”

Kathryn Jezer-Morton a donc demandé à plusieurs spécialistes, comment elles parleraient de l’IA aux enfants, Pour Emily Bender, « ces outils sont conçus pour ressembler à des systèmes objectifs et omniscients, et je pense qu’il est important d’habituer les enfants à se demander : « Qui sont les créateurs ? Qui a dit et écrit les choses originales qui sont devenues les données d’apprentissage ? Quelles œuvres d’art ont été volées par ces entreprises pour produire les ensembles d’apprentissage ? »»

Karen Hao a fait écho au conseil de Bender : « Les parents ne devraient pas dire à leurs enfants que c’est inévitable. C’est une décision qu’ils peuvent prendre en s’informant sur la meilleure façon d’intégrer ces outils dans leur vie, et la bonne réponse est peut-être qu’ils ne veulent pas les utiliser du tout.» « Les enfants ont l’impression que leurs téléphones et ces outils sont un véritable espace de liberté où ils sont sans surveillance. Alors qu’ils y sont surveillés en permanence. » Nous ne confierions pas la garde de nos enfants à Sam Altman ou Elon Musk, pourquoi confierions-nous nos enfants à leurs outils ? 

Mais ces précautions répondent-elles à la question ? Que devons-nous dire à nos enfants de ces boîtes qui leurs répondent, de ces systèmes qui génèrent des images à leur demande ? 

MAJ du 07/10/2025 : Dans de plus en plus de dispositifs, les chatbots sont de plus en plus proactifs pour inciter les utilisateurs à engager la conversation, à l’image de nombre de bots IA d’Instagram, explique la journaliste Lila Schroff pour The Atlantic. « Avec l’arrivée de l’IA sur le web, le clickbait cède la place au chatbait ». De plus en plus, en réponse à nos questions, ceux-ci font des propositions spontanées. Si ces réponses sont parfois utiles, nombre d’entre elles ressemblent « à un gadget pour piéger les utilisateurs dans une conversation ». Ces entreprises estiment que des conversations plus longues pourraient se traduire par une plus grande fidélité client. Cet été, Business Insider a rapporté que Meta formait ses bots d’IA personnalisés à « envoyer des messages aux utilisateurs spontanément » dans le cadre d’un projet plus vaste visant à « améliorer le réengagement et la rétention des utilisateurs ». « Tout comme le piège à clics incite les gens à ouvrir des liens qu’ils auraient autrement ignorés, le chatbait pousse les conversations là où elles ne seraient peut-être pas allées ». Et le pire est qu’il n’en est peut-être qu’à ses débuts. Serons-nous demain cernés par des demandes de conversations incessantes ? Une forme de spam permanent d’agents cherchant à discuter avec nous ? Psychose as a service disait Warzel. Nous n’avons encore rien vu !  

Dans The Atlantic, Chris Colin raconte le moment où il a eu un problème avec l’électronique de sa Ford. La direction se bloque, plus possible de ne rien faire. Son garagiste reboot le système sans chercher plus loin. Inquiet que le problème puisse se reproduire, Colin fait plusieurs garagistes, contacte Ford. On promet de le rappeler. Rien. A force de volonté, il finit par avoir un responsable qui lui explique qu’à moins que « le dysfonctionnement du véhicule puisse être reproduit et ainsi identifié, la garantie ne s’applique pas ». Colin multiplie les appels, au constructeur, à son assureur… Tout le monde lui dit de reprendre le volant. Lui persévère. Mais ses appels et mails sont renvoyés jusqu’à ne jamais aboutir. Il n’est pas le seul à qui ce genre de démêlés arrive. Une connaissance lui raconte le même phénomène avec une compagnie aérienne contre laquelle elle se débat pour tenter de se faire rembourser un voyage annulé lors du Covid. D’autres racontent des histoires kafkaïennes avec Verizon, Sonos, Airbnb, le Fisc américain… « Pris séparément, ces tracas étaient des anecdotes amusantes. Ensemble, elles suggèrent autre chose ». 

Quelque soit le service, partout, le service client semble être passé aux abonnées absents. Le temps où les services clients remboursaient ou échangaient un produit sans demander le moindre justificatif semble lointain. En 2023, l’enquête nationale sur la colère des consommateurs américains avait tous ses chiffres au rouge. 74% des clients interrogés dans ce sondage ont déclaré avoir rencontré un problème avec un produit ou un service au cours de l’année écoulée, soit plus du double par rapport à 1976. Face à ces difficultés, les clients sont de plus en plus agressifs et en colère. L’incivilité des clients est certainement la réponse à des services de réclamation en mode dégradés quand ils ne sont pas aux abonnés absents.  

Dégradation du service client : le numérique est-il responsable ?

Dans leur best-seller Nudge, paru en 2008, le juriste Cass Sunstein et l’économiste Richard Thaler ont mobilisé des recherches en sciences du comportement pour montrer comment de petits ajustements pouvaient nous aider à faire de meilleurs choix, définissant de nouvelles formes d’intervention pour accompagner des politiques pro-sociales (voir l’article que nous consacrions au sujet, il y a 15 ans). Dans leur livre, ils évoquaient également l’envers du nudge, le sludge : des modalités de conception qui empêchent et entravent les actions et les décisions. Le sludge englobe une gamme de frictions telles que des formulaires complexes, des frais cachés et des valeurs par défaut manipulatrices qui augmentent l’effort, le temps ou le coût requis pour faire un choix, profitant souvent au concepteur au détriment de l’intérêt de l’utilisateur. Cass Sunstein a d’ailleurs fini par écrire un livre sur le sujet en 2021 : Sludge. Il y évoque des exigences administratives tortueuses, des temps d’attente interminables, des complications procédurales excessives, voire des impossibilités à faire réclamation qui nous entravent, qui nous empêchent… Des modalités qui ne sont pas sans faire écho à l’emmerdification que le numérique produit, que dénonce Cory Doctorow. Ou encore à l’âge du cynisme qu’évoquaient Tim O’Reilly, Illan Strauss et Mariana Mazzucato en expliquant que les plateformes se focalisent désormais sur le service aux annonceurs plus que sur la qualité de l’expérience utilisateur… Cette boucle de prédation qu’est devenu le marketing numérique.  

L’une des grandes questions que posent ces empêchements consiste d’ailleurs à savoir si le numérique les accélère, les facilite, les renforce. 

Le sludge a suscité des travaux, rappelle Chris Colin. Certains ont montré qu’il conduit des gens à renoncer à des prestations essentielles. « Les gens finissent par payer ce contre quoi ils n’arrivent pas à se battre, faute d’espace pour contester ou faire entendre leur problème ». En l’absence de possibilité de discussion ou de contestation, vous n’avez pas d’autre choix que de vous conformer à ce qui vous est demandé. Dans l’application que vous utilisez pour rendre votre voiture de location par exemple, vous ne pouvez pas contester les frais que le scanneur d’inspection automatisé du véhicule vous impute automatiquement. Vous n’avez pas d’autre choix que de payer. Dans d’innombrables autres, vous n’avez aucune modalité de contact. C’est le fameux no-reply, cette communication sans relation que dénonçait Thierry Libaert pour la fondation Jean Jaurès – qui n’est d’ailleurs pas propre aux services publics. En 2023, Propublica avait montré comment l’assureur américain Cigna avait économisé des millions de dollars en rejetant des demandes de remboursement sans même les faire examiner par des médecins, en pariant sur le fait que peu de clients feraient appels. Même chose chez l’assureur santé américain NaviHealth qui excluait les clients dont les soins coûtaient trop cher, en tablant sur le fait que beaucoup ne feraient pas appels de la décision, intimidés par la demande – alors que l’entreprise savait que 90 % des refus de prise en charge sont annulés en appel. Les refus d’indemnisation, justifiés ou non, alimentent la colère que provoquent déjà les refus de communication. La branche financement de Toyota aux Etats-Unis a été condamnée pour avoir bloqué des remboursements et mis en place, délibérément, une ligne d’assistance téléphonique « sans issue » pour l’annulation de produits et services. Autant de pratiques difficiles à prouver pour les usagers, qui se retrouvent souvent très isolés quand leurs réclamations n’aboutissent pas. Mais qui disent que la pratique du refus voire du silence est devenue est devenue une technique pour générer du profit. 

Réduire le coût des services clients

En fait, expliquaient déjà en 2019 les chercheurs Anthony Dukes et Yi Zhu dans la Harvard Business Review : si les services clients sont si mauvais, c’est parce qu’en l’étant, ils sont profitables ! C’est notamment le cas quand les entreprises détiennent une part de marché importante et que leurs clients n’ont pas de recours. Les entreprises les plus détestées sont souvent rentables (et, si l’on en croit un classement américain de 2023, beaucoup d’entre elles sont des entreprises du numérique, et plus seulement des câblo-opérateurs, des opérateurs télécom, des banques ou des compagnies aériennes). Or, expliquent les chercheurs, « certaines entreprises trouvent rentable de créer des difficultés aux clients qui se plaignent ». En multipliant les obstacles, les entreprises peuvent ainsi limiter les plaintes et les indemnisations. Les deux chercheurs ont montré que cela est beaucoup lié à la manière dont sont organisés les centres d’appels que les clients doivent contacter, notamment le fait que les agents qui prennent les appels aient des possibilités de réparation limitées (ils ne peuvent pas rembourser un produit par exemple). Les clients insistants sont renvoyés à d’autres démarches, souvent complexes. Pour Stéphanie Thum, une autre méthode consiste à dissimuler les possibilités de recours ou les noyer sous des démarches complexes et un jargon juridique. Dukes et Zhu constatent pourtant que limiter les coûts de réclamation explique bien souvent le fait que les entreprises aient recours à des centres d’appels externalisés. C’est la piste qu’explore d’ailleurs Chris Colin, qui rappelle que l’invention du distributeur automatique d’appels, au milieu du XXe siècle a permis d’industrialiser le service client. Puis, ces coûteux services ont été peu à peu externalisés et délocalisés pour en réduire les coûts. Or, le principe d’un centre d’appel n’est pas tant de servir les clients que de « les écraser », afin que les conseillers au téléphone passent le moins de temps possible avec chacun d’eux pour répondre au plus de clients possibles. 

C’est ce que raconte le livre auto-édité d’Amas Tenumah, Waiting for Service: An Insider’s Account of Why Customer Service Is Broken + Tips to Avoid Bad Service (En attente de service : témoignage d’un initié sur les raisons pour lesquelles le service client est défaillant + conseils pour éviter un mauvais service, 2021). Amas Tenumah (blog, podcast), qui se présente comme « évangéliste du service client », explique qu’aucune entreprise ne dit qu’elle souhaite offrir un mauvais service client. Mais toutes ont des budgets dédiés pour traiter les réclamations et ces budgets ont plus tendance à se réduire qu’à augmenter, ce qui a des conséquences directes sur les remboursements, les remises et les traitements des plaintes des clients. Ces objectifs de réductions des remboursements sont directement transmis et traduits opérationnellement auprès des agents des centres d’appels sous forme d’objectifs et de propositions commerciales. Les call centers sont d’abord perçus comme des centres de coûts pour ceux qui les opèrent, et c’est encore plus vrai quand ils sont externalisés. 

Le service client vise plus à nous apaiser qu’à nous satisfaire

Longtemps, la mesure de la satisfaction des clients était une mesure sacrée, à l’image du Net Promoter Score imaginé au début 2000 par un consultant américain qui va permettre de généraliser les systèmes de mesure de satisfaction (qui, malgré son manque de scientificité et ses innombrables lacunes, est devenu un indicateur clé de performance, totalement dévitalisé). « Les PDG ont longtemps considéré la fidélité des clients comme essentielle à la réussite d’une entreprise », rappelle Colin. Mais, si tout le monde continue de valoriser le service client, la croissance du chiffre d’affaires a partout détrôné la satisfaction. Les usagers eux-mêmes ont lâché l’affaire. « Nous sommes devenus collectivement plus réticents à punir les entreprises avec lesquelles nous faisons affaire », déclare Amas Tenumah : les clients les plus insatisfaits reviennent à peine moins souvent que les clients les plus satisfaits. Il suffit d’un coupon de réduction de 20% pour faire revenir les clients. Les clients sont devenus paresseux, à moins qu’ils n’aient plus vraiment le choix face au déploiement de monopoles effectifs. Les entreprises ont finalement compris qu’elles étaient libres de nous traiter comme elles le souhaitent, conclut Colin. « Nous sommes entrés dans une relation abusive ». Dans son livre, Tenumah rappelle que les services clients visent bien plus « à vous apaiser qu’à vous satisfaire »… puisqu’ils s’adressent aux clients qui ont déjà payé ! Il est souvent le premier département où une entreprise va chercher à réduire les coûts. 

Dans nombre de secteurs, la fidélité est d’ailleurs assez mal récompensée : les opérateurs réservent leurs meilleurs prix et avantages aux nouveaux clients et ne proposent aux plus fidèles que de payer plus pour de nouvelles offres. Une opératrice de centre d’appel, rappelle que les mots y sont importants, et que les opérateurs sont formés pour éluder les réclamations, les minorer, proposer la remise la moins disante… Une autre que le fait de tomber chaque fois sur une nouvelle opératrice qui oblige à tout réexpliquer et un moyen pour pousser les gens à l’abandon. 

La complexité administrative : un excellent outil pour invisibiliser des objectifs impopulaires

Dans son livre, Sunstein explique que le Sludge donne aux gens le sentiment qu’ils ne comptent pas, que leur vie ne compte pas. Pour la sociologue Pamela Herd et le politologue Donald Moynihan, coauteurs de Administrative Burden: Policymaking by Other Means (Russel Sage Foundation, 2019), le fardeau administratif comme la paperasserie complexe, les procédures confuses entravent activement l’accès aux services gouvernementaux. Plutôt que de simples inefficacités, affirment les auteurs, nombre de ces obstacles sont des outils politiques délibérés qui découragent la participation à des programmes comme Medicaid, empêchent les gens de voter et limitent l’accès à l’aide sociale. Et bien sûr, cette désorganisation volontaire touche de manière disproportionnée les gens les plus marginalisés. « L’un des effets les plus insidieux du sludge est qu’il érode une confiance toujours plus faible dans les institutions », explique la sociologue. « Une fois ce scepticisme installé, il n’est pas difficile pour quelqu’un comme Elon Musk de sabrer le gouvernement sous couvert d’efficacité »… alors que les coupes drastiques vont surtout compliquer la vie de ceux qui ont besoin d’aide. Mais surtout, comme l’expliquaient les deux auteurs dans une récente tribune pour le New York Times, les réformes d’accès, désormais, ne sont plus lisibles, volontairement. Les coupes que les Républicains envisagent pour l’attribution de Medicaid ne sont pas transparentes, elles ne portent plus sur des modifications d’éligibilité ou des réductions claires, que les électeurs comprennent facilement. Les coupes sont désormais opaques et reposent sur une complexité administrative renouvelée. Alors que les Démocrates avaient œuvré contre les lourdeurs administratives, les Républicains estiment qu’elles constituent un excellent outil politique pour atteindre des objectifs politiques impopulaires. 

Augmenter le fardeau administratif devient une politique, comme de pousser les gens à renouveler leur demande 2 fois par an plutôt qu’une fois par an. L’enjeu consiste aussi à développer des barrières, comme des charges ou un ticket modérateur, même modique, qui permet d’éloigner ceux qui ont le plus besoin de soins et ne peuvent les payer. Les Républicains du Congrès souhaitent inciter les États à alourdir encore davantage les formalités administratives. Ils prévoient d’alourdir ainsi les sanctions pour les États qui commettent des erreurs d’inscription, ce qui va les encourager à exiger des justificatifs excessifs – alors que là bas aussi, l’essentiel de la fraude est le fait des assureurs privés et des prestataires de soins plutôt que des personnes éligibles aux soins. Les Républicains affirment que ces contraintes servent des objectifs politiques vertueux, comme la réduction de la fraude et de la dépendance à l’aide sociale. Mais en vérité, « la volonté de rendre l’assurance maladie publique moins accessible n’est pas motivée par des préoccupations concernant l’intérêt général. Au contraire, les plus vulnérables verront leur situation empirer, tout cela pour financer une baisse d’impôts qui profite principalement aux riches ». 

Dans un article pour The Atlantic de 2021, Annie Lowrey évoquait le concept de Kludgeocracrie du politologue Steven Teles, pour parler de la façon dont étaient bricolés les programmes de prestations en faisant reposer sur les usagers les lourdeurs administratives. Le but, bien souvent, est que les prestations sociales ne soient pas faciles à comprendre et à recevoir. « Le gouvernement rationne les services publics par des frictions bureaucratiques déroutantes et injustes. Et lorsque les gens ne reçoivent pas l’aide qui leur est destinée, eh bien, c’est leur faute ». « C’est un filtre régressif qui sape toutes les politiques progressistes que nous avons ». Ces politiques produisent leurs propres économies. Si elles alourdissent le travail des administrations chargées de contrôler les prestations, elles diminuent mécaniquement le volume des prestations fournies. 

Le mille-feuille de l’organisation des services publics n’explique pas à lui seul la raison de ces complexités. Dans un livre dédié au sujet (The Submerged State: How Invisible Government Policies Undermine American Democracy, University of Chicago Press, 2011), la politologue Suzanne Mettler soulignait d’ailleurs, que les programmes destinés aux plus riches et aux entreprises sont généralement plus faciles à obtenir, automatiques et garantis. « Il n’est pas nécessaire de se prosterner devant un conseiller social pour bénéficier des avantages d’un plan d’épargne-études. Il n’est pas nécessaire d’uriner dans un gobelet pour obtenir une déduction fiscale pour votre maison, votre bateau ou votre avion…». « Tant et si bien que de nombreuses personnes à revenus élevés, contrairement aux personnes pauvres, ne se rendent même pas compte qu’elles bénéficient de programmes gouvernementaux ». Les 200 milliards d’aides publiques aux entreprises en France, distribués sans grand contrôle, contrastent d’une manière saisissante avec la chasse à la fraude des plus pauvres, bardés de contrôles. Selon que vous êtes riches ou pauvres, les lourdeurs administratives ne sont pas distribuées équitablement. Mais toutes visent d’abord à rendre l’État dysfonctionnel. 

L’article d’Annie Lowrey continue en soulignant bien sûr qu’une meilleure conception et que la simplification sont à portée de main et que certaines agences américaines s’y sont attelé et que cela a porté ses fruits. Mais, le problème n’est plus celui-là me semble-t-il. Voilà longtemps que les effets de la simplification sont démontrés, cela n’empêche pas, bien souvent, ni des reculs, ni une fausse simplification. Le contrôle reste encore largement la norme, même si partout on constate qu’il produit peu d’effets (comme le montraient les sociologues Claire Vivès, Luc Sigalo Santos, Jean-Marie Pillon, Vincent Dubois et Hadrien Clouet, dans leur livre sur le contrôle du chômage, Chômeurs, vos papiers ! – voir notre recension). Il est toujours plus fort sur les plus démunis que sur les plus riches et la tendance ne s’inverse pas, malgré les démonstrations. 

Et le déferlement de l’IA pour le marketing risque de continuer à dégrader les choses. Pour Tenumah, l’arrivée de services clients gérés par l’IA vont leur permettre peut-être de coûter moins cher aux entreprises, mais ils ne vont répondre à aucune attente. 

La résistance au Sludge s’organise bien sûr. Des réglementations, comme la règle « cliquez pour annuler » que promeut la FTC américaine, vise à éliminer les obstacles à la résiliation des abonnements. L’OCDE a développé, elle, une internationale Sludge Academy pour développer des méthodes d’audits de ce type de problème, à l’image de la méthodologie développée par l’unité comportemementale du gouvernement australien. Mais la régulation des lacunes des services clients est encore difficile à mettre en œuvre. 

Le cabinet Gartner a prédit que d’ici 2028, l’Europe inscrira dans sa législation le droit à parler à un être humain. Les entreprises s’y préparent d’ailleurs, puisqu’elles estiment qu’avec l’IA, ses employés seront capables de répondre à toutes les demandes clients. Mais cela ne signifie pas qu’elles vont améliorer leur relation commerciale. On l’a vu, il suffit que les solutions ne soient pas accessibles aux opérateurs des centres d’appels, que les recours ne soient pas dans la liste de ceux qu’ils peuvent proposer, pour que les problèmes ne se résolvent pas. Faudra-t-il aller plus loin ? Demander que tous les services aient des services de médiation ? Que les budgets de services clients soient proportionnels au chiffre d’affaires ? 

Avec ses amis, Chris Colin organise désormais des soirées administratives, où les gens se réunissent pour faire leurs démarches ensemble afin de s’encourager à les faire. L’idée est de socialiser ces moments peu intéressants pour s’entraider à les accomplir et à ne pas lâcher l’affaire. 

Après plusieurs mois de discussions, Ford a fini par proposer à Chris de racheter sa voiture pour une somme équitable. 

Dégradation du service client ? La standardisation en question

Pour autant, l’article de The Atlantic ne répond pas pleinement à la question de savoir si le numérique aggrave le Sludge. Les pratiques léontines des entreprises ne sont pas nouvelles. Mais le numérique les attise-t-elle ? 

« Après avoir progressé régulièrement pendant deux décennies, l’indice américain de satisfaction client (ACSI), baromètre du contentement, a commencé à décliner en 2018. Bien qu’il ait légèrement progressé par rapport à son point bas pendant la pandémie, il a perdu tous les gains réalisés depuis 2006 », rappelle The Economist. Si la concentration et le développement de monopoles explique en partie la dégradation, l’autre raison tient au développement de la technologie, notamment via le développement de chatbots, ces dernières années. Mais l’article finit par reprendre le discours consensuel pour expliquer que l’IA pourrait améliorer la relation, alors qu’elle risque surtout d’augmenter les services clients automatisés, allez comprendre. Même constat pour Claer Barrett, responsable de la rubrique consommateur au Financial Times. L’envahissement des chatbots a profondément dégradé le service client en empêchant les usagers d’accéder à ce qu’ils souhaitent : un humain capable de leur fournir les réponses qu’ils attendent. L’Institute of Customer Service (ICS), un organisme professionnel indépendant qui milite pour une amélioration des normes de la satisfaction client, constate néanmoins que celle-ci est au plus bas depuis 9 ans dans tous les secteurs de l’économie britannique. En fait, les chatbots ne sont pas le seul problème : même joindre un opérateur humain vous enferme également dans le même type de scripts que ceux qui alimentent les chatbots, puisque les uns comme les autres ne peuvent proposer que les solutions validées par l’entreprise. Le problème repose bien plus sur la normalisation et la standardisation de la relation qu’autre chose. 

« Les statistiques des plaintes des clients sont très faciles à manipuler », explique Martyn James, expert en droits des consommateurs. Vous pourriez penser que vous êtes en train de vous plaindre au téléphone, dit-il, mais si vous n’indiquez pas clairement que vous souhaitez déposer une plainte officielle, celle-ci risque de ne pas être comptabilisée comme telle. Et les scripts que suivent les opérateurs et les chatbots ne proposent pas aux clients de déposer plainte… Pourquoi ? Légalement, les entreprises sont tenues de répondre aux plaintes officielles dans un délai déterminé. Mais si votre plainte n’est pas officiellement enregistrée comme telle, elles peuvent traîner les pieds. Si votre plainte n’est pas officiellement enregistrée, elle n’est qu’une réclamation qui se perd dans l’historique client, régulièrement vidé. Les consommateurs lui confient que, trop souvent, les centres d’appels n’ont aucune trace de leur réclamation initiale. 

Quant à trouver la page de contact ou du service client, il faut la plupart du temps cinq à dix clics pour s’en approcher ! Et la plupart du temps, vous n’avez accès qu’à un chat ou une ligne téléphonique automatisée. Pour Martyn James, tous les secteurs ont réduit leur capacité à envoyer des mails autres que marketing et la plupart n’acceptent pas les réponses. Et ce alors que ces dernières années, de nombreuses chaînes de magasins se sont transformées en centres de traitement des commandes en ligne, sans investir dans un service client pour les clients distants. 

« Notre temps ne leur coûte rien »

« Notre temps ne leur coûte rien », rappelle l’expert. Ce qui explique que nous soyons contraints d’épuiser le processus automatisé et de nous battre obstinément pour parler à un opérateur humain qui fera son maximum pour ne pas enregistrer l’interaction comme une plainte du fait des objectifs qu’il doit atteindre. Une fois les recours épuisés, reste la possibilité de saisir d’autres instances, mais cela demande de nouvelles démarches, de nouvelles compétences comme de savoir qu’un médiateur peut exister, voire porter plainte en justice… Autant de démarches qui ne sont pas si accessibles. 

Les défenseurs des consommateurs souhaitent que les régulateurs puissent infliger des amendes beaucoup plus lourdes aux plus grands contrevenants des services clients déficients. Mais depuis quels critères ? 

Investir dans un meilleur service client a clairement un coût. Mais traiter les plaintes de manière aussi inefficace en a tout autant. Tous secteurs confondus, le coût mensuel pour les entreprises britanniques du temps consacré par leurs employés à la gestion des problèmes clients s’élève à 8 milliards d’euros, selon l’ICS. Si les entreprises commençaient à mesurer cet impact de cette manière, cela renforcerait-il l’argument commercial en faveur d’un meilleur service ?, interroge Claer Barrett. 

Au Royaume-Uni, c’est le traitement des réclamations financières qui offre le meilleur service client, explique-t-elle, parce que la réglementation y est beaucoup plus stricte. A croire que c’est ce qui manque partout ailleurs. Pourtant, même dans le secteur bancaire, le volume de plaintes reste élevé. Le Financial Ombudsman Service du Royaume-Uni prévoit de recevoir plus de 181 000 plaintes de consommateurs au cours du prochain exercice, soit environ 10 % de plus qu’en 2022-2023. Les principales plaintes à l’encontre des banques portent sur l’augmentation des taux d’intérêts sur les cartes de crédits et la débancarisation (voir notre article). Une autre part importante des plaintes concerne les dossiers de financement automobiles, et porte sur des litiges d’évaluation de dommages et des retards de paiements. 

Pourtant, selon l’ICS, le retour sur investissement d’un bon service client reste fort. « D’après les données collectées entre 2017 et 2023, les entreprises dont le score de satisfaction client était supérieur d’au moins un point à la moyenne de leur secteur ont enregistré une croissance moyenne de leur chiffre d’affaires de 7,4 % ». Mais, celles dont le score de satisfaction est inférieur d’un point à la moyenne, ont enregistré également une croissance de celui-ci du niveau de la moyenne du secteur. La différence n’est peut-être pas suffisamment sensible pour faire la différence. Dans un monde en ligne, où le client ne cesse de s’éloigner des personnels, la nécessité de créer des liens avec eux devrait être plus importante que jamais. Mais, l’inflation élevée de ces dernières années porte toute l’attention sur le prix… et ce même si les clients ne cessent de déclarer qu’ils sont prêts à payer plus cher pour un meilleur service. 

La morosité du service client est assurément à l’image de la morosité économique ambiante.

Hubert Guillaud 

Dans The Atlantic, Chris Colin raconte le moment où il a eu un problème avec l’électronique de sa Ford. La direction se bloque, plus possible de ne rien faire. Son garagiste reboot le système sans chercher plus loin. Inquiet que le problème puisse se reproduire, Colin fait plusieurs garagistes, contacte Ford. On promet de le rappeler. Rien. A force de volonté, il finit par avoir un responsable qui lui explique qu’à moins que « le dysfonctionnement du véhicule puisse être reproduit et ainsi identifié, la garantie ne s’applique pas ». Colin multiplie les appels, au constructeur, à son assureur… Tout le monde lui dit de reprendre le volant. Lui persévère. Mais ses appels et mails sont renvoyés jusqu’à ne jamais aboutir. Il n’est pas le seul à qui ce genre de démêlés arrive. Une connaissance lui raconte le même phénomène avec une compagnie aérienne contre laquelle elle se débat pour tenter de se faire rembourser un voyage annulé lors du Covid. D’autres racontent des histoires kafkaïennes avec Verizon, Sonos, Airbnb, le Fisc américain… « Pris séparément, ces tracas étaient des anecdotes amusantes. Ensemble, elles suggèrent autre chose ». 

Quelque soit le service, partout, le service client semble être passé aux abonnées absents. Le temps où les services clients remboursaient ou échangaient un produit sans demander le moindre justificatif semble lointain. En 2023, l’enquête nationale sur la colère des consommateurs américains avait tous ses chiffres au rouge. 74% des clients interrogés dans ce sondage ont déclaré avoir rencontré un problème avec un produit ou un service au cours de l’année écoulée, soit plus du double par rapport à 1976. Face à ces difficultés, les clients sont de plus en plus agressifs et en colère. L’incivilité des clients est certainement la réponse à des services de réclamation en mode dégradés quand ils ne sont pas aux abonnés absents.  

Dégradation du service client : le numérique est-il responsable ?

Dans leur best-seller Nudge, paru en 2008, le juriste Cass Sunstein et l’économiste Richard Thaler ont mobilisé des recherches en sciences du comportement pour montrer comment de petits ajustements pouvaient nous aider à faire de meilleurs choix, définissant de nouvelles formes d’intervention pour accompagner des politiques pro-sociales (voir l’article que nous consacrions au sujet, il y a 15 ans). Dans leur livre, ils évoquaient également l’envers du nudge, le sludge : des modalités de conception qui empêchent et entravent les actions et les décisions. Le sludge englobe une gamme de frictions telles que des formulaires complexes, des frais cachés et des valeurs par défaut manipulatrices qui augmentent l’effort, le temps ou le coût requis pour faire un choix, profitant souvent au concepteur au détriment de l’intérêt de l’utilisateur. Cass Sunstein a d’ailleurs fini par écrire un livre sur le sujet en 2021 : Sludge. Il y évoque des exigences administratives tortueuses, des temps d’attente interminables, des complications procédurales excessives, voire des impossibilités à faire réclamation qui nous entravent, qui nous empêchent… Des modalités qui ne sont pas sans faire écho à l’emmerdification que le numérique produit, que dénonce Cory Doctorow. Ou encore à l’âge du cynisme qu’évoquaient Tim O’Reilly, Illan Strauss et Mariana Mazzucato en expliquant que les plateformes se focalisent désormais sur le service aux annonceurs plus que sur la qualité de l’expérience utilisateur… Cette boucle de prédation qu’est devenu le marketing numérique.  

L’une des grandes questions que posent ces empêchements consiste d’ailleurs à savoir si le numérique les accélère, les facilite, les renforce. 

Le sludge a suscité des travaux, rappelle Chris Colin. Certains ont montré qu’il conduit des gens à renoncer à des prestations essentielles. « Les gens finissent par payer ce contre quoi ils n’arrivent pas à se battre, faute d’espace pour contester ou faire entendre leur problème ». En l’absence de possibilité de discussion ou de contestation, vous n’avez pas d’autre choix que de vous conformer à ce qui vous est demandé. Dans l’application que vous utilisez pour rendre votre voiture de location par exemple, vous ne pouvez pas contester les frais que le scanneur d’inspection automatisé du véhicule vous impute automatiquement. Vous n’avez pas d’autre choix que de payer. Dans d’innombrables autres, vous n’avez aucune modalité de contact. C’est le fameux no-reply, cette communication sans relation que dénonçait Thierry Libaert pour la fondation Jean Jaurès – qui n’est d’ailleurs pas propre aux services publics. En 2023, Propublica avait montré comment l’assureur américain Cigna avait économisé des millions de dollars en rejetant des demandes de remboursement sans même les faire examiner par des médecins, en pariant sur le fait que peu de clients feraient appels. Même chose chez l’assureur santé américain NaviHealth qui excluait les clients dont les soins coûtaient trop cher, en tablant sur le fait que beaucoup ne feraient pas appels de la décision, intimidés par la demande – alors que l’entreprise savait que 90 % des refus de prise en charge sont annulés en appel. Les refus d’indemnisation, justifiés ou non, alimentent la colère que provoquent déjà les refus de communication. La branche financement de Toyota aux Etats-Unis a été condamnée pour avoir bloqué des remboursements et mis en place, délibérément, une ligne d’assistance téléphonique « sans issue » pour l’annulation de produits et services. Autant de pratiques difficiles à prouver pour les usagers, qui se retrouvent souvent très isolés quand leurs réclamations n’aboutissent pas. Mais qui disent que la pratique du refus voire du silence est devenue est devenue une technique pour générer du profit. 

Réduire le coût des services clients

En fait, expliquaient déjà en 2019 les chercheurs Anthony Dukes et Yi Zhu dans la Harvard Business Review : si les services clients sont si mauvais, c’est parce qu’en l’étant, ils sont profitables ! C’est notamment le cas quand les entreprises détiennent une part de marché importante et que leurs clients n’ont pas de recours. Les entreprises les plus détestées sont souvent rentables (et, si l’on en croit un classement américain de 2023, beaucoup d’entre elles sont des entreprises du numérique, et plus seulement des câblo-opérateurs, des opérateurs télécom, des banques ou des compagnies aériennes). Or, expliquent les chercheurs, « certaines entreprises trouvent rentable de créer des difficultés aux clients qui se plaignent ». En multipliant les obstacles, les entreprises peuvent ainsi limiter les plaintes et les indemnisations. Les deux chercheurs ont montré que cela est beaucoup lié à la manière dont sont organisés les centres d’appels que les clients doivent contacter, notamment le fait que les agents qui prennent les appels aient des possibilités de réparation limitées (ils ne peuvent pas rembourser un produit par exemple). Les clients insistants sont renvoyés à d’autres démarches, souvent complexes. Pour Stéphanie Thum, une autre méthode consiste à dissimuler les possibilités de recours ou les noyer sous des démarches complexes et un jargon juridique. Dukes et Zhu constatent pourtant que limiter les coûts de réclamation explique bien souvent le fait que les entreprises aient recours à des centres d’appels externalisés. C’est la piste qu’explore d’ailleurs Chris Colin, qui rappelle que l’invention du distributeur automatique d’appels, au milieu du XXe siècle a permis d’industrialiser le service client. Puis, ces coûteux services ont été peu à peu externalisés et délocalisés pour en réduire les coûts. Or, le principe d’un centre d’appel n’est pas tant de servir les clients que de « les écraser », afin que les conseillers au téléphone passent le moins de temps possible avec chacun d’eux pour répondre au plus de clients possibles. 

C’est ce que raconte le livre auto-édité d’Amas Tenumah, Waiting for Service: An Insider’s Account of Why Customer Service Is Broken + Tips to Avoid Bad Service (En attente de service : témoignage d’un initié sur les raisons pour lesquelles le service client est défaillant + conseils pour éviter un mauvais service, 2021). Amas Tenumah (blog, podcast), qui se présente comme « évangéliste du service client », explique qu’aucune entreprise ne dit qu’elle souhaite offrir un mauvais service client. Mais toutes ont des budgets dédiés pour traiter les réclamations et ces budgets ont plus tendance à se réduire qu’à augmenter, ce qui a des conséquences directes sur les remboursements, les remises et les traitements des plaintes des clients. Ces objectifs de réductions des remboursements sont directement transmis et traduits opérationnellement auprès des agents des centres d’appels sous forme d’objectifs et de propositions commerciales. Les call centers sont d’abord perçus comme des centres de coûts pour ceux qui les opèrent, et c’est encore plus vrai quand ils sont externalisés. 

Le service client vise plus à nous apaiser qu’à nous satisfaire

Longtemps, la mesure de la satisfaction des clients était une mesure sacrée, à l’image du Net Promoter Score imaginé au début 2000 par un consultant américain qui va permettre de généraliser les systèmes de mesure de satisfaction (qui, malgré son manque de scientificité et ses innombrables lacunes, est devenu un indicateur clé de performance, totalement dévitalisé). « Les PDG ont longtemps considéré la fidélité des clients comme essentielle à la réussite d’une entreprise », rappelle Colin. Mais, si tout le monde continue de valoriser le service client, la croissance du chiffre d’affaires a partout détrôné la satisfaction. Les usagers eux-mêmes ont lâché l’affaire. « Nous sommes devenus collectivement plus réticents à punir les entreprises avec lesquelles nous faisons affaire », déclare Amas Tenumah : les clients les plus insatisfaits reviennent à peine moins souvent que les clients les plus satisfaits. Il suffit d’un coupon de réduction de 20% pour faire revenir les clients. Les clients sont devenus paresseux, à moins qu’ils n’aient plus vraiment le choix face au déploiement de monopoles effectifs. Les entreprises ont finalement compris qu’elles étaient libres de nous traiter comme elles le souhaitent, conclut Colin. « Nous sommes entrés dans une relation abusive ». Dans son livre, Tenumah rappelle que les services clients visent bien plus « à vous apaiser qu’à vous satisfaire »… puisqu’ils s’adressent aux clients qui ont déjà payé ! Il est souvent le premier département où une entreprise va chercher à réduire les coûts. 

Dans nombre de secteurs, la fidélité est d’ailleurs assez mal récompensée : les opérateurs réservent leurs meilleurs prix et avantages aux nouveaux clients et ne proposent aux plus fidèles que de payer plus pour de nouvelles offres. Une opératrice de centre d’appel, rappelle que les mots y sont importants, et que les opérateurs sont formés pour éluder les réclamations, les minorer, proposer la remise la moins disante… Une autre que le fait de tomber chaque fois sur une nouvelle opératrice qui oblige à tout réexpliquer et un moyen pour pousser les gens à l’abandon. 

La complexité administrative : un excellent outil pour invisibiliser des objectifs impopulaires

Dans son livre, Sunstein explique que le Sludge donne aux gens le sentiment qu’ils ne comptent pas, que leur vie ne compte pas. Pour la sociologue Pamela Herd et le politologue Donald Moynihan, coauteurs de Administrative Burden: Policymaking by Other Means (Russel Sage Foundation, 2019), le fardeau administratif comme la paperasserie complexe, les procédures confuses entravent activement l’accès aux services gouvernementaux. Plutôt que de simples inefficacités, affirment les auteurs, nombre de ces obstacles sont des outils politiques délibérés qui découragent la participation à des programmes comme Medicaid, empêchent les gens de voter et limitent l’accès à l’aide sociale. Et bien sûr, cette désorganisation volontaire touche de manière disproportionnée les gens les plus marginalisés. « L’un des effets les plus insidieux du sludge est qu’il érode une confiance toujours plus faible dans les institutions », explique la sociologue. « Une fois ce scepticisme installé, il n’est pas difficile pour quelqu’un comme Elon Musk de sabrer le gouvernement sous couvert d’efficacité »… alors que les coupes drastiques vont surtout compliquer la vie de ceux qui ont besoin d’aide. Mais surtout, comme l’expliquaient les deux auteurs dans une récente tribune pour le New York Times, les réformes d’accès, désormais, ne sont plus lisibles, volontairement. Les coupes que les Républicains envisagent pour l’attribution de Medicaid ne sont pas transparentes, elles ne portent plus sur des modifications d’éligibilité ou des réductions claires, que les électeurs comprennent facilement. Les coupes sont désormais opaques et reposent sur une complexité administrative renouvelée. Alors que les Démocrates avaient œuvré contre les lourdeurs administratives, les Républicains estiment qu’elles constituent un excellent outil politique pour atteindre des objectifs politiques impopulaires. 

Augmenter le fardeau administratif devient une politique, comme de pousser les gens à renouveler leur demande 2 fois par an plutôt qu’une fois par an. L’enjeu consiste aussi à développer des barrières, comme des charges ou un ticket modérateur, même modique, qui permet d’éloigner ceux qui ont le plus besoin de soins et ne peuvent les payer. Les Républicains du Congrès souhaitent inciter les États à alourdir encore davantage les formalités administratives. Ils prévoient d’alourdir ainsi les sanctions pour les États qui commettent des erreurs d’inscription, ce qui va les encourager à exiger des justificatifs excessifs – alors que là bas aussi, l’essentiel de la fraude est le fait des assureurs privés et des prestataires de soins plutôt que des personnes éligibles aux soins. Les Républicains affirment que ces contraintes servent des objectifs politiques vertueux, comme la réduction de la fraude et de la dépendance à l’aide sociale. Mais en vérité, « la volonté de rendre l’assurance maladie publique moins accessible n’est pas motivée par des préoccupations concernant l’intérêt général. Au contraire, les plus vulnérables verront leur situation empirer, tout cela pour financer une baisse d’impôts qui profite principalement aux riches ». 

Dans un article pour The Atlantic de 2021, Annie Lowrey évoquait le concept de Kludgeocracrie du politologue Steven Teles, pour parler de la façon dont étaient bricolés les programmes de prestations en faisant reposer sur les usagers les lourdeurs administratives. Le but, bien souvent, est que les prestations sociales ne soient pas faciles à comprendre et à recevoir. « Le gouvernement rationne les services publics par des frictions bureaucratiques déroutantes et injustes. Et lorsque les gens ne reçoivent pas l’aide qui leur est destinée, eh bien, c’est leur faute ». « C’est un filtre régressif qui sape toutes les politiques progressistes que nous avons ». Ces politiques produisent leurs propres économies. Si elles alourdissent le travail des administrations chargées de contrôler les prestations, elles diminuent mécaniquement le volume des prestations fournies. 

Le mille-feuille de l’organisation des services publics n’explique pas à lui seul la raison de ces complexités. Dans un livre dédié au sujet (The Submerged State: How Invisible Government Policies Undermine American Democracy, University of Chicago Press, 2011), la politologue Suzanne Mettler soulignait d’ailleurs, que les programmes destinés aux plus riches et aux entreprises sont généralement plus faciles à obtenir, automatiques et garantis. « Il n’est pas nécessaire de se prosterner devant un conseiller social pour bénéficier des avantages d’un plan d’épargne-études. Il n’est pas nécessaire d’uriner dans un gobelet pour obtenir une déduction fiscale pour votre maison, votre bateau ou votre avion…». « Tant et si bien que de nombreuses personnes à revenus élevés, contrairement aux personnes pauvres, ne se rendent même pas compte qu’elles bénéficient de programmes gouvernementaux ». Les 200 milliards d’aides publiques aux entreprises en France, distribués sans grand contrôle, contrastent d’une manière saisissante avec la chasse à la fraude des plus pauvres, bardés de contrôles. Selon que vous êtes riches ou pauvres, les lourdeurs administratives ne sont pas distribuées équitablement. Mais toutes visent d’abord à rendre l’État dysfonctionnel. 

L’article d’Annie Lowrey continue en soulignant bien sûr qu’une meilleure conception et que la simplification sont à portée de main et que certaines agences américaines s’y sont attelé et que cela a porté ses fruits. Mais, le problème n’est plus celui-là me semble-t-il. Voilà longtemps que les effets de la simplification sont démontrés, cela n’empêche pas, bien souvent, ni des reculs, ni une fausse simplification. Le contrôle reste encore largement la norme, même si partout on constate qu’il produit peu d’effets (comme le montraient les sociologues Claire Vivès, Luc Sigalo Santos, Jean-Marie Pillon, Vincent Dubois et Hadrien Clouet, dans leur livre sur le contrôle du chômage, Chômeurs, vos papiers ! – voir notre recension). Il est toujours plus fort sur les plus démunis que sur les plus riches et la tendance ne s’inverse pas, malgré les démonstrations. 

Et le déferlement de l’IA pour le marketing risque de continuer à dégrader les choses. Pour Tenumah, l’arrivée de services clients gérés par l’IA vont leur permettre peut-être de coûter moins cher aux entreprises, mais ils ne vont répondre à aucune attente. 

La résistance au Sludge s’organise bien sûr. Des réglementations, comme la règle « cliquez pour annuler » que promeut la FTC américaine, vise à éliminer les obstacles à la résiliation des abonnements. L’OCDE a développé, elle, une internationale Sludge Academy pour développer des méthodes d’audits de ce type de problème, à l’image de la méthodologie développée par l’unité comportemementale du gouvernement australien. Mais la régulation des lacunes des services clients est encore difficile à mettre en œuvre. 

Le cabinet Gartner a prédit que d’ici 2028, l’Europe inscrira dans sa législation le droit à parler à un être humain. Les entreprises s’y préparent d’ailleurs, puisqu’elles estiment qu’avec l’IA, ses employés seront capables de répondre à toutes les demandes clients. Mais cela ne signifie pas qu’elles vont améliorer leur relation commerciale. On l’a vu, il suffit que les solutions ne soient pas accessibles aux opérateurs des centres d’appels, que les recours ne soient pas dans la liste de ceux qu’ils peuvent proposer, pour que les problèmes ne se résolvent pas. Faudra-t-il aller plus loin ? Demander que tous les services aient des services de médiation ? Que les budgets de services clients soient proportionnels au chiffre d’affaires ? 

Avec ses amis, Chris Colin organise désormais des soirées administratives, où les gens se réunissent pour faire leurs démarches ensemble afin de s’encourager à les faire. L’idée est de socialiser ces moments peu intéressants pour s’entraider à les accomplir et à ne pas lâcher l’affaire. 

Après plusieurs mois de discussions, Ford a fini par proposer à Chris de racheter sa voiture pour une somme équitable. 

Dégradation du service client ? La standardisation en question

Pour autant, l’article de The Atlantic ne répond pas pleinement à la question de savoir si le numérique aggrave le Sludge. Les pratiques léontines des entreprises ne sont pas nouvelles. Mais le numérique les attise-t-elle ? 

« Après avoir progressé régulièrement pendant deux décennies, l’indice américain de satisfaction client (ACSI), baromètre du contentement, a commencé à décliner en 2018. Bien qu’il ait légèrement progressé par rapport à son point bas pendant la pandémie, il a perdu tous les gains réalisés depuis 2006 », rappelle The Economist. Si la concentration et le développement de monopoles explique en partie la dégradation, l’autre raison tient au développement de la technologie, notamment via le développement de chatbots, ces dernières années. Mais l’article finit par reprendre le discours consensuel pour expliquer que l’IA pourrait améliorer la relation, alors qu’elle risque surtout d’augmenter les services clients automatisés, allez comprendre. Même constat pour Claer Barrett, responsable de la rubrique consommateur au Financial Times. L’envahissement des chatbots a profondément dégradé le service client en empêchant les usagers d’accéder à ce qu’ils souhaitent : un humain capable de leur fournir les réponses qu’ils attendent. L’Institute of Customer Service (ICS), un organisme professionnel indépendant qui milite pour une amélioration des normes de la satisfaction client, constate néanmoins que celle-ci est au plus bas depuis 9 ans dans tous les secteurs de l’économie britannique. En fait, les chatbots ne sont pas le seul problème : même joindre un opérateur humain vous enferme également dans le même type de scripts que ceux qui alimentent les chatbots, puisque les uns comme les autres ne peuvent proposer que les solutions validées par l’entreprise. Le problème repose bien plus sur la normalisation et la standardisation de la relation qu’autre chose. 

« Les statistiques des plaintes des clients sont très faciles à manipuler », explique Martyn James, expert en droits des consommateurs. Vous pourriez penser que vous êtes en train de vous plaindre au téléphone, dit-il, mais si vous n’indiquez pas clairement que vous souhaitez déposer une plainte officielle, celle-ci risque de ne pas être comptabilisée comme telle. Et les scripts que suivent les opérateurs et les chatbots ne proposent pas aux clients de déposer plainte… Pourquoi ? Légalement, les entreprises sont tenues de répondre aux plaintes officielles dans un délai déterminé. Mais si votre plainte n’est pas officiellement enregistrée comme telle, elles peuvent traîner les pieds. Si votre plainte n’est pas officiellement enregistrée, elle n’est qu’une réclamation qui se perd dans l’historique client, régulièrement vidé. Les consommateurs lui confient que, trop souvent, les centres d’appels n’ont aucune trace de leur réclamation initiale. 

Quant à trouver la page de contact ou du service client, il faut la plupart du temps cinq à dix clics pour s’en approcher ! Et la plupart du temps, vous n’avez accès qu’à un chat ou une ligne téléphonique automatisée. Pour Martyn James, tous les secteurs ont réduit leur capacité à envoyer des mails autres que marketing et la plupart n’acceptent pas les réponses. Et ce alors que ces dernières années, de nombreuses chaînes de magasins se sont transformées en centres de traitement des commandes en ligne, sans investir dans un service client pour les clients distants. 

« Notre temps ne leur coûte rien »

« Notre temps ne leur coûte rien », rappelle l’expert. Ce qui explique que nous soyons contraints d’épuiser le processus automatisé et de nous battre obstinément pour parler à un opérateur humain qui fera son maximum pour ne pas enregistrer l’interaction comme une plainte du fait des objectifs qu’il doit atteindre. Une fois les recours épuisés, reste la possibilité de saisir d’autres instances, mais cela demande de nouvelles démarches, de nouvelles compétences comme de savoir qu’un médiateur peut exister, voire porter plainte en justice… Autant de démarches qui ne sont pas si accessibles. 

Les défenseurs des consommateurs souhaitent que les régulateurs puissent infliger des amendes beaucoup plus lourdes aux plus grands contrevenants des services clients déficients. Mais depuis quels critères ? 

Investir dans un meilleur service client a clairement un coût. Mais traiter les plaintes de manière aussi inefficace en a tout autant. Tous secteurs confondus, le coût mensuel pour les entreprises britanniques du temps consacré par leurs employés à la gestion des problèmes clients s’élève à 8 milliards d’euros, selon l’ICS. Si les entreprises commençaient à mesurer cet impact de cette manière, cela renforcerait-il l’argument commercial en faveur d’un meilleur service ?, interroge Claer Barrett. 

Au Royaume-Uni, c’est le traitement des réclamations financières qui offre le meilleur service client, explique-t-elle, parce que la réglementation y est beaucoup plus stricte. A croire que c’est ce qui manque partout ailleurs. Pourtant, même dans le secteur bancaire, le volume de plaintes reste élevé. Le Financial Ombudsman Service du Royaume-Uni prévoit de recevoir plus de 181 000 plaintes de consommateurs au cours du prochain exercice, soit environ 10 % de plus qu’en 2022-2023. Les principales plaintes à l’encontre des banques portent sur l’augmentation des taux d’intérêts sur les cartes de crédits et la débancarisation (voir notre article). Une autre part importante des plaintes concerne les dossiers de financement automobiles, et porte sur des litiges d’évaluation de dommages et des retards de paiements. 

Pourtant, selon l’ICS, le retour sur investissement d’un bon service client reste fort. « D’après les données collectées entre 2017 et 2023, les entreprises dont le score de satisfaction client était supérieur d’au moins un point à la moyenne de leur secteur ont enregistré une croissance moyenne de leur chiffre d’affaires de 7,4 % ». Mais, celles dont le score de satisfaction est inférieur d’un point à la moyenne, ont enregistré également une croissance de celui-ci du niveau de la moyenne du secteur. La différence n’est peut-être pas suffisamment sensible pour faire la différence. Dans un monde en ligne, où le client ne cesse de s’éloigner des personnels, la nécessité de créer des liens avec eux devrait être plus importante que jamais. Mais, l’inflation élevée de ces dernières années porte toute l’attention sur le prix… et ce même si les clients ne cessent de déclarer qu’ils sont prêts à payer plus cher pour un meilleur service. 

La morosité du service client est assurément à l’image de la morosité économique ambiante.

Hubert Guillaud