« J’aimerais vous confronter à un problème de calcul difficile », attaque Albert Moukheiber sur la scène de la conférence USI 2025. « Dans les sciences cognitives, on est confronté à un problème qu’on n’arrive pas à résoudre : la subjectivité ! » 

Le docteur en neuroscience et psychologue clinicien, auteur de Votre cerveau vous joue des tours (Allary éditions 2019) et de Neuromania (Allary éditions, 2024), commence par faire un rapide historique de ce qu’on sait sur le cerveau. 

Où est le neurone ?

« Contrairement à d’autres organes, un cerveau mort n’a rien à dire sur son fonctionnement. Et pendant très longtemps, nous n’avons pas eu d’instruments pour comprendre un cerveau ». En fait, les technologies permettant d’ausculter le cerveau, de cartographier son activité, sont assez récentes et demeurent bien peu précises. Pour cela, il faut être capable de mesurer son activité, de voir où se font les afflux d’énergie et l’activité chimique. C’est seulement assez récemment, depuis les années 1990 surtout, qu’on a développé des technologies pour étudier cette activité, avec les électro-encéphalogrammes, puis avec l’imagerie par résonance magnétique (IRM) structurelle et surtout fonctionnelle. L’IRM fonctionnelle est celle que les médecins vous prescrivent. Elle mesure la matière cérébrale permettant de créer une image en noir et blanc pour identifier des maladies, des lésions, des tumeurs. Mais elle ne dit rien de l’activité neuronale. Seule l’IRM fonctionnelle observe l’activité, mais il faut comprendre que les images que nous en produisons sont peu précises et demeurent probabilistes. Les images de l’IRMf font apparaître des couleurs sur des zones en activité, mais ces couleurs ne désignent pas nécessairement une activité forte de ces zones, ni que le reste du cerveau est inactif. L’IRMf tente de montrer que certaines zones sont plus actives que d’autres parce qu’elles sont plus alimentées en oxygène et en sang. L’IRMf fonctionne par soustraction des images passées. Le patient dont on mesure l’activité cérébrale est invité à faire une tâche en limitant au maximum toute autre activité que celle demandée et les scientifiques comparent  ces images à des précédentes pour déterminer quelles zones sont affectées quand vous fermez le poing par exemple. « On applique des calculs de probabilité aux soustractions pour tenter d’isoler un signal dans un océan de bruits », précise Moukheiber dans Neuromania. L’IRMf n’est donc pas un enregistrement direct de l’activation cérébrale pour une tâche donnée, mais « une reconstruction a posteriori de la probabilité qu’une aire soit impliquée dans cette tâche ». En fait, les couleurs indiquent des probabilités. « Ces couleurs n’indiquent donc pas une intensité d’activité, mais une probabilité d’implication ». Enfin, les mesures que nous réalisons n’ont rien de précis, rappelle le chercheur. La précision de l’IRMf est le voxel, qui contient environ 5,5 millions de neurones ! Ensuite, l’IRMf capture le taux d’oxygène, alors que la circulation sanguine est bien plus lente que les échanges chimiques de nos neurones. Enfin, le traitement de données est particulièrement complexe. Une étude a chargé plusieurs équipes d’analyser un même ensemble de données d’IRMf et n’a pas conduit aux mêmes résultats selon les équipes. Bref, pour le dire simplement, le neurone est l’unité de base de compréhension de notre cerveau, mais nos outils ne nous permettent pas de le mesurer. Il faut dire qu’il n’est pas non plus le bon niveau explicatif. Les explications établies à partir d’images issues de l’IRMf nous donnent donc plus une illusion de connaissance réelle qu’autre chose. D’où l’enjeu à prendre les résultats de nombre d’études qui s’appuient sur ces images avec beaucoup de recul. « On peut faire dire beaucoup de choses à l’imagerie cérébrale » et c’est assurément ce qui explique qu’elle soit si utilisée.

Les données ne suffisent pas

Dans les années 50-60, le courant de la cybernétique pensait le cerveau comme un organe de traitement de l’information, qu’on devrait étudier comme d’autres machines. C’est la naissance de la neuroscience computationnelle qui tente de modéliser le cerveau à l’image des machines. Outre les travaux de John von Neumann, Claude Shannon prolonge ces idées d’une théorie de l’information qui va permettre de créer des « neurones artificiels », qui ne portent ce nom que parce qu’ils ont été créés pour fonctionner sur le modèle d’un neurone. En 1957, le Perceptron de Frank Rosenblatt est considéré comme la première machine à utiliser un réseau neuronal artificiel. Mais on a bien plus appliqué le lexique du cerveau aux ordinateurs qu’autre chose, rappelle Albert Moukheiber. 

Aujourd’hui, l’Intelligence artificielle et ses « réseaux de neurones » n’a plus rien à voir avec la façon dont fonctionne le cerveau, mais les neurosciences computationnelles, elles continuent, notamment pour aider à faire des prothèses adaptées comme les BCI, Brain Computer Interfaces. 

Désormais, faire de la science consiste à essayer de comprendre comment fonctionne le monde naturel depuis un modèle. Jusqu’à récemment, on pensait qu’il fallait des théories pour savoir quoi faire des données, mais depuis l’avènement des traitements probabilistes et du Big Data, les modèles théoriques sont devenus inutiles, comme l’expliquait Chris Anderson dans The End of Theory en 2008. En 2017, des chercheurs se sont tout de même demandé si l’on pouvait renverser l’analogie cerveau-ordinateur en tentant de comprendre le fonctionnement d’un microprocesseur depuis les outils des neurosciences. Malgré l’arsenal d’outils à leur disposition, les chercheurs qui s’y sont essayé ont été incapables de produire un modèle de son fonctionnement. Cela nous montre que comprendre un fonctionnement ne nécessite pas seulement des informations techniques ou des données, mais avant tout des concepts pour les organiser. En fait, avoir accès à une quantité illimitée de données ne suffit pas à comprendre ni le processeur ni le cerveau. En 1974, le philosophe des sciences, Thomas Nagel, avait proposé une expérience de pensée avec son article « Quel effet ça fait d’être une chauve-souris ? ». Même si l’on connaissait tout d’une chauve-souris, on ne pourra jamais savoir ce que ça fait d’être une chauve-souris. Cela signifie qu’on ne peut jamais atteindre la vie intérieure d’autrui. Que la subjectivité des autres nous échappe toujours. C’est là le difficile problème de la conscience. 

La subjectivité nous échappe

Une émotion désigne trois choses distinctes, rappelle Albert Moukheiber. C’est un état biologique qu’on peut tenter d’objectiver en trouvant des modalités de mesure, comme le tonus musculaire. C’est un concept culturel qui a des ancrages et valeurs très différentes d’une culture l’autre. Mais c’est aussi et d’abord un ressenti subjectif. Ainsi, par exemple, le fait de se sentir triste n’est pas mesurable. « On peut parfaitement comprendre le cortex moteur et visuel, mais on ne comprend pas nécessairement ce qu’éprouve le narrateur de Proust quand il mange la fameuse madeleine. Dix personnes peuvent être émues par un même coucher de soleil, mais sont-elles émues de la même manière ? » 

Notre réductionnisme objectivant est là confronté à des situations qu’il est difficile de mesurer. Ce qui n’est pas sans poser problèmes, notamment dans le monde de l’entreprise comme dans celui de la santé mentale. 

Le monde de l’entreprise a créé d’innombrables indicateurs pour tenter de mesurer la performance des salariés et collaborateurs. Il n’est pas le seul, s’amuse le chercheur sur scène. Les notes des étudiants leurs rappellent que le but est de réussir les examens plus que d’apprendre. C’est la logique de la loi de Goodhart : quand la mesure devient la cible, elle n’est plus une bonne mesure. Pour obtenir des bonus financiers liés au nombre d’opérations réussies, les chirurgiens réalisent bien plus d’opérations faciles que de compliquées. Quand on mesure les humains, ils ont tendance à modifier leur comportement pour se conformer à la mesure, ce qui n’est pas sans effets rebond, à l’image du célèbre effet cobra, où le régime colonial britannique offrit une prime aux habitants de Delhi qui rapporteraient des cobras morts pour les éradiquer, mais qui a poussé à leur démultiplication pour toucher la prime. En entreprises, nombre de mesures réalisées perdent ainsi très vite de leur effectivité. Moukheiber rappelle que les innombrables tests de personnalité ne valent pas mieux qu’un horoscope. L’un des tests le plus utilisé reste le MBTI qui a été développé dans les années 30 par des personnes sans aucune formation en psychologie. Non seulement ces tests n’ont aucun cadre théorique (voir ce que nous en disait le psychologue Alexandre Saint-Jevin, il y a quelques années), mais surtout, « ce sont nos croyances qui sont déphasées. Beaucoup de personnes pensent que la personnalité des individus serait centrale dans le cadre professionnel. C’est oublier que Steve Jobs était surtout un bel enfoiré ! », comme nombre de ces « grands » entrepreneurs que trop de gens portent aux nues. Comme nous le rappelions nous-mêmes, la recherche montre en effet que les tests de personnalités peinent à mesurer la performance au travail et que celle-ci a d’ailleurs peu à voir avec la personnalité. « Ces tests nous demandent d’y répondre personnellement, quand ce devrait être d’abord à nos collègues de les passer pour nous », ironise Moukheiber. Ils supposent surtout que la personnalité serait « stable », ce qui n’est certainement pas si vrai. Enfin, ces tests oublient que bien d’autres facteurs ont peut-être bien plus d’importance que la personnalité : les compétences, le fait de bien s’entendre avec les autres, le niveau de rémunération, le cadre de travail… Mais surtout, ils ont tous un effet « barnum » : n’importe qui est capable de se reconnaître dedans. Dans ces tests, les résultats sont toujours positifs, même les gens les plus sadiques seront flattés des résultats. Bref, vous pouvez les passer à la broyeuse. 

Dans le domaine de la santé mentale, la mesure de la subjectivité est très difficile et son absence très handicapante. La santé mentale est souvent vue comme une discipline objectivable, comme le reste de la santé. Le modèle biomédical repose sur l’idée qu’il suffit d’ôter le pathogène pour aller mieux. Il suffirait alors d’enlever les troubles mentaux pour enlever le pathogène. Bien sûr, ce n’est pas le cas. « Imaginez un moment, vous êtes une femme brillante de 45 ans, star montante de son domaine, travaillant dans une entreprise où vous êtes très valorisée. Vous êtes débauché par la concurrence, une entreprise encore plus brillante où vous allez pouvoir briller encore plus. Mais voilà, vous y subissez des remarques sexistes permanentes, tant et si bien que vous vous sentez moins bien, que vous perdez confiance, que vous développez un trouble anxieux. On va alors pousser la personne à se soigner… Mais le pathogène n’est ici pas en elle, il est dans son environnement. N’est-ce pas ici ses collègues qu’il faudrait pousser à se faire soigner ? » 

En médecine, on veut toujours mesurer les choses. Mais certaines restent insondables. Pour mesurer la douleur, il existe une échelle de la douleur.

« Mais deux personnes confrontés à la même blessure ne vont pas l’exprimer au même endroit sur l’échelle de la douleur. La douleur n’est pas objectivable. On ne peut connaître que les douleurs qu’on a vécu, à laquelle on les compare ». Mais chacun a une échelle de comparaison différente, car personnelle. « Et puis surtout, on est très doué pour ne pas croire et écouter les gens. C’est ainsi que l’endométriose a mis des années pour devenir un problème de santé publique. Une femme à 50% de chance d’être qualifiée en crise de panique quand elle fait un AVC qu’un homme »… Les exemples en ce sens sont innombrables. « Notre obsession à tout mesurer finit par nier l’existence de la subjectivité ». Rapportée à moi, ma douleur est réelle et handicapante. Rapportée aux autres, ma douleur n’est bien souvent perçue que comme une façon de se plaindre. « Les sciences cognitives ont pourtant besoin de meilleures approches pour prendre en compte cette phénoménologie. Nous avons besoin d’imaginer les moyens de mesurer la subjectivité et de la prendre plus au sérieux qu’elle n’est ». 

La science de la subjectivité n’est pas dénuée de tentatives de mesure, mais elles sont souvent balayées de la main, alors qu’elles sont souvent plus fiables que les mesures dites objectives. « Demander à quelqu’un comment il va est souvent plus parlant que les mesures électrodermales qu’on peut réaliser ». Reste que les mesures physiologiques restent toujours très séduisantes que d’écouter un patient, un peu comme quand vous ajoutez une image d’une IRM à un article pour le rendre plus sérieux qu’il n’est. 

*

Pour conclure la journée, Christian Fauré, directeur scientifique d’Octo Technology revenait sur son thème, l’incalculabilité. « Trop souvent, décider c’est calculer. Nos décisions ne dépendraient plus alors que d’une puissance de calcul, comme nous le racontent les chantres de l’IA qui s’empressent à nous vendre la plus puissante. Nos décisions sont-elles le fruit d’un calcul ? Nos modèles d’affaires dépendent-ils d’un calcul ? Au tout début d’OpenAI, Sam Altman promettait d’utiliser l’IA pour trouver un modèle économique à OpenAI. Pour lui, décider n’est rien d’autre que calculer. Et le calcul semble pouvoir s’appliquer à tout. Certains espaces échappent encore, comme vient de le dire Albert Moukheiber. Tout n’est pas calculable. Le calcul ne va pas tout résoudre. Cela semble difficile à croire quand tout est désormais analysé, soupesé, mesuré« . « Il faut qu’il y ait dans le poème un nombre tel qu’il empêche de compter », disait Paul Claudel. Le poème n’est pas que de la mesure et du calcul, voulait dire Claudel. Il faut qu’il reste de l’incalculable, même chez le comptable, sinon à quoi bon faire ces métiers. « L’incalculable, c’est ce qui donne du sens ». 

« Nous vivons dans un monde où le calcul est partout… Mais il ne donne pas toutes les réponses. Et notamment, il ne donne pas de sens, comme disait Pascal Chabot. Claude Shannon, dit à ses collègues de ne pas donner de sens et de signification dans les données. Turing qui invente l’ordinateur, explique que c’est une procédure univoque, c’est-à-dire qu’elle est reliée à un langage qui n’a qu’un sens, comme le zéro et le un. Comme si finalement, dans cette abstraction pure, réduite à l’essentiel, il était impossible de percevoir le sens ».

Hubert Guillaud

« J’aimerais vous confronter à un problème de calcul difficile », attaque Albert Moukheiber sur la scène de la conférence USI 2025. « Dans les sciences cognitives, on est confronté à un problème qu’on n’arrive pas à résoudre : la subjectivité ! » 

Le docteur en neuroscience et psychologue clinicien, auteur de Votre cerveau vous joue des tours (Allary éditions 2019) et de Neuromania (Allary éditions, 2024), commence par faire un rapide historique de ce qu’on sait sur le cerveau. 

Où est le neurone ?

« Contrairement à d’autres organes, un cerveau mort n’a rien à dire sur son fonctionnement. Et pendant très longtemps, nous n’avons pas eu d’instruments pour comprendre un cerveau ». En fait, les technologies permettant d’ausculter le cerveau, de cartographier son activité, sont assez récentes et demeurent bien peu précises. Pour cela, il faut être capable de mesurer son activité, de voir où se font les afflux d’énergie et l’activité chimique. C’est seulement assez récemment, depuis les années 1990 surtout, qu’on a développé des technologies pour étudier cette activité, avec les électro-encéphalogrammes, puis avec l’imagerie par résonance magnétique (IRM) structurelle et surtout fonctionnelle. L’IRM fonctionnelle est celle que les médecins vous prescrivent. Elle mesure la matière cérébrale permettant de créer une image en noir et blanc pour identifier des maladies, des lésions, des tumeurs. Mais elle ne dit rien de l’activité neuronale. Seule l’IRM fonctionnelle observe l’activité, mais il faut comprendre que les images que nous en produisons sont peu précises et demeurent probabilistes. Les images de l’IRMf font apparaître des couleurs sur des zones en activité, mais ces couleurs ne désignent pas nécessairement une activité forte de ces zones, ni que le reste du cerveau est inactif. L’IRMf tente de montrer que certaines zones sont plus actives que d’autres parce qu’elles sont plus alimentées en oxygène et en sang. L’IRMf fonctionne par soustraction des images passées. Le patient dont on mesure l’activité cérébrale est invité à faire une tâche en limitant au maximum toute autre activité que celle demandée et les scientifiques comparent  ces images à des précédentes pour déterminer quelles zones sont affectées quand vous fermez le poing par exemple. « On applique des calculs de probabilité aux soustractions pour tenter d’isoler un signal dans un océan de bruits », précise Moukheiber dans Neuromania. L’IRMf n’est donc pas un enregistrement direct de l’activation cérébrale pour une tâche donnée, mais « une reconstruction a posteriori de la probabilité qu’une aire soit impliquée dans cette tâche ». En fait, les couleurs indiquent des probabilités. « Ces couleurs n’indiquent donc pas une intensité d’activité, mais une probabilité d’implication ». Enfin, les mesures que nous réalisons n’ont rien de précis, rappelle le chercheur. La précision de l’IRMf est le voxel, qui contient environ 5,5 millions de neurones ! Ensuite, l’IRMf capture le taux d’oxygène, alors que la circulation sanguine est bien plus lente que les échanges chimiques de nos neurones. Enfin, le traitement de données est particulièrement complexe. Une étude a chargé plusieurs équipes d’analyser un même ensemble de données d’IRMf et n’a pas conduit aux mêmes résultats selon les équipes. Bref, pour le dire simplement, le neurone est l’unité de base de compréhension de notre cerveau, mais nos outils ne nous permettent pas de le mesurer. Il faut dire qu’il n’est pas non plus le bon niveau explicatif. Les explications établies à partir d’images issues de l’IRMf nous donnent donc plus une illusion de connaissance réelle qu’autre chose. D’où l’enjeu à prendre les résultats de nombre d’études qui s’appuient sur ces images avec beaucoup de recul. « On peut faire dire beaucoup de choses à l’imagerie cérébrale » et c’est assurément ce qui explique qu’elle soit si utilisée.

Les données ne suffisent pas

Dans les années 50-60, le courant de la cybernétique pensait le cerveau comme un organe de traitement de l’information, qu’on devrait étudier comme d’autres machines. C’est la naissance de la neuroscience computationnelle qui tente de modéliser le cerveau à l’image des machines. Outre les travaux de John von Neumann, Claude Shannon prolonge ces idées d’une théorie de l’information qui va permettre de créer des « neurones artificiels », qui ne portent ce nom que parce qu’ils ont été créés pour fonctionner sur le modèle d’un neurone. En 1957, le Perceptron de Frank Rosenblatt est considéré comme la première machine à utiliser un réseau neuronal artificiel. Mais on a bien plus appliqué le lexique du cerveau aux ordinateurs qu’autre chose, rappelle Albert Moukheiber. 

Aujourd’hui, l’Intelligence artificielle et ses « réseaux de neurones » n’a plus rien à voir avec la façon dont fonctionne le cerveau, mais les neurosciences computationnelles, elles continuent, notamment pour aider à faire des prothèses adaptées comme les BCI, Brain Computer Interfaces. 

Désormais, faire de la science consiste à essayer de comprendre comment fonctionne le monde naturel depuis un modèle. Jusqu’à récemment, on pensait qu’il fallait des théories pour savoir quoi faire des données, mais depuis l’avènement des traitements probabilistes et du Big Data, les modèles théoriques sont devenus inutiles, comme l’expliquait Chris Anderson dans The End of Theory en 2008. En 2017, des chercheurs se sont tout de même demandé si l’on pouvait renverser l’analogie cerveau-ordinateur en tentant de comprendre le fonctionnement d’un microprocesseur depuis les outils des neurosciences. Malgré l’arsenal d’outils à leur disposition, les chercheurs qui s’y sont essayé ont été incapables de produire un modèle de son fonctionnement. Cela nous montre que comprendre un fonctionnement ne nécessite pas seulement des informations techniques ou des données, mais avant tout des concepts pour les organiser. En fait, avoir accès à une quantité illimitée de données ne suffit pas à comprendre ni le processeur ni le cerveau. En 1974, le philosophe des sciences, Thomas Nagel, avait proposé une expérience de pensée avec son article « Quel effet ça fait d’être une chauve-souris ? ». Même si l’on connaissait tout d’une chauve-souris, on ne pourra jamais savoir ce que ça fait d’être une chauve-souris. Cela signifie qu’on ne peut jamais atteindre la vie intérieure d’autrui. Que la subjectivité des autres nous échappe toujours. C’est là le difficile problème de la conscience. 

La subjectivité nous échappe

Une émotion désigne trois choses distinctes, rappelle Albert Moukheiber. C’est un état biologique qu’on peut tenter d’objectiver en trouvant des modalités de mesure, comme le tonus musculaire. C’est un concept culturel qui a des ancrages et valeurs très différentes d’une culture l’autre. Mais c’est aussi et d’abord un ressenti subjectif. Ainsi, par exemple, le fait de se sentir triste n’est pas mesurable. « On peut parfaitement comprendre le cortex moteur et visuel, mais on ne comprend pas nécessairement ce qu’éprouve le narrateur de Proust quand il mange la fameuse madeleine. Dix personnes peuvent être émues par un même coucher de soleil, mais sont-elles émues de la même manière ? » 

Notre réductionnisme objectivant est là confronté à des situations qu’il est difficile de mesurer. Ce qui n’est pas sans poser problèmes, notamment dans le monde de l’entreprise comme dans celui de la santé mentale. 

Le monde de l’entreprise a créé d’innombrables indicateurs pour tenter de mesurer la performance des salariés et collaborateurs. Il n’est pas le seul, s’amuse le chercheur sur scène. Les notes des étudiants leurs rappellent que le but est de réussir les examens plus que d’apprendre. C’est la logique de la loi de Goodhart : quand la mesure devient la cible, elle n’est plus une bonne mesure. Pour obtenir des bonus financiers liés au nombre d’opérations réussies, les chirurgiens réalisent bien plus d’opérations faciles que de compliquées. Quand on mesure les humains, ils ont tendance à modifier leur comportement pour se conformer à la mesure, ce qui n’est pas sans effets rebond, à l’image du célèbre effet cobra, où le régime colonial britannique offrit une prime aux habitants de Delhi qui rapporteraient des cobras morts pour les éradiquer, mais qui a poussé à leur démultiplication pour toucher la prime. En entreprises, nombre de mesures réalisées perdent ainsi très vite de leur effectivité. Moukheiber rappelle que les innombrables tests de personnalité ne valent pas mieux qu’un horoscope. L’un des tests le plus utilisé reste le MBTI qui a été développé dans les années 30 par des personnes sans aucune formation en psychologie. Non seulement ces tests n’ont aucun cadre théorique (voir ce que nous en disait le psychologue Alexandre Saint-Jevin, il y a quelques années), mais surtout, « ce sont nos croyances qui sont déphasées. Beaucoup de personnes pensent que la personnalité des individus serait centrale dans le cadre professionnel. C’est oublier que Steve Jobs était surtout un bel enfoiré ! », comme nombre de ces « grands » entrepreneurs que trop de gens portent aux nues. Comme nous le rappelions nous-mêmes, la recherche montre en effet que les tests de personnalités peinent à mesurer la performance au travail et que celle-ci a d’ailleurs peu à voir avec la personnalité. « Ces tests nous demandent d’y répondre personnellement, quand ce devrait être d’abord à nos collègues de les passer pour nous », ironise Moukheiber. Ils supposent surtout que la personnalité serait « stable », ce qui n’est certainement pas si vrai. Enfin, ces tests oublient que bien d’autres facteurs ont peut-être bien plus d’importance que la personnalité : les compétences, le fait de bien s’entendre avec les autres, le niveau de rémunération, le cadre de travail… Mais surtout, ils ont tous un effet « barnum » : n’importe qui est capable de se reconnaître dedans. Dans ces tests, les résultats sont toujours positifs, même les gens les plus sadiques seront flattés des résultats. Bref, vous pouvez les passer à la broyeuse. 

Dans le domaine de la santé mentale, la mesure de la subjectivité est très difficile et son absence très handicapante. La santé mentale est souvent vue comme une discipline objectivable, comme le reste de la santé. Le modèle biomédical repose sur l’idée qu’il suffit d’ôter le pathogène pour aller mieux. Il suffirait alors d’enlever les troubles mentaux pour enlever le pathogène. Bien sûr, ce n’est pas le cas. « Imaginez un moment, vous êtes une femme brillante de 45 ans, star montante de son domaine, travaillant dans une entreprise où vous êtes très valorisée. Vous êtes débauché par la concurrence, une entreprise encore plus brillante où vous allez pouvoir briller encore plus. Mais voilà, vous y subissez des remarques sexistes permanentes, tant et si bien que vous vous sentez moins bien, que vous perdez confiance, que vous développez un trouble anxieux. On va alors pousser la personne à se soigner… Mais le pathogène n’est ici pas en elle, il est dans son environnement. N’est-ce pas ici ses collègues qu’il faudrait pousser à se faire soigner ? » 

En médecine, on veut toujours mesurer les choses. Mais certaines restent insondables. Pour mesurer la douleur, il existe une échelle de la douleur.

« Mais deux personnes confrontés à la même blessure ne vont pas l’exprimer au même endroit sur l’échelle de la douleur. La douleur n’est pas objectivable. On ne peut connaître que les douleurs qu’on a vécu, à laquelle on les compare ». Mais chacun a une échelle de comparaison différente, car personnelle. « Et puis surtout, on est très doué pour ne pas croire et écouter les gens. C’est ainsi que l’endométriose a mis des années pour devenir un problème de santé publique. Une femme à 50% de chance d’être qualifiée en crise de panique quand elle fait un AVC qu’un homme »… Les exemples en ce sens sont innombrables. « Notre obsession à tout mesurer finit par nier l’existence de la subjectivité ». Rapportée à moi, ma douleur est réelle et handicapante. Rapportée aux autres, ma douleur n’est bien souvent perçue que comme une façon de se plaindre. « Les sciences cognitives ont pourtant besoin de meilleures approches pour prendre en compte cette phénoménologie. Nous avons besoin d’imaginer les moyens de mesurer la subjectivité et de la prendre plus au sérieux qu’elle n’est ». 

La science de la subjectivité n’est pas dénuée de tentatives de mesure, mais elles sont souvent balayées de la main, alors qu’elles sont souvent plus fiables que les mesures dites objectives. « Demander à quelqu’un comment il va est souvent plus parlant que les mesures électrodermales qu’on peut réaliser ». Reste que les mesures physiologiques restent toujours très séduisantes que d’écouter un patient, un peu comme quand vous ajoutez une image d’une IRM à un article pour le rendre plus sérieux qu’il n’est. 

*

Pour conclure la journée, Christian Fauré, directeur scientifique d’Octo Technology revenait sur son thème, l’incalculabilité. « Trop souvent, décider c’est calculer. Nos décisions ne dépendraient plus alors que d’une puissance de calcul, comme nous le racontent les chantres de l’IA qui s’empressent à nous vendre la plus puissante. Nos décisions sont-elles le fruit d’un calcul ? Nos modèles d’affaires dépendent-ils d’un calcul ? Au tout début d’OpenAI, Sam Altman promettait d’utiliser l’IA pour trouver un modèle économique à OpenAI. Pour lui, décider n’est rien d’autre que calculer. Et le calcul semble pouvoir s’appliquer à tout. Certains espaces échappent encore, comme vient de le dire Albert Moukheiber. Tout n’est pas calculable. Le calcul ne va pas tout résoudre. Cela semble difficile à croire quand tout est désormais analysé, soupesé, mesuré« . « Il faut qu’il y ait dans le poème un nombre tel qu’il empêche de compter », disait Paul Claudel. Le poème n’est pas que de la mesure et du calcul, voulait dire Claudel. Il faut qu’il reste de l’incalculable, même chez le comptable, sinon à quoi bon faire ces métiers. « L’incalculable, c’est ce qui donne du sens ». 

« Nous vivons dans un monde où le calcul est partout… Mais il ne donne pas toutes les réponses. Et notamment, il ne donne pas de sens, comme disait Pascal Chabot. Claude Shannon, dit à ses collègues de ne pas donner de sens et de signification dans les données. Turing qui invente l’ordinateur, explique que c’est une procédure univoque, c’est-à-dire qu’elle est reliée à un langage qui n’a qu’un sens, comme le zéro et le un. Comme si finalement, dans cette abstraction pure, réduite à l’essentiel, il était impossible de percevoir le sens ».

Hubert Guillaud

La politologue Erica Chenoweth est la directrice du Non Violent Action Lab à Harvard. Elle a publié de nombreux livres pour montrer que la résistance non violente avait des effets, notamment, en français Pouvoir de la non-violence : pourquoi la résistance civile est efficace (Calmann Levy, 2021). Mais ce n’est plus le constat qu’elle dresse. Elle prépare d’ailleurs un nouveau livre, The End of People Power, qui pointe le déclin déroutant des mouvements de résistance civile au cours de la dernière décennie, alors même que ces techniques sont devenues très populaires dans le monde entier. Lors d’une récente conférence sur l’IA et les libertés démocratiques organisée par le Knight First Amendment Institute de l’université de Columbia, elle se demandait si l’IA pouvait soutenir les revendications démocratiques, rapporte Tech Policy Press (vidéo). L’occasion de rendre compte à notre tour d’un point de vue décoiffant qui interroge en profondeur notre rapport à la démocratie.  

La récession démocratique est engagée

La démocratie est en déclin, explique Erica Chenoweth. Dans son rapport annuel, l’association internationale Freedom House parle même de “récession démocratique” et estime que la sauvegarde des droits démocratiques est partout en crise. 2025 pourrait être la première année, depuis longtemps, où la majorité de la population mondiale vit sous des formes de gouvernement autoritaires plutôt que démocratiques. Ce recul est dû à la fois au développement de l’autoritarisme dans les régimes autocratiques et à l’avancée de l’autocratie dans les démocraties établies, explique Chenoweth. Les avancées démocratiques des 100 dernières années ont été nombreuses et assez générales. Elles ont d’abord été le fait de mouvements non violents, populaires, où des citoyens ordinaires ont utilisé les manifestations et les grèves, bien plus que les insurrections armées, pour déployer la démocratie là où elle était empêchée. Mais ces succès sont en déclin. Les taux de réussite des mouvements populaires pacifistes comme armés, se sont effondrés, notamment au cours des dix dernières années. “Il y a quelque chose de global et de systémique qui touche toutes les formes de mobilisation de masse. Ce n’est pas seulement que les manifestations pacifiques sont inefficaces, mais que, de fait, les opposants à ces mouvements sont devenus plus efficaces pour les vaincre en général”.

Les épisodes de contestation réformistes (qui ne relèvent pas de revendications maximalistes, comme les mouvements démocratiques), comprenant les campagnes pour les salaires et le travail, les mouvements environnementaux, les mouvements pour la justice raciale, l’expansion des droits civiques, les droits des femmes… n’ont cessé de subir des revers et des défaites au cours des deux dernières décennies, et ont même diminué leur capacité à obtenir des concessions significatives, à l’image de la contestation de la réforme des retraites en France ou des mouvements écologiques, plus écrasés que jamais. Et ce alors que ces techniques de mobilisation sont plus utilisées que jamais. 

Selon la littérature, ce qui permet aux mouvements populaires de réussir repose sur une participation large et diversifiée, c’est-à-dire transversale à l’ensemble de la société, transcendant les clivages raciaux, les clivages de classe, les clivages urbains-ruraux, les clivages partisans… Et notamment quand ils suscitent le soutien de personnes très différentes les unes des autres. “Le principal défi pour les mouvements de masse qui réclament un changement pour étendre la démocratie consiste bien souvent à disloquer les piliers des soutiens autocratiques comme l’armée ou les fonctionnaires. L’enjeu, pour les mouvements démocratiques, consiste à retourner la répression à l’encontre de la population en la dénonçant pour modifier l’opinion générale ». Enfin, les mouvements qui réussissent enchaînent bien souvent les tactiques plutôt que de reposer sur une technique d’opposition unique, afin de démultiplier les formes de pression. 

La répression s’est mise à niveau

Mais l’autocratie a appris de ses erreurs. Elle a adapté en retour ses tactiques pour saper les quatre voies par lesquelles les mouvements démocratiques l’emportent. “La première consiste à s’assurer que personne ne fasse défection. La deuxième consiste à dominer l’écosystème de l’information et à remporter la guerre de l’information. La troisième consiste à recourir à la répression sélective de manière à rendre très difficile pour les mouvements d’exploiter les moments d’intense brutalité. Et la quatrième consiste à perfectionner l’art de diviser pour mieux régner”. Pour que l’armée ou la police ne fasse pas défection, les autorités ont amélioré la formation des forces de sécurité. La corruption et le financement permet de s’attacher des soutiens plus indéfectibles. Les forces de sécurité sont également plus fragmentées, afin qu’une défection de l’une d’entre elles, n’implique pas les autres. Enfin, il s’agit également de faire varier la répression pour qu’une unité de sécurité ne devienne pas une cible de mouvements populaires par rapport aux autres. Les purges et les répressions des personnes déloyales ou suspectes sont devenues plus continues et violentes. “L’ensemble de ces techniques a rendu plus difficile pour les mouvements civiques de provoquer la défection des forces de sécurité, et cette tendance s’est accentuée au fil du temps”.

La seconde adaptation clé a consisté à gagner la guerre de l’information, notamment en dominant les écosystèmes de l’information. “Inonder la zone de rumeurs, de désinformation et de propagande, dont certaines peuvent être créées et testées par différents outils d’IA, en fait partie. Il en va de même pour la coupure d’Internet aux moments opportuns, puis sa réouverture au moment opportun”.

Le troisième volet de la panoplie consiste à appliquer une répression sélective, consistant à viser des individus plutôt que les mouvements pour des crimes graves qui peuvent sembler décorrélé des manifestations, en les accusant de terrorisme ou de préparation de coup d’Etat. ”La guerre juridique est un autre outil administratif clé”.

Le quatrième volet consiste à diviser pour mieux régner. En encourageant la mobilisation loyaliste, en induisant des divisions dans les mouvements, en les infiltrant pour les radicaliser, en les poussant à des actions violentes pour générer des reflux d’opinion… 

Comment utiliser l’IA pour gagner ? 

Dans la montée de l’adaptation des techniques pour défaire leurs opposants, la technologie joue un rôle, estime Erica Chenoweth. Jusqu’à présent, les mouvements civiques ont plutôt eu tendance à s’approprier et à utiliser, souvent de manière très innovantes, les technologies à leur avantage, par exemple à l’heure de l’arrivée d’internet, qui a très tôt été utilisé pour s’organiser et se mobiliser. Or, aujourd’hui, les mouvements civiques sont bien plus prudents et sceptiques à utiliser l’IA, contrairement aux régimes autocratiques. Pourtant, l’un des principaux problèmes des mouvements civiques consiste à “cerner leur environnement opérationnel”, c’est-à-dire de savoir qui est connecté à qui, qui les soutient ou pourrait les soutenir, sous quelles conditions ? Où sont les vulnérabilités du mouvement ? Réfléchir de manière créative à ces questions et enjeux, aux tactiques à déployer pourrait pourtant être un atout majeur pour que les mouvements démocratiques réussissent. 

Les mouvements démocratiques passent bien plus de temps à sensibiliser et communiquer qu’à faire de la stratégie, rappelle la chercheuse. Et c’est là deux enjeux où les IA pourraient aider, estime-t-elle. En 2018 par exemple, lors des élections municipales russe, un algorithme a permis de contrôler les images de vidéosurveillance des bureaux de vote pour détecter des irrégularités permettant de dégager les séquences où des bulletins préremplis avaient été introduits dans les urnes. Ce qui aurait demandé un contrôle militant épuisant a pu être accompli très simplement. Autre exemple avec les applications BuyCat, BoyCott ou NoThanks, qui sont des applications de boycott de produits, permettant aux gens de participer très facilement à des actions (des applications puissantes, mais parfois peu transparentes sur leurs méthodes, expliquait Le Monde). Pour Chenoweth, les techniques qui fonctionnent doivent être mieux documentées et partagées pour qu’elles puissent servir à d’autres. Certains groupes proposent d’ailleurs déjà des formations sur l’utilisation de l’IA pour l’action militante, comme c’est le cas de Canvas, de Social Movement Technologies et du Cooperative Impact Lab.

Le Non Violent Action Lab a d’ailleurs publié un rapport sur le sujet : Comment l’IA peut-elle venir aider les mouvements démocratiques ? Pour Chenoweth, il est urgent d’évaluer si les outils d’IA facilitent ou compliquent réellement le succès des mouvements démocratiques. Encore faudrait-il que les mouvements démocratiques puissent accéder à des outils d’IA qui ne partagent pas leurs données avec des plateformes et avec les autorités. L’autre enjeu consiste à construire des corpus adaptés pour aider les mouvements à résister. Les corpus de l’IA s’appuient sur des données des 125 dernières années, alors que l’on sait déjà que ce qui fonctionnait il y a 60 ans ne fonctionne plus nécessairement.

Pourtant, estime Chenoweth, les mouvements populaires ont besoin d’outils pour démêler des processus délibératifs souvent complexes, et l’IA devrait pouvoir les y aider. “Aussi imparfait qu’ait été notre projet démocratique, nous le regretterons certainement lorsqu’il prendra fin”, conclut la politologue. En invitant les mouvements civiques à poser la question de l’utilisation de l’IA a leur profit, plutôt que de la rejetter d’emblée comme l’instrument de l’autoritarisme, elle invite à faire un pas de côté pour trouver des modalités pour refaire gagner les luttes sociales.

On lui suggérera tout de même de regarder du côté des projets que Audrey Tang mène à Taïwan avec le Collective intelligence for collective progress, comme ses « assemblées d’alignement » qui mobilise l’IA pour garantir une participation équitable et une écoute active de toutes les opinions. Comme Tang le défend dans son manifeste, Plurality, l’IA pourrait être une technologie d’extension du débat démocratique pour mieux organiser la complexité. Tang parle d’ailleurs de broad listening (« écoute élargie ») pour l’opposer au broadcasting, la diffusion de un vers tous. Une méthode mobilisée par un jeune ingénieur au poste de gouverneur de Tokyo, Takahiro Anno, qui a bénéficié d’une audience surprenante, sans néanmoins l’emporter. Son adversaire a depuis mobilisé la méthode pour lancer une consultation, Tokyo 2050.

Des pistes à observer certes, pour autant qu’on puisse mesurer vraiment leurs effets. Peuvent-elles permettent aux luttes sociales de l’emporter, comme le propose Chenoweth ? Le risque est fort de nous faire glisser vers une vie civique automatisée. Ajouter de l’IA ne signifie pas que les décisions demain seront plus justes, plus efficaces ou plus démocratiques. Au contraire. Le risque est fort que cet ajout bénéfice d’abord aux plus nantis au détriment de la diversité. L’enjeu demeure non pas d’ajouter des outils pour eux-mêmes, mais de savoir si ces outils produisent du changement et au profit de qui !

La politologue Erica Chenoweth est la directrice du Non Violent Action Lab à Harvard. Elle a publié de nombreux livres pour montrer que la résistance non violente avait des effets, notamment, en français Pouvoir de la non-violence : pourquoi la résistance civile est efficace (Calmann Levy, 2021). Mais ce n’est plus le constat qu’elle dresse. Elle prépare d’ailleurs un nouveau livre, The End of People Power, qui pointe le déclin déroutant des mouvements de résistance civile au cours de la dernière décennie, alors même que ces techniques sont devenues très populaires dans le monde entier. Lors d’une récente conférence sur l’IA et les libertés démocratiques organisée par le Knight First Amendment Institute de l’université de Columbia, elle se demandait si l’IA pouvait soutenir les revendications démocratiques, rapporte Tech Policy Press (vidéo). L’occasion de rendre compte à notre tour d’un point de vue décoiffant qui interroge en profondeur notre rapport à la démocratie.  

La récession démocratique est engagée

La démocratie est en déclin, explique Erica Chenoweth. Dans son rapport annuel, l’association internationale Freedom House parle même de “récession démocratique” et estime que la sauvegarde des droits démocratiques est partout en crise. 2025 pourrait être la première année, depuis longtemps, où la majorité de la population mondiale vit sous des formes de gouvernement autoritaires plutôt que démocratiques. Ce recul est dû à la fois au développement de l’autoritarisme dans les régimes autocratiques et à l’avancée de l’autocratie dans les démocraties établies, explique Chenoweth. Les avancées démocratiques des 100 dernières années ont été nombreuses et assez générales. Elles ont d’abord été le fait de mouvements non violents, populaires, où des citoyens ordinaires ont utilisé les manifestations et les grèves, bien plus que les insurrections armées, pour déployer la démocratie là où elle était empêchée. Mais ces succès sont en déclin. Les taux de réussite des mouvements populaires pacifistes comme armés, se sont effondrés, notamment au cours des dix dernières années. “Il y a quelque chose de global et de systémique qui touche toutes les formes de mobilisation de masse. Ce n’est pas seulement que les manifestations pacifiques sont inefficaces, mais que, de fait, les opposants à ces mouvements sont devenus plus efficaces pour les vaincre en général”.

Les épisodes de contestation réformistes (qui ne relèvent pas de revendications maximalistes, comme les mouvements démocratiques), comprenant les campagnes pour les salaires et le travail, les mouvements environnementaux, les mouvements pour la justice raciale, l’expansion des droits civiques, les droits des femmes… n’ont cessé de subir des revers et des défaites au cours des deux dernières décennies, et ont même diminué leur capacité à obtenir des concessions significatives, à l’image de la contestation de la réforme des retraites en France ou des mouvements écologiques, plus écrasés que jamais. Et ce alors que ces techniques de mobilisation sont plus utilisées que jamais. 

Selon la littérature, ce qui permet aux mouvements populaires de réussir repose sur une participation large et diversifiée, c’est-à-dire transversale à l’ensemble de la société, transcendant les clivages raciaux, les clivages de classe, les clivages urbains-ruraux, les clivages partisans… Et notamment quand ils suscitent le soutien de personnes très différentes les unes des autres. “Le principal défi pour les mouvements de masse qui réclament un changement pour étendre la démocratie consiste bien souvent à disloquer les piliers des soutiens autocratiques comme l’armée ou les fonctionnaires. L’enjeu, pour les mouvements démocratiques, consiste à retourner la répression à l’encontre de la population en la dénonçant pour modifier l’opinion générale ». Enfin, les mouvements qui réussissent enchaînent bien souvent les tactiques plutôt que de reposer sur une technique d’opposition unique, afin de démultiplier les formes de pression. 

La répression s’est mise à niveau

Mais l’autocratie a appris de ses erreurs. Elle a adapté en retour ses tactiques pour saper les quatre voies par lesquelles les mouvements démocratiques l’emportent. “La première consiste à s’assurer que personne ne fasse défection. La deuxième consiste à dominer l’écosystème de l’information et à remporter la guerre de l’information. La troisième consiste à recourir à la répression sélective de manière à rendre très difficile pour les mouvements d’exploiter les moments d’intense brutalité. Et la quatrième consiste à perfectionner l’art de diviser pour mieux régner”. Pour que l’armée ou la police ne fasse pas défection, les autorités ont amélioré la formation des forces de sécurité. La corruption et le financement permet de s’attacher des soutiens plus indéfectibles. Les forces de sécurité sont également plus fragmentées, afin qu’une défection de l’une d’entre elles, n’implique pas les autres. Enfin, il s’agit également de faire varier la répression pour qu’une unité de sécurité ne devienne pas une cible de mouvements populaires par rapport aux autres. Les purges et les répressions des personnes déloyales ou suspectes sont devenues plus continues et violentes. “L’ensemble de ces techniques a rendu plus difficile pour les mouvements civiques de provoquer la défection des forces de sécurité, et cette tendance s’est accentuée au fil du temps”.

La seconde adaptation clé a consisté à gagner la guerre de l’information, notamment en dominant les écosystèmes de l’information. “Inonder la zone de rumeurs, de désinformation et de propagande, dont certaines peuvent être créées et testées par différents outils d’IA, en fait partie. Il en va de même pour la coupure d’Internet aux moments opportuns, puis sa réouverture au moment opportun”.

Le troisième volet de la panoplie consiste à appliquer une répression sélective, consistant à viser des individus plutôt que les mouvements pour des crimes graves qui peuvent sembler décorrélé des manifestations, en les accusant de terrorisme ou de préparation de coup d’Etat. ”La guerre juridique est un autre outil administratif clé”.

Le quatrième volet consiste à diviser pour mieux régner. En encourageant la mobilisation loyaliste, en induisant des divisions dans les mouvements, en les infiltrant pour les radicaliser, en les poussant à des actions violentes pour générer des reflux d’opinion… 

Comment utiliser l’IA pour gagner ? 

Dans la montée de l’adaptation des techniques pour défaire leurs opposants, la technologie joue un rôle, estime Erica Chenoweth. Jusqu’à présent, les mouvements civiques ont plutôt eu tendance à s’approprier et à utiliser, souvent de manière très innovantes, les technologies à leur avantage, par exemple à l’heure de l’arrivée d’internet, qui a très tôt été utilisé pour s’organiser et se mobiliser. Or, aujourd’hui, les mouvements civiques sont bien plus prudents et sceptiques à utiliser l’IA, contrairement aux régimes autocratiques. Pourtant, l’un des principaux problèmes des mouvements civiques consiste à “cerner leur environnement opérationnel”, c’est-à-dire de savoir qui est connecté à qui, qui les soutient ou pourrait les soutenir, sous quelles conditions ? Où sont les vulnérabilités du mouvement ? Réfléchir de manière créative à ces questions et enjeux, aux tactiques à déployer pourrait pourtant être un atout majeur pour que les mouvements démocratiques réussissent. 

Les mouvements démocratiques passent bien plus de temps à sensibiliser et communiquer qu’à faire de la stratégie, rappelle la chercheuse. Et c’est là deux enjeux où les IA pourraient aider, estime-t-elle. En 2018 par exemple, lors des élections municipales russe, un algorithme a permis de contrôler les images de vidéosurveillance des bureaux de vote pour détecter des irrégularités permettant de dégager les séquences où des bulletins préremplis avaient été introduits dans les urnes. Ce qui aurait demandé un contrôle militant épuisant a pu être accompli très simplement. Autre exemple avec les applications BuyCat, BoyCott ou NoThanks, qui sont des applications de boycott de produits, permettant aux gens de participer très facilement à des actions (des applications puissantes, mais parfois peu transparentes sur leurs méthodes, expliquait Le Monde). Pour Chenoweth, les techniques qui fonctionnent doivent être mieux documentées et partagées pour qu’elles puissent servir à d’autres. Certains groupes proposent d’ailleurs déjà des formations sur l’utilisation de l’IA pour l’action militante, comme c’est le cas de Canvas, de Social Movement Technologies et du Cooperative Impact Lab.

Le Non Violent Action Lab a d’ailleurs publié un rapport sur le sujet : Comment l’IA peut-elle venir aider les mouvements démocratiques ? Pour Chenoweth, il est urgent d’évaluer si les outils d’IA facilitent ou compliquent réellement le succès des mouvements démocratiques. Encore faudrait-il que les mouvements démocratiques puissent accéder à des outils d’IA qui ne partagent pas leurs données avec des plateformes et avec les autorités. L’autre enjeu consiste à construire des corpus adaptés pour aider les mouvements à résister. Les corpus de l’IA s’appuient sur des données des 125 dernières années, alors que l’on sait déjà que ce qui fonctionnait il y a 60 ans ne fonctionne plus nécessairement.

Pourtant, estime Chenoweth, les mouvements populaires ont besoin d’outils pour démêler des processus délibératifs souvent complexes, et l’IA devrait pouvoir les y aider. “Aussi imparfait qu’ait été notre projet démocratique, nous le regretterons certainement lorsqu’il prendra fin”, conclut la politologue. En invitant les mouvements civiques à poser la question de l’utilisation de l’IA a leur profit, plutôt que de la rejetter d’emblée comme l’instrument de l’autoritarisme, elle invite à faire un pas de côté pour trouver des modalités pour refaire gagner les luttes sociales.

On lui suggérera tout de même de regarder du côté des projets que Audrey Tang mène à Taïwan avec le Collective intelligence for collective progress, comme ses « assemblées d’alignement » qui mobilise l’IA pour garantir une participation équitable et une écoute active de toutes les opinions. Comme Tang le défend dans son manifeste, Plurality, l’IA pourrait être une technologie d’extension du débat démocratique pour mieux organiser la complexité. Tang parle d’ailleurs de broad listening (« écoute élargie ») pour l’opposer au broadcasting, la diffusion de un vers tous. Une méthode mobilisée par un jeune ingénieur au poste de gouverneur de Tokyo, Takahiro Anno, qui a bénéficié d’une audience surprenante, sans néanmoins l’emporter. Son adversaire a depuis mobilisé la méthode pour lancer une consultation, Tokyo 2050.

Des pistes à observer certes, pour autant qu’on puisse mesurer vraiment leurs effets. Peuvent-elles permettent aux luttes sociales de l’emporter, comme le propose Chenoweth ? Le risque est fort de nous faire glisser vers une vie civique automatisée. Ajouter de l’IA ne signifie pas que les décisions demain seront plus justes, plus efficaces ou plus démocratiques. Au contraire. Le risque est fort que cet ajout bénéfice d’abord aux plus nantis au détriment de la diversité. L’enjeu demeure non pas d’ajouter des outils pour eux-mêmes, mais de savoir si ces outils produisent du changement et au profit de qui !

Pour TechPolicy Press, le consultant Jonathan van Geuns se moque de l’illusion de la participation dont s’est paré le Sommet pour l’action sur l’IA parisien. « La gouvernance de l’IA aujourd’hui n’est qu’une vaste mise en scène, un théâtre parisien où les acteurs – dirigeants d’entreprises, politiques et technocrates – déclament d’une voix posée leur discours sur la responsabilité, créant l’illusion d’une décision collective ». En réalité, les mécanismes de gouvernance restent imperméables aux voix qu’ils prétendent intégrer. Entreprises, ONG et gouvernements ont bien compris l’efficacité d’un engagement de façade. Les comités d’éthique sur l’IA, les tables rondes des parties prenantes, les forums publics ne sont pas les fondements d’une démocratie mais son simulacre. Simulacre d’inclusion où la contestation est réduite à son expression la plus polie. Ces dispositifs « créent l’illusion d’un contrôle démocratique tout en permettant à ceux qui les mettent en œuvre, de garder la mainmise sur les résultats ». Ce n’est pas de la gouvernance, seulement un décor.

Pour que les audits et les évaluations modifient réellement les rapports de force, ils doivent d’abord s’extraire du carcan d’opacité qui les enserre. « Actuellement, ces processus servent davantage à absorber qu’à transformer : ils recueillent les critiques, les diluent en rapports inoffensifs, puis les présentent comme preuve qu’une action a été menée. Ils fonctionnent comme des vitrines de l’engagement, invitant le public à admirer les mécanismes complexes de la gouvernance de l’IA tout en préservant les structures de pouvoir existantes de toute remise en cause ».

Les structures mise en place pour contester le pouvoir servent de rempart à la contestation

Le problème n’est pas tant que la participation manque de force, mais que l’écosystème a été conçu pour la neutraliser, sollicitant des critiques tout en gardant le monopole de leur interprétation. « On finance des conseils consultatifs tout en se réservant le droit d’ignorer leurs recommandations. On réunit des comités d’éthique pour les dissoudre dès que ce qu’ils veulent examiner devient gênant. Ce n’est pas un échec de la participation, c’est son détournement. Les structures qui devraient être mises en place pour contester le pouvoir servent finalement de rempart contre sa contestation ».

Cette situation est d’autant plus problématique que nous manquons d’outils structurés pour évaluer si la participation à la gouvernance de l’IA est véritablement significative. On compte le nombre de « parties prenantes » consultées sans mesurer l’impact réel de leurs contributions. On comptabilise les forums organisés sans examiner s’ils ont abouti à des changements concrets. Cette focalisation sur la forme plutôt que sur le fond permet au « participation-washing » de prospérer. Un constat très proche de celui que dressaient Manon Loisel et Nicolas Rio dans leur livre, Pour en finir avec la démocratie participative (Textuel, 2024).

Changer les indicateurs de la participation : mesurer les changements qu’elle produit ! 

Pour Jonathan van Geuns, la participation doit se doter d’un cadre plus rigoureux pour favoriser l’inclusivité, la redistribution du pouvoir, la construction de la confiance, l’impact et la pérennité. Les indicateurs doivent évoluer du procédural vers le structurel. La vraie question n’est pas de savoir si différentes parties prenantes ont été invitées à s’exprimer, « mais de savoir si leur participation a redistribué le pouvoir, modifié les processus décisionnels et engendré des changements concrets ! »

La participation ne peut se réduire à un exercice consultatif où les communautés concernées peuvent exprimer leurs inquiétudes sans avoir le pouvoir d’agir, comme nous le constations dans notre article sur l’absence de tournant participatif de l’IA. Pour van Geuns, « la participation doit être ancrée structurellement, non comme une fonction consultative mais comme une fonction souveraine », comme l’exprimait Thomas Perroud dans son livre, Services publics et communs (Le Bord de l’eau, 2023). Cela pourrait se traduire par des conseils de surveillance publique ayant un droit de veto sur les applications, des organismes de régulation où les représentants disposent d’un réel pouvoir décisionnel, et des mécanismes permettant aux groupes affectés de contester directement les décisions basées sur l’IA ou d’exiger le retrait des systèmes perpétuant des injustices.

« L’audit des systèmes d’IA ne suffit pas ; nous devons pouvoir les démanteler. Les cadres de supervision de l’IA doivent inclure des mécanismes de refus, pas uniquement de contrôle. Quand un audit révèle qu’un algorithme est structurellement discriminatoire, il doit avoir la force juridique de le désactiver. Quand un système nuit de façon disproportionnée aux travailleurs, locataires, réfugiés ou citoyens, ces communautés ne doivent pas seulement être consultées mais avoir le pouvoir d’en stopper le déploiement. La participation ne doit pas se contenter de documenter les préjudices ; elle doit les interrompre. »

En fait, estime le consultant, « la gouvernance de l’IA n’est plus simplement un terrain de contestation mais un exemple flagrant de capture par les entreprises. Les géants de la tech agissent comme des législateurs privés, élaborant les cadres éthiques qui régissent leur propre conduite. Ils prônent l’ouverture tout en protégeant jalousement leurs algorithmes, parlent d’équité tout en brevetant des biais, évoquent la sécurité tout en exportant des technologies de surveillance vers des régimes autoritaires. Dans ce contexte, tout cadre qui n’aborde pas le déséquilibre fondamental des pouvoirs dans le développement et le déploiement de l’IA n’est pas seulement inefficace ; il est complice ». Les audits et évaluations participatifs doivent donc être juridiquement contraignants et viser non seulement à diversifier les contributions mais à redistribuer le contrôle et rééquilibrer les pouvoirs.

« La gouvernance doit être continue, adaptative et structurellement résistante à l’inertie et au désintérêt, en garantissant que les communautés restent impliquées dans les décisions tout au long du cycle de vie d’un système d’IA. Cela implique également la mise en place de financements pérennes et de mandats légaux pour les structures participatives ».

« La crise de la gouvernance de l’IA ne se limite pas à des systèmes d’IA défectueux. Elle révèle la mainmise des entreprises sur les processus de gouvernance. L’enjeu n’est pas simplement d’accroître la participation, mais de s’assurer qu’elle conduise à une véritable redistribution du pouvoir. Sans cadres d’évaluation solides, mécanismes d’application clairs et remise en question fondamentale de ceux qui définissent les priorités de la gouvernance de l’IA, la participation restera une vitrine vide, conçue pour afficher une transparence et une responsabilité de façade tout en préservant les structures mêmes qui perpétuent les inégalités ».

Pour TechPolicy Press, le consultant Jonathan van Geuns se moque de l’illusion de la participation dont s’est paré le Sommet pour l’action sur l’IA parisien. « La gouvernance de l’IA aujourd’hui n’est qu’une vaste mise en scène, un théâtre parisien où les acteurs – dirigeants d’entreprises, politiques et technocrates – déclament d’une voix posée leur discours sur la responsabilité, créant l’illusion d’une décision collective ». En réalité, les mécanismes de gouvernance restent imperméables aux voix qu’ils prétendent intégrer. Entreprises, ONG et gouvernements ont bien compris l’efficacité d’un engagement de façade. Les comités d’éthique sur l’IA, les tables rondes des parties prenantes, les forums publics ne sont pas les fondements d’une démocratie mais son simulacre. Simulacre d’inclusion où la contestation est réduite à son expression la plus polie. Ces dispositifs « créent l’illusion d’un contrôle démocratique tout en permettant à ceux qui les mettent en œuvre, de garder la mainmise sur les résultats ». Ce n’est pas de la gouvernance, seulement un décor.

Pour que les audits et les évaluations modifient réellement les rapports de force, ils doivent d’abord s’extraire du carcan d’opacité qui les enserre. « Actuellement, ces processus servent davantage à absorber qu’à transformer : ils recueillent les critiques, les diluent en rapports inoffensifs, puis les présentent comme preuve qu’une action a été menée. Ils fonctionnent comme des vitrines de l’engagement, invitant le public à admirer les mécanismes complexes de la gouvernance de l’IA tout en préservant les structures de pouvoir existantes de toute remise en cause ».

Les structures mise en place pour contester le pouvoir servent de rempart à la contestation

Le problème n’est pas tant que la participation manque de force, mais que l’écosystème a été conçu pour la neutraliser, sollicitant des critiques tout en gardant le monopole de leur interprétation. « On finance des conseils consultatifs tout en se réservant le droit d’ignorer leurs recommandations. On réunit des comités d’éthique pour les dissoudre dès que ce qu’ils veulent examiner devient gênant. Ce n’est pas un échec de la participation, c’est son détournement. Les structures qui devraient être mises en place pour contester le pouvoir servent finalement de rempart contre sa contestation ».

Cette situation est d’autant plus problématique que nous manquons d’outils structurés pour évaluer si la participation à la gouvernance de l’IA est véritablement significative. On compte le nombre de « parties prenantes » consultées sans mesurer l’impact réel de leurs contributions. On comptabilise les forums organisés sans examiner s’ils ont abouti à des changements concrets. Cette focalisation sur la forme plutôt que sur le fond permet au « participation-washing » de prospérer. Un constat très proche de celui que dressaient Manon Loisel et Nicolas Rio dans leur livre, Pour en finir avec la démocratie participative (Textuel, 2024).

Changer les indicateurs de la participation : mesurer les changements qu’elle produit ! 

Pour Jonathan van Geuns, la participation doit se doter d’un cadre plus rigoureux pour favoriser l’inclusivité, la redistribution du pouvoir, la construction de la confiance, l’impact et la pérennité. Les indicateurs doivent évoluer du procédural vers le structurel. La vraie question n’est pas de savoir si différentes parties prenantes ont été invitées à s’exprimer, « mais de savoir si leur participation a redistribué le pouvoir, modifié les processus décisionnels et engendré des changements concrets ! »

La participation ne peut se réduire à un exercice consultatif où les communautés concernées peuvent exprimer leurs inquiétudes sans avoir le pouvoir d’agir, comme nous le constations dans notre article sur l’absence de tournant participatif de l’IA. Pour van Geuns, « la participation doit être ancrée structurellement, non comme une fonction consultative mais comme une fonction souveraine », comme l’exprimait Thomas Perroud dans son livre, Services publics et communs (Le Bord de l’eau, 2023). Cela pourrait se traduire par des conseils de surveillance publique ayant un droit de veto sur les applications, des organismes de régulation où les représentants disposent d’un réel pouvoir décisionnel, et des mécanismes permettant aux groupes affectés de contester directement les décisions basées sur l’IA ou d’exiger le retrait des systèmes perpétuant des injustices.

« L’audit des systèmes d’IA ne suffit pas ; nous devons pouvoir les démanteler. Les cadres de supervision de l’IA doivent inclure des mécanismes de refus, pas uniquement de contrôle. Quand un audit révèle qu’un algorithme est structurellement discriminatoire, il doit avoir la force juridique de le désactiver. Quand un système nuit de façon disproportionnée aux travailleurs, locataires, réfugiés ou citoyens, ces communautés ne doivent pas seulement être consultées mais avoir le pouvoir d’en stopper le déploiement. La participation ne doit pas se contenter de documenter les préjudices ; elle doit les interrompre. »

En fait, estime le consultant, « la gouvernance de l’IA n’est plus simplement un terrain de contestation mais un exemple flagrant de capture par les entreprises. Les géants de la tech agissent comme des législateurs privés, élaborant les cadres éthiques qui régissent leur propre conduite. Ils prônent l’ouverture tout en protégeant jalousement leurs algorithmes, parlent d’équité tout en brevetant des biais, évoquent la sécurité tout en exportant des technologies de surveillance vers des régimes autoritaires. Dans ce contexte, tout cadre qui n’aborde pas le déséquilibre fondamental des pouvoirs dans le développement et le déploiement de l’IA n’est pas seulement inefficace ; il est complice ». Les audits et évaluations participatifs doivent donc être juridiquement contraignants et viser non seulement à diversifier les contributions mais à redistribuer le contrôle et rééquilibrer les pouvoirs.

« La gouvernance doit être continue, adaptative et structurellement résistante à l’inertie et au désintérêt, en garantissant que les communautés restent impliquées dans les décisions tout au long du cycle de vie d’un système d’IA. Cela implique également la mise en place de financements pérennes et de mandats légaux pour les structures participatives ».

« La crise de la gouvernance de l’IA ne se limite pas à des systèmes d’IA défectueux. Elle révèle la mainmise des entreprises sur les processus de gouvernance. L’enjeu n’est pas simplement d’accroître la participation, mais de s’assurer qu’elle conduise à une véritable redistribution du pouvoir. Sans cadres d’évaluation solides, mécanismes d’application clairs et remise en question fondamentale de ceux qui définissent les priorités de la gouvernance de l’IA, la participation restera une vitrine vide, conçue pour afficher une transparence et une responsabilité de façade tout en préservant les structures mêmes qui perpétuent les inégalités ».

Maytal Eyal est psychologue et écrivaine. Dans une tribune pour Time Magazine, elle constate que l’IA générative est en train de concurrencer son travail. De nombreuses personnes utilisent déjà les chatbots pour discuter de leurs problèmes et de leurs difficultés. Peut-être que l’IA peut contribuer à rendre la thérapie plus facilement accessible à tous, d’autant que les mauvais thérapeutes sont nombreux et que l’accès aux soins est difficile et coûteux, s’interroge-t-elle. Aux Etats-Unis, la moitié des adultes souffrant de problèmes de santé mentale ne reçoivent pas le traitement dont ils ont besoin. 

En convainquant les gens que nos difficultés émotionnelles – de la tristesse au chagrin en passant par les conflits familiaux – nécessitaient une exploration professionnelle, Freud a contribué à déplacer la guérison émotionnelle de la sphère communautaire et spirituelle qui l’ont longtemps pris en charge, vers l’intimité du cabinet du thérapeute, rappelle-t-elle. “Ce qui était autrefois considéré comme des manquements moraux honteux est devenu un problème humain courant, qui pouvait être compris scientifiquement avec l’aide d’un professionnel. Mais il a également transformé la guérison en une entreprise plus solitaire, coupée des réseaux communautaires qui ont longtemps été au cœur du soutien humain”. 

Dans un avenir proche, la thérapie par IA pourrait pousser le modèle individualisé de Freud à son extrême au risque que nos problèmes psychiques soient adressés sans plus aucun contact humain.

Des IA bien trop complaisantes

A première vue, ce pourrait être une bonne chose. Ces thérapeutes seront moins cher et disponibles 24h/24. Les patients ressentiraient moins la peur du jugement avec des chatbots qu’avec des humains, moins de frictions donc.

Mais, c’est oublier que la friction est bien souvent au cœur de la thérapie : “C’est dans le malaise que le vrai travail commence”. Alors que les compagnons IA deviennent source de soutien émotionnel par défaut – pas seulement en tant que thérapeutes, mais aussi en tant qu’amis, confidents, complices ou partenaires amoureux, c’est-à-dire désormais ceux avec qui l’on discute et qui sont capables de répondre à nos discussions, qui nous donnent l’impression d’être au plus proche de nous et qui bien souvent nous font croire qu’ils nous connaissent mieux que quiconque – “nous risquons de devenir de plus en plus intolérants aux défis qui accompagnent les relations humaines”. 

“Pourquoi lutter contre la disponibilité limitée d’un ami alors qu’une IA est toujours là ? Pourquoi gérer les critiques d’un partenaire alors qu’une IA a été formée pour offrir une validation parfaite ? Plus nous nous tournons vers ces êtres algorithmiques parfaitement à l’écoute et toujours disponibles, moins nous risquons d’avoir de la patience pour le désordre et la complexité des relations humaines réelles”.

Or, “les défis mêmes qui rendent les relations difficiles sont aussi ce qui leur donne du sens. C’est dans les moments d’inconfort, lorsque nous naviguons dans des malentendus ou que nous réparons les dégâts après un conflit, que l’intimité grandit. Ces expériences, que ce soit avec des thérapeutes, des amis ou des partenaires, nous apprennent à faire confiance et à nous connecter à un niveau plus profond. Si nous cessons de pratiquer ces compétences parce que l’IA offre une alternative plus fluide et plus pratique, nous risquons d’éroder notre capacité à nouer des relations significatives”. 

“L’essor de la thérapie par l’IA ne se résume pas seulement au remplacement des thérapeutes. Il s’agit de quelque chose de bien plus vaste : la façon dont nous, en tant que société, choisissons d’interagir les uns avec les autres. Si nous adoptons l’IA sans friction au détriment de la complexité des relations humaines réelles, nous ne perdrons pas seulement le besoin de thérapeutes, nous perdrons la capacité de tolérer les erreurs et les faiblesses de nos semblables.” Le risque n’est pas que les thérapeutes deviennent obsolètes, le risque c’est que nous le devenions tous. 

L’association des psychologues américains vient justement d’émettre une alerte à l’encontre des chatbots thérapeutes. Programmés pour renforcer, plutôt que de remettre en question la pensée des utilisateurs, ils pourraient inciter des personnes vulnérables à se faire du mal ou à en faire aux autres, rapporte le New York Times. Des adolescents ayant discuté avec des chatbots se présentant comme psychologues sur Character.ai se sont suicidés ou sont devenus violents. En fait, le problème de ces outils, c’est qu’ils œuvrent à nous complaire pour mieux nous manipuler. « Les robots ne remettent pas en question les croyances des utilisateurs même lorsqu’elles deviennent dangereuses pour eux ou pour leur proches, au contraire, ils les encouragent ». Si les entreprises ont introduit des alertes pour rappeler aux utilisateurs qu’ils n’interagissent pas avec de vrais psychologues, ces avertissements ne sont pas suffisants pour briser “l’illusion de la connexion humaine”. L’association a demandé à la Federal Trade Commission d’ouvrir une enquête sur ces chatbots. Du côté des entreprises d’IA, le discours consiste à dire que les outils vont s’améliorer et que compte tenu de la grave pénurie de prestataires de soins de santé mentale, il est nécessaire d’améliorer les outils plutôt que de les contenir. Mais cette réponse en forme de promesse ne dit rien ni des limites intrinsèques de ces machines, ni du contexte de leurs déploiement, ni de la manière dont on les conçoit. 

Comme nous le disions, la qualité des systèmes et de leurs réponses ne suffit pas à les évaluer : “l’état du système de santé, ses défaillances, ses coûts, la disponibilité du personnel… sont autant de facteurs qui vont appuyer sur les choix à recourir et à déployer les outils, mêmes imparfaits”. Et les outils apportent avec eux leur monde, comme l’explique la chercheuse Livia Garofalo. Garofalo a publié une étude pour Data & Society sur la téléthérapie et les soins de santé mentale. Elle revient pour le magazine de l’Association psychanalytique américaine sur les enjeux des transformations du travail à distance qui s’est beaucoup développée depuis la pandémie. Outre les consultations sur Zoom ou Doxy.me, les plateformes comme BetterHelp ou Talkspace redéfinissent les soins de santé mentale à distance. Mais ces plateformes ne font pas que mettre en relation un patient et un thérapeute, elles gèrent aussi les planning, les paiements, les messages, les remboursements… Malgré leur commodité, pour les thérapeutes, ces espaces de travail ressemblent beaucoup à une ubérisation, comme la connaissent les infirmières. Car en fait, ce qui change, ce n’est pas la distance. La chercheuse Hannah Zeavin dans son livre, The Distance Cure (MIT Press, 2021) a d’ailleurs montré que depuis le début de la psychanalyse, des formes de thérapies à distance ont toujours existé, par exemple via l’imposante correspondance épistolaire de Freud avec ses patients. Ce qui change, c’est la prise de pouvoir des plateformes qui organisent la relation, imposent des tarifs et renforcent les inégalités d’accès au soin, en s’adressant d’abord aux thérapeutes débutants, aux femmes, aux professionnels de couleurs, c’est-à-dire aux thérapeutes dont la clientèle est plus difficile à construire. Enfin, là aussi, la plateformisation change la relation, notamment en rendant les professionnels disponibles en continu, interchangeables, et brouille les frontières cliniques et personnelles.

Pour des IA qui nous reconnectent avec des humains plutôt qu’elles ne nous en éloignent

L’illusion qu’ils nous donnent en nous faisant croire qu’on parle à quelqu’un se révèle bien souvent un piège. C’est ce que l’on constate dans un tout autre domaine, celui de l’orientation scolaire. Aux Etats-Unis, raconte The Markup. “Plus les étudiants se tournent vers les chatbots, moins ils ont de chances de développer des relations réelles qui peuvent mener à des emplois et à la réussite.” Comme les conseillers d’orientation scolaires et conseillers pour l’emploi des jeunes sont très peu nombreux, un flot de chatbots d’orientation est venu combler ce déficit humain. Le problème, c’est qu’y avoir recours érode la création de liens sociaux qui aident bien plus les jeunes à trouver une orientation ou un emploi, estime une étude du Christensen Institute.

En août, dans son document détaillant les risques et problèmes de sécurité pour ChatGPT, OpenAI énumérait les problèmes sociétaux que posent ses modèles et pointait que les questions de l’anthropomorphisation et la dépendance émotionnelle étaient en tête de liste des préoccupations auxquelles l’entreprise souhaitait s’attaquer. L’anthorpormophisation, c’est-à-dire le fait que ces boîtes de dialogues nous parlent comme si elles étaient humaines, créent “à la fois une expérience produit convaincante et un potentiel de dépendance et de surdépendance”. En bref, à mesure que la technologie s’améliore, les risques psychosociaux s’aggravent, comme le souligne d’ailleurs l’étude que viennent de publier le MIT et OpenAI. Pour Julia Fisher, auteure de l’étude du Christensen Institute, il faut que ces robots soient conçus pour nous reconnecter aux humains plutôt que de nous en écarter, explique-t-elle dans une tribune pour The74, l’une des grandes associations éducatives américaines.

Elle pointe notamment que les fournisseurs de chatbots d’orientation commencent à prendre la question au sérieux et tentent d’esquisser des solutions pour y répondre. Par exemple en limitant le temps d’interaction ou en faisant que les robots conseillent à ceux qui y ont recours, fréquemment, de voir des amis. Un autre outil demande aux étudiants qui s’inscrivent d’indiquer 5 relations qui seront alertées des progrès des étudiants à l’université pour qu’ils reçoivent un soutien humain réel. Un autre propose de connecter les étudiants à des mentors humains. Un autre encore propose de s’entraîner à demander de l’aide à des humains. Autant d’exemples qui montrent que l’IA peut jouer un rôle pour renforcer les liens humains. “Cependant, les incitations à créer des outils d’IA centrés sur les relations sont faibles. Peu d’écoles demandent ces fonctionnalités sociales ou évaluent les outils pour leurs impacts sociaux”, rappelle Fisher. Ceux qui achètent ces technologies devraient exiger des systèmes qu’ils améliorent les relations humaines plutôt que de les remplacer.

Mais pour cela, encore faudrait-il que ses systèmes soient conçus pour être moins puissants que ses concepteurs ne le pensent. En nous répétant qu’ils ne s’amélioreront qu’avec plus de données, nous oublions de les concevoir pour qu’ils nous aident plutôt qu’ils ne fassent à notre place ou à la place d’autres humains. Il serait temps d’arrêter de croire en leur puissance et de mieux prendre en compte leurs défaillances et plus encore les nôtres. Par exemple, quand un élève leur demande de faire leur dissertation à leur place, ces systèmes seraient bien plus utiles s’ils les aidaient à la faire, à en comprendre les étapes et les raisons, et exigeaient d’eux le travail qu’on leur demande, en les guidant pour le réaliser, plutôt qu’en le faisant à leur place. Mais pour cela, peut-être faudrait-il parvenir à sortir de la course à la puissance… et parvenir à imaginer un autre rapport à ces outils en faisant de manière à ce qu’eux-mêmes, nous proposent un autre rapport à leur puissance.

Maytal Eyal est psychologue et écrivaine. Dans une tribune pour Time Magazine, elle constate que l’IA générative est en train de concurrencer son travail. De nombreuses personnes utilisent déjà les chatbots pour discuter de leurs problèmes et de leurs difficultés. Peut-être que l’IA peut contribuer à rendre la thérapie plus facilement accessible à tous, d’autant que les mauvais thérapeutes sont nombreux et que l’accès aux soins est difficile et coûteux, s’interroge-t-elle. Aux Etats-Unis, la moitié des adultes souffrant de problèmes de santé mentale ne reçoivent pas le traitement dont ils ont besoin. 

En convainquant les gens que nos difficultés émotionnelles – de la tristesse au chagrin en passant par les conflits familiaux – nécessitaient une exploration professionnelle, Freud a contribué à déplacer la guérison émotionnelle de la sphère communautaire et spirituelle qui l’ont longtemps pris en charge, vers l’intimité du cabinet du thérapeute, rappelle-t-elle. “Ce qui était autrefois considéré comme des manquements moraux honteux est devenu un problème humain courant, qui pouvait être compris scientifiquement avec l’aide d’un professionnel. Mais il a également transformé la guérison en une entreprise plus solitaire, coupée des réseaux communautaires qui ont longtemps été au cœur du soutien humain”. 

Dans un avenir proche, la thérapie par IA pourrait pousser le modèle individualisé de Freud à son extrême au risque que nos problèmes psychiques soient adressés sans plus aucun contact humain.

Des IA bien trop complaisantes

A première vue, ce pourrait être une bonne chose. Ces thérapeutes seront moins cher et disponibles 24h/24. Les patients ressentiraient moins la peur du jugement avec des chatbots qu’avec des humains, moins de frictions donc.

Mais, c’est oublier que la friction est bien souvent au cœur de la thérapie : “C’est dans le malaise que le vrai travail commence”. Alors que les compagnons IA deviennent source de soutien émotionnel par défaut – pas seulement en tant que thérapeutes, mais aussi en tant qu’amis, confidents, complices ou partenaires amoureux, c’est-à-dire désormais ceux avec qui l’on discute et qui sont capables de répondre à nos discussions, qui nous donnent l’impression d’être au plus proche de nous et qui bien souvent nous font croire qu’ils nous connaissent mieux que quiconque – “nous risquons de devenir de plus en plus intolérants aux défis qui accompagnent les relations humaines”. 

“Pourquoi lutter contre la disponibilité limitée d’un ami alors qu’une IA est toujours là ? Pourquoi gérer les critiques d’un partenaire alors qu’une IA a été formée pour offrir une validation parfaite ? Plus nous nous tournons vers ces êtres algorithmiques parfaitement à l’écoute et toujours disponibles, moins nous risquons d’avoir de la patience pour le désordre et la complexité des relations humaines réelles”.

Or, “les défis mêmes qui rendent les relations difficiles sont aussi ce qui leur donne du sens. C’est dans les moments d’inconfort, lorsque nous naviguons dans des malentendus ou que nous réparons les dégâts après un conflit, que l’intimité grandit. Ces expériences, que ce soit avec des thérapeutes, des amis ou des partenaires, nous apprennent à faire confiance et à nous connecter à un niveau plus profond. Si nous cessons de pratiquer ces compétences parce que l’IA offre une alternative plus fluide et plus pratique, nous risquons d’éroder notre capacité à nouer des relations significatives”. 

“L’essor de la thérapie par l’IA ne se résume pas seulement au remplacement des thérapeutes. Il s’agit de quelque chose de bien plus vaste : la façon dont nous, en tant que société, choisissons d’interagir les uns avec les autres. Si nous adoptons l’IA sans friction au détriment de la complexité des relations humaines réelles, nous ne perdrons pas seulement le besoin de thérapeutes, nous perdrons la capacité de tolérer les erreurs et les faiblesses de nos semblables.” Le risque n’est pas que les thérapeutes deviennent obsolètes, le risque c’est que nous le devenions tous. 

L’association des psychologues américains vient justement d’émettre une alerte à l’encontre des chatbots thérapeutes. Programmés pour renforcer, plutôt que de remettre en question la pensée des utilisateurs, ils pourraient inciter des personnes vulnérables à se faire du mal ou à en faire aux autres, rapporte le New York Times. Des adolescents ayant discuté avec des chatbots se présentant comme psychologues sur Character.ai se sont suicidés ou sont devenus violents. En fait, le problème de ces outils, c’est qu’ils œuvrent à nous complaire pour mieux nous manipuler. « Les robots ne remettent pas en question les croyances des utilisateurs même lorsqu’elles deviennent dangereuses pour eux ou pour leur proches, au contraire, ils les encouragent ». Si les entreprises ont introduit des alertes pour rappeler aux utilisateurs qu’ils n’interagissent pas avec de vrais psychologues, ces avertissements ne sont pas suffisants pour briser “l’illusion de la connexion humaine”. L’association a demandé à la Federal Trade Commission d’ouvrir une enquête sur ces chatbots. Du côté des entreprises d’IA, le discours consiste à dire que les outils vont s’améliorer et que compte tenu de la grave pénurie de prestataires de soins de santé mentale, il est nécessaire d’améliorer les outils plutôt que de les contenir. Mais cette réponse en forme de promesse ne dit rien ni des limites intrinsèques de ces machines, ni du contexte de leurs déploiement, ni de la manière dont on les conçoit. 

Comme nous le disions, la qualité des systèmes et de leurs réponses ne suffit pas à les évaluer : “l’état du système de santé, ses défaillances, ses coûts, la disponibilité du personnel… sont autant de facteurs qui vont appuyer sur les choix à recourir et à déployer les outils, mêmes imparfaits”. Et les outils apportent avec eux leur monde, comme l’explique la chercheuse Livia Garofalo. Garofalo a publié une étude pour Data & Society sur la téléthérapie et les soins de santé mentale. Elle revient pour le magazine de l’Association psychanalytique américaine sur les enjeux des transformations du travail à distance qui s’est beaucoup développée depuis la pandémie. Outre les consultations sur Zoom ou Doxy.me, les plateformes comme BetterHelp ou Talkspace redéfinissent les soins de santé mentale à distance. Mais ces plateformes ne font pas que mettre en relation un patient et un thérapeute, elles gèrent aussi les planning, les paiements, les messages, les remboursements… Malgré leur commodité, pour les thérapeutes, ces espaces de travail ressemblent beaucoup à une ubérisation, comme la connaissent les infirmières. Car en fait, ce qui change, ce n’est pas la distance. La chercheuse Hannah Zeavin dans son livre, The Distance Cure (MIT Press, 2021) a d’ailleurs montré que depuis le début de la psychanalyse, des formes de thérapies à distance ont toujours existé, par exemple via l’imposante correspondance épistolaire de Freud avec ses patients. Ce qui change, c’est la prise de pouvoir des plateformes qui organisent la relation, imposent des tarifs et renforcent les inégalités d’accès au soin, en s’adressant d’abord aux thérapeutes débutants, aux femmes, aux professionnels de couleurs, c’est-à-dire aux thérapeutes dont la clientèle est plus difficile à construire. Enfin, là aussi, la plateformisation change la relation, notamment en rendant les professionnels disponibles en continu, interchangeables, et brouille les frontières cliniques et personnelles.

Pour des IA qui nous reconnectent avec des humains plutôt qu’elles ne nous en éloignent

L’illusion qu’ils nous donnent en nous faisant croire qu’on parle à quelqu’un se révèle bien souvent un piège. C’est ce que l’on constate dans un tout autre domaine, celui de l’orientation scolaire. Aux Etats-Unis, raconte The Markup. “Plus les étudiants se tournent vers les chatbots, moins ils ont de chances de développer des relations réelles qui peuvent mener à des emplois et à la réussite.” Comme les conseillers d’orientation scolaires et conseillers pour l’emploi des jeunes sont très peu nombreux, un flot de chatbots d’orientation est venu combler ce déficit humain. Le problème, c’est qu’y avoir recours érode la création de liens sociaux qui aident bien plus les jeunes à trouver une orientation ou un emploi, estime une étude du Christensen Institute.

En août, dans son document détaillant les risques et problèmes de sécurité pour ChatGPT, OpenAI énumérait les problèmes sociétaux que posent ses modèles et pointait que les questions de l’anthropomorphisation et la dépendance émotionnelle étaient en tête de liste des préoccupations auxquelles l’entreprise souhaitait s’attaquer. L’anthorpormophisation, c’est-à-dire le fait que ces boîtes de dialogues nous parlent comme si elles étaient humaines, créent “à la fois une expérience produit convaincante et un potentiel de dépendance et de surdépendance”. En bref, à mesure que la technologie s’améliore, les risques psychosociaux s’aggravent, comme le souligne d’ailleurs l’étude que viennent de publier le MIT et OpenAI. Pour Julia Fisher, auteure de l’étude du Christensen Institute, il faut que ces robots soient conçus pour nous reconnecter aux humains plutôt que de nous en écarter, explique-t-elle dans une tribune pour The74, l’une des grandes associations éducatives américaines.

Elle pointe notamment que les fournisseurs de chatbots d’orientation commencent à prendre la question au sérieux et tentent d’esquisser des solutions pour y répondre. Par exemple en limitant le temps d’interaction ou en faisant que les robots conseillent à ceux qui y ont recours, fréquemment, de voir des amis. Un autre outil demande aux étudiants qui s’inscrivent d’indiquer 5 relations qui seront alertées des progrès des étudiants à l’université pour qu’ils reçoivent un soutien humain réel. Un autre propose de connecter les étudiants à des mentors humains. Un autre encore propose de s’entraîner à demander de l’aide à des humains. Autant d’exemples qui montrent que l’IA peut jouer un rôle pour renforcer les liens humains. “Cependant, les incitations à créer des outils d’IA centrés sur les relations sont faibles. Peu d’écoles demandent ces fonctionnalités sociales ou évaluent les outils pour leurs impacts sociaux”, rappelle Fisher. Ceux qui achètent ces technologies devraient exiger des systèmes qu’ils améliorent les relations humaines plutôt que de les remplacer.

Mais pour cela, encore faudrait-il que ses systèmes soient conçus pour être moins puissants que ses concepteurs ne le pensent. En nous répétant qu’ils ne s’amélioreront qu’avec plus de données, nous oublions de les concevoir pour qu’ils nous aident plutôt qu’ils ne fassent à notre place ou à la place d’autres humains. Il serait temps d’arrêter de croire en leur puissance et de mieux prendre en compte leurs défaillances et plus encore les nôtres. Par exemple, quand un élève leur demande de faire leur dissertation à leur place, ces systèmes seraient bien plus utiles s’ils les aidaient à la faire, à en comprendre les étapes et les raisons, et exigeaient d’eux le travail qu’on leur demande, en les guidant pour le réaliser, plutôt qu’en le faisant à leur place. Mais pour cela, peut-être faudrait-il parvenir à sortir de la course à la puissance… et parvenir à imaginer un autre rapport à ces outils en faisant de manière à ce qu’eux-mêmes, nous proposent un autre rapport à leur puissance.