❌

Vue normale

Reçu aujourd’hui — 16 juillet 2026 ⏭
  • ✇Dans les algorithmes
  • Généalogies du profilage
    Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus
     
  • ↗️
✇Dans les algorithmes

Généalogies du profilage

Par :Hubert Guillaud
16 juillet 2026 à 01:00

Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus riches que ceux que nous pouvons avoir aujourd’hui sur ces sujets, ont été perdus. Et plus encore, qu’ils ne semblent pas plus avoir été résolus hier qu’ils ne le sont aujourd’hui. Le profilage semble embourbé dans ses limites sans parvenir à ouvrir de voies pour les résoudre. 

La rationalité statistique est au fondement des Etats modernes, rappelle Genicot à la suite d’Alain Desrosières (La politique des grands nombres, La découverte, 1993), d’Alain Supiot (La gouvernance par les nombres, Fayard, 2015) ou encore de Theodore Porter (The Rise of Statistical Thinking, 1820-1900, Princeton University Press, 2020). Mais elle est également au fondement de l’intelligence artificielle. Les statistiques permettent à la fois de quantifier le social et de le prédire, de profiler chacun « sous le prisme d’attributs qu’il partage avec d’autres ». Nous sommes non seulement statistifiés, mais également comparés. Le profilage dont nous sommes l’objet, bien souvent par devers nous, consiste à prédire notre comportement depuis la comparaison avec celui des autres à partir des régularités du passé. Partout, nous sommes notés, prédits, quelque soit la marge de certitude ou d’incertitude des traitements et inférences. Le calcul est normalisé, naturalisé par un score, une note. Que ce soit pour s’assurer, emprunter, se loger, obtenir un emploi, recevoir des allocations, être mis en relation avec d’autres…  Pour Genicot, ce profilage, ce scoring, les appariements qui en découlent, sont des techniques de régulation, des outils de gouvernementalité. Mais, alors que la loi s’applique à tous de la même façon, le profilage, lui, permettrait de s’adapter aux caractéristiques de chacun. Pour le philosophe du droit, il promet d’individualiser le droit pour « pleinement réaliser le principe d’égalité », pour produire des « règles sur mesure ». Tout l’enjeu du livre consiste justement à vérifier cela. Est-ce que le profilage remplit cette promesse ? Est-ce qu’il rend la justice plus juste ? 

Des débats de calculs

Pour déplier ses constats, Genicot observe trois milieux où se déploient, presque concomitant des techniques de profilage : le travail, l’assurance et le crédit. Dans chaque secteur, Genicot révèle, extirpe des archives les débats de l’époque. Et ceux-ci sont étonnement nourris. Les calculs d’alors viennent avec des questions. La science balbutiante s’interroge, quand l’ingénierie d’aujourd’hui semble avancer comme un rouleau compresseur, sans vraiment s’interroger des défaillances que ses calculs produisent ou des limites que la statistique atteint, comme le relevait danah boyd il y a quelques années (et qui vient de donner lieu à un livre qui sera publié le 29 septembre aux presses de l’université de Chicago, Data Are Made, Not Found: A Story of Politics, Power, and the Civil Servants Who Saved the US Census). 

Les pratiques de profilage, rappelle-t-il, sont antérieures à la naissance de l’informatique, même si l’informatique va leur permettre de se déployer et de s’étendre sans commune mesure. Les premières classifications sont produites pour distinguer les capacités des élèves en créant des tests mentaux et d’aptitudes avec la psychologie différentielle. Les mathématiques servent alors à mesurer l’intensité et la qualité des sensations, la vitesse de réaction… pour mesurer les différences interindividuelles et caractériser les populations en marge de la société : les aliénés, les criminels, les pauvres, les anormaux. Derrière ces tentatives pour améliorer la justice en permettant aux politiques publiques de s’adapter aux profils de chacun s’amalgame des capacités de discriminations inédites porté par tout un courant eugéniste comme le montrera le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme (Odile Jacob, 1997) ou plus récemment Kate Crawford dans son Contre-atlas de l’intelligence artificielle  (Zulma, 2022, voire également notre critique). Les tests mentaux visent à diagnostiquer les enfants anormaux dans le contexte de l’instauration de l’obligation scolaire, avec, pour ses promoteurs, une volonté d’améliorer la justice sociale. 

Le terme même de profilage naît pour décrire cette mise en nombre des individus, en 1909 et s’accompagne, dès l’origine, d’un mode de production graphique pour relier les résultats aux différents tests. Au-delà de l’école, les tests vont rapidement être appliqués à l’orientation et à la sélection professionnelle, pour mieux faire correspondre les profils psychologiques aux métiers. Genicot, en plongeant par exemple dans les travaux de Jean-Maurice Lahy, dans les années 30, nous montre que les ingénieurs de l’IA n’ont rien inventé. On produit des tests psychologiques sur deux groupes de travailleurs, les bons et les mauvais (selon une distinction déjà pleine de biais, puisqu’elle ne repose que sur l’appréciation de chefs de services et le nombre de fautes professionnelles recensées) pour produire des métriques distinctives. Test qu’on peut ensuite faire passer à tout requérant pour mesurer si ses caractéristiques sont plus proches de l’un ou l’autre groupe. On tente de mesurer l’énergie, l’endurance, la concentration, la capacité d’initiative… via des tests psychométriques qui ne vont cesser de s’affiner. On les fait passer à une galerie de métiers pour tenter d’identifier ce qui singularise chaque secteur… Le profilage est dès l’origine une comparaison aux attributs statistiques des autres. « L’essence du profilage consiste à prédire une variable cachée (ici : une aptitude) de manière probabiliste, c’est-à-dire sur la base de caractéristiques (ici : les résultats obtenus à des tests psychotechniques) qui sont fortement corrélées à cette variable ». On le voit, malgré leurs efforts à « désubjectiver les méthodes d’appréciation », ces techniques les réifient. Les conditions sociales sont invisibilisées dans les capacités des individus : « le profilage réduit des situations sociales à des propriétés individuelles » et les biais de l’entité qui profilent sont passés sous silence. 

Pas étonnant que ces tests professionnels soient donc contestés. Leur caractère discriminatoire en termes de genre, de niveau social, d’origine… se dévoile à mesure que ces profilages se répandent. Les tests d’aptitudes professionnels montrent par exemple que 58% des Américains blancs les réussissent contre seulement 6% des personnes noires. Les débats pour rétablir l’équité se démultiplient alors. Faut-il différencier ces tests selon l’âge, le genre, l’origine ? Ce n’est qu’en 1991 que les Etats-Unis tranchent en prohibant les pratiques d’ajustement des scores selon l’appartenance à un groupe protégé. Mais si le débat est tranché, il n’est pas réglé. J’ai l’impression que l’enjeu de corriger les biais reste entier. Aujourd’hui encore, on ne sait pas vraiment comment les corriger. Comme si les débats, tranchés par le droit, les avait arrêtés, sans stopper les pratiques ni les problèmes afférents. 

Avec le développement du numérique, le profilage va s’amplifier. Le big data permettant de démultiplier le profilage psychologique, malgré toutes les limites de ces tests, comme nous le disaient il y a quelques années déjà le psychologue Alexandre Saint-Jevin. En fait, le profilage va également s’étendre, comme celui des chercheurs d’emploi, initié au prétexte de mieux les accompagner et qui va surtout servir à les sanctionner et faire peser sur eux des contraintes plus importantes (sans que ce contrôle ne produise aucun horizon, comme nous disions en disséquant Chômeurs, vos papiers (Raisons d’agir, 2023), qui soulignait l’inefficacité du contrôle du chômage). Il va conduire également à un recrutement de plus en plus automatisé, où les systèmes calculent (un peu n’importe comment il faut le dire) la correspondance d’un CV à une annonce. Pour Genicot, la « logique corrélationnelle » se répand et s’impose partout, jusque dans l’évaluation des employés sur leurs lieux de travail. L’appréciation des individus par des variables qui ne lui sont jamais propres se couple d’une comparaison statistique des résultats de chacun évalués par rapport à ceux d’un groupe. Le profilage tient tout entier dans ce rapport étrange de soi aux autres, où les limites des métriques utilisées sont invisibilisées par les ratios et indicateurs produits. Comme si finalement les chiffres pouvaient assurer d’une neutralité de façade, d’une neutralité dont les limites ne sont plus interrogées. Les scores de risques sont partout défaillants, il n’empêche qu’ils ne cessent d’être produits et utilisés, comme nous le pointions en lisant Jathan Sadowski.  

En observant les débats du monde assurantiel comme ceux du secteur bancaire, Nathan Genicot montre les mêmes ambiguïtés. 

Quelles discriminations acceptons-nous ?

La sélection des assurés et la tarification des primes sont depuis longtemps rattachées au calcul de probabilités. L’assurance va prendre son essor au XVIIIe siècle après l’essor de l’arithmétique politique qui invente un siècle plus tôt les premières tables de mortalité qui décrivent le nombre de décès par âge. Le risque assurantiel s’est longtemps apprécié au niveau du groupe, plus qu’au niveau individuel, là où la condition de chacun est affectée par la condition des autres. Il faudra néanmoins attendre la loi de 1898 qui impose au patron d’indemniser les salariés victimes d’accidents du travail, pour faire de l’assurance le gage de la réparation. Les assureurs se mettent à sélectionner les risques qu’ils veulent couvrir comme les assurés. Ils comprennent vite que « plus le profilage est affiné, c’est-à-dire plus il y a sélection et tarification différenciées, moins il y a de solidarité ». Une constance simple que tout le monde semble avoir oublié à l’ère du Big Data. 

A défaut de parvenir à identifier d’autres attributs pertinents, l’âge s’impose souvent comme une catégorie principale, notamment pour l’assurance vie. Genicot souligne que le débat a été constant entre individualisation et solidarité. L’assurance n’a cessé de chercher des variables pertinentes. Derrière ces débats, on en voit poindre un autre, plus philosophique s’il en était : quelles segmentations – et donc quelles discriminations – acceptons-nous en tant que société ? Et lesquelles refusons-nous ? Si tout le monde semble accepter celle de l’âge, la discrimination de genre ou sociale par exemple le sont bien moins. Et les débats sur la discrimination d’origine, aux Etats-Unis, décalque des rapports de domination de la société, sont nourris. L’intégration du comportement et du mode de vie aujourd’hui dans le calcul assurantiel reste souvent polémique, à raison, puisqu’il incrimine l’individu et masque les différences créées par les rapports sociaux. 

Comme partout ailleurs, les assureurs produisent des scores pour calculer l’assurabilité de chacun. Les assureurs ne vont cesser de développer un discours pour justifier la segmentation qui leur profite en promouvant des calculs qui seraient dénués de connotation morale, alors que nombre d’entre eux vont user et abuser de pratiques problématiques, par exemple en tenant compte de la domiciliation pour faire grimper les primes des populations racisées par rapport à celles des riches (et blanches) banlieues américaines. Pourtant souligne Genicot, malgré les critiques acerbes contre les pratiques du secteur, peu de monde interroge « la prétention à atteindre l’objectivité dans l’évaluation des risques actuariels. La pertinence du recours aux classifications ne fait, à peu de choses près, pas l’objet de débats ». Pire, comme le soulignait la sociologue Greta Krippner, l’individualisation du risque semble bien plus la conséquence de la lutte contre les pratiques discriminatoires des marchés de l’assurance plutôt que liée à l’émergence du néolibéralisme. Bon, cela ne signifie pas pour autant que l’évolution du capitalisme est absente de la segmentation assurantielle. Celle est stimulée par la liberté tarifaire, et renforcée par les progrès de l’informatique qui va permettre de démultiplier les variables et de faire disparaître les discriminations derrières la complexité des critères. 

La régulation va bien sûr s’inviter dans ces innombrables débats, par exemple en encadrant les tarifs pour prémunir l’exclusion de certains publics, ou en écartant certaines formes de segmentation les plus criantes et problématiques, comme celles sur la religion, le sexe, l’origine ethnique ou la génétique… mais sans remettre en cause nombre de pratiques problématiques. En fait, derrière les débats nourris, la société semble n’être pas parvenue à fourbir de règles claires ne permettant pas les contournements. L’interdiction de faire des distinctions de genre par exemple n’a pas conduit à limiter les possibilités de segmentations, mais à conduit à utiliser des critères plus précis, comme s’y essaie l’assurance avec la prise en compte des comportements, à l’image de la conduite automobile elle-même. Une personnalisation dans laquelle l’assurance oublie sa fonction initiale : celle de mutualiser les risques. 

Genicot rappelle pourtant que l’assurance, pour fonctionner, doit reposer sur une segmentation modérée. Même constat quant au calcul du crédit et de son risque, né lui aussi avec l’essor des techniques statistiques. Dès l’origine, portés par les grands magasins pour faciliter la consommation, ceux-ci déploient des formulaires standardisés pour classer les performances de remboursements des clients. Là encore, « l’apparente objectivité de la classification n’empêche pas la présence d’une large part d’arbitraire dans l’attribution de la note ». Si la standardisation s’impose pour réduire le pouvoir discrétionnaire des agents, la statistique va s’y imposer dès les années 50 en développant des scores pour évaluer les capacités de remboursements de chacun. Enfin, pas seulement. A mesure qu’ils se déploient, là encore, les scores se complexifient, cachant dans leurs critères leurs innombrables jugements moraux et sociaux. En 1963 par exemple, les variables d’un fournisseur de score prennent en compte toute information disponible : le taux de crédit déjà engagé et les revenus bien sûr, mais aussi le statut marital et la profession, en passant par le fait d’être syndiqué. Derrière cette complexification des scores, c’est assurément notre compréhension commune qui s’éloigne, et avec elle, notre capacité à les réguler. Les innombrables facteurs pris en compte servent à obfusquer la discrimination raciale ou de classe à l’oeuvre. On apprend à utiliser des variables très éloignées des nécessités, simplement parce qu’elles peuvent être de bons prédicateurs, comme le fait d’avoir déjà un compte bancaire, ce qui est le cas de 87% de ceux qui paient leurs échéances de crédits… au risque que ces calculs accentuent les biais inhérents. Pas étonnant que, désormais, les économistes eux-mêmes estiment que les banques ne savent plus prêter à ceux qui en ont besoin. C’est comme si, à mesure qu’ils se perpétuent, les calculs se radicalisaient d’eux-mêmes. Comme l’IA semble s’écrouler à mesure qu’elle s’entraîne sur les données qu’elle produit, les calculs de la société semblent s’effondrer sur eux-mêmes à force d’être usés. Les scores de crédits, dont le célèbre Fico Score qui naît en 1956, se développent pourtant dans un contexte de compétition forte, promettant d’élargir le crédit aux plus pauvres. Il s’impose vite comme une métrique universelle… et immuable.

L’informatisation va permettre de renchérir le score de nouvelles variables, notamment cette des cartes de paiements électroniques qui permet de rendre les notes de risques dynamiques. Genicot rappelle que les notes ont une fonction disciplinaire. Elles font penser qu’elle dépend du comportement de chacun quand elles masquent d’abord des enjeux sociaux et de classe. Pire, malgré leurs lacunes intrinsèques, elles sont désormais utilisées pour d’innombrables autres services au prétexte d’un « besoin commercial légitime » : pour louer un logement, pour assurer une voiture, pour être embauché… « Tous utilisent la note de crédit comme un proxy, un indictateur du trait de comportement qu’ils cherchent à évaluer (tel que le fait d’être un bon locataire ou un bon employé) ». Le score de crédit devient un « outil de mesure de la moralité », alors qu’il est surtout, comme le disait Frank Pasquale dans Black Box Society (Fyp, 2015) opaque, arbitraire et discriminatoire. Les scores ne servent pas tant à clarifier les choses, disait-il, mais à les rendre plus obscures. 

Or, les scores modifient le réel qu’ils entendent décrire. Et à mesure que leur usage s’étend, radicalisent leurs effets. « Une mauvaise note entraînera un taux d’intérêt plus élevé, c’est-à-dire des conditions de remboursement plus difficiles pour la personne débitrice, ce qui accroîtra sa précarité économique. Si la note est prise en compte par des bailleurs ou des employeurs, l’incidence de cet effet de boucle sera d’autant plus significative. Une personne qui, à cause d’une mauvaise note, ne trouve pas d’emploi ou ne parvient pas à se loger, aura du mal à rembourser ses crédits et verra sa note diminuer encore davantage ». C’est en cela que les calculs se radicalisent, qu’ils renforcent le « lumpenscoretariat » qu’évoquaient Marion Fourcade et Kieran Healy. 

Là encore, des régulations seront votées pour encadrer les pratiques, mais sans vraiment parvenir à agir autrement qu’en limitant les pratiques les plus discriminantes. Derrière la neutralité des scores se cache l’accélération des biais. Même un score qui ne reposerait que sur les capacités financières des individus, serait foncièrement problématique puisque les capacités à rembourser sont loin d’être équitablement distribuées. Si l’enjeu est bien de prêter de l’argent aux gens, le score, par nature, vise bien plus à limiter le prêt qu’autre chose. Pas étonnant qu’on se retrouve donc avec des organismes bancaires incapables de faire leur métier : prêter de l’argent à ceux qui en ont besoin ! L’information sur les décisions de crédits prises par les organismes, sur leur distribution, la mesure de leur équité… elle est bien souvent inaccessible. Les critères des scoring ou l’étendu des situations où ils sont utilisés également. Les innombrables données peuvent être désormais utilisées comme des prédicteurs de votre capacité de remboursement, également. Partout, l’opacité du scoring est la règle. Quand on voit par exemple le nombre de gens débancarisés, on se dit que les scores de crédit semblent surtout avoir appris, eux, à masquer leurs lacunes. 

Le risque d’un droit… sur mesure

L’essai de Nathan Genicot est bien plus sage que ma lecture énervée. Il souligne néanmoins combien les modèles statistiques et algorithmiques s’imposent dans tous ces secteurs « pour optimiser la prise de décision en se substituant au jugement humain ». Ils imposent l’idée que l’individu est seul responsable de ses notes, faisant fi du contexte social. Mais plus encore, il estime que le risque de ces calculs, de ces profilages, consiste à produire des règles de plus en plus individualisées, au risque d’altérer notre conception du droit lui-même, pour remplacer la règle qui s’applique à tous, par un droit sur mesure, calculé selon le profil de chacun. 

Dans la dernière partie du livre, il revient sur la critique d’une conception mécanique du droit : les peines similaires, impersonnelles, uniformes, à tous ont longtemps été considérées comme un idéal d’objectivité et de justice. L’impersonnalité des processus décisionnels étant vu comme un rempart contre l’arbitraire et un gage de prévisibilité. Mais là encore, au début du XXe siècle, cette conception est critiquée au prétexte que les conditions et le contexte sont toujours significatifs. A l’égalité succède le principe d’équité, et avec lui, l’idée d’une individualisation des peines pour que le droit soit le même pour tous, à l’image de la critique de la TVA ou des contraventions et amendes, qui s’appliquent à tous au même taux, même à Bernard Arnault, alors que leur impact ne sont pas les mêmes selon les revenus des justiciables. Bon, il existe bien sûr des moyens d’y remédier, en fixant par exemples des critères ou des seuils. Car, comme le souligne très justement le philosophe, le problème de l’individualisation est qu’elle n’a pas de limite. On peut personnaliser selon d’innombrables variables, comme nous le montre le marketing numérique. 

Dans les revues académiques du droit, actuellement, le débat est visiblement vif sur ces questions. La rêve d’automatisation invite certains à imaginer d’adapter la loi aux situations au grès des circonstances, à ajuster et calibrer les standards. Mais comment trouver le bon niveau pour traiter à la fois « les mêmes situations de la même manière » et « traiter différemment des situations différentes » ? « Un consommateur impulsif qui réalise régulièrement des achats en ligne pourrait par exemple se voir imposer des conditions plus strictes avant de pouvoir renvoyer un produit et se faire rembourser qu’un consommateur qui aurait, au contraire, un tempérament responsable et prudent ». Certes, mais sur quelles données, quelles inférences serait produit ce jugement comportemental ? Et serait-il lui-même juste, opposable, redevable ? On a un peu l’impression que ces perspectives oublient toutes les limites pointées par les débats passés que l’auteur a mis en avant dans sa généalogie. 

Pour Genicot, « la substitution des systèmes normatifs classiques par des dispositifs de profilage est déjà à l’œuvre », notamment dans les rapports de l’Etat à ses administrés. C’était le cas notamment, dans les années 70 avec le système GAMIN, un des premiers dispositif public de profilage pour conditionner le versement d’allocation familiales. C’est également le cas avec le profilage des bénéficiaires de la CAF et nombre d’autres outils de gestion du social que nous évoquons souvent sur danslesalgorithmes.net. Du profilage des chômeurs aux contrôles des frontières, l’individualisation et le profilage sont partout, mais ils produisent assez peu d’équité et encore moins d’égalité, au contraire. Le profilage produit surtout des conditions plus dures pour les plus vulnérables. L’optimisation prédictive partout où elle se déploie fonctionne mal, cela n’empêche hélas pas le développement d’innombrables formes de notations sociales. 

Pour Genicot, l’interdiction des notations sociales dans ce contexte par l’IA Act est le bienvenue, mais c’est oublier que le texte les rend licite plus qu’elle ne les interdit. Le RIA ne propose que de les encadrer, que de veiller à ce que les notes ne soient ni disproportionnées ni dissociées du contexte de leur production. Le fait que certains soient à haut risque ne fait peser sur eux qu’une surveillance accrue. Il ne vise pas à rendre les notes plus justes qu’elles ne sont. Ils ne nous invitent finalement pas à questionner la société. Il ne nous invite pas à changer la manière dont on calcule, ni ne nous aide à nous défier de l’enkystement des calculs. Il ne nous invite pas à changer la société, alors que demain, pour changer la société, il faudra assurément changer la manière dont elle est calculée. La personnalisation du droit, le profilage administratif, nous invite seulement à continuer la société telle qu’elle est. « Le profilage est profondément conservateur », rappelle le philosophe. « Le profilage conduit donc à créer des traitements différenciés dont il prétend cependant qu’ils sont conformes à l’égalité », sans offrir à la société les moyens de le vérifier. Ce n’est là que la parole des profileurs. Les innombrables enquêtes sur le sujet, notamment sur le profilage social, depuis les travaux pionniers de Virginia Eubanks, montrent toutes l’exact inverse. Aucun n’est conforme à l’égalité. En reposant sur l’individualisation et la responsabilisation de chacun, il est « l’exact inverse de la solidarité ». Le profilage « conduit à l’oblitération des relations et, plus largement du social. Le rapport de l’individu aux autres n’est jamais compris comme celui d’une interdépendance, mais uniquement comme une comparaison à une classe, à une collection d’individus ». « Les notes obscurcissent la dimension structurelle des inégalités sociales ». Et en s’imposant, elles nous empêchent finalement de les remettre en question. 

Au final, l’enquête historique de Nathan Genicot nous rappelle que pour changer la société, il va falloir changer la manière dont elle calcule. 

Hubert Guillaud

La couverture du livre de Nathan Genicot aux éditions Amsterdam.
  • ✇Dans les algorithmes
  • Généalogies du profilage
    Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus
     
  • ↗️
✇Dans les algorithmes

Généalogies du profilage

Par :Hubert Guillaud
16 juillet 2026 à 01:00

Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus riches que ceux que nous pouvons avoir aujourd’hui sur ces sujets, ont été perdus. Et plus encore, qu’ils ne semblent pas plus avoir été résolus hier qu’ils ne le sont aujourd’hui. Le profilage semble embourbé dans ses limites sans parvenir à ouvrir de voies pour les résoudre. 

La rationalité statistique est au fondement des Etats modernes, rappelle Genicot à la suite d’Alain Desrosières (La politique des grands nombres, La découverte, 1993), d’Alain Supiot (La gouvernance par les nombres, Fayard, 2015) ou encore de Theodore Porter (The Rise of Statistical Thinking, 1820-1900, Princeton University Press, 2020). Mais elle est également au fondement de l’intelligence artificielle. Les statistiques permettent à la fois de quantifier le social et de le prédire, de profiler chacun « sous le prisme d’attributs qu’il partage avec d’autres ». Nous sommes non seulement statistifiés, mais également comparés. Le profilage dont nous sommes l’objet, bien souvent par devers nous, consiste à prédire notre comportement depuis la comparaison avec celui des autres à partir des régularités du passé. Partout, nous sommes notés, prédits, quelque soit la marge de certitude ou d’incertitude des traitements et inférences. Le calcul est normalisé, naturalisé par un score, une note. Que ce soit pour s’assurer, emprunter, se loger, obtenir un emploi, recevoir des allocations, être mis en relation avec d’autres…  Pour Genicot, ce profilage, ce scoring, les appariements qui en découlent, sont des techniques de régulation, des outils de gouvernementalité. Mais, alors que la loi s’applique à tous de la même façon, le profilage, lui, permettrait de s’adapter aux caractéristiques de chacun. Pour le philosophe du droit, il promet d’individualiser le droit pour « pleinement réaliser le principe d’égalité », pour produire des « règles sur mesure ». Tout l’enjeu du livre consiste justement à vérifier cela. Est-ce que le profilage remplit cette promesse ? Est-ce qu’il rend la justice plus juste ? 

Des débats de calculs

Pour déplier ses constats, Genicot observe trois milieux où se déploient, presque concomitant des techniques de profilage : le travail, l’assurance et le crédit. Dans chaque secteur, Genicot révèle, extirpe des archives les débats de l’époque. Et ceux-ci sont étonnement nourris. Les calculs d’alors viennent avec des questions. La science balbutiante s’interroge, quand l’ingénierie d’aujourd’hui semble avancer comme un rouleau compresseur, sans vraiment s’interroger des défaillances que ses calculs produisent ou des limites que la statistique atteint, comme le relevait danah boyd il y a quelques années (et qui vient de donner lieu à un livre qui sera publié le 29 septembre aux presses de l’université de Chicago, Data Are Made, Not Found: A Story of Politics, Power, and the Civil Servants Who Saved the US Census). 

Les pratiques de profilage, rappelle-t-il, sont antérieures à la naissance de l’informatique, même si l’informatique va leur permettre de se déployer et de s’étendre sans commune mesure. Les premières classifications sont produites pour distinguer les capacités des élèves en créant des tests mentaux et d’aptitudes avec la psychologie différentielle. Les mathématiques servent alors à mesurer l’intensité et la qualité des sensations, la vitesse de réaction… pour mesurer les différences interindividuelles et caractériser les populations en marge de la société : les aliénés, les criminels, les pauvres, les anormaux. Derrière ces tentatives pour améliorer la justice en permettant aux politiques publiques de s’adapter aux profils de chacun s’amalgame des capacités de discriminations inédites porté par tout un courant eugéniste comme le montrera le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme (Odile Jacob, 1997) ou plus récemment Kate Crawford dans son Contre-atlas de l’intelligence artificielle  (Zulma, 2022, voire également notre critique). Les tests mentaux visent à diagnostiquer les enfants anormaux dans le contexte de l’instauration de l’obligation scolaire, avec, pour ses promoteurs, une volonté d’améliorer la justice sociale. 

Le terme même de profilage naît pour décrire cette mise en nombre des individus, en 1909 et s’accompagne, dès l’origine, d’un mode de production graphique pour relier les résultats aux différents tests. Au-delà de l’école, les tests vont rapidement être appliqués à l’orientation et à la sélection professionnelle, pour mieux faire correspondre les profils psychologiques aux métiers. Genicot, en plongeant par exemple dans les travaux de Jean-Maurice Lahy, dans les années 30, nous montre que les ingénieurs de l’IA n’ont rien inventé. On produit des tests psychologiques sur deux groupes de travailleurs, les bons et les mauvais (selon une distinction déjà pleine de biais, puisqu’elle ne repose que sur l’appréciation de chefs de services et le nombre de fautes professionnelles recensées) pour produire des métriques distinctives. Test qu’on peut ensuite faire passer à tout requérant pour mesurer si ses caractéristiques sont plus proches de l’un ou l’autre groupe. On tente de mesurer l’énergie, l’endurance, la concentration, la capacité d’initiative… via des tests psychométriques qui ne vont cesser de s’affiner. On les fait passer à une galerie de métiers pour tenter d’identifier ce qui singularise chaque secteur… Le profilage est dès l’origine une comparaison aux attributs statistiques des autres. « L’essence du profilage consiste à prédire une variable cachée (ici : une aptitude) de manière probabiliste, c’est-à-dire sur la base de caractéristiques (ici : les résultats obtenus à des tests psychotechniques) qui sont fortement corrélées à cette variable ». On le voit, malgré leurs efforts à « désubjectiver les méthodes d’appréciation », ces techniques les réifient. Les conditions sociales sont invisibilisées dans les capacités des individus : « le profilage réduit des situations sociales à des propriétés individuelles » et les biais de l’entité qui profilent sont passés sous silence. 

Pas étonnant que ces tests professionnels soient donc contestés. Leur caractère discriminatoire en termes de genre, de niveau social, d’origine… se dévoile à mesure que ces profilages se répandent. Les tests d’aptitudes professionnels montrent par exemple que 58% des Américains blancs les réussissent contre seulement 6% des personnes noires. Les débats pour rétablir l’équité se démultiplient alors. Faut-il différencier ces tests selon l’âge, le genre, l’origine ? Ce n’est qu’en 1991 que les Etats-Unis tranchent en prohibant les pratiques d’ajustement des scores selon l’appartenance à un groupe protégé. Mais si le débat est tranché, il n’est pas réglé. J’ai l’impression que l’enjeu de corriger les biais reste entier. Aujourd’hui encore, on ne sait pas vraiment comment les corriger. Comme si les débats, tranchés par le droit, les avait arrêtés, sans stopper les pratiques ni les problèmes afférents. 

Avec le développement du numérique, le profilage va s’amplifier. Le big data permettant de démultiplier le profilage psychologique, malgré toutes les limites de ces tests, comme nous le disaient il y a quelques années déjà le psychologue Alexandre Saint-Jevin. En fait, le profilage va également s’étendre, comme celui des chercheurs d’emploi, initié au prétexte de mieux les accompagner et qui va surtout servir à les sanctionner et faire peser sur eux des contraintes plus importantes (sans que ce contrôle ne produise aucun horizon, comme nous disions en disséquant Chômeurs, vos papiers (Raisons d’agir, 2023), qui soulignait l’inefficacité du contrôle du chômage). Il va conduire également à un recrutement de plus en plus automatisé, où les systèmes calculent (un peu n’importe comment il faut le dire) la correspondance d’un CV à une annonce. Pour Genicot, la « logique corrélationnelle » se répand et s’impose partout, jusque dans l’évaluation des employés sur leurs lieux de travail. L’appréciation des individus par des variables qui ne lui sont jamais propres se couple d’une comparaison statistique des résultats de chacun évalués par rapport à ceux d’un groupe. Le profilage tient tout entier dans ce rapport étrange de soi aux autres, où les limites des métriques utilisées sont invisibilisées par les ratios et indicateurs produits. Comme si finalement les chiffres pouvaient assurer d’une neutralité de façade, d’une neutralité dont les limites ne sont plus interrogées. Les scores de risques sont partout défaillants, il n’empêche qu’ils ne cessent d’être produits et utilisés, comme nous le pointions en lisant Jathan Sadowski.  

En observant les débats du monde assurantiel comme ceux du secteur bancaire, Nathan Genicot montre les mêmes ambiguïtés. 

Quelles discriminations acceptons-nous ?

La sélection des assurés et la tarification des primes sont depuis longtemps rattachées au calcul de probabilités. L’assurance va prendre son essor au XVIIIe siècle après l’essor de l’arithmétique politique qui invente un siècle plus tôt les premières tables de mortalité qui décrivent le nombre de décès par âge. Le risque assurantiel s’est longtemps apprécié au niveau du groupe, plus qu’au niveau individuel, là où la condition de chacun est affectée par la condition des autres. Il faudra néanmoins attendre la loi de 1898 qui impose au patron d’indemniser les salariés victimes d’accidents du travail, pour faire de l’assurance le gage de la réparation. Les assureurs se mettent à sélectionner les risques qu’ils veulent couvrir comme les assurés. Ils comprennent vite que « plus le profilage est affiné, c’est-à-dire plus il y a sélection et tarification différenciées, moins il y a de solidarité ». Une constance simple que tout le monde semble avoir oublié à l’ère du Big Data. 

A défaut de parvenir à identifier d’autres attributs pertinents, l’âge s’impose souvent comme une catégorie principale, notamment pour l’assurance vie. Genicot souligne que le débat a été constant entre individualisation et solidarité. L’assurance n’a cessé de chercher des variables pertinentes. Derrière ces débats, on en voit poindre un autre, plus philosophique s’il en était : quelles segmentations – et donc quelles discriminations – acceptons-nous en tant que société ? Et lesquelles refusons-nous ? Si tout le monde semble accepter celle de l’âge, la discrimination de genre ou sociale par exemple le sont bien moins. Et les débats sur la discrimination d’origine, aux Etats-Unis, décalque des rapports de domination de la société, sont nourris. L’intégration du comportement et du mode de vie aujourd’hui dans le calcul assurantiel reste souvent polémique, à raison, puisqu’il incrimine l’individu et masque les différences créées par les rapports sociaux. 

Comme partout ailleurs, les assureurs produisent des scores pour calculer l’assurabilité de chacun. Les assureurs ne vont cesser de développer un discours pour justifier la segmentation qui leur profite en promouvant des calculs qui seraient dénués de connotation morale, alors que nombre d’entre eux vont user et abuser de pratiques problématiques, par exemple en tenant compte de la domiciliation pour faire grimper les primes des populations racisées par rapport à celles des riches (et blanches) banlieues américaines. Pourtant souligne Genicot, malgré les critiques acerbes contre les pratiques du secteur, peu de monde interroge « la prétention à atteindre l’objectivité dans l’évaluation des risques actuariels. La pertinence du recours aux classifications ne fait, à peu de choses près, pas l’objet de débats ». Pire, comme le soulignait la sociologue Greta Krippner, l’individualisation du risque semble bien plus la conséquence de la lutte contre les pratiques discriminatoires des marchés de l’assurance plutôt que liée à l’émergence du néolibéralisme. Bon, cela ne signifie pas pour autant que l’évolution du capitalisme est absente de la segmentation assurantielle. Celle est stimulée par la liberté tarifaire, et renforcée par les progrès de l’informatique qui va permettre de démultiplier les variables et de faire disparaître les discriminations derrières la complexité des critères. 

La régulation va bien sûr s’inviter dans ces innombrables débats, par exemple en encadrant les tarifs pour prémunir l’exclusion de certains publics, ou en écartant certaines formes de segmentation les plus criantes et problématiques, comme celles sur la religion, le sexe, l’origine ethnique ou la génétique… mais sans remettre en cause nombre de pratiques problématiques. En fait, derrière les débats nourris, la société semble n’être pas parvenue à fourbir de règles claires ne permettant pas les contournements. L’interdiction de faire des distinctions de genre par exemple n’a pas conduit à limiter les possibilités de segmentations, mais à conduit à utiliser des critères plus précis, comme s’y essaie l’assurance avec la prise en compte des comportements, à l’image de la conduite automobile elle-même. Une personnalisation dans laquelle l’assurance oublie sa fonction initiale : celle de mutualiser les risques. 

Genicot rappelle pourtant que l’assurance, pour fonctionner, doit reposer sur une segmentation modérée. Même constat quant au calcul du crédit et de son risque, né lui aussi avec l’essor des techniques statistiques. Dès l’origine, portés par les grands magasins pour faciliter la consommation, ceux-ci déploient des formulaires standardisés pour classer les performances de remboursements des clients. Là encore, « l’apparente objectivité de la classification n’empêche pas la présence d’une large part d’arbitraire dans l’attribution de la note ». Si la standardisation s’impose pour réduire le pouvoir discrétionnaire des agents, la statistique va s’y imposer dès les années 50 en développant des scores pour évaluer les capacités de remboursements de chacun. Enfin, pas seulement. A mesure qu’ils se déploient, là encore, les scores se complexifient, cachant dans leurs critères leurs innombrables jugements moraux et sociaux. En 1963 par exemple, les variables d’un fournisseur de score prennent en compte toute information disponible : le taux de crédit déjà engagé et les revenus bien sûr, mais aussi le statut marital et la profession, en passant par le fait d’être syndiqué. Derrière cette complexification des scores, c’est assurément notre compréhension commune qui s’éloigne, et avec elle, notre capacité à les réguler. Les innombrables facteurs pris en compte servent à obfusquer la discrimination raciale ou de classe à l’oeuvre. On apprend à utiliser des variables très éloignées des nécessités, simplement parce qu’elles peuvent être de bons prédicateurs, comme le fait d’avoir déjà un compte bancaire, ce qui est le cas de 87% de ceux qui paient leurs échéances de crédits… au risque que ces calculs accentuent les biais inhérents. Pas étonnant que, désormais, les économistes eux-mêmes estiment que les banques ne savent plus prêter à ceux qui en ont besoin. C’est comme si, à mesure qu’ils se perpétuent, les calculs se radicalisaient d’eux-mêmes. Comme l’IA semble s’écrouler à mesure qu’elle s’entraîne sur les données qu’elle produit, les calculs de la société semblent s’effondrer sur eux-mêmes à force d’être usés. Les scores de crédits, dont le célèbre Fico Score qui naît en 1956, se développent pourtant dans un contexte de compétition forte, promettant d’élargir le crédit aux plus pauvres. Il s’impose vite comme une métrique universelle… et immuable.

L’informatisation va permettre de renchérir le score de nouvelles variables, notamment cette des cartes de paiements électroniques qui permet de rendre les notes de risques dynamiques. Genicot rappelle que les notes ont une fonction disciplinaire. Elles font penser qu’elle dépend du comportement de chacun quand elles masquent d’abord des enjeux sociaux et de classe. Pire, malgré leurs lacunes intrinsèques, elles sont désormais utilisées pour d’innombrables autres services au prétexte d’un « besoin commercial légitime » : pour louer un logement, pour assurer une voiture, pour être embauché… « Tous utilisent la note de crédit comme un proxy, un indictateur du trait de comportement qu’ils cherchent à évaluer (tel que le fait d’être un bon locataire ou un bon employé) ». Le score de crédit devient un « outil de mesure de la moralité », alors qu’il est surtout, comme le disait Frank Pasquale dans Black Box Society (Fyp, 2015) opaque, arbitraire et discriminatoire. Les scores ne servent pas tant à clarifier les choses, disait-il, mais à les rendre plus obscures. 

Or, les scores modifient le réel qu’ils entendent décrire. Et à mesure que leur usage s’étend, radicalisent leurs effets. « Une mauvaise note entraînera un taux d’intérêt plus élevé, c’est-à-dire des conditions de remboursement plus difficiles pour la personne débitrice, ce qui accroîtra sa précarité économique. Si la note est prise en compte par des bailleurs ou des employeurs, l’incidence de cet effet de boucle sera d’autant plus significative. Une personne qui, à cause d’une mauvaise note, ne trouve pas d’emploi ou ne parvient pas à se loger, aura du mal à rembourser ses crédits et verra sa note diminuer encore davantage ». C’est en cela que les calculs se radicalisent, qu’ils renforcent le « lumpenscoretariat » qu’évoquaient Marion Fourcade et Kieran Healy. 

Là encore, des régulations seront votées pour encadrer les pratiques, mais sans vraiment parvenir à agir autrement qu’en limitant les pratiques les plus discriminantes. Derrière la neutralité des scores se cache l’accélération des biais. Même un score qui ne reposerait que sur les capacités financières des individus, serait foncièrement problématique puisque les capacités à rembourser sont loin d’être équitablement distribuées. Si l’enjeu est bien de prêter de l’argent aux gens, le score, par nature, vise bien plus à limiter le prêt qu’autre chose. Pas étonnant qu’on se retrouve donc avec des organismes bancaires incapables de faire leur métier : prêter de l’argent à ceux qui en ont besoin ! L’information sur les décisions de crédits prises par les organismes, sur leur distribution, la mesure de leur équité… elle est bien souvent inaccessible. Les critères des scoring ou l’étendu des situations où ils sont utilisés également. Les innombrables données peuvent être désormais utilisées comme des prédicteurs de votre capacité de remboursement, également. Partout, l’opacité du scoring est la règle. Quand on voit par exemple le nombre de gens débancarisés, on se dit que les scores de crédit semblent surtout avoir appris, eux, à masquer leurs lacunes. 

Le risque d’un droit… sur mesure

L’essai de Nathan Genicot est bien plus sage que ma lecture énervée. Il souligne néanmoins combien les modèles statistiques et algorithmiques s’imposent dans tous ces secteurs « pour optimiser la prise de décision en se substituant au jugement humain ». Ils imposent l’idée que l’individu est seul responsable de ses notes, faisant fi du contexte social. Mais plus encore, il estime que le risque de ces calculs, de ces profilages, consiste à produire des règles de plus en plus individualisées, au risque d’altérer notre conception du droit lui-même, pour remplacer la règle qui s’applique à tous, par un droit sur mesure, calculé selon le profil de chacun. 

Dans la dernière partie du livre, il revient sur la critique d’une conception mécanique du droit : les peines similaires, impersonnelles, uniformes, à tous ont longtemps été considérées comme un idéal d’objectivité et de justice. L’impersonnalité des processus décisionnels étant vu comme un rempart contre l’arbitraire et un gage de prévisibilité. Mais là encore, au début du XXe siècle, cette conception est critiquée au prétexte que les conditions et le contexte sont toujours significatifs. A l’égalité succède le principe d’équité, et avec lui, l’idée d’une individualisation des peines pour que le droit soit le même pour tous, à l’image de la critique de la TVA ou des contraventions et amendes, qui s’appliquent à tous au même taux, même à Bernard Arnault, alors que leur impact ne sont pas les mêmes selon les revenus des justiciables. Bon, il existe bien sûr des moyens d’y remédier, en fixant par exemples des critères ou des seuils. Car, comme le souligne très justement le philosophe, le problème de l’individualisation est qu’elle n’a pas de limite. On peut personnaliser selon d’innombrables variables, comme nous le montre le marketing numérique. 

Dans les revues académiques du droit, actuellement, le débat est visiblement vif sur ces questions. La rêve d’automatisation invite certains à imaginer d’adapter la loi aux situations au grès des circonstances, à ajuster et calibrer les standards. Mais comment trouver le bon niveau pour traiter à la fois « les mêmes situations de la même manière » et « traiter différemment des situations différentes » ? « Un consommateur impulsif qui réalise régulièrement des achats en ligne pourrait par exemple se voir imposer des conditions plus strictes avant de pouvoir renvoyer un produit et se faire rembourser qu’un consommateur qui aurait, au contraire, un tempérament responsable et prudent ». Certes, mais sur quelles données, quelles inférences serait produit ce jugement comportemental ? Et serait-il lui-même juste, opposable, redevable ? On a un peu l’impression que ces perspectives oublient toutes les limites pointées par les débats passés que l’auteur a mis en avant dans sa généalogie. 

Pour Genicot, « la substitution des systèmes normatifs classiques par des dispositifs de profilage est déjà à l’œuvre », notamment dans les rapports de l’Etat à ses administrés. C’était le cas notamment, dans les années 70 avec le système GAMIN, un des premiers dispositif public de profilage pour conditionner le versement d’allocation familiales. C’est également le cas avec le profilage des bénéficiaires de la CAF et nombre d’autres outils de gestion du social que nous évoquons souvent sur danslesalgorithmes.net. Du profilage des chômeurs aux contrôles des frontières, l’individualisation et le profilage sont partout, mais ils produisent assez peu d’équité et encore moins d’égalité, au contraire. Le profilage produit surtout des conditions plus dures pour les plus vulnérables. L’optimisation prédictive partout où elle se déploie fonctionne mal, cela n’empêche hélas pas le développement d’innombrables formes de notations sociales. 

Pour Genicot, l’interdiction des notations sociales dans ce contexte par l’IA Act est le bienvenue, mais c’est oublier que le texte les rend licite plus qu’elle ne les interdit. Le RIA ne propose que de les encadrer, que de veiller à ce que les notes ne soient ni disproportionnées ni dissociées du contexte de leur production. Le fait que certains soient à haut risque ne fait peser sur eux qu’une surveillance accrue. Il ne vise pas à rendre les notes plus justes qu’elles ne sont. Ils ne nous invitent finalement pas à questionner la société. Il ne nous invite pas à changer la manière dont on calcule, ni ne nous aide à nous défier de l’enkystement des calculs. Il ne nous invite pas à changer la société, alors que demain, pour changer la société, il faudra assurément changer la manière dont elle est calculée. La personnalisation du droit, le profilage administratif, nous invite seulement à continuer la société telle qu’elle est. « Le profilage est profondément conservateur », rappelle le philosophe. « Le profilage conduit donc à créer des traitements différenciés dont il prétend cependant qu’ils sont conformes à l’égalité », sans offrir à la société les moyens de le vérifier. Ce n’est là que la parole des profileurs. Les innombrables enquêtes sur le sujet, notamment sur le profilage social, depuis les travaux pionniers de Virginia Eubanks, montrent toutes l’exact inverse. Aucun n’est conforme à l’égalité. En reposant sur l’individualisation et la responsabilisation de chacun, il est « l’exact inverse de la solidarité ». Le profilage « conduit à l’oblitération des relations et, plus largement du social. Le rapport de l’individu aux autres n’est jamais compris comme celui d’une interdépendance, mais uniquement comme une comparaison à une classe, à une collection d’individus ». « Les notes obscurcissent la dimension structurelle des inégalités sociales ». Et en s’imposant, elles nous empêchent finalement de les remettre en question. 

Au final, l’enquête historique de Nathan Genicot nous rappelle que pour changer la société, il va falloir changer la manière dont elle calcule. 

Hubert Guillaud

La couverture du livre de Nathan Genicot aux éditions Amsterdam.
Reçu — 27 octobre 2025 ⏭
  • ✇Climb to the Stars
  • Pour une « nétiquette » de l’IA générative [en]
    [en] L’IA générative, c’est ChatGPT, Claude et consorts. Ce sont des outils à qui on donne des instructions, et qui produisent en réponse du texte. Il y en a également à qui l’on donne des instructions, et qui produisent des images, du son, voir de la vidéo. Je n’ai pas pour objectif ici d’essayer de discuter de l’éthique lié à leur utilisation ou à leur entraînement. Il s’agit d’un tout autre sujet, dont il vaut par ailleurs la peine de discuter. D’un point de vue pragmatique, je les trouve
     
  • ↗️
✇Climb to the Stars

Pour une « nétiquette » de l’IA générative [en]

Par :Stephanie Booth
27 octobre 2025 à 13:59
[en]

L’IA générative, c’est ChatGPT, Claude et consorts. Ce sont des outils à qui on donne des instructions, et qui produisent en réponse du texte. Il y en a également à qui l’on donne des instructions, et qui produisent des images, du son, voir de la vidéo.

Je n’ai pas pour objectif ici d’essayer de discuter de l’éthique lié à leur utilisation ou à leur entraînement. Il s’agit d’un tout autre sujet, dont il vaut par ailleurs la peine de discuter. D’un point de vue pragmatique, je les trouve suffisamment utiles pour les utiliser régulièrement. Mais ce dont je veux parler ici c’est comment éviter de gros faux-pas en matière de communication et de relationnel.

Voici deux usages très problématiques et que l’on voit malheureusement trop fréquemment:

  1. Laisser l’IA parler à notre place, tel Christian avec Cyrano
  2. Assommer les gens de copier-coller verbeux produits par une IA, version 2025 de RTFM

L’IA-Cyrano

Voici quelques exemples du premier cas de figure:

  • quelqu’un me pose une question, je la pose à ChatGPT et je réponds à mon interlocuteur avec la réponse que m’a donnée ChatGPT, comme si c’était moi qui parlais
  • je produis des visuels avec Midjourney ou autre et je les partage sur instagram sans préciser qu’il s’agit de productions d’IA générative
  • dans une discussion où je ne sais plus trop quoi répondre ou quoi dire, je demande la réplique suivante à mon chatbot préféré et je colle sa proposition
  • je demande à Claude de m’écrire un poème sur tel ou tel sujet, pour exprimer ceci ou cela, et je partage ce poème, sans préciser que ce n’est pas moi qui l’ai écrit.

Pourquoi est-ce que ces exemples posent souci? Ils posent souci d’une part parce qu’ils rompent le contrat social tacite des échanges sur les réseaux sociaux, ou par Messenger, ou des publications sur les blogs ou sites web personnels, que la personne avec qui on interagit est celle qui écrit les mots qu’on lit, ou produit l’art qu’on admire.

Ça s’apparente en fait à une forme de plagiat, au sens où l’on s’approprie une production qui n’est pas la nôtre, mais qu’on fait passer pour la nôtre. A la différence du plagiat classique qu’on a en tête, la source du contenu d’origine (l’IA) n’est pas le·la lésé·e, mais l’interlocuteur.

C’est avec toi que j’échange, que ce soit par messagerie ou dans les commentaires, ou c’est toi que je lis, et dans cette interaction entre toi et moi il y a des enjeux relationnels. Si tout d’un coup tu passes le clavier à quelqu’un d’autre sans me dire (humain ou machine), je suis trompée sur la marchandise.

Vous me répondrez qu’utiliser ChatGPT comme assistant pour écrire un e-mail délicat est un usage légitime de cet outil – et je suis d’accord. Où est la limite, alors, et pourquoi est-ce que l’e-mail ou la lettre ça peut passer, mais pas la réponse sur Messenger ou WhatsApp?

Je pense qu’il y a deux aspects à prendre en compte.

Le premier, c’est l’implication du locuteur perçu dans les productions de l’IA. Est-que c’est une vraie “collaboration”, je retouche, je retravaille, je “m’approprie” le texte produit pour que ce soit plausible que ce soit moi (si c’est moi qui suis supposé·e l’avoir écrit) – tout comme on le ferait en demandant de l’aide rédactionnelle à un autre humain, à un assistant en chair et en os, à un écrivain public? Ou est-ce que j’ai juste donné une instruction simple et pris le résultat tel quel, sans même le relire?

Le deuxième, c’est le contexte et le type de production. Un e-mail administratif, c’est souvent plus un exercice de style qu’une réplique dans une véritable interaction. L’e-mail administratif, c’est pas grave si je ne l’ai pas écrit toute seule comme une grande, si je l’ai fait écrire à ma cousine – tant que je signe. Un poème que je partage sur mon compte Facebook, par contre, s’il n’y a pas d’auteur indiqué, c’est implicite que c’est moi. Ou une discussion Messenger, un échange dans les commentaires: c’est une forme de discussion, très clairement, dans laquelle l’attente est que notre interlocuteur est un humain. (On adore tous les services clients qui vous proposent de “chatter avec un agent” qui se présente comme un être humain mais dont on sent bien que c’est à moitié un chatbot, n’est-ce pas?)

Et la zone grise? Peut-on collaborer avec une IA?

Je pense que pour sentir ce qui va poser problème ou pas, on peut simplement se demander si le rôle de l’IA dans notre histoire était tenu par un humain, si ça passerait. J’échange des messages avec une copine et je passe mon téléphone à mon voisin pour qu’il réponde, parce qu’il fait ça mieux que moi. Oui ou non? Je demande à mon voisin d’écrire un poème ou un récit pour moi, et je le colle sur mon profil sans préciser que c’est lui qui l’a écrit? Je pense qu’on sent bien que ça ne passe pas. Par contre: j’échange des messages et je ne sais pas trop comment tourner ma réponse, et mon collègue m’aide pour trouver la bonne tournure et me conseille – ça peut passer. Mais gare aux conséquences si en faisant ce genre de chose, la personne en face “sent” qu’on s’est fait aider!

La pente glissante avec l’IA c’est que celle-ci va produire rapidement et facilement des textes à la forme séduisante, rendant grande la tentation de simplement copier-coller sans autre forme de procès.

Faut-il pour autant renoncer à se “faire aider” par l’IA pour nos productions, quelles qu’elles soient?

Pour moi, il y a zéro souci de se faire aider par ChatGPT pour rédiger quelque chose, mais la transparence est importante. “Poème généré par ChatGPT sur mes instructions”, ou “Texte écrit avec l’assistance d’une IA”, ou “illustration générée par IA”, ça évite des malentendus. On évite de rompre le « contrat social », sur les réseaux sociaux en particulier, qui dit quand quelqu’un publie quelque chose, il l’a produit directement. On voit d’ailleurs de plus en plus que les plates-formes demandent à leurs utilisateurs de préciser si le contenu qu’ils publient est fait “avec IA”.

Un exemple personnel: j’adorerais composer des chansons mais je ne sais pas faire (enfin je peux, mais c’est nul, je n’y connais pas grand chose en musique). Aujourd’hui, grâce aux IAs génératives, je pourrais enfin composer/créer une chanson. Mais si je la partage ensuite avec d’autres, ça me semblerait normal de préciser que je l’ai faite en m’aidant d’une IA, et pas toute seule, à la force de mon talent et de mes compétences musicales.

Parlant de chansons, une histoire qui me vient en tête pour exprimer ce qu’on peut ressentir en lisant un texte qu’on pense avoir été produit directement par un humain, pour réaliser ensuite que l’IA est impliquée: Milli Vanilli. Quand on voit quelqu’un chanter au micro, dans un clip ou sur scène, c’est implicite qu’il s’agit de sa voix, à moins que la mise en scène nous fasse comprendre qu’il s’agit d’un acteur ou d’une actrice. Donc dans le cas de Milli Vanilli, quand on a découvert qu’en fait non, c’était quelqu’un d’autre dans le studio, ça a très mal passe.

Si c’est joli, où est le mal?

Un mot encore concernant en particulier les images. Sur les réseaux, on partage des tas d’images qu’on n’a pas forcément produites, donc le problème n’est pas tant là. A moins que je sois connue pour mes talents de photographe, si je partage une photo absolument splendide de quelque part au bout du monde, on peut imaginer assez aisément que ce n’est pas moi qui l’ai produite. (Bon, j’avoue que pour ma part, si je partage une image qui n’est pas de moi, il m’importe de le préciser. Mais l’écrasante majorité des gens ne le font pas, donc: norme sociale.)

Souvent, quand je fais remarquer aux gens que l’image qu’ils partagent est une image générée artificiellement, on me dit “oh c’est pas grave, c’est joli quand même!”

Le problème avec ce raisonnement est le suivant: en inondant notre quotidien de productions visuelles générées qui ne s’assument pas, on véhicule des représentations déformées du monde. Les images marquent. On voit quelque chose, ça nous reste. On part du principe que c’est vrai (“seeing is believing”, “le voir pour le croire”). Et donc on avale tout rond des informations visuelles fausses sur le monde dans lequel on vit.

Et si c’est de l’art? Le problème est le même. Etre exposé systématiquement à des productions mécaniques en pensant qu’elles sont humaines, ça finit par nous faire perdre la notion de ce qu’est ou peut être une production humaine.

On connaît tous l’impact catastrophique qu’a eu la généralisation de l’utilisation de Photoshop pour retoucher les photos de célébrités, donnant à des générations de femmes et d’hommes des attentes complètement irréalistes concernant le corps des femmes (et des hommes aussi, dans un deuxième temps). Ne tombons pas dans le même piège, et ne soyons pas complices de l’effacement de la frontière entre le vrai et le faux. La guerre cognitive ce n’est pas juste la “désinformation”. Il s’agit de nous faire perdre nos repères, au point de n’être plus capables de nous orienter dans le monde et de le comprendre. On est en plein dedans, là. Il faut se battre.

L’IA-RTFM

Le deuxième cas de figure consiste à copier-coller, brut de décoffrage, l’output d’une IA générative sur un sujet donné, le plus souvent dans un contexte conversationnel (messagerie instantanée ou commentaires). Exemples:

  • dans une discussion avec un collègue, on se demande s’il vaut mieux utiliser telle approche ou telle autre pour gérer une situation au travail; ni une, ni deux, je pose la question à ChatGPT, qui me fait une réponse joliment structurée d’un écran ou deux avec des listes à puces et du gras où il faut, je copie et je balance dans la conversation, en disant: “j’ai demandé à ChatGPT”
  • dans un groupe facebook, quelqu’un pose une question – je la soumets à l’IA de mon choix, puis je laisse un commentaire en copiant-collant la réponse, qui par sa forme et son ton, ne trompe personne sur son origine (ce n’est pas le but)
  • en séance de troubleshooting technique par Messenger, un des interlocuteurs colle dix étapes d’instructions générées par ChatGPT, qui supposément (!) contiennent la solution au problème.

Ici, il n’y a pas de volonté (ou de négligence…) de faire passer pour sienne une production non humaine. Explicitement ou non, on est bien transparent sur le fait que le texte en question est produit par un LLM. Où donc est le problème?

Le problème est que ce genre de procédé (un peu comme le message vocal non sollicité/consenti – il faut d’ailleurs que j’écrive à nouveau à ce sujet) charge l’interlocuteur d’un travail que le locuteur souhaite s’épargner. Le texte ainsi copié-collé est rarement concis, n’a généralement pas été vérifié par la personne qui l’amène dans la discussion, et même pas toujours lu! Il est jeté en pâture à l’auditoire, qui devra lui-même déterminer ce qui est à prendre et ce qui est à laisser dans cette réponse générée qu’il n’a pas demandée.

Pourquoi “RTFM“? En anglais, “Read The Fucking Manual” est une réponse généralement passive-agressive à une question, genre “demande à Google”, mais moins poli. Lis le manuel et démerde-toi.

Quand une réflexion commune (une discussion) est interrompue par un déversement de réponses IA brutes, c’est un peu comme si on copiait-collait la page Wikipedia du sujet dans la discussion. C’est au mieux maladroit, au pire extrêmement malpoli et condescendant.

(Tiens, ça me fait penser aux entreprises qui collaient des communiqués de presse tout secs des des articles de blog, à la belle époque. Ou qui répondaient dans les commentaires avec la langue de bois des chargés de comm.)

C’est très différent, évidemment, si les interlocuteurs se disent “oh, demandons à ChatGPT pour voir” et se penchent ensuite sur la réponse ensemble, qu’il s’agit donc d’une stratégie commune pour traiter le sujet en cours.

Mais la plupart du temps, ce qu’on voit, c’est un interlocuteur qui s’économise l’effort de véritablement prendre part à la réflexion en l’outsourçant d’une part à l’IA, et d’autre part aux autres interlocuteurs. Bien souvent sans penser à mal, cette introduction dans l’échange d’une quantité parfois écrasante d’informations de qualité inégale (voire carrément douteuse) peut faire l’effet d’un “Gish Gallop” involontaire, bloquant la discussion par surcharge informationnelle.

C’est une chose de donner un lien vers un article pertinent – qu’on espère de bonne qualité, et idéalement lu (on a d’ailleurs naturellement tendance à le préciser quand ce n’est pas le cas, dans le contexte d’une discussion), d’aller en aparté consulter l’Oracle-IA et de revenir enrichir la discussion avec ce qu’on en a retiré, ou de changer complètement la dynamique et l’équilibre de l’échange en imposant la présence d’un interlocuteur supplémentaire (l’IA) qui parle plus qu’il n’écoute.

La version courte?

ChatGPT n’a pas le monopole de la verbosité, j’en conviens. Je vous jure que j’ai écrit les plus de 2500 mots de ce billet toute seule. Donc, pour faire court:

  • C’est OK d’utiliser l’IA comme outil-assistant pour ses propres productions, et même dans certains cas de lui déléguer une production entière, mais il convient d’être explicitement transparent, particulièrement sur les réseaux sociaux et dans les interactions personnelles, sur le fait qu’il s’agit d’une production “IA” ou “avec IA” (certains réseaux recommandent d’ailleurs un étiquetage dans ce sens).
  • Il y a des situations où l’attente d’une production “100% authentique” par le locuteur est moins forte (certains e-mails, lettres, articles); dans ce cas-là, on peut certes s’aider d’une IA comme on s’aiderait d’une autre personne douée des mots, mais attention à ce que d’une part la “collaboration” en soit suffisamment une pour que cela reste “notre” production (à l’opposition d’une “délégation”) et que le résultat puisse passer pour tel.
  • Si on se retrouve à copier-coller des productions d’IA pour nos interlocuteurs au lieu de leur parler, que ce soit pour “donner des infos” (“regarde, ChatGPT a dit ça!”) ou “parler à notre place”, attention, ça va mal finir! Personne n’aime se retrouver à “discuter avec un robot” sans son accord, et encore moins sans être prévenu.

Et au risque de répéter une fois de trop: les LLMs sont des outils puissants, utiles et intéressants (excitants même) mais ils ne sont pas “intelligents”, ils ne “savent” rien, ils ne font que générer du contenu en fonction de modèles statistiques qui les guident vers le prochain élément le plus probable (un mot par exemple). Parfois, ils produisent de belles conneries sur un ton parfaitement sérieux et assuré.

Donc, si on demande à un LLM un résumé, une synthèse, une transcription, une version “à la sauce de”, il faut traiter sa production comme celle d’un stagiaire brillant pour certaines choses mais complètement à la ramasse pour d’autres: il faut passer derrière, relire, corriger, adapter. Les IA c’est bien pour débroussailler, pour faire le premier jet, pour réfléchir ou jouer avec des idées, pour débloquer des situations qui nous résistent, mais pas pour cracher le produit final.

La version encore plus courte:

  1. transparence concernant l’implication de l’IA dans le contenu proposé
  2. vérification et adaptation du contenu généré (forme et fond)
  3. respect de l’interlocuteur en assumant soi-même le coût (cognitif, social, temps…) lié aux deux premiers points.

❌