Vue normale

  • ✇Climb to the Stars
  • Less Input [en]
    [en] In the spirit of shortening things, I’m taking a few moments during my lunch break to share some thoughts I’ve been having recently. Various things have contributed to these thoughts: my permanent struggle with “too many ideas” and “too many things I want to do” (which predates my accident, but is now exacerbated given my reduced energy) pondering on how to manage my energy (already underway since my accident, but now fed by the occupational therapy programme for energy management t
     

Less Input [en]

8 juillet 2026 à 07:37
[en]

In the spirit of shortening things, I’m taking a few moments during my lunch break to share some thoughts I’ve been having recently. Various things have contributed to these thoughts:

  • my permanent struggle with “too many ideas” and “too many things I want to do” (which predates my accident, but is now exacerbated given my reduced energy)
  • pondering on how to manage my energy (already underway since my accident, but now fed by the occupational therapy programme for energy management that I’m in the middle of)
  • my training at IGB, and the two-day course I just did in Paris (the recurring focus is “how something that works for the person at some point becomes the thing that feeds the problem”)
  • my exploration of AI and in particular the framework/project/took that was previously called PAI (now LifeOS) (output is cheap now: feed a genAI model a few lines and it can spit out thousands of words for you).

I’m not going to be able to reconstruct how my ideas around this have shifted in a chronological or well-organised way, but here’s more or less where I’m at: I’m somebody who believes that “knowledge is power”, that “more information is better”, that by learning and analysing and understanding, I can find answers.

That works a lot of the time, for me. It has worked very well for me. But I’m starting to see how this is part of what is trapping me, right now.

At some point in my struggles with my AI infrastructure (trying to get the PAI Digital Assistant up and running correctly, fixing bugs, making sure it learns correctly, setting up workflows for the things I want it to do for me) I realised that it had a built-in bias (the model, most probably) towards “producing more is better”. LLMs are verbose, we all know that by now. The more you feed them, the more words they spit out – but not necessarily the more useful information.

I kept giving instructions for concision. I would provide examples of how to write things up. I would set up guardrails, have it self-correct, hunt for fluff and filler content. At some point I realised that “the system” was just growing and growing in terms of content (the number of words and files that contained the instructions), and the output was not improving – more like the contrary. This is nothing new, right. We know that complex systems balloon up and lose efficiency. And I’ve seen more than once in my dealings with AI that I pretty much always end up spending more time “fixing the system” than actually using it. This, actually, is something I’d noticed about myself in general; but it’s easier for me to rein in when I don’t have an LLM at the other end of the keyboard. So here, it became even more visible.

So here it is. The mantra I keep repeating to people in all sorts of context: “less is more”; “better is the enemy of good” (that’s what we say in French). If I feed my AI system less input, I get less bloated output in the system. I read somewhere (can’t remember the source, probably have it stashed away somewhere) that in the age of generative AI, the bottleneck was shifting from content production to content consumption. What we can “ingest” is the limiting factor, now that we have machines that can spew out words and sentences and paragraphs and essays and reports like there’s no tomorrow. But it’s worthless unless we can read it and understand it and do something with it. Just feeding that AI output to another AI is just going to magnify errors and biases and produce more slop, unless there is a humain mind in charge that understands what it’s doing and what it’s asking.

Early on, in 2024, I remember reflecting at some point that the AI I was using seemed “more ADHD than me”. And what my more recent experiences have helped me understand about myself is this:

  1. My problem, my “slop/bloat” is ideas and things I want to do. I am somebody for whom ideas are cheap. I have ideas all the time. I can come up with stuff I’d like to do all day. My problem (bottleneck) lies in selecting what I run with, and that is a difficult exercise – even more difficult since my accident.
  2. The more “input” I get, the more – just like the LLM – I produce ideas and desires. I read an article, there are 5 more I want to read. I have a discussion on a topic, I want to read more stuff or write articles or create a community around it. I learn about something new, oooh it’s nice and shiny and I want to do it.

Having a large capacity for input and lots of ideas, followed by enough energy to take a handful of them and run with them (OK, frustrating to have to leave so many aside, but at least I’m busy doing something useful/interesting with some of them) has, as I said above, served me very well in life. But trees don’t grow to the sky. At some point, what has worked well becomes the source of the problem.

And I’m realising that the way out of this, at least now, is not better prioritising. First of all, it’s reducing input.

Less input, less ideas, less “oh I want to do this thing”, less slop to sort through, less frustration with everything I’m not doing.

Exactly how to achieve that is still a thought in progress. But that’s what I’ve been thinking of this last week or so.

  • ✇Dans les algorithmes
  • Vers la montée des préjudices d’inférences
    Derrière le grand récit de l’IA se cache une profonde transformation de la nature même des informations personnelles, explique le chercheur à Harvard, Ikenna Ogbogu, dans une série de concours d’essais organisée par le Berkman Klein Center for Internet & Society de l’Université Harvard et Tech Policy Press. « Plutôt que de simplement stocker des données, les modèles de langage apprennent des représentations statistiques latentes à partir de vastes quantités d’informations générées par l’huma
     

Vers la montée des préjudices d’inférences

8 juillet 2026 à 01:00

Derrière le grand récit de l’IA se cache une profonde transformation de la nature même des informations personnelles, explique le chercheur à Harvard, Ikenna Ogbogu, dans une série de concours d’essais organisée par le Berkman Klein Center for Internet & Society de l’Université Harvard et Tech Policy Press. « Plutôt que de simplement stocker des données, les modèles de langage apprennent des représentations statistiques latentes à partir de vastes quantités d’informations générées par l’humain, transformant ainsi les données en capacités d’inférence. Ces capacités permettent aux systèmes d’IA de générer des inférences sensibles sur les individus à partir d’informations qui n’ont jamais été explicitement divulguées. »

« Un modèle peut agréger les comportements d’achat, l’activité sur les réseaux sociaux et les schémas conversationnels pour prédire avec fiabilité l’état de santé mentale, l’affiliation politique ou le niveau de revenu d’une personne. Même si cette personne n’a jamais consenti à divulguer ces informations sensibles, une préoccupation plus fondamentale se pose : des données apparemment anodines concernant autrui peuvent être agrégées pour générer des inférences sensibles sur n’importe quel individu, d’une manière difficilement prévisible, contrôlable ou contestable. Ceci remet en question les cadres de protection de la vie privée classiques, fondés sur la collecte, le stockage, la diffusion et la gestion d’enregistrements distincts et identifiables pour chaque individu. » 

Si les atteintes à la vie privée découlent le plus souvent d’informations identifiables, cela risque de n’être plus le cas à l’avenir. L’inférence ne relève plus de données auxquelles les utilisateurs peuvent accéder, qu’ils peuvent corriger ou supprimer, « mais tiennent à la capacité d’un modèle à générer des inférences sensibles que les utilisateurs ne peuvent raisonnablement ni prévoir ni contrôler, les cadres actuels de la vie privée numérique commencent à s’effondrer ». La protection de la vie privée doit évoluer pour mieux encadrer les capacités d’inférence, explique le jeune chercheur (voir ce que nous disions nous-mêmes en nous inquiétant non seulement des inférences mais de leurs défaillances, car celles-ci ne sont pas toutes fiables, tant s’en faut : Inférences, comment les outils nous voient-ils ?). 

Aron West, pour la lettre Café IA, montrait récemment l’impossibilité à anonymiser un prompt en pointant notamment vers le travail (ainsi que le site dédié) de chercheurs de l’Ecole polytechnique fédérale de Zurich montrant la grande facilité des outils à réidentifier des individus ou leur localisation et à inférer des informations, comme le genre, le niveau culturel ou social, ou l’origine ethnique des individus depuis les questions et indications qui sont présentes dans des prompts. Une étude de 2024 avait déjà abouti à cette même conclusion en démontrant comment les modèles de langage modernes sont capables d’inférer avec précision des informations personnelles identifiables à partir de textes apparemment anodins, comme la possibilité de déduire la localisation exacte d’un individu à partir d’un simple message anodin, comme celui-ci : « il y a ce carrefour infernal sur mon trajet quotidien, je suis toujours coincé là-bas à attendre un virage à droite ». En utilisant bien d’autres éléments comme la langue, le style… et le fait que le terme « virage à droite » désigne une manœuvre de circulation courante dans la région de Melbourne que le modèle a intégré dans ses données…

« Les LLM posent un profond dilemme éthique, car les individus peuvent être profilés, catégorisés et ciblés à grande échelle sur la base d’informations sensibles qu’ils n’ont jamais eu l’intention de partager », souligne Ikenna Ogbogu. Dans Privacy in context (Stanford university Press, 2009), Helen Nissenbaum rappelait que la protection de la vie privée est régie par ses contextes et son intégrité. Par exemple, un patient peut légitimement divulguer des informations médicales à son médecin, mais pas à son employeur. De même, les informations partagées avec un conseiller financier sont généralement censées rester confidentielles dans le cadre de cette relation de conseil. Mais l’inférence perturbe ces deux types de normes. « S’il est approprié de partager des pensées et des expériences dans le cadre d’une discussion sur Reddit par exemple, les utilisateurs ne s’attendent généralement pas à divulguer des informations démographiques sensibles à quiconque capable d’analyser leurs publications. Ils ne s’attendent pas non plus à ce que leur publication contribue à l’entraînement d’un modèle capable de déduire leur niveau de revenu ou leur situation matrimoniale à partir d’interactions courantes sur le site web.»

« Le problème de fond n’est pas seulement la possibilité de déduire des informations sensibles, mais plutôt l’exploitation des interactions ordinaires pour développer des capacités d’inférence servant des fins très éloignées du contexte dans lequel l’information, aussi anodine soit-elle, a été initialement partagée. Ces capacités d’inférence érodent les contextes de formation des normes et des attentes en matière de confidentialité, exacerbant les inquiétudes persistantes quant au pouvoir des entreprises technologiques de profiler, prédire et influencer les comportements à des fins lucratives.»

Or, rappelle Ogbogu, les lois sur la protection de la vie privée estiment que les atteintes à la vie privée résultent de la collecte, du stockage, du transfert ou de la divulgation d’informations identifiables. Elles estiment également que les individus peuvent raisonnablement anticiper l’utilisation qui sera faite de leurs informations. Ce n’est plus le cas. Les lois sur la protection des données personnelles renforcent le contrôle des individus sur leurs informations personnelles. Or l’inférence n’agit pas sur la sécurité des données, mais dépendent des capacités des modèles d’IA et leurs déploiements. 

Les droits à la vie privée numérique, tels que l’accès, la rectification et la suppression, sont également mis à rude épreuve le déploiement de l’inférence. Ces droits présupposent que les informations peuvent être localisées, modifiées et supprimées. Or, avec l’IA, les informations sont distribuées à travers des représentations internes plutôt que stockées sous forme d’enregistrements distincts. Les capacités d’inférence, une fois développées, ne peuvent être annulées de manière fiable par la seule correction des données, ce qui rend les droits individuels a posteriori inadaptés au problème. 

« La législation actuelle sur la protection de la vie privée repose également largement sur des cadres de notification et de consentement qui présupposent que les individus peuvent évaluer de manière pertinente les risques associés au traitement des données. Cependant, les modèles de langage modernes développent des capacités d’inférence dont les applications futures peuvent même être inconnues de leurs concepteurs, rendant le consentement éclairé impossible à obtenir en pratique. » Comme l’observe le spécialiste de la protection de la vie privée Daniel Solove, la gouvernance de la vie privée fondée sur le consentement demande souvent aux individus de prendre des décisions dans des conditions de forte asymétrie d’information. Dans le contexte de l’IA générative, ces asymétries sont amplifiées car les risques les plus importants reposent sur des capacités et des usages difficiles à prévoir a priori.

Pour remédier à ces préjudices, il est nécessaire de dépasser une réglementation purement axée sur les données. Ikenna Ogbogu propose de réfléchir à plusieurs dispositions. « La législation sur la protection de la vie privée devrait élargir la définition des données couvertes afin d’y inclure les informations inférées et les attributs probabilistes dérivés des systèmes d’IA. Cependant, les données inférées ne représentent qu’une manifestation d’un problème plus vaste : les modèles de base développent des capacités permettant de générer des inférences sensibles à partir de représentations latentes, même lorsque ces inférences ne sont jamais stockées sous forme d’enregistrements distincts. Par conséquent, l’élargissement des données couvertes est une première étape nécessaire, mais insuffisante à elle seule.

Deuxièmement, les autorités de réglementation devraient adopter une approche de gouvernance fondée sur les capacités. Plutôt que de se concentrer exclusivement sur les informations stockées, la surveillance devrait évaluer les informations qu’un modèle est capable d’inférer. Les organisations déployant des modèles de base à grande échelle devraient être tenues d’auditer leurs systèmes afin de vérifier leur capacité à inférer des caractéristiques démographiques, financières, politiques, sanitaires ou comportementales sensibles à partir des interactions courantes des utilisateurs. De tels audits permettraient de mieux aligner la réglementation sur la protection de la vie privée sur les réalités du déploiement de modèles de base, où les préjudices découlent souvent des capacités plutôt que des enregistrements.

Troisièmement, les organisations déployant des systèmes d’IA devraient réaliser des évaluations d’impact publiques divulguant l’étendue de l’inférence d’attributs sensibles, le risque de résultats discriminatoires et le potentiel d’utilisation abusive des résultats du modèle. Plutôt que de simples exercices de conformité, ces évaluations devraient être contraignantes, soumises à un examen indépendant et intégrées tout au long du cycle de vie du développement et du déploiement des systèmes d’IA. Contrairement aux cadres de notification et de consentement qui font peser la responsabilité sur les individus, les audits de capacités et les évaluations d’impact rendus publics transfèrent la responsabilité aux organisations les mieux placées pour comprendre et atténuer ces risques. »

Pas sûr que ces propositions soient toutes valides, comme le montraient déjà Paul Bouchaud et Pedro Ramaciotti. La question de l’inférence, comme on le voyait dans notre exemple, repose aussi et beaucoup sur les capacités à croiser les modèles, les fonctions, dans des architectures explicitement prévues pour cela. Une autre réponse serait aussi de limiter certaines formes d’inférences, voire mieux, de les interdire ou d’interdire leurs usages à nombres d’acteurs. Mais la possibilité d’inférer tout ou n’importe quoi depuis les modèles d’IA pose effectivement des problèmes insolubles. Et le fait de mieux révéler ce qui est inféré, comme nous l’évoquions aussi, ne suffira pas à limiter l’exploitation. 

❌