The Project of AI is a world-building endeavor, wherein those who fund and develop AI systems both operate through and seek to sustain networks of power and wealth. Janet Vertesi, Alex Taylor, Ben Shestakofsky, and I teamed up to try to disentangle the technical systems we call “AI” from the political-economic project that is sustaining this effort. Today, at FAccT, Janet presented our new paper: “Reckoning with the Political Economy of AI: Avoiding Decoys in Pursuit of Accountability.” (also available on arxiv). We do a few things in this paper that might be appealing. First, we try to map out how to understand AI, not as a set of technical artifacts, but the culmination of various economic and political forces, organizational logics, and interpersonal networks. (To anchor this, we draw on four distinct theoretical traditions, recognizable to scholars through Manuel Castells, Neil Fligstein, Donald Mackenzie, and Anna Tsing.) Then, we speak directly to scholars and practitioners interested in accountability and highlight how important it is to avoid “decoys” that distract our attention from the political economic agendas at play. Put most bluntly: we won’t create accountability by futzing with the technical affordances; we need to attend to the political and economic agendas.

If watching a video is more your jam, Janet presented a preview of this work at CITP Princeton a month ago and that video is now online.

While I’m not at FAccT (saaaad panda), I have been out and about. Ten days ago, I gave a talk at the Oxford Internet Institute to celebrate their 25th anniversary. Since I had given three co-authored paper talks at OII’s 10th (the ones that turned into Critical Questions for Big Data, It’s Just Drama, and Networked Privacy), I decided that it only made sense to give a 25th anniversary talk that wove together the past, present, and future of the internet that mixed together stories of social media, AI, and teenagers. “Dreaming of a Networked World” picks up themes from the FAccT paper, but the second half also includes new data from the Project Vibes team (led by Michele Ybarra) about teens’ attitudes towards AI. (Hint: it’s a doozy!)

It’s hard to believe that I’ve now been at Cornell for a year. It’s been an adventure! I taught three classes (Data & Society, Trust & Safety, and Theories to Think With). I have lots of irons in the oven, but I’m also now prepping for the launch of Data Are Made, Not Found. Book talks are confirmed in DC, Cambridge, Seattle, Boulder, and NYC. (Berkeley and Toronto are almost locked too.) I’m also talking with people about other cities. I can’t wait to share more. In the meantime, I would be ever so grateful if you could take the time to either pre-order the book or reserve a copy with your local library. 

Have an amazing summer! More soon!

Dans une tribune pour le Guardian, la chercheuse suédoise, Charlotta Kronblad, professeure à l’université de Gothenburg, raconte comment elle a tenté de se battre contre un algorithme d’affectation. En 2020, la ville de Göteborg a déployé un algorithme pour attribuer des places dans les collèges et optimiser les distances, les préférences et les capacités d’accueil. Mais voilà, « des centaines d’enfants ont été affectés à des écoles situées à des kilomètres de chez eux – de l’autre côté de rivières et de fjords, par-delà de grands axes routiers, dans des quartiers qu’ils n’avaient jamais visités et auxquels ils n’avaient aucun lien. Les parents, incrédules, ont constaté ces décisions. Avait-on seulement vérifié si un enfant de 13 ans pouvait raisonnablement parcourir ce trajet à pied en hiver ? Quel était le raisonnement derrière ces décisions ? Leurs préférences exprimées avaient-elles tout simplement été ignorées ? Personne au sein de l’administration scolaire ne semblait capable – ni disposé – à expliquer ce qui s’était passé ni à corriger les erreurs.»

Le fils de Charlotta était parmi les enfants désavantagés par l’algorithme. L’administration scolaire a indiqué que les parents pouvaient faire appel en cas de problème, comme si le problème n’était qu’une question d’insatisfaction individuelle et non pas un dysfonctionnement du système. Il a fallu près d’un an avant que les responsables municipaux ne confirment ce que beaucoup de parents soupçonnaient : « l’algorithme avait reçu des instructions erronées. Il calculait les distances à vol d’oiseau, et non celles des trajets piétonniers réels. »

Suite au tollé des familles, les procédures ont été améliorées pour l’année scolaire suivante. Mais pour environ 700 enfants déjà pénalisés par l’algorithme défectueux, rien n’a changé. Ils allaient passer toute leur scolarité au collège dans des établissements loin de chez eux.

L’injustice algorithmique qui en résulte n’est pas un problème abstrait, ni un problème propre au contexte suédois ; elle fait douloureusement écho à de récents scandales en Europe. Que ce soit celui de la Poste au Royaume-Uni ou celui des allocations familiales aux Pays-Bas, rappelle la chercheuse. Charlotta Kronblad a donc intenté un procès à la ville. Elle n’a pas contesté le placement individuel de son fils, mais la légalité de l’ensemble du système décisionnel et de ses résultats. « J’ai soutenu que la conception de l’algorithme violait la législation en vigueur.» 

Faute d’accès aux algorithmes du système, elle n’a pu les présenter au tribunal. Elle a fourni une analyse des affectations problématiques pour reconstituer son fonctionnement… Les services de la ville, eux, ont estimé que le système n’était qu’un simple outil d’aide à la décision qui n’a commis aucune faute, sans en fournir la moindre explication. 

« Ils n’ont pas eu à le faire. Le tribunal a fait peser la charge de la preuve sur moi. Il était de ma responsabilité, ont déclaré les juges, de démontrer que le système était illégal. L’analyse des décisions ne suffisait pas. Sans preuve directe du code, je ne pouvais pas atteindre le seuil de preuve requis. » Et sans communication du code, il était impossible de rien prouver. « L’affaire a été classée sans suite. » 

Nous savons que les algorithmes ne sont pas parfaits. C’est la raison d’être des tribunaux : contraindre à la divulgation, examiner et corriger. « Mais lorsque les cadres procéduraux restent obstinément analogiques et que les juges n’ont ni les outils, ni la compétence, ni le mandat pour interroger les systèmes algorithmiques, l’injustice triomphe. » Alors que nos autorités publiques déploient à grande échelle des systèmes opaques, les citoyens, confrontés à des conséquences bouleversantes, sont invités à faire appel individuellement. 

La charge de la preuve ne peut pas reposer sur les victimes, rappelle la chercheuse. Nous devons élaborer des règles de procédure permettant des recours qui ne soient pas individuels et qui exigent la transparence technique.