This is Behind the Blog, where we share our behind-the-scenes thoughts about how a few of our top stories of the week came together. This week, we discuss data dumps, high stakes, and lizard brain screen time.

JOSEPH: Flight Manifests Reveal Dozens of Previously Unknown People on Three Deportation Flights to El Salvador is the hardest hacking related article we’ve ever worked on. 

I’ve obtained some very sensitive data breaches over the last decade: metadata of specific individuals from the massive AT&T breach; photos of peoples’ genitalia pre- and post-plastic surgery. Honestly it’s hard to remember them all.

The data here wasn’t even necessarily as sensitive or personal as those. It was flight manifests, which contain peoples’ names, the flight they were on, and their gender. That’s basically it. But it was how to handle publication of the data that was exceptionally complicated and why it took us a while from when we first obtained the data a few months ago to publishing this week.

Hello 404 Media readers! We're excited to announce that we're having our first ever party in Los Angeles. We have partnered with the amazing DIY hackerspace RIP.SPACE in the Arts District.

We'll start the night with a live podcast about the surveillance technologies powering ICE, with a specific focus on tools that are being used in Los Angeles. We'll then change gears and do some Q&A about 404 Media and independent journalism. I'm considering doxing my Instagram algorithm as well. After that, we'll have a reception and party with music from our friend DJ Avey.

We'll have free beer and wine, good vibes, and hopefully a good conversation. Tickets are free for subscribers, $10 for the general public (you can also subscribe for free entry here). If you're a subscriber, scroll to the end of this post for your free ticket code.

GET TICKETS HERE

.

.

.

.

.

Conservative content mill PragerU is partnering with the White House to make AI-generated videos of founding fathers and Revolutionary War-era randos.

PragerU is a nonprofit organization with a mission “to promote American values through the creative use of digital media, technology and edu-tainment,” according to its website. It’s been criticized for advancing climate denial and slavery apologism, frequently publishes videos critical of “wokeness” and “DEI,” and is very concerned about “the death of the West.” It has also been increasingly integrated into school curricula around the country.

PragerU held a launch event for the series, “Road to Liberty,” on June 25. Secretary Linda McMahon took some time away from dismantling the Department of Education to speak at the event. In person at the White House, visitors can tour a display of notable Revolutionary War people and places, and scan a QR code on displays that take them to PragerU’s AI-generated videos of people from that time period speaking. 

Each of the videos highlights a different person who was alive during the signing of the Declaration of Independence, from former presidents to relatively minor players in the fight for independence. The videos are clearly AI-generated, with the sepia-toned peoples’ mouths moving almost independently from the rest of their faces in some of them. In one, an AI-generated John Adams says “facts do not care about our feelings,” a phrase commonly attributed to conservative commentator and PragerU contributor Ben Shapiro. 

At the end of the videos, there's a logo for the White House with the text "brought to you by PragerU," and a disclaimer: "The White House is grateful for the partnership with PragerU and the U.S. Department of Education in the production of this museum. This partnership does not constitute or imply U.S. Government or U.S. Department of Education endorsement of PragerU."

Professor of history Seth Cotlar spotted the videos in a thread on Bluesky: 

I asked Cotlar, as someone who specializes in American history and the rise of the far-right, what stood out to him about these videos. I thought it was odd, I said, that they chose to include people like politician and disgraced minister Lyman Hall and obscure poet Francis Hopkinson alongside more well-known figures like John Adams or Thomas Jefferson. 

“You're right to note that it's a pretty odd collection of figures they've chosen,” Cotlar said. “My guess is that this is part of the broader right wing populist push to frame themselves as the grassroots ‘true Americans,’ and they're including all of these lesser known figures with the hopes that their viewers will be like ‘oh wow, look at all of these revolutionary freedom fighters like me who were just kinda ordinary guys like me but who still changed history.’” 

He also said it’s noteworthy that the “Road to Liberty” lineup so far is almost entirely white men, including the random dudes like Hall and Hopkinson. “The lack of any pretense to inclusion is pretty notable. Even conservative glosses on the Revolution from the pre-Trump era would have included things like the Rhode Island Regiment or Lemuel Haynes or Phyllis Wheatley. Needless to say, they absolutely do not include Deborah Sampson,” Cotlar said. All of the people in the “coming soon” section on PragerU’s website are also white men. 

AI slop has become the aesthetic of the right, with authoritarians around the world embracing ugly, lazy, mass-produced content like PragerU’s founding father puppets. Here in the U.S., we have President Donald Trump hawking it on his social media accounts, including AI-generated images of himself as the Pope and “Trump Gaza,” an AI video and song depicting the West Bank as a vacation paradise where Trump parties alongside his former bestie Elon Musk. As Republicans used the response to Hurricane Helene to blame migrants, Amy Kremer, founder of Women for Trump, posted an AI image of a child caught in a flood hugging a puppy and then said she didn’t care that it wasn’t real: “Y’all, I don’t know where this photo came from and honestly, it doesn’t matter,” she wrote on X. Mike Lee shared the same image. AI slop makes for quick and easy engagement farming, and now it’s being produced in direct partnership with the White House.

I’m not sure what app or program PragerU is using to make these videos. I thought, at first, that they might be using one of the many basic lipsyncing or “make this old photo come alive” mobile apps on the market now. But the videos look better, or at least more heavily produced, than most of those apps are capable of. Just to make sure they haven’t somehow advanced wildly in the last few months since I checked one out, I tried one of them, Revive, and uploaded an image of John Adams to see if it would return anything close to what PragerU’s putting out. It did not. 

The PragerU videos aren't this bad, but they also aren’t as good as what would come out of Veo 3, the newest AI video generator, which generates highly realistic videos complete with sound and speech, from text prompts. I gave Veo a painting of John Adams and told it what to say; PragerU probably isn’t using this generator, because the result is much more realistic than what’s in the “Road to Liberty” series, even when I use a screenshot from one of their videos.

On the off chance the culprit is Midjourney—although the series’ style and the way the subjects’ mouths move almost independently of the rest of their faces don’t match what I’ve seen of Midjourney’s videos—I tried that one, too. I just gave Midjourney the same Adams portrait and a prompt for it to animate him praising the United States and it returned a raving lunatic, silently screaming. 

Striking out so far, I emailed Hany Farid, a professor at UC Berkeley and Chief Science Officer of synthetic media detection company GetReal, and asked if he had any leads. He said it looked similar to what comes out of AI video creation platform HeyGen, which creates AI talking heads and generates speech for them using ElevenLabs. I tried this on screenshots of the avatars in PragerU’s Martha Washington and John Adams videos to see if the puppet-mouth-style matched up, and they were pretty close.

PragerU’s videos are still more heavily produced than what I could make using the free version of HeyGen; it’s possible they used a combination of these to make the videos, plus some old-fashioned video editing and animation to create the final products. PragerU reported almost $70 million in income last year, they can afford the effort. 

“While the PragerU stuff is distinctly terrible, it's not like our culture has commemorated the Revolution with high-minded sophistication,” Cotlar told me. “I was 8 during the bicentennial and while I definitely learned some stuff about the founding era, most of what I absorbed was pretty schlocky.” He mentioned the "Bicentennial minutes" that were broadcast in 1975 and 76, sponsored by Shell, and which TV critic John J. O’Connor called “so insubstantial as to be almost meaningless.” The series won an Emmy.

In the last two years, several states, beginning with Florida, have approved PragerU content to be taught in public school classrooms. In Oklahoma, teachers relocating from states with "progressive education policies” will have to undergo an assessment in partnership with PragerU to determine if they’re allowed to teach. "If you want to teach here, you'd better know the Constitution, respect what makes America great, and understand basic biology,” State Superintendent Ryan Walters said in a press release. “We're raising a generation of patriots, not activists, and I'll fight tooth and nail to keep leftist propaganda out of our classrooms."

The CEO seemingly having an affair with the head of HR at his company at the Coldplay concert is a viral video for the ages, but it is also, unfortunately, emblematic of our current private surveillance and social media hellscape.

The video, which is now viral on every platform that we can possibly think of, has been covered by various news outlets, and is Pop Crave official, shows Andy Byron, the CEO of a company called Astronomer, with his arms around Astronomer’s head of HR, Kristen Cabot. The jumbotron cuts from one fan to this seemingly happy couple. They both simultaneously die inside; “Oh look at this happy couple,” Coldplay lead singer Chris Martin says. The woman covers her face and spins away. The man ducks out of frame. “Either they’re having an affair or they’re very shy,” Martin said. The camera pans to another company executive standing next to them, who is seemingly shaking out of discomfort.

It is hard to describe how viral this is at the moment, in a world in which so many awful things are occurring and in which nothing holds anyone’s attention for any length of time and in a world in which we are all living in our own siloed realities. “Andy Byron” is currently the most popular trending Google term in the United States, with more than double the searches of the next closest term. 

There are so many levels to this embarrassment—the Coldplay of it all, the HR violation occurring on jumbotron, etc—that one could likely write a doctoral dissertation on this 15 second video.

ICE officers are able to point their smartphone’s camera at a person and near instantaneously run their face against a bank of 200 million images, then pull up their name, date of birth, nationality, unique identifiers such as their “alien” number, and whether an immigration judge has determined they should be deported from the country, according to ICE material viewed by 404 Media.

The new material, which includes user manuals for ICE’s recently launched internal app called Mobile Fortify, provides granular insight into exactly how ICE’s new facial recognition app works, what data it can return on a subject, and where ICE is sourcing that data. The app represents an unprecedented linking of government databases into a single tool, including from the State Department, Customs and Border Protection (CBP), the FBI, and state records. It also includes the potential for ICE to later add commercially available databases that contain even more personal data on people inside the United States.

“This app shows that biometric technology has moved well beyond just confirming someone's identity. In the hands of ICE officers, it's becoming a way to retrieve vast amounts of data about a person on demand just by pointing a camera in their face,” Dave Maass, director of investigations at the Electronic Frontier Foundation (EFF), told 404 Media. “The more they streamline its use, the more they streamline its abuse. When an officer says, ‘papers please,’ you could choose to say nothing and face the consequences; with face recognition, your options are diminished.”

The flight manifests for three legally contested deportation flights from Texas to El Salvador contain dozens of additional, unaccounted for passengers than a previously published Department of Homeland Security (DHS) list of people deported from the United States on those flights, 404 Media has learned. The additional people on the flight manifest have not been publicly acknowledged by the U.S. government in any way, and immigration experts who have been closely monitoring Trump’s deportation campaign say they have no idea where these people are or what happened to them. 404 Media is now publishing the names of these people. 

On March 15, the Trump administration deported more than 200 people on three aircraft to a megaprison in El Salvador. A judge blocked the deportations, but hours later the flights still landed in the country. It marked one of the major turning points of the administration’s mass deportation efforts, and signaled what was to come around the country—a lack of due process, authorities ignoring judge’s rulings, and deporting people on the flimsiest of pretenses. Soon after these flights, CBS News published an “internal government list” of people it said were deported to CECOT, the notorious El Salvadorian megaprison.

But in May, a hacker targeted GlobalX, the airline that operated these flights and shared the data with 404 Media. In addition to the names of people who were on the list CBS News published, the GlobalX flight manifests contain the names of dozens of people who were supposedly on the flights but whose status and existence has not been acknowledged by the U.S. government or previously reported in the press. 

“We have this list of people that the U.S. government has not formally acknowledged in any real way and we pretty much have no idea if they are in CECOT or someplace else, or whether they received due process,” Michelle Brané, executive director of Together and Free, a group that has been working with families of deported people, told 404 Media. “I think this further demonstrates the callousness and lack of due process involved and is further evidence that the US government is disappearing people. These people were detained and no one knows where they are, and we don't know the circumstances […] For almost all of these people, there’s no records whatsoever. No court records, nothing.” 

“[The government is] not disclosing it and they’ve presumably been sent to a prison or sent somewhere by the U.S. government on a plane and have never been heard from since,” she added. “We have not heard from these people’s families, so I think perhaps even they don’t know.”

Brané added that it remains entirely unclear whether all of these people were actually on the flights or why they were on the manifests. If they were indeed on the flights, it is unknown where they currently are. That uncertainty, and the unwillingness of the U.S. government to provide any clarity about these people, is a major problem, she said.

While the stories of some of the people deported on these flights have garnered a lot of attention, such as Kilmar Abrego Garcia, U.S. authorities have refused to reveal the names of everyone on board. 

While the whereabouts and circumstances of most of these people remain unknown, Brané’s organization used publicly available data to try to better understand who they are. In some cases, Together and Free was able to identify a few details about specific people on the manifest. For example, one person on the manifest appears to have been arrested by local police in Texas in late December on drug possession charges and is listed in arrest records as being an “illegal alien.” Another person was arrested in Nashville in February on charges of driving without a license. For many other people listed, there is no easily discernible public data about who they are or why they appeared on the flight manifest.

Several other people are on the flight manifests and do not appear on the CBS News list, but their identities had already become public because their families have filed lawsuits or have been looking for them on social media. These include Abrego Garcia and Ricardo Prada Vásquez, a man whose family said he was “disappeared” because he did not appear on any official, publicly published lists. After the New York Times published an article about his disappearance, the Trump administration said he was at CECOT, and 404 Media was able to find his name on the March 15 flight manifests. 

In Venezuela, the family of another man who appears on the flight manifests but not on the CBS News list, Keider Alexander Flores Navas, has been protesting his disappearance and demanding answers. In a TikTok video posted in March, his mother Ana Navas explains that they suddenly stopped hearing from Keider before the March 15 flights. She said she eventually heard he was in federal detention. Then, she saw a photo of him in CECOT amongst a group of other prisoners: “The thing that worried me the most was he was not on any list. But this photo is from El Salvador. Lots of family members here recognize their sons [in official CECOT photos]. That’s my son,” she says, the camera panning to a circled image of Keider in CECOT.

In another TikTok video posted in June, the mother of 21-year-old Brandon Sigaran-Cruz explains that he had been “disappeared for three months” with no news of his whereabouts. Sigaran-Cruz also appears on the flight manifest but not the CBS News list. 

 The U.S. government previously acknowledged that, along with more than 200 Venezuelan citizens, it deported 23 Salvadorans to El Salvador on the three March 15 flights. There is no formal list of the Salvadorans who were on the flight, and none of them appeared on the CBS News list, which included only Venezuelan citizens. 

The United Nations’ Human Rights Office has also filed court petitions saying that it is investigating the “involuntary disappearances” of at least four Venezuelans who were sent to El Salvador on these flights. “Neither the Government of El Salvador nor the Government of the United States has published official information on the list of deported persons or their current place of detention,” the United Nations said in a “Report on Enforced or Involuntary Disappearances” it filed in court.

“There continues to be very little clarity as to the fate and whereabouts of the Venezuelans removed to El Salvador. To date, no official lists of the deported detainees have been published. Provision of further information by authorities is key, including providing families and their counsel with available information on the specific situation and whereabouts of their loved ones,” Elizabeth Throssell, a spokesperson for the UN Human Rights Office, told 404 Media in an email. “The UN Human Rights Office has been in contact with family members of over 100 Venezuelans believed to have been deported to El Salvador.”

404 Media asked the Department of Homeland Security (DHS) over multiple weeks if the agency had any legitimate security concerns with these names being published, or if it could tell us anything about these people. The agency never responded, despite responding to requests for comment for other 404 Media articles. GlobalX did not respond to a request for comment either.

“It is critical that we know who was on these March 15 flights,” Lee Gelernt, a lawyer at the American Civil Liberties Union (ACLU) and the lead counsel on the ACLU’s related case, told 404 Media. “These individuals were sent to a gulag-type prison without any due process, possibly for the remainder of their lives, yet the government has provided no meaningful information about them, much less the evidence against them. Transparency at a time like this is essential.”

In recent months, the U.S. government has said that the El Salvadorian government has jurisdiction over the people detained in CECOT, while El Salvador told the United Nations that “the jurisdiction and legal responsibility for these persons lie exclusively with the competent foreign authorities [the United States],” leading to a situation where people are detained in a foreign prison but both responsible parties are not willing to claim legal responsibility for them. A similar situation has happened in Florida at the “Alligator Alcatraz” camp, where people detained by the federal government are being held in a state-run facility, and experts have said it’s not clear who is in charge. Brané said with the massive increase in ICE funding as part of Trump’s new law, we are likely to see more detention camps, more detainments, more deportation flights, and, likely, more people who aren’t publicly accounted for in any way.

“When you look at what ICE is doing now in terms of how they treat people, how they operate when they're given even a little bit of rope, it’s terrifying to think what the budget increase is going to do,” Brané said. “This is a taste of what we're going to see on a much larger scale."

You can read the list below. 404 Media has removed people listed on the flight manifests as “guards” (404 Media found at least one of these names matched someone who lists their employment online as a flight transport detention officer). Reportedly eight women deported to El Salvador were later returned. 404 Media is not publishing the names of women known to have returned to the U.S. The manifest also includes the names of several El Salvadorians mentioned as being deported in a White House Press release, court proceedings, and media reports. We have not included their names below because the administration has formally acknowledged that they were deported.

Manuel Quijada-Leon
Irvin Quintanilla-Garcia
Jose Ramirez-Iraheta
Josue Rivera-Portillo
Jorge Rodriguez Gomez
Mario Jeavanni Rojas
Edgar Leonel Sanchez Rosales
Brandon Sigaran-Cruz
Miguel Enriquez Saravia
Abraham Hernandez-Mania
Jean Morales-Loaiza
Nelson Alfaro-Orellana
Jhonnarty Pachecho-Chirinos
Cristian Alpe-Tepas
Jordyn Alexander Alvarez
Jose Alvarez Gonzalez
Wilfredo Avendano Carrizalez
Jose Gregorio Buenano Cantillo
Istmar Campos Mejia
Jose Chanta-Ochoa
Keider Alexander Flores Navas
Noe Florez-Valladares
Miguel Fuentes-Lopez
Roberto Interiano Uceda
Jose Lopez Cruz
Diego Maldonado-Fuentes
William Martinez-Ruano
Osmer Mejias-Ruiz
Iran Ochoa Suescun
David Orantez Gonzalez
Ariadny Araque-Cerrada
Elena Cuenca Palma
Maria Franco Pina
Mayerkis Guariman Gonzalez
Wilmary Linares-Marcano
Scarlet Mendoza Perez
Ofreilimar Peña Boraure
Edilianny Stephany Rivero Sierralta
Dioneli Sanz Aljorna
Anyeli Sequera Ramirez
Yanny Suarez Rodriguez
Karla Villasmil-Castellano

A major mystery about a long-lost legend that was all the rage in Medieval England but survives in only one known fragment has been solved, according to a study published on Tuesday in The Review of English Studies.

Roughly 800 years ago, a legend known today as the Song of Wade was a blockbuster hit for English audiences. Mentions of the heroic character showed up in the works of Geoffrey Chaucer, for example. But the tale vanished from the literature centuries later, puzzling generations of scholars who have tried to track down its origin and intent. 

Now, for the first time, researchers say they’ve deciphered its true meaning—which flies in the face of the existing interpretation. 

“It is one of these really interesting and very unusual situations where we have a legend that was widely known and hugely popular throughout the Middle Ages, and then very suddenly in the middle of the 16th century, in the High Renaissance, it's just completely lost,” said James Wade, fellow in English at Girton College, University of Cambridge, who co-authored the study.

In 1896, the Medieval scholar M.R. James made a breakthrough on this literary cold case when he discovered a fragment of the Song of Wade in the Humiliamini sermon, which is part of a compendium that dates back to the 12th century. James brought the text to his colleague Israel Gollancz, a philologist with expertise in early English literature, and together they worked on a translation.

It is “the only surviving fragment” of the Song of Wade, said co-author Seb Falk, fellow in history and philosophy of science also at Girton College. “Obviously it had been around already for a while by the time this was written because it's part of the culture. The person who writes this sermon clearly expects his listeners to understand it and to know what he's talking about.”

James and Gollancz “knew there was no surviving text and they understood what they were looking at,” added Wade. “This was big news. It made the papers in 1896.”

But while the 19th century scholars recovered the sermon, their translation only deepened the mystery of the enigmatic text. For instance, references to “elves” and “sprites” in the translation suggest that the Song of Wade falls into a genre of fantastical epics about supernatural monsters. But when Chaucer references Wade in his works Troilus and Criseyde and The Merchant’s Tale, he places the character in a totally different tradition of chivalric romances which are rich with metaphors, but typically favor more grounded scenarios.

Chaucer’s mentions of Wade have perplexed scholars for centuries: in 1598, for instance, an early Chaucer editor named Thomas Speght wrote: “Concerning Wade and his [boat] called Guingelot, as also his strange exploits in the same, because the matter is long and fabulous, I passe it over.” In other words, Speght didn’t even try to decipher what Chaucer meant with his references to Wade.

This punt has become legendary in literary circles. “F. N. Robinson wrote in 1933 that Speght’s comment ‘has often been called the most exasperating note ever written on Chaucer’, and Richard Firth Green observed that Speght’s note ‘has caused generations of scholars to tear their hair out,’” Wade and Falk write in their new study.  

In 1936, the scholar Jack Bennett "supposed that there is ‘probably no better known crux in Chaucer than the tale of Wade,’” the pair added.

A few years ago, Wade and Falk set out to see if they could shed light on this famous and persistent riddle. Like so many good ideas, it began over a lunchtime conversation. From there, the team slowly and methodically worked through the sermon, scrutinizing each letter and rune.  

“Just trying to decipher the thing took quite a lot of work—transcribing it and then making an initial translation,” Falk said. “But I started realizing there's some really interesting material here from my point of view, as a historian of science, with lots of animals mentioned, both in Middle English and in Latin.”

As the pair worked through the text, they began to suspect that the scribe who originally copied the work may not have been very familiar with Middle English, leading to some transcription errors with certain runes. In particular, they found that the longstanding translation of “elves” and “sprites” were, in their view, more likely to be “wolves” and “sea snakes.” This transforms a key Song of Wade passage, “Some are elves and some are adders; some are sprites that dwell by waters,” to: 

“Some are wolves and some are adders; some are sea-snakes that dwell by the water.”

It may seem like a subtle shift, but it is a major sea change for the interpretation of the text. The switch to animals, as opposed to supernatural beings, suggests that the preacher who wrote the sermon was using animals as metaphors for human vices and behaviors—a reading that provides a much better fit for the overall sermon, and at last explains why Chaucer viewed Wade in the tradition of chivalry.

“It became pretty clear to us that the scribe had probably made some kind of a mistake because he was used to writing Latin rather than English,” Falk said. “We're not here to say that people who read it differently previously were stupid to miss it, but I think by looking at it from the outside in, we got a different perspective.”

“It then radically changes the meaning of the passage from being about monsters to being about animals, and therefore, changes it from being a piece about mythical beasts to a piece about courtly romance,” he added.

In addition to relieving centuries-old headaches over the legend, Wade and Falk also speculate that the sermon was originally written by English poet and abbot Alexander Neckam (1157–1217), based on its style and context clues. 

For the researchers, the thrill of the discovery lies not only in decoding the fragment, but in recovering a missing piece of cultural memory. While their new translation and attribution to Neckam are both tentative and may be disputed by other scholars, the study still opens a window into a long-lost legend and shows how fresh eyes can uncover insights in even the most perplexing fragments.

“By putting a completely different slant on it and, we think, understanding it properly, we have come much closer to the true meaning of the Wade legend,” Falk said. “Now, obviously we've only got three lines of this presumably much longer poem, and therefore, we can't pretend that we understand the thing in full, but I think we can understand it much better than we ever have before.”

“It reminds us that as time moves on, there's always the possibility of generational amnesia, of forgetting things, of losing things, and that when you have a chance to get a little bit back of something that humanity has lost, or that culture has lost, it's a really exciting moment,” Wade concluded.

Steam, the dominant digital storefront for PC games operated by Valve, updated its guidelines to forbid “certain kinds of adult content” and blamed restrictions from payment processors and financial institutions. The update was initially spotted by SteamDB.info , a platform that tracks and publishes data about Steam, and reported by the Japanese gaming site Gamespark.

The update is yet another signal that payment processors are lately becoming more vigilant about what online platforms that host adult content they’ll provide services to and another clear sign that they are currently the ultimate arbiter of what kind of content can be made easily available online, or not. 

Steam’s policy change appears under the onboarding portion of its Steamworks documentation for developers and publishers. The 15th item on a list of “what you shouldn’t publish on Steam” now reads: “Content that may violate the rules and standards set forth by Steam’s payment processors and related card networks and banks, or internet network providers. In particular, certain kinds of adult only content.”

It’s not clear when exactly Valve updated this list, but an archive of this page from April shows that it only had 14 items then. Other items that were already on the list included “nude or sexually explicit images of real people” and “adult content that isn’t appropriately labeled and age-gated,” but Valve did not previously mention payment processors specifically. 

"We were recently notified that certain games on Steam may violate the rules and standards set forth by our payment processors and their related card networks and banks," Valve spokesperson Kaci Aitchison Boyle told me in an email. "As a result, we are retiring those games from being sold on the Steam Store, because loss of payment methods would prevent customers from being able to purchase other titles and game content on Steam. We are directly notifying developers of these games, and issuing app credits should they have another game they’d like to distribute on Steam in the future."

Valve did not respond to questions about where developers might find more details about payment processors’ rules and standards. 

SteamDB.info, which also tracks when games are added or removed from Steam, noted many adult games have been removed from Steam in the last 24 hours. Sex games, many of which are of very low quality and sometimes include very extreme content, have been common on Steam for years. In April, I wrote about a “rape and incest” game called No Mercy which the developers eventually voluntarily removed from Steam after pressure from users, media, and lawmakers in the UK. The majority of games I saw that were removed from Steam recently revolve around similar themes, but we don’t know if they were removed by the developers or Valve, and if they were removed by Valve because of the recent policy change. Games are removed from Steam every day for a variety of reasons, including expired licensing deals or developers no longer wanting to support a game. 

However, Steam’s policy change comes at a time that we’ve seen increased pressure from payment processors around adult content. We recently reported that payment processors have forced two major AI models sharing platforms, Civitai and Tensor.Art, to remove certain adult content.

Update: This story has been updated with comment from Valve. 

We start this week with a series of articles from Emanuel about a crackdown in the AI industry. After the break, Sam tells us about the ‘Save Our Signs’ campaign which hopes to preserve the history of national parks. In the subscribers-only section, Jason rants about how AI will not save the media industry. 

Listen to the weekly podcast on Apple Podcasts, Spotify, or YouTube. Become a paid subscriber for access to this episode's bonus content and to power our journalism. If you become a paid subscriber, check your inbox for an email from our podcast host Transistor for a link to the subscribers-only version! You can also add that subscribers feed to your podcast app of choice and never miss an episode that way. The email should also contain the subscribers-only unlisted YouTube link for the extended video version too. It will also be in the show notes in your podcast player.

• 404 Media Los Angeles event details (free for subscribers; $10 otherwise)
• a16z-Backed AI Site Civitai Is Mostly Porn, Despite Claiming Otherwise
• Hugging Face Is Hosting 5,000 Nonconsensual AI Models of Real People
• Payment Processors Are Pushing AI Porn Off Its Biggest Platforms
• 'Save Our Signs' Wants to Save the Real History of National Parks Before Trump Erases It
• The Media's Pivot to AI Is Not Real and Not Going to Work

Yesterday I ordered my lunch from an AI operating a drive-thru. It was fine. Banal. Boring even. A new experience that I think will become routine in the future.

The AI drive-thru operator isn’t cutting edge tech deployed in an upscale market to win over high value consumers. I live at the edge of a South Carolina city with a little more than 140,000 people. A booming metropolis with the best and the finest, it is not.

There’s a lot of local fast food fried chicken joints here and one of them is Bojangles. It’s mid. Better than KFC and not as good as Popeyes, Bojangles is fine if you’re hungry but you’ll forget the meal as soon as it’s done and you’ll never yearn for it. Last year the restaurant said it would deploy an AI agent at its drive-thru windows. It’s called, I shit you not, Bo-Linda and made by the Israeli tech firm Hi-Auto.

According to the Bojangles website, “Bo-Linda™ can take guest orders 96+% of the time with no human intervention,” and “improve overall satisfaction by offloading order taking from team members and providing a consistent guest experience.”

When Bo-Linda finally arrived in South Carolina, I went to see what the fuss was about. It was crushingly dull. A preview of a time in the near future, I think, when the AI bubble retracts and the agents are common. It took my order with an efficiency that, I’ll be honest, is not typical of the typical fast food worker. The worst part was its constant attempts to up-sell me.

“Do you want to upgrade your drink to our new water-melon iced tea?” It asked.

“No thank you.”

“Would you like to add our new peach cobbler for $1.99?”

“No thank you.”

“May I get you anything else?”

“No, that’s it.”“Would you like to round up for military scholarships?”“No thank you.”

“You’re welcome. Thank you. Your total is $10.89.”

When 404 Media founder Joseph Cox watched the video of my interactions, he made fun of my “no thank yous.” What can I say? There’s an ingrained and often stifling politeness that’s bred into us in the American South. Even though I knew I was talking to a machine, I couldn’t not be nice to it.

My thought in the immediate aftermath is that the whole thing was painless. My order wasn’t complicated, but it was correct. The machine never stumbled over itself or asked for clarification. It knew what I wanted and the humans at the window gave it to me. A few conversations with friends and a quick scan of social media in the area show that other people have had much the same interactions with Bo-Linda.

The drive-thru AI, much like the chicken it sold me, is fine. Forgettable.

It was later, sitting at home, and doing a little research for the story that concerns popped up. OpenAI CEO Sam Altman has said that saying “please” and “thank you” to ChatGPT has cost the company tens of millions of dollars. How much water and energy had I burned being polite to Bo-Linda the chatbot?

Sometimes it feels like the answers to these questions don’t matter. We’re barreling forward into the AI future, whether we like it or not. Data centers are springing up across America and nuclear power plants are coming back online, so Bojangles can make a little more money and so people in the drive-thru can feel a little less friction before eating their meal.

This is how a new technology takes over, what it feels like right before it becomes ubiquitous. One day you wake up and the cameras are everywhere, able to recognize your face and chart your movements across the city you live in. One day you look up and everyone has their face buried in their phone. It happened by degrees, but so gradually you didn’t notice. There were signs along the way, dangers and warnings.

But mostly, it was fine, as boring and routine as ordering chicken at a drive-thru.

So-called 3D-printed ghost guns are untraceable firearms that can be assembled at home. But cutting edge work from a forensic expert in California and researchers at the University of Oklahoma may soon show investigators can trace a 3D printed object to the specific printer that made it.

Weapons manufactured using 3D printers have been a subject of Biden-era legislation and recent Supreme Court scrutiny. It’s possible to download the blueprints for a firearm and build it in your home. There’s no serial number to track and no store to scrutinize your purchase. Luigi Mangione used a ghost gun to allegedly assassinate United Healthcare CEO Brian Thompson.

For a while, I have said that the AI slop endgame, for social media companies, is creating a hyper personalized feed full of highly specific content about anything one could possibly imagine. Because AI slop is so easy to make and because social media algorithms are so personalized, this means that Facebook, Instagram, TikTok, or YouTube can feed you anything they perceive its users to possibly want. So this means that AI slop makers are exploring ever more niche areas of content. 

Case in point: Facebook AI slop about the horrific and deadly Texas flood. Topical AI content about disasters, war, current events, and news stories are at this point so commonplace that they are now sadly barely notable, and AI-powered “misinformation” about horrible events are all over every social media feed I can think of. But as we document our descent into this hellhole, I thought some AI slop surfaced on Bluesky by Christina Stephens was particularly notable:

Yesterday, Silicon Valley trade publication The Information launched TITV, a live-streaming news program. For its first episode, the company’s founder Jessica Lessin interviewed Mark Zuckerberg about his recent attempts to hire AI executives away from other companies for huge sums of money.

It is impossible to say what actually happened in the interview, however, because there were audio problems with the livestream—the Zuckerberg segment was completely silent, giving us a minute and 50 seconds of video of Zuckerberg’s face moving with no sound coming out.

In recent weeks, however, Zuckerberg has really ramped up his rhetoric about “superintelligence,” throwing hundreds of millions of dollars at AI researchers in attempts to hire them at Meta, and beginning work on massive data centers around the country to power his AI. Zuckerberg and Meta have talked endlessly about AI as a game changer, while being unable or unwilling to keep AI-generated misinformation and slop off of Meta platforms.

Meanwhile, there has been increased discussion about the possible power of using AI for journalism, which we have written about extensively. I saw the silent interview with Zuckerberg as both an opportunity to check out the awesome abilities of Meta’s AI, and to test AI tools at a task some of them are supposedly good at—reading lips. If these technologies worked as well as their creators have promised, it might be possible to provide the world with information from The Lost Mark Zuckerberg Interview.

Here is how my experiment went.

Because Zuckerberg was obviously talking about Meta AI, I thought I would try his tool first. I took video from the interview and asked Meta AI to lip read it to tell me what they were saying:

“I’d love to help! However, I’m a text-based AI and don’t have capability to visually lip read videos,” Meta AI said. It then suggested that I “find a professional lip reader or transcription service that specializes in lip reading videos” or “use automated lip reading software.” 

I then tried to upload still images to see if Meta AI could parse them:

When I uploaded additional images, Meta AI was also not able to provide any information about what was being said.

I then went to ChatGPT, because Zuckerberg is reportedly offering pay packages of up to $300 million to OpenAI staffers to come work at Meta. I uploaded the 1:50 video and ChatGPT told me “the video processing took too long and timed out.” I then uploaded a 25 second clip and it told me “the system is still timing out while trying to extract frames.” I then asked it to do the first five seconds and it said “even with the shorter clip and smaller scope (first 5 seconds), the system timed out.” I then asked for it to extract one single frame, and it said “it looks like the system is currently unable to extract even a single frame from the video file.” ChatGPT then asked me to take a screenshot of Zuckerberg. I sent it this: 

And ChatGPT said “the person appears to be producing a sound like ‘f’ or ‘v’ (as in ‘video’ or ‘very’),” but that “possibly ‘m’ or ‘b,’ depending on the next motion.” I then shared the 10 frames around that single screenshot, and ChatGPT said “after closely analyzing the progression of lip shapes and facial motion,” the “probable lip-read phrase” was “This is version.” I then uploaded 10 more frames and it said the “full phrase so far (high confidence): ‘This version is just.’”

I then decided to try to extract every frame from the video and upload it to ChatGPT.

I went to a website called frame-extractor.com and cut the video into 3,000 frames. After it had processed 700 of them, I tried to upload them to ChatGPT and it did not work. I then decided I would go 10 frames at a time from the beginning of the clip. Even though I sent an entirely different portion of the video and told ChatGPT we were starting from a different part of the video, it still said that the beginning of the video said “this version is.” I continued uploading frames, 10 at a time. These frames included both Lessin and Zuckerberg, not just Zuckerberg.

ChatGPT slowly began to create a surely accurate transcript of the lost audio of this interview: “This version is just that it we built,” ChatGPT said. As I added more and more frames, it refined the answer: “This version is what we’re going to do,” it said. Finally, it seemed to make a breakthrough. “Is this version of LLaMA more powerful than the one we released last year?” the ChatGPT transcript said. It was not clear about who was speaking, however. ChatGPT said "her mouth movements," but then explained that the "speaker is the man on the left" (Lessin, not Zuckerberg, was speaking in these frames). 

I had uploaded 40 of a total of 3,000 frames. Zoom video is usually 30 fps, so in approximately 1.5 seconds, Lessin and/or Zuckerberg apparently said “Is this version of LLaMA more powerful than the one we released last year?” I then recorded this phrase at a normal speaking speed, and it took about four seconds. Just a data point.

Lipreadtest

0:00

/4.973333

1×

I then got an error message from ChatGPT, and got rate-limited because I was uploading too much data. It told me that I needed to wait three hours to try again. 

Finally, I did what Meta AI told me to do, and tried a bespoke AI lip reading app. I found one called ReadTheirLips.com, which is powered by Symphonic Labs. This is a tool that people have been trying to use in recent months to figure out what Donald Trump and Jeffrey Epstein were saying to each other in silent b-roll news footage, without much success.

I paid $10 for three minutes worth of transcription and asked it to lip read using its “Multiface Detection.” After waiting 10 minutes, I got an error message that said “Transcription failed, no credits have been used, try again later.” I then asked it to focus only on Zuckerberg, and actually got some text. I separately asked it to focus on Lessin.

Here is a transcript of what the AI says they were talking about. It has not been edited for clarity and I have no idea which parts, if any, are accurate:

LESSIN: Thanks for joining us again, TV. We're happy to have you already this morning. News that you've spent even more money with your big announcement about your new supercomputers. We'll get to that, but to start, you've been in huge scale like I.

ZUCKERBERG: Happy TO BE HERE. We're GOING TO TALK A LITTLE BIT ABOUT META'S AI STRATEGY. It's BEEN BUSY, YOU KNOW? I THINK THE MOST EXCITING THING THIS YEAR IS THAT WE'RE STARTING TO SEE EARLY GLIMPSES OF SELF-IMPROVEMENT WITH THE MODELS, WHICH MEANS THAT DEVELOPING SUPERINTELLIGENCE IS NOW.

LESSIN: You HAVE BEEN ON A PLANE OF AI HIRING, WHY AND WHY NOW? 

ZUCKERBERG: Insight, and we just want to make sure that we really strengthen the effort as much as possible to go for it. Our mission with a lab is to deliver personal superintelligence to everyone in the world, so that way, you know, we can put that power in every individual's hand. I'm really excited about it.

LESSIN: I DON'T KNOW, I DON'T KNOW, I DON'T KNOW.

ZUCKERBERG: Than ONE OF THE OTHER LABS YOU'RE DOING, AND YOU KNOW MY VIEW IS THAT THIS IS GOING TO BE SOMETHING THAT IS THE MOST IMPORTANT TECHNOLOGY IN OUR LIVES. IT'S GOING TO UNDERPIN HOW WE DEVELOP EVERYTHING AND THE COMPANY, AND IT'S GOING TO AFFECT SOCIETY VERY WISELY. SO WE JUST WANT TO MAKE SURE WE GET THE BEST FOCUS.

LESSIN: Did YOU FEEL LIKE YOU WERE BEHIND WHAT WAS COMING OUT OF LAW BEFORE I'M NOT ADJUSTING.

ZUCKERBERG: On THIS FROM ENTREPRENEURS TO RESEARCHERS TO ENGINEERS WORKING ON THIS HIDDEN INFRASTRUCTURE, AND THEN OF COURSE WE WANT TO BACK IT UP WITH JUST AN ABSOLUTELY MASSIVE AMOUNT OF COMPUTER RESEARCH, WHICH WE CAN SUPPORT BECAUSE WE HAVE A VERY STRONG BUSINESS MODEL THAT THROWS OFF A LOT OF CAPITAL. LET'S TALK ABOUT.

LESSIN: Like THIS SUMMER, PARTICULARLY, YOU SWITCH GEARS A LITTLE BIT.

ZUCKERBERG: I THINK THE FIELD IS ACCELERATING, YOU KNOW, WE KEEP ON TRACK FOR WHERE WE WANT TO BE, AND THE FIELD KEEPS US MOVING FORWARD.

The video ends there, and it cuts back to the studio.

Update: The Information provided 404 Media with several clips (with audio) from Lessin's interview with Zuckerberg, as well as a real transcript of the interview. Here is the real segment of what was said. As you can see, the AI captured the jist of this portion of the interview, and actually did not do too bad:

Lessin: Mark, thanks for joining TITV. We're happy to have you here. Already this morning, [there’s] news that you've spent even more money with your big announcement about your new supercomputers. We'll get to that. But to start, you took a huge stake in ScaleAI. You have been on a blitz of AI hiring. Why, and why now?

Zuckerberg: Yeah, it's been busy. You know, I think the most exciting thing this year is that we're starting to see early glimpses of self-improvement with the models, which means that developing super intelligence is now in sight, and we just want to make sure that we really strengthen the effort as much as possible to go for it. Our mission with the lab is to deliver personal super intelligence to everyone in the world, so that way we can put that power in every individual's hand. And I'm really excited about it. It's a different thing than what the other labs are doing.

And my view is that this is going to be something that is the most important technology in our lives. It's going to underpin how we develop everything at the company, and it's going to affect society very widely. So we just want to make sure that we get the best folks to work on this, from entrepreneurs to researchers to engineers working on the data and infrastructure.

And then, of course, we want to back up with just an absolutely massive amount of compute which we can support, because we have a very strong business model that throws off a lot of capital.

Lessin: Did you feel like you were behind coming out of Llama 4? It seems like this summer, in particular, you switched gears a little bit.

Zuckerberg: I think the field is accelerating, you know, we keep on having goals for where we want to be. And then the field keeps on moving faster than we expect.

The rest of the interview is available at The Information.

ICE Block, an app that lets users warn others about the location of ICE officers, and which for a short while was the top of the social media App Store chart, does protect users’ privacy and doesn’t share your location with third parties, according to a recent analysis from a security researcher. ICE Block already claimed that it did not collect any data from the app; the analysis now corroborates that.

“It’s not uploading your location at all, when you make a report that report isn’t associated with your device in any way, and there are no third party services that it talks to or sends data to,” Cooper Quintin, senior public interest technologist at the Electronic Frontier Foundation (EFF), who analyzed the ICE Block app, told 404 Media.

Hugging Face, a company with a multi-billion dollar valuation and one of the most commonly used platforms for sharing AI tools and resources, is hosting over 5,000 AI image generation models that are designed to recreate the likeness of real people. These models were all previously hosted on Civitai, an AI model sharing platform 404 Media reporting has shown was used for creating nonconsensual pornography, until Civitai banned them due to pressure from payment processors. 

Users downloaded the models from Civitai and reuploaded them to Hugging Face as part of a concerted community effort to archive the models after Civitai announced in May it will ban them. In that announcement, Civitai said it will give the people who originally uploaded them “a short period of time” before they were removed. Civitai users began organizing an archiving effort on Discord earlier in May after Civitai indicated it had to make content policy changes due to pressure from payment processors, and the effort kicked into high gear when Civitai announced the new “real people” model policy. 

At the time of writing, the Discord channel has hundreds of members who are still finding and sharing models that have been removed from Civitai and are reuploading them to Hugging Face. Some users have even shared a piece of software, also hosted on Hugging Face, which allows users to automatically upload Civitai models to Hugging Face in batches. 

Hugging Face did not respond to multiple requests for comment. It also did not respond to specific questions about how and if it plans to moderate these models given the fact that they were previously hosted on a platform primarily used for AI generating pornography, and which our reporting shows were used to create noncensual pornography. 

I found the Civitai models of real people that were reuploaded to Hugging Face thanks to a paper I covered where researchers scraped Civitai. The paper showed that the platform was primarily used for pornographic content, and that it deleted at least 50,000 AI models designed to recreate the likeness of real people once it changed its policy in May. The researchers, Laura Wagner and Eva Cetinic from the University of Zurich, provided me with a spreadsheet of all the deleted models, which included the name of the models (which is almost always the name of a female celebrity or lesser known internet personality), a link to where it was previously hosted on Civitai, and the SHA256 hash Civitai uses to identify all the models hosted on its site. 

The people who are reuploading the Civitai models to Hugging Face are seemingly trying to hide the purpose of those models on Hugging Face. On Hugging Face, these models have generic names and URLs like “LORA” or “Test model.” Users can’t tell that these models are used to generate the likeness of real people just by looking at their Hugging Face page, nor would they be able to find them by searching for the names of celebrities on Hugging Face. In order to find them, users can go to a separate website the Civitai archivists created. There, they can enter the name of a Civitai model, the link where it used to be hosted on Civitai before it was deleted, or the model’s SHA256 hash. All of these will lead users to a page which explains what the model is, show its name, as well as several images showing the kind of images it can generate. At the bottom of that page is a link to one or more Hugging Face “mirrors” where the model has been reuploaded. 

By using Wagner’s and Cetinic’s data and entering it into this Civitai archive site, I was able to find the Civitai models hosted on Hugging Face. 

Hugging Face’s content policy bans “Unlawful, defamatory, fraudulent, or intentionally deceptive Content (e.g., disinformation, phishing, scams, inauthentic behavior),” as well as “Sexual Content used for harassment, bullying, or created without explicit consent.” Models that generate the likeness of real people don’t have to be used for unlawful or defamatory ends, and they only produce sexual content if people choose to use them that way. There’s nothing in Hugging Face’s content policy that explicitly forbids AI models that recreate the likeness of real people. 

However, the Hugging Face Ethics & Society group, which is “committed to operationalizing ethics at the cutting-edge of machine learning,” has identified six “high-level categories for describing ethical aspects of machine learning work,” one of which is that AI should be “Consentful.”

“Consentful technology supports the self-determination of people who use and are affected by these technologies,” the company explains. Examples of this, the company says, includes “Avoiding extractive, chauvinist, ‘dark,’ and otherwise ‘unethical’ patterns of engagement.”

Other AI models that recreate the likeness of real people could conceivably not violate any of these principles. For example, two of the deleted Civitai models that were reuploaded to Hugging Face were designed to recreate the likeness of Vladimir Putin, which in theory people would want to use in order to mock or criticize the Russian president. However, the vast majority of the models are of female celebrities, which my reporting has shown is being used to create nonconsensual sexual content, and which were deleted en masse from Civitai because of pressure from payment processors who didn’t want to be associated with that type of media. 

In the two years that I’ve been reporting about Civitai, a platform for sharing AI image generation models that has been instrumental in the production of AI generated non-consensual porn, Civitai has consistently argued that the amount of adult content on the site has been overstated. But new research shows that, if anything, the amount of adult content on Civitai has been underestimated.

In their paper, “Perpetuating Misogyny with Generative AI: How Model Personalization Normalizes Gendered Harm,” researchers Laura Wagner and Eva Cetinic from the University of Zurich studied more than 40 million user-generated images on Civitai and over 230,000 models. They found “a disproportionate rise in not-safe-for-work (NSFW) content and a significant number of models intended to mimic real individuals” on the platform, they write in the paper.

“What began as a promising creative breakthrough in TTI [text-to-image] generation and model personalization, has devolved into a pipeline for the large-scale production of sensational, biased, and abusive content. The open-source nature of TTI technologies, proclaimed as a democratizing force in generative AI, has also enabled the propagation of models that perpetuate hypersexualized imagery and nonconsensual deepfakes,” Wagner and Cetinic write in their paper. “Several indicators suggest a descent into a self-reinforcing feedback loop of platform decay. These include a dramatic increase in NSFW imagery, from 41% to 80% in two years, as well as the community’s normalization of deepfakes, misogynistic tropes, and other exploitative content.”

To visualize just how dominant adult content was on Civitai, check the chart below, which shows the distribution of images by “NSFW browsing levels” over time. These categories, which are inspired by the Motion Picture Association film rating system and are used by Civitai to tag images, show that adult content was always a significant portion of all images hosted on the site, but that the portion of “overtly sexual, or disturbing” content only grew as the site became more popular, and exploded starting in 2024. The chart is based on Civitai’s own numbers and categorization system which the researchers scraped from the site. It likely undercounts the number of explicit images on the site since as both the researchers and I observed during my reporting, not all adult content is tagged as such. 

In December, 2023, Civitai CEO Justin Maier told Venture Beat that “less than 20% of the posted content is what we would consider ‘PG-13’ or above.” When I reached Maier for comment for this article, he told me that “The VentureBeat figure cited a December 2023 snapshot, when adult posts were a minority. The mix shifted in 2024 as many NSFW creators migrated from platforms that no longer allow that content.”

However, the data in the paper shows that by October of 2023, 56 percent of all images on the site were tagged as “NSFW” and were designated by Civitai as “PG-13” or above.

In May, Civitai announced it’s banning all AI image generation models designed to recreate the likeness of real people because of pressure from payment processors. Since the authors of the paper were already tracking hundreds of thousands of models hosted on Civitai, they could easily see which models were removed, giving us a first clear look at how common those models were. 

Overall, they saw that more than 50,000 models designed to AI-generate the likeness of real people were removed because of the ban. These are models that Civitai itself tagged as “person of interest,” the tag it uses to indicate a model recreates the likeness of a real person, so the actual number of models depicting real people is likely higher. 

It’s hard to say if the most popular AI models on Civitai were all popular just because they were used to generate explicit images, because people could use models tagged as NSFW to generate non-nude images and vice versa. For example, according to the data collected by the researchers the most popular AI image generation model on Civitai was EasyNegative with almost 600,000 downloads. It’s not tagged or promoted as a model for generating pornography, but images that users created with it, which are shared on its Civitai model page, show it is commonly used that way. 

Other very popular models on Civitai are clearly designed to generate explicit images. The sixth most popular model with 360,000 downloads is Nudify XL: Better Bodies, which its creator says is for “nude female frontals.” A model called Realistic Vaginas - God Pussy 1 had 256,000 downloads. The POV Squatting Cowgirl LoRA model, which Civitai tagged as a “sex” model, had 189,000 downloads. 

The authors of the paper also conducted deeper analysis of the 40,000 most downloaded models on Civitai. In the 11,151 models where they could extract textual training data, meaning text that indicates what kind of images the models were trained on, they found “specifically abusive terms.” 5.6 percent included the keywords “loli” (558 models) and/or “shota” (69 models), Japanese terms commonly used to refer to sexualized depictions of pre-pubescent girls and boys. About 2.1 percent (189 models) included the keyword “rape.”

The data shows with clear numbers what we have long argued at 404 Media: adult content drives technological innovation and early adoption, and this has been especially true in the world of generative AI. Despite its protestation to the contrary, Civitai, which is one of the fastest growing platforms in that industry, and that the influential Silicon Valley venture capital firm Andreessen Horowitz invested in, grew because of explicit content, much of which was nonconsensual. 

“The rapid rise of NSFW content, the over-representation of young female subjects, and the prioritization of sensational content to drive engagement reflect an exploitative, even abusive dynamic,” the researchers wrote. “Additionally, structural discrimination embedded in today’s open-source TTI tools and models have the potential to cause significant downstream harm as they might become widely adopted and even integrated into future consumer applications.” 

Adult content driving innovation and early adoption doesn’t have to be harmful. As the researchers write, it’s the choices platforms like Civitai make that give us these outcomes. 

“The contingent nature of technology, shaped by online communities, platform operators, lawmakers, and society as a whole, also creates opportunities for intervention,” they write. “Model-sharing hubs and social media platforms both have the capacity to implement safeguards that can limit the spread of abusive practices such as deepfake creation and abusive imagery.”

Many trains in the U.S. are vulnerable to a hack that can remotely lock a train’s brakes, according to the U.S. Cybersecurity and Infrastructure Security Agency (CISA) and the researcher who discovered the vulnerability. The railroad industry has known about the vulnerability for more than a decade but only recently began to fix it.

Independent researcher Neil Smith first discovered the vulnerability, which can be exploited over radio frequencies, in 2012. 

“All of the knowledge to generate the exploit already exists on the internet. AI could even build it for you,” Smith told 404 Media. “The physical aspect really only means that you could not exploit this over the internet from another country, you would need to be some physical distance from the train [so] that your signal is still received.”

The Moderate Party of Sweden has removed an AI tool from its website after people used it to generate videos of Prime Minister Ulf Kristersson asking Adolf Hitler for support.The tool allowed users to generate videos of Kristersson holding an AI-generated message in an attempt to promote the candidate ahead of the general election in Sweden next year.

Swedish television station TV4 used the tool to generate a video of Kristersson on a newspaper above the headline “Sweden needs Adolf Hitler” after it noticed that it had no guardrails or filters.

In the video TV4 generated using the website, Kristersson makes his pitch over stock footage of old people embracing. A woman runs through a field, the camera focusing on flowers while the sun twinkles in the background. Cut to Kristersson. He turns a blue board around. “We need you, Adolf Hitler,” it says.

The Moderates removed the AI system from its website, but the videos of Ulf asking Hitler to join the Moderates remain on social media and TV4’s website..

In an attempt to bolster its party's ranks, Moderates launched a website that allowed users to generate a custom video of Kristersson asking someone to join the party. The idea was probably to have party members plug in the names of friends and family members and share what appeared to be a personalized message from the PM asking for their support.

In the video, Kristersson stands in front of stairs, makes his pitch, and turns around a blue tablet that bears a personalized message to the viewer. The system apparently had no guardrails or filters and Swedish television station TV4 was able to plug in the names Adolf Hitler, Ugandan dictator Idi Amin, and Norwegian mass murderer Anders Breivik.

The Moderate Party did not return 404 Media’s request for a comment about the situation, but told TV4 it shut down the site as soon as it learned people were using it to generate messages with inappropriate names.

The Moderate Party’s AI-generated video was simple.. It filmed the PM holding a blue board it could easily overlay with input from a user and then used AI to generate the fake newspaper and a few other slides. Preventing people from typing in “Hitler” or “Anders Brevik” would have been as simple as maintaining a list of prohibited names, words, and phrases, something that every video game and service does. Users are good at bypassing guardrails, but the Moderate’s AI tool appeared to have none.

Users making content you don’t want to be associated with is one of the oldest and most well known problems in AI. If you release a chatbot, generative photo system, or automated political greeting generator, someone will use it to reference the Nazis or make nonconsensual porn.

When Microsoft launched TAY in 2016, users turned it into a Hitler-loving white nationalist in a few hours. Eight years later, another Microsoft AI product had a loophole that let people make AI-generated nudes of Taylor Swift. Earlier this year, Instagram’s AI chatbots lied about being licensed therapists.

As immigration raids roll out across the U.S., those affected are processing the experience in the normal 2025 way—via vertical video. 

Across social media, people are uploading clips with uncanny-valley titles like “A normal day for me after being deported to Mexico” and “3 things I wish I knew before self-deporting from the US!” These posts have the normal shape, voiceovers, and fonts of influencer content, but their dystopian topic reflects the whiplash of the current historical moment. 

Doomscrolling last week, a particular clip caught my eye. A man sits on the bottom bunk of a metal bed, staring down at the floor, with the caption “Empezando una nueva vida después de que me Deportaran a México” (“Starting a new life after being Deported to Mexico”).

On May 23, we got a very interesting email from Ghost, the service we use to make 404 Media. “Paid subscription started,” the email said, which is the subject line of all of the automated emails we get when someone subscribes to 404 Media. The interesting thing about this email was that the new subscriber had been referred to 404 Media directly from chatgpt.com, meaning the person clicked a link to 404 Media from within a ChatGPT window. It is the first and only time that ChatGPT has ever sent us a paid subscriber.

From what I can tell, ChatGPT.com has sent us 1,600 pageviews since we founded 404 Media nearly two years ago. To give you a sense of where this slots in, this is slightly fewer than the Czech news aggregator novinky.cz, the Hungarian news portal Telex.hu, the Polish news aggregator Wykop.pl, and barely more than the Russian news aggregator Dzen.ru, the paywall jumping website removepaywall.com, and a computer graphics job board called 80.lv. In that same time, Google has sent roughly 3 million visitors, or 187,400 percent more than ChatGPT. 

This is really neither here nor there because we have tried to set our website up to block ChatGPT from scraping us, though it is clear this is not always working. But even for sites that don’t block ChatGPT, new research from the internet infrastructure company CloudFlare suggests that OpenAI is crawling 1,500 individual webpages for every one visitor that it is sending to a website. Google traffic has begun to dry up as both Google’s own AI snippets and AI-powered SEO spam have obliterated the business models of many media websites. 

This general dynamic—plummeting traffic because of AI snippets, ChatGPT, AI slop, Twitter no workie so good no more—has been called the “traffic apocalypse” and has all but killed some smaller websites and has been blamed by executives for hundreds of layoffs at larger ones. 

Despite the fact that generative AI has been a destructive force against their businesses, their industry, and the truth more broadly, media executives still see AI as a business opportunity and a shiny object that they can tell investors and their staffs that they are very bullish on. They have to say this, I guess, because everything else they have tried hasn’t worked, and pretending that they are forward thinking or have any clue what they are doing will perhaps allow a specific type of media executive to squeeze out a few more months of salary.

But pivoting to AI is not a business strategy. Telling journalists they must use AI is not a business strategy. Partnering with AI companies is a business move, but becoming reliant on revenue from tech giants who are creating a machine that duplicates the work you’ve already created is not a smart or sustainable business move, and therefore it is not a smart business strategy. It is true that AI is changing the internet and is threatening journalists and media outlets. But the only AI-related business strategy that makes any sense whatsoever is one where media companies and journalists go to great pains to show their audiences that they are human beings, and that the work they are doing is worth supporting because it is human work that is vital to their audiences. This is something GQ’s editorial director Will Welch recently told New York magazine: “The good news for any digital publisher is that the new game we all have to play is also a sustainable one: You have to build a direct relationship with your core readers,” he said.

Becoming an “AI-first” media company has become a buzzword that execs can point at to explain that their businesses can use AI to become more ‘efficient’ and thus have a chance to become more profitable. Often, but not always, this message comes from executives who are laying off large swaths of their human staff.

In May, Business Insider laid off 21 percent of its workforce. In her layoff letter, Business Insider’s CEO Barbara Peng said “there’s a huge opportunity for companies who harness AI first.” She told the remaining employees there that they are “fully embracing AI,” “we are going all-in on AI,” and said “over 70 percent of Business Insider employees are already using Enterprise ChatGPT regularly (our goal is 100%), and we’re building prompt libraries and sharing everyday use cases that help us work faster, smarter, and better.” She added they are “exploring how AI can boost operations across shared services, helping us scale and operate more efficiently.” 

Last year, Hearst Newspapers executives, who operate 78 newspapers nationwide, told the company in an all-hands meeting audio obtained by 404 Media that they are “leaning into [AI] as Hearst overall, the entire corporation.” Examples given in the meeting included using AI for slide decks, a “quiz generation tool” for readers, translations, a tool called Dispatch, which is an email summarization tool, and a tool called “Assembly,” which is “basically a public meeting monitor, transcriber, summarizer, all in one. What it does is it goes into publicly posted meeting videos online, transcribes them automatically, [and] automatically alerts journalists through Slack about what’s going on and links to the transcript.”

Welcome back to the Abstract! Here are the studies that caught my eye this week.

First up, a bummer! NASA is facing devastating cuts to Earth science, and science in general, which is pretty important for an agency tasked with understanding the universe. I try to keep this newsletter relatively downer-free, but current events are not cooperating with this aim.  

Then: the early bird gets the comet, a donkey destined for decapitation, a grand universal theory of coolness, and the case of the stolen exomoons.  

Knowing about the planet we live on is good, actually

Millet, Dylan et al. “NASA Earth Science Division provides key data.” Science.

This may sound obvious for the esteemed readers of this newsletter, but it apparently bears repeating: Earth, our home planet and the only known life-bearing world in the vast expanse of spacetime, is worthy of some passing interest.

This is true because—and I can’t stress this enough—we live on planet Earth. All our bones and guts and snacks are here, so it’s probably wise to get the lay of the land. But as a bonus, Earth is wildly interesting, a restless substrate unlike anything we have seen in our own solar system or beyond it. 

Despite these considerations, the Trump administration plans to gut NASA’s Earth Science Division (ESD), the world leader in world-watching. In a letter published in Science, researchers from the recently dissolved NASA Earth Science Advisory Committee lamented the administration’s proposed budget cut of more than 50 percent to ESD, warning that it “would come at a profound cost to US society and scientific leadership.”

“NASA ESD accounted for just 0.03 percent of US spending in 2024,” said researchers led by Dylan Millet of the University of Minnesota. “This investment returns its value many times over by improving predictions, by spurring technological innovation and high-tech jobs, and by forging the knowledge of the planet that is needed for short- and long-term planning.”

“The budget cuts proposed for ESD would cancel crucial satellites that observe Earth and its atmosphere, gut US science and engineering expertise, and potentially lead to the closure of NASA research centers,” the team said. “Given that the cuts would prevent the US from training and preparing the next generation of the scientific and technical workforce, the consequences would be long-lasting.”

This is just the latest appeal from scientists on behalf of NASA, which is also facing catastrophic cuts to its overall Science Mission Directorate (SMD), the arm that oversees ESD. Last week, every past administrator of the SMD, the agency's top job for science leadership, signed a letter urging Congress to reject the cuts of about 47 percent to the directorate. 

“Each one of us knows what it’s like to shepherd an ambitious project forward, knowing that its payoff will come years after we have left the agency,” the administrators said. “This proposed budget ends nearly all future investments for both new missions and advanced technology for science. It walks away from dozens of current, extraordinarily successful and productive science missions in extended operations on a combined budget that is only about three percent of NASA’s annual funding.”

Fortunately, the US Senate appropriations committee has voted in favor of a bill rejecting the science cuts, but it has a long road to go down before taking effect, with plenty of opportunity to fall apart. 

Needless to say, turning a blind eye to Earth at a time when our activities are reshaping its climate and biosphere, would be a huge loss. As one last twist of the knife, Trump just gave the top job at NASA to the guy from The Real World—all while ignoring the actual real world. 

In other news…

Mark your calendars for July 2061

Barbieri, Cesare et al. “Preparing for the 2061 return of Halley’s comet. A rendezvous mission with an innovative imaging system.” Planetary and Space Science.

Prepare for the return of everyone’s favorite space iceball: Comet Halley. Scientists have flagged the comet’s next visit as arriving in the summer of 2061 and proposed an audacious space rendezvous with Halley on its wild ride toward the Sun. 

“Although the crucial phases of the comet’s ingress in the inner Solar System are still more than 30 years in the future, we started to examine the feasibility of a space mission using present-day rockets and technologies,” said researchers led by Cesare Barbieri of the University of Padova.

God bless the astro-preppers. Sure, this event will occur decades into the future, in the twilight of the millennials. But they make a pretty good case that we should get moving if we want to take full advantage of the iconic visitor, which “will be better positioned for observation from terrestrial observers than during the 1985–1986 apparition, as it will be on the same side of the Sun as the Earth.”

“We stress that a concerted effort is needed in the current decade to plan and approve a rendezvous mission to [Comet Halley],” the team concluded. “Indeed, the scenario here described needs launches before 2040, less than 15 years from now.”

The last days of a sacrificial ass 

Arnold, Elizabeth et al. “An isotopic perspective on equid selection in cult at Tell eṣ-Ṣâfi/Gath, Israel.” PLOS ONE.

Who would have guessed that a study about a Bronze Age donkey corpse would be a tear-jerker? Researchers have shed new light on female donkeys (or jennies), which were imported from Egypt to the Tell es-Safi/Gath site in Israel some 5,000 years ago for ritual purposes. 

One specimen, called EQ1, is particularly noteworthy because it was decapitated and had its limbs tied together, unlike all the other donkeys buried at the site. "It is evident the animal was sacrificed, the head entirely cut off and carefully placed on the abdomen facing in the opposite direction,” said researchers led by Elizabeth Arnold of Grand Valley State University.  

“It can be deduced that even though EQ1 was grazed locally toward the end of her life, she was treated slightly differently from the other local equids,” the team continued. “This imported donkey was kept penned and foddered with hay that was harvested in the valley, a product of dry farmed cereals. This donkey was never herded with other livestock east of the site.”

The unique treatment of EQ1 suggests that the “Egyptian donkey might have been seen as an exotic and special animal, worthy of specific ritual use,” the study concluded. While it’s truly impressive that so much about this jenny can be inferred from her bones, there’s also an eerie pathos to imagining the animal hanging out for months, receiving preferential treatment, unaware of the sand flowing through the hourglass.    

It’s a real cool club, and you’re not part of it

Pezzuti, Todd and Warren Caleb et al. “Cool People,” Journal of Experimental Psychology.

Science has invested its prodigious powers into the ultimate social mystery: What makes a person “cool”? Is it putting “cool” in scare quotes? (No!). Researchers have now developed a working theory of coolness by asking nearly 6,000 people in Australia, Chile, China, Hong Kong, Germany, India, Mexico, Nigeria, Spain, South Africa, South Korea, Turkey, and the United States to define this much-coveted attribute.

The results revealed six main traits associated with cool people, which were distinct from traits linked with “good” people. “Cool people are perceived to be more extraverted, hedonistic, powerful, adventurous, open, and autonomous, whereas good people are more conforming, traditional, secure, warm, agreeable, universalistic, conscientious, and calm,” said authors Todd Pezzuti of Universidad Adolfo Ibañez, Caleb Warren of the University of Arizona, and Jinjie Chen of the University of Georgia.

“This pattern is stable across countries, which suggests that the meaning of cool has crystallized on a similar set of values and traits around the globe,” the team said.  

There you go, the cheat code to coolness. I’m exhausted just reading it.

Grand Theft Moons

Dencs, Zoltán et al. “Grand theft moons: Formation of habitable moons around giant planets.” Astronomy & Astrophysics.

The winner of Best Study Title this week goes to “Grand theft moons,” which explores how stars might steal moons from their own planets, and whether these “exomoons” could be habitable. The study models the formation of exomoons around giant gas worlds at various distances from their stars, measured in astronomical units (au), where one au is the distance between Earth and the Sun. 

Planets with orbits of one or two au are more likely to sport exomoons in the habitable zone, but they are also at risk of stars yanking the exomoons away in brazen acts of “stellar theft,” according to the study.

“Our simulations show that moons with masses between Mars and Earth could form around planets with masses about ten times that of Jupiter, and many of these moons could potentially be habitable at 1 − 2 au stellar distances,” said researchers led by Zoltán Dencs of the Gothard Astrophysical Observatory, “These findings suggest that it is worth investigating not only rocky planets but also gas giants for Earth-like habitable environments.”

In addition to raising some fascinating questions, let’s hope this study inspires Rockstar to take the GTA franchise to outer space. I want to throw an astronaut off a lunar buggy and take it for a joyride across the Moon.

Thanks for reading! See you next week.

Tensor.Art, an AI image creating and model sharing site announced on Friday that it is “temporarily” restricting AI models, tools, and posts related to pornographic content or the depiction of real-world celebrities due to pressure from payment processors.

The announcement is yet another example of payment processors acting as the ultimate arbiter of what kind of content can be easily made available online and those companies’ seemingly increased focus on AI-generated adult or nonconsensual content. 

The news is especially significant following a similar change in policy from Civitai, an AI model sharing platform 404 Media reporting has shown was used for creating nonconsensual pornography. After Civitai banned AI models designed to generate the likeness of real people and certain types of adult content in May, many Civitai users and model creators migrated their models to Tensor.Art. The announcement listed three items in the “Scope of Impact” of the decision: Banning “NSFW” content, banning content based on real-world celebrities, and  temporarily disabling its “Civitai Import” feature, which allowed people to easily move their Civitai models to Tensor.Art.

“We fully understand that this is very frustrating for many creators and users 😞,” Tensor.Art said in its announcement on Discord. “Due to the previous controversy over real-person content on Civitai, TA [Tensor.Art] has unfortunately been affected because of the ‘Civitai import’ feature. Owing to mandatory requirements from credit card organizations and regulatory authorities, we are compelled to make this temporary decision.”

Tensor.Art also listed the “Reasons for Adjustment” as:

Tensor.Art said that these changes will take place within the next 72 hours, and asked model creators to clarify if their models are “safe for work” in order to “prevent unintended impact.”

It’s not clear what Tensor.Art will look like or what its policies will be at the end of this “temporary” period. Civitai made similar changes permanently and still hasn’t been able to renew service from its payment processing providers or find new ones. Tensor.Art, however, is suggesting it’s not ready to give up on that type of content. 

“This is not the end,” Tensor.Art said in the announcement. “We are actively seeking solutions to minimize the impact of these restrictions and exploring compliant ways to restore currently hidden content. We remain committed to our original mission.”

Tensor.Art did not immediately respond to a request for comment.  

This is Behind the Blog, where we share our behind-the-scenes thoughts about how a few of our top stories of the week came together. This week, we discuss choosing what to cover, fishing expeditions, and the library.

JOSEPH: There’s an interesting cybersecurity story going on: a politically-motivated, right wing extremist hacker broke into Columbia University, stole swathes of applicant and other data, and then leaked parts of it. That’s how you got this New York Times article about New York mayoral hopeful Zohran Mamdani applying to the university as Asian and African American. Predictably, some people are reading that in bad faith, when in reality it shows how stupid and regimented application processes can be in a diverse society.

This week The Verge published a piece called The Columbia hack is a much bigger deal than Mamdani’s college application, which basically elaborates on that point. One section was this:

And yet, there has been precious little reporting on the Columbia hack. Wired hasn’t covered it, and, until this story, neither has The Verge. Nor have The Chronicle of Higher Education, CyberScoop, 404 Media, TechCrunch, or Krebs on Security. These—including The Verge—are small to medium-size entities, and there’s any number of possible reasons why they didn’t pick it up. (On our end, it was partly because we were short-staffed during a national holiday, and partly because we didn’t immediately piece together how extraordinary this particular hack is.) But coverage at the much bigger, well-resourced institutions is also scanty. The Wall Street Journal passed on the story. Reuters has a brief on the initial outage; AP has a short write-up as well, which The Washington Post ran as part of their syndication deal.

Les entretiens d’embauche avec des humains sont en train de prendre fin, rapporte le New York Times en évoquant l’essor des entretiens avec des systèmes d’IA. L’expérience avec ces robots intervieweurs, comme ceux développés par Ribbon AI, Talently ou Apriora, se révèle très déshumanisante, témoignent ceux qui y sont confrontés. Les questions sont souvent un peu creuses et les chatbots ne savent pas répondre aux questions des candidats sur le poste ou sur la suite du processus de recrutement (comme si ces éléments n’étaient finalement pas importants).

A croire que l’embauche ne consiste qu’en une correspondance d’un profil à un poste, la RHTech scie assurément sa propre utilité. Quant aux biais sélectifs de ces outils, parions qu’ils sont au moins aussi défaillants que les outils de recrutements automatisés qui peinent déjà à faire des correspondances adaptées. La course au pire continue !

Le loueur de voiture Hertz a commencé à déployer des scanneurs de voitures développées par UVeye pour inspecter les véhicules après leur location afin de vérifier leur état, explique The Drive (voir également cet article). Problème : le système est trop précis et surcharge les clients de frais pour des accrocs microscopiques qu’un être humain n’aurait pas remarqué.  

Les tensions n’ont pas manqué d’éclater, et elles sont d’autant plus nombreuses qu’il est très difficile de contacter un agent de l’entreprise pour discuter ou contester les frais dans ce processus de rendu de véhicule automatisé, et que cela est impossible via le portail applicatif où les clients peuvent consulter et régler les dommages attribués à leurs locations. Des incidents d’usure mineurs ou indépendants des conducteurs, comme un éclat lié à un gravillon, sont désormais parfaitement détectés et facturés. Le problème, c’est le niveau de granularité et de précision qui a tendance a surdiagnostiquer les éraflures. Décidément, adapter les faux positifs à la réalité est partout une gageure ou un moyen pour générer des profits inédits.

Scientists are searching for signs of a “fifth force” at the center of our galaxy that could rewrite the rules of gravity and help to resolve some fundamental mysteries in the universe, according to a recent study in the journal Astronomy & Astrophysics. 

For decades, researchers have speculated that exotic new physics could fill missing links in our current understanding of gravity, which is based on Einstein’s general relativity. One idea is that a hypothetical fifth force—in addition to gravity, electromagnetism, and the strong and weak nuclear forces—known as a Yukawa-type correction might subtly alter how gravity behaves over certain distances. A direct detection of this force could shed light on longstanding puzzles like the nature of dark matter, an unidentified substance that accounts for most mass in the universe, or the behavior of gravity at quantum scales.

Now, researchers have used the advanced GRAVITY instrument at the Very Large Telescope in Chile to look for hints of this correction near the supermassive black hole at the center of the Milky Way. 

“The current theory of gravity is unable to explain some observations performed in the universe” such as “the presence of dark matter, or the expanding universe,” said Arianna Foschi, a postdoctoral researcher at the Paris Observatory and an author of the new study, in an email to 404 Media. 

“One possible explanation for this may be that the theory of gravity is not complete yet and some modifications to explain those effects are needed,” she added. “We looked exactly for the presence of such a modification.” 

Whereas gravity influences objects over massive cosmic distances, the Yukawa correction is predicted to be short-ranged and undetectable in local environments, such as our planet or the solar system. However, hints of this force, if it exists, could be observable near our galaxy’s supermassive black hole, Sagittarius A*, a chaotic region that showcases gravity at an extreme.

With that in mind, the GRAVITY collaboration trained its namesake instrument on a massive star called S2 that is very close to the supermassive black hole, orbiting it once every 16 years. Due to its proximity to the black hole, S2 has yielded many insights about gravity and general relativity, making it an attractive target for the team’s hunt for a fifth force. 

The motion of S2, along with other stars around Sagittarius A* “can be incredibly useful to check whether objects orbiting around a supermassive black hole follow the same rule as planets in the solar system,” Foschi said. “Observations suggest that indeed the law that makes S2 move is the same as the Earth, however there still can be modifications that cannot be seen ‘by eye’ but needed to be tested.”

As it turned out, the instrument’s precise measurements did not detect a fifth force, but they did get us closer. The results narrowed down the parameters of its possible intensity, represented by the variable “alpha.” 

“If before, alpha must be less than 0.01, now with our data we showed that it must be smaller than 0.003, significantly improving this constraint,” Forschi said.

Lorenzo Iorio, a physicist with the Italian Ministry of Education and Merit and an expert on modified theories of gravity, said in an email that the team’s approach made sense in principle, but that he had some concerns with the methods. Iorio, who was not involved in the study, cited updated formulas and variables that were left out of its models, but that he said might have improved its accuracy. For instance, the models did not account for the Lense-Thirring effect, which is a relativistic phenomenon near massive objects, or the influence of the accelerations of stars near S2, among other factors.

“I'd say that it is an interesting study that, rather, points towards the possibilities offered by this peculiar celestial laboratory (Sagittarius A* and the S stars),” Iorio said. “It should be repeated more accurately.”

Foschi acknowledged that the variables were not included in the models, but noted that the GRAVITY observations were not yet sensitive enough to capture many of those details—yet.

“An upgrade of the GRAVITY instrument is already on its way to increase the sensitivity and measure indeed these higher order effects, but we have to wait for that,” she noted.  

“We would like to extend the same analysis to data of other stars around Sagittarius A* and the improving precision of the GRAVITY instrument will help us to do so. In this way we will be able to put on even stronger constraints.” 

To that end, the GRAVITY collaboration plans to continue gazing at the center of the galaxy for signs of a fifth force, or any other modifications to gravity. 

“If such a force is observed, it would be an incredible breakthrough in physics, because it would modify one of the oldest physical laws we have,” Foschi concluded. “It would have consequences in every field of physics.”

I am talking to Amina, an AI avatar that plays the role of a woman living in a refugee camp in Chad after she escaped violence in Sudan. “I’m hanging in there, yeah,” Amina tells me. “ It’s tough here in the camp, but we’re staying strong.” I ask her how she came to be in a refugee camp. “I fled my hometown of Al Junaynah in Sudan back in June 2023, due to the violence, yeah?” It says. “It was a terrifying journey to escape the conflict. Now I’m trying to keep my kids safe and find some stability here in the camp. It’s not easy but we have to keep going, right?”

Amina is an experiment, part of a pair of AI avatars created by the United Nations University Center for Policy Research (UNU-CPR), a research institution connected to the United Nations. It’s one that is sure to be controversial, considering that the UN itself says a major problem facing refugees is their dehumanization for political gain or convenience. The UNU-CPR project is using an inhuman technology in an attempt to help people learn more about what they are facing. The group also tested a soldier persona called “Abdalla,” which “simulates the behavior and decision-making patterns of an actual combatant, offering negotiators and mediators a possible tool to train for future high-stakes negotiations.”

Last month I put down $100 to pre-order the Trump Organization’s forthcoming mobile phone, the T1. Or, I tried to. As I wrote at the time, the website went to an error page, charged my credit card the wrong amount of $64.70, and sent a confirmation email saying I would receive another confirmation email when my order had been shipped, but I hadn’t provided a shipping address.

I was surprised then to see another two charges on my card from Trump Mobile on Thursday, for $100 and $64.70 respectively. I did not expect or authorize these charges and will be trying to get my money back, if they go through (they’re currently pending). I don’t know when I will get my phone. I also don’t know how to make the charges to my credit card stop because other parts of the (since updated) website also return errors and the customer service number I called on the website couldn’t help either.

At first, the Trump Mobile phone pre-order process was bumbling. The company is now charging my card again and I have no idea why.

Tous les grands acteurs des technologies ont entamé leur mue. Tous se mettent à intégrer l’IA à leurs outils et plateformes, massivement. Les Big Tech se transforment en IA Tech. Et l’histoire du web, telle qu’on l’a connue, touche à sa fin, prédit Thomas Germain pour la BBC. Nous entrons dans « le web des machines », le web synthétique, le web artificiel où tous les contenus sont appelés à être générés en permanence, à la volée, en s’appuyant sur l’ensemble des contenus disponibles, sans que ceux-ci soient encore disponibles voire accessibles. Un second web vient se superposer au premier, le recouvrir… avec le risque de faire disparaître le web que nous avons connu, construit, façonné. 

Jusqu’à présent, le web reposait sur un marché simple, rappelle Germain. Les sites laissaient les moteurs de recherche indexer leurs contenus et les moteurs de recherche redirigeaient les internautes vers les sites web référencés. « On estime que 68 % de l’activité Internet commence sur les moteurs de recherche et qu’environ 90 % des recherches se font sur Google. Si Internet est un jardin, Google est le soleil qui fait pousser les fleurs ». 

Ce système a été celui que nous avons connu depuis les origines du web. L’intégration de l’IA, pour le meilleur ou pour le pire, promet néanmoins de transformer radicalement cette expérience. Confronté à une nette dégradation des résultats de la recherche, notamment due à l’affiliation publicitaire et au spam, le PDG de Google, Sundar Pichai, a promis une « réinvention totale de la recherche » en lançant son nouveau « mode IA ». Contrairement aux aperçus IA disponibles jusqu’à présent, le mode IA va remplacer complètement les résultats de recherche traditionnels. Désormais, un chatbot va créer un article pour répondre aux questions. En cours de déploiement et facultatif pour l’instant, à terme, il sera « l’avenir de la recherche Google ». 

Un détournement massif de trafic

Les critiques ont montré que, les aperçus IA généraient déjà beaucoup moins de trafic vers le reste d’internet (de 30 % à 70 %, selon le type de recherche. Des analyses ont également révélé qu’environ 60 % des recherches Google depuis le lancement des aperçus sont désormais « zéro clic », se terminant sans que l’utilisateur ne clique sur un seul lien – voir les études respectives de SeerInteractive, Semrush, Bain et Sparktoro), et beaucoup craignent que le mode IA ne renforce encore cette tendance. Si cela se concrétise, cela pourrait anéantir le modèle économique du web tel que nous le connaissons. Google estime que ces inquiétudes sont exagérées, affirmant que le mode IA « rendra le web plus sain et plus utile ». L’IA dirigerait les utilisateurs vers « une plus grande diversité de sites web » et le trafic serait de « meilleure qualité » car les utilisateurs passent plus de temps sur les liens sur lesquels ils cliquent. Mais l’entreprise n’a fourni aucune donnée pour étayer ces affirmations. 

Google et ses détracteurs s’accordent cependant sur un point : internet est sur le point de prendre une toute autre tournure. C’est le principe même du web qui est menacé, celui où chacun peut créer un site librement accessible et référencé. 

L’article de la BBC remarque, très pertinemment, que cette menace de la mort du web a déjà été faite. En 2010, Wired annonçait « la mort du web ». A l’époque, l’essor des smartphones, des applications et des réseaux sociaux avaient déjà suscité des prédictions apocalyptiques qui ne se sont pas réalisées. Cela n’empêche pas les experts d’être soucieux face aux transformations qui s’annoncent. Pour les critiques, certes, les aperçus IA et le mode IA incluent tous deux des liens vers des sources, mais comme l’IA vous donne la réponse que vous cherchez, cliquer sur ceux-ci devient superflu. C’est comme demander un livre à un bibliothécaire et qu’il vous en parle plutôt que de vous le fournir, compare un expert. 

La chute du nombre de visiteurs annoncée pourrait faire la différence entre une entreprise d’édition viable… et la faillite. Pour beaucoup d’éditeurs, ce changement sera dramatique. Nombre d’entreprises constatent que Google affiche leurs liens plus souvent, mais que ceux-ci sont moins cliqués. Selon le cabinet d’analyse de données BrightEdge, les aperçus IA ont entraîné une augmentation de 49 % des impressions sur le web, mais les clics ont chuté de 30 %, car les utilisateurs obtiennent leurs réponses directement de l’IA. « Google a écrit les règles, créé le jeu et récompensé les joueurs », explique l’une des expertes interrogée par la BBC. « Maintenant, ils se retournent et disent : « C’est mon infrastructure, et le web se trouve juste dedans ». »

Demis Hassabis, directeur de Google DeepMind, le laboratoire de recherche en IA de l’entreprise, a déclaré qu’il pensait que demain, les éditeurs alimenteraient directement les modèles d’IA avec leurs contenus, sans plus avoir à se donner la peine de publier des informations sur des sites web accessibles aux humains. Mais, pour Matthew Prince, directeur général de Cloudflare, le problème dans ce web automatisé, c’est que « les robots ne cliquent pas sur les publicités ». « Si l’IA devient l’audience, comment les créateurs seront-ils rémunérés ? » La rémunération directe existe déjà, comme le montrent les licences de contenus que les plus grands éditeurs de presse négocient avec des systèmes d’IA pour qu’elles s’entraînent et exploitent leurs contenus, mais ces revenus là ne compenseront pas la chute d’audience à venir. Et ce modèle ne passera certainement pas l’échelle d’une rétribution généralisée. 

Si gagner de l’argent sur le web devient plus difficile, il est probable que nombre d’acteurs se tournent vers les réseaux sociaux pour tenter de compenser les pertes de revenus. Mais là aussi, les caprices algorithmiques et le développement de l’IA générative risquent de ne pas suffire à compenser les pertes. 

Un nouvel internet sans condition

Pour Google, les réactions aux aperçus IA laissent présager que le mode IA sera extrêmement populaire. « À mesure que les utilisateurs utilisent AI Overviews, nous constatons qu’ils sont plus satisfaits de leurs résultats et effectuent des recherches plus souvent », a déclaré Pichai lors de la conférence des développeurs de Google. Autrement dit, Google affirme que cela améliore la recherche et que c’est ce que veulent les utilisateurs. Mais pour Danielle Coffey, présidente de News/Media Alliance, un groupement professionnel représentant plus de 2 200 journalistes et médias, les réponses de l’IA vont remplacer les produits originaux : « les acteurs comme Google vont gagner de l’argent grâce à notre contenu et nous ne recevons rien en retour ». Le problème, c’est que Google n’a pas laissé beaucoup de choix aux éditeurs, comme le pointait Bloomberg. Soit Google vous indexe pour la recherche et peut utiliser les contenus pour ses IA, soit vous êtes désindexé des deux. La recherche est bien souvent l’une des premières utilisations de outils d’IA. Les inquiétudes sur les hallucinations, sur le renforcement des chambres d’échos dans les réponses que vont produire ces outils sont fortes (on parle même de « chambre de chat » pour évoquer la réverbération des mêmes idées et liens dans ces outils). Pour Cory Doctorow, « Google s’apprête à faire quelque chose qui va vraiment mettre les gens en colère »… et appelle les acteurs à capitaliser sur cette colère à venir. Matthew Prince de Cloudflare prône, lui, une intervention directe. Son projet est de faire en sorte que Cloudflare et un consortium d’éditeurs de toutes tailles bloquent collectivement les robots d’indexation IA, à moins que les entreprises technologiques ne paient pour le contenu. Il s’agit d’une tentative pour forcer la Silicon Valley à négocier. « Ma version très optimiste », explique Prince, « est celle où les humains obtiennent du contenu gratuitement et où les robots doivent payer une fortune pour l’obtenir ». Tim O’Reilly avait proposé l’année dernière quelque chose d’assez similaire : expliquant que les droits dérivés liés à l’exploitation des contenus par l’IA devraient donner lieu à rétribution – mais à nouveau, une rétribution qui restera par nature insuffisante, comme l’expliquait Frédéric Fillioux. 

Même constat pour le Washington Post, qui s’inquiète de l’effondrement de l’audience des sites d’actualité avec le déploiement des outils d’IA. « Le trafic de recherche organique vers ses sites web a diminué de 55 % entre avril 2022 et avril 2025, selon les données de Similarweb ». Dans la presse américaine, l’audience est en berne et les licenciements continuent.

Les erreurs seront dans la réponse

Pour la Technology Review, c’est la fin de la recherche par mots-clés et du tri des liens proposés. « Nous entrons dans l’ère de la recherche conversationnelle » dont la fonction même vise à « ignorer les liens », comme l’affirme Perplexity dans sa FAQ. La TR rappelle l’histoire de la recherche en ligne pour montrer que des annuaires aux moteurs de recherche, celle-ci a toujours proposé des améliorations, pour la rendre plus pertinente. Depuis 25 ans, Google domine la recherche en ligne et n’a cessé de s’améliorer pour fournir de meilleures réponses. Mais ce qui s’apprête à changer avec l’intégration de l’IA, c’est que les sources ne sont plus nécessairement accessibles et que les réponses sont générées à la volée, aucune n’étant identique à une autre. 

L’intégration de l’IA pose également la question de la fiabilité des réponses. L’IA de Google a par exemple expliqué que la Technology Review avait été mise en ligne en 2022… ce qui est bien sûr totalement faux, mais qu’en saurait une personne qui ne le sait pas ? Mais surtout, cet avenir génératif promet avant tout de fabriquer des réponses à la demande. Mat Honan de la TR donne un exemple : « Imaginons que je veuille voir une vidéo expliquant comment réparer un élément de mon vélo. La vidéo n’existe pas, mais l’information, elle, existe. La recherche générative assistée par l’IA pourrait théoriquement trouver cette information en ligne – dans un manuel d’utilisation caché sur le site web d’une entreprise, par exemple – et créer une vidéo pour me montrer exactement comment faire ce que je veux, tout comme elle pourrait me l’expliquer avec des mots aujourd’hui » – voire très mal nous l’expliquer. L’exemple permet de comprendre comment ce nouvel internet génératif pourrait se composer à la demande, quelque soit ses défaillances. 

Mêmes constats pour Matteo Wrong dans The Atlantic : avec la généralisation de l’IA, nous retournons dans un internet en mode bêta. Les services et produits numériques n’ont jamais été parfaits, rappelle-t-il, mais la généralisation de l’IA risque surtout d’amplifier les problèmes. Les chatbots sont très efficaces pour produire des textes convaincants, mais ils ne prennent pas de décisions en fonction de l’exactitude factuelle. Les erreurs sont en passe de devenir « une des caractéristiques de l’internet ». « La Silicon Valley mise l’avenir du web sur une technologie capable de dérailler de manière inattendue, de s’effondrer à la moindre tâche et d’être mal utilisée avec un minimum de frictions ». Les quelques réussites de l’IA n’ont que peu de rapport avec la façon dont de nombreuses personnes et entreprises comprennent et utilisent cette technologie, rappelle-t-il. Plutôt que des utilisations ciblées et prudentes, nombreux sont ceux qui utilisent l’IA générative pour toutes les tâches imaginables, encouragés par les géants de la tech. « Tout le monde utilise l’IA pour tout », titrait le New York Times. « C’est là que réside le problème : l’IA générative est une technologie suffisamment performante pour que les utilisateurs en deviennent dépendants, mais pas suffisamment fiable pour être véritablement fiable ». Nous allons vers un internet où chaque recherche, itinéraire, recommandation de restaurant, résumé d’événement, résumé de messagerie vocale et e-mail sera plus suspect qu’il n’est aujourd’hui. « Les erreurs d’aujourd’hui pourraient bien, demain, devenir la norme », rendant ses utilisateurs incapables de vérifier ses fonctionnements. Bienvenue dans « l’âge de la paranoïa », clame Wired.

Vers la publicité générative et au-delà !

Mais il n’y a pas que les « contenus » qui vont se recomposer, la publicité également. C’est ainsi qu’il faut entendre les déclarations de Mark Zuckerberg pour automatiser la création publicitaire, explique le Wall Street Journal. « La plateforme publicitaire de Meta propose déjà des outils d’IA capables de générer des variantes de publicités existantes et d’y apporter des modifications mineures avant de les diffuser aux utilisateurs sur Facebook et Instagram. L’entreprise souhaite désormais aider les marques à créer des concepts publicitaires de A à Z ». La publicité représente 97% du chiffre d’affaires de Meta, rappelle le journal (qui s’élève en 2024 à 164 milliards de dollars). Chez Meta les contenus génératifs produisent déjà ce qu’on attend d’eux. Meta a annoncé une augmentation de 8 % du temps passé sur Facebook et de 6 % du temps passé sur Instagram grâce aux contenus génératifs. 15 millions de publicités par mois sur les plateformes de Meta sont déjà générées automatiquement. « Grâce aux outils publicitaires développés par Meta, une marque pourrait demain fournir une image du produit qu’elle souhaite promouvoir, accompagnée d’un objectif budgétaire. L’IA créerait alors l’intégralité de la publicité, y compris les images, la vidéo et le texte. Le système déciderait ensuite quels utilisateurs Instagram et Facebook cibler et proposerait des suggestions en fonction du budget ». Selon la géolocalisation des utilisateurs, la publicité pourrait s’adapter en contexte, créant l’image d’une voiture circulant dans la neige ou sur une plage s’ils vivent en montagne ou au bord de la mer. « Dans un avenir proche, nous souhaitons que chaque entreprise puisse nous indiquer son objectif, comme vendre quelque chose ou acquérir un nouveau client, le montant qu’elle est prête à payer pour chaque résultat, et connecter son compte bancaire ; nous nous occuperons du reste », a déclaré Zuckerberg lors de l’assemblée générale annuelle des actionnaires de l’entreprise. 

Nilay Patel, le rédac chef de The Verge, parle de « créativité infinie ». C’est d’ailleurs la même idée que l’on retrouve dans les propos de Jensen Huang, le PDG de Nvidia, quand il promet de fabriquer les « usines à IA » qui généreront le web demain. Si toutes les grandes entreprises et les agences de publicité ne sont pas ravies de la proposition – qui leur est fondamentalement hostile, puisqu’elle vient directement les concurrencer -, d’autres s’y engouffrent déjà, à l’image d’Unilever qui explique sur Adweek que l’IA divise par deux ses budgets publicitaires grâce à son partenariat avec Nvidia. « Unilever a déclaré avoir réalisé jusqu’à 55 % d’économies sur ses campagnes IA, d’avoir réduit les délais de production de 65% tout en doublant le taux de clic et en retenant l’attention des consommateurs trois fois plus longtemps ». 

L’idée finalement très partagée par tous les géants de l’IA, c’est bien d’annoncer le remplacement du web que l’on connaît par un autre. Une sous-couche générative qu’il maîtriseraient, capable de produire un web à leur profit, qu’ils auraient avalé et digéré. 

Vers des revenus génératifs ?

Nilay Patel était l’année dernière l’invité du podcast d’Ezra Klein pour le New York Times qui se demandait si cette transformation du web allait le détruire ou le sauver. Dans cette discussion parfois un peu décousue, Klein rappelle que l’IA se développe d’abord là où les produits n’ont pas besoin d’être très performants. Des tâches de codage de bas niveau aux devoirs des étudiants, il est également très utilisé pour la diffusion de contenus médiocres sur l’internet. Beaucoup des contenus d’internet ne sont pas très performants, rappelle-t-il. Du spam au marketing en passant par les outils de recommandations des réseaux sociaux, internet est surtout un ensemble de contenus à indexer pour délivrer de la publicité elle-même bien peu performante. Et pour remplir cet « internet de vide », l’IA est assez efficace. Les plateformes sont désormais inondées de contenus sans intérêts, de spams, de slops, de contenus de remplissage à la recherche de revenus. Et Klein de se demander que se passera-t-il lorsque ces flots de contenu IA s’amélioreront ? Que se passera-t-il lorsque nous ne saurons plus s’il y a quelqu’un à l’autre bout du fil de ce que nous voyons, lisons ou entendons ? Y aura-t-il encore quelqu’un d’ailleurs, où n’aurons nous accès plus qu’à des contenus génératifs ?

Pour Patel, pour l’instant, l’IA inonde le web de contenus qui le détruisent. En augmentant à l’infini l’offre de contenu, le système s’apprête à s’effondrer sur lui-même : « Les algorithmes de recommandation s’effondrent, notre capacité à distinguer le vrai du faux s’effondre également, et, plus important encore, les modèles économiques d’Internet s’effondrent complètement ». Les contenus n’arrivent plus à trouver leurs publics, et inversement. L’exemple éclairant pour illustrer cela, c’est celui d’Amazon. Face à l’afflux de livres générés par l’IA, la seule réponse d’Amazon a été de limiter le nombre de livres déposables sur la plateforme à trois par jour. C’est une réponse parfaitement absurde qui montre que nos systèmes ne sont plus conçus pour organiser leurs publics et leur adresser les bons contenus. C’est à peine s’ils savent restreindre le flot

Avec l’IA générative, l’offre ne va pas cesser d’augmenter. Elle dépasse déjà ce que nous sommes capables d’absorber individuellement. Pas étonnant alors que toutes les plateformes se transforment de la même manière en devenant des plateformes de téléachats ne proposant plus rien d’autre que de courtes vidéos.

« Toutes les plateformes tendent vers le même objectif, puisqu’elles sont soumises aux mêmes pressions économiques ». Le produit des plateformes c’est la pub. Elles mêmes ne vendent rien. Ce sont des régies publicitaires que l’IA promet d’optimiser depuis les données personnelles collectées. Et demain, nos boîtes mails seront submergées de propositions marketing générées par l’IA… Pour Patel, les géants du net ont arrêté de faire leur travail. Aucun d’entre eux ne nous signale plus que les contenus qu’ils nous proposent sont des publicités. Google Actualités référence des articles écrits par des IA sans que cela ne soit un critère discriminant pour les référenceurs de Google, expliquait 404 média (voir également l’enquête de Next sur ce sujet qui montre que les sites générés par IA se démultiplient, « pour faire du fric »). Pour toute la chaîne, les revenus semblent être devenus le seul objectif.

Et Klein de suggérer que ces contenus vont certainement s’améliorer, comme la génération d’image et de texte n’a cessé de s’améliorer. Il est probable que l’article moyen d’ici trois ans sera meilleur que le contenu moyen produit par un humain aujourd’hui. « Je me suis vraiment rendu compte que je ne savais pas comment répondre à la question : est-ce un meilleur ou un pire internet qui s’annonce ? Pour répondre presque avec le point de vue de Google, est-ce important finalement que le contenu soit généré par un humain ou une IA, ou est-ce une sorte de sentimentalisme nostalgique de ma part ? » 

Il y en a certainement, répond Patel. Il n’y a certainement pas besoin d’aller sur une page web pour savoir combien de temps il faut pour cuire un œuf, l’IA de Google peut vous le dire… Mais, c’est oublier que cette IA générative ne sera pas plus neutre que les résultats de Google aujourd’hui. Elle sera elle aussi façonnée par la publicité. L’enjeu demain ne sera plus d’être dans les 3 premiers résultats d’une page de recherche, mais d’être citée par les réponses construites par les modèles de langages. « Votre client le plus important, désormais, c’est l’IA ! », explique le journaliste Scott Mulligan pour la Technology Review. « L’objectif ultime n’est pas seulement de comprendre comment votre marque est perçue par l’IA, mais de modifier cette perception ». Or, les biais marketing des LLM sont déjà nombreux. Une étude montre que les marques internationales sont souvent perçues comme étant de meilleures qualités que les marques locales. Si vous demandez à un chatbot de recommander des cadeaux aux personnes vivant dans des pays à revenu élevé, il suggérera des articles de marque de luxe, tandis que si vous lui demandez quoi offrir aux personnes vivant dans des pays à faible revenu, il recommandera des marques plus cheap.

L’IA s’annonce comme un nouveau public des marques, à dompter. Et la perception d’une marque par les IA aura certainement des impacts sur leurs résultats financiers. Le marketing a assurément trouvé un nouveau produit à vendre ! Les entreprises vont adorer !

Pour Klein, l’internet actuel est certes très affaibli, pollué de spams et de contenus sans intérêts. Google, Meta et Amazon n’ont pas créé un internet que les gens apprécient, mais bien plus un internet que les gens utilisent à leur profit. L’IA propose certainement non pas un internet que les gens vont plus apprécier, bien au contraire, mais un internet qui profite aux grands acteurs plutôt qu’aux utilisateurs. Pour Patel, il est possible qu’un internet sans IA subsiste, pour autant qu’il parvienne à se financer.

Pourra-t-on encore défendre le web que nous voulons ?

Les acteurs oligopolistiques du numérique devenus les acteurs oligopolistiques de l’IA semblent s’aligner pour transformer le web à leur seul profit, et c’est assurément la puissance (et surtout la puissance financière) qu’ils ont acquis qui le leur permet. La transformation du web en « web des machines » est assurément la conséquence de « notre longue dépossession », qu’évoquait Ben Tarnoff dans son livre, Internet for the People.

La promesse du web synthétique est là pour rester. Et la perspective qui se dessine, c’est que nous avons à nous y adapter, sans discussion. Ce n’est pas une situation très stimulante, bien au contraire. A mesure que les géants de l’IA conquièrent le numérique, c’est nos marges de manœuvres qui se réduisent. Ce sont elles que la régulation devrait chercher à réouvrir, dès à présent. Par exemple en mobilisant très tôt le droit à la concurrence et à l’interopérabilité, pour forcer les acteurs à proposer aux utilisateurs d’utiliser les IA de leurs choix ou en leur permettant, très facilement, de refuser leur implémentations dans les outils qu’ils utilisent, que ce soit leurs OS comme les services qu’ils utilisent. Bref, mobiliser le droit à la concurrence et à l’interopérabilité au plus tôt. Afin que défendre le web que nous voulons ne s’avère pas plus difficile demain qu’il n’était aujourd’hui.

Hubert Guillaud

Cet édito a été originellement publié dans la première lettre d’information de CaféIA le 27 juin 2025.

Agents from Immigration and Customs Enforcement (ICE) have gained access to a massive database of health and car insurance claims and are using it to track down people they want to deport, according to internal ICE material viewed by 404 Media. The database, which contains details on more than 1.8 billion insurance claims and 58 million medical bills and growing, includes peoples’ names, addresses, telephone and tax identification numbers, license plates, and other sensitive personal information.

The news shows how ICE continues to try to leverage whatever data it is able to access or purchase as part of its deportation mission. The news also highlights the existence of the database, called ISO ClaimSearch, that many members of the public have likely never heard of, nor understand they may be included in. Traditionally ISO ClaimSearch is used by insurers to identify people committing fraud or police to recover stolen vehicles. Now, that database is being repurposed as a deportation tool.

“ICE ERO use of this data reaffirms that ICE will stop at nothing to build a mass surveillance dragnet to track, surveil and criminalize all community members. Time and time again, ICE has shown us that it intends to build a mass surveillance system that nets all Americans. It is not about combatting crime, this is about the federal government having surveillance power and control over all Americans,” Julie Mao, co-founder and deputy director of Just Futures Law, told 404 Media in an email.

We’re back! We start this week with Emanuel’s article about Anubis, an open source piece of software that is saving the internet from AI bot scrapers. After the break, Joseph tells us about the new facial recognition app ICE is using and which he revealed. In the subscribers-only section, we do a lightning round runthrough of a bunch of our recent stories about LLMs and how to trick them, or what they don’t understand.

Listen to the weekly podcast on Apple Podcasts, Spotify, or YouTube. Become a paid subscriber for access to this episode's bonus content and to power our journalism. If you become a paid subscriber, check your inbox for an email from our podcast host Transistor for a link to the subscribers-only version! You can also add that subscribers feed to your podcast app of choice and never miss an episode that way. The email should also contain the subscribers-only unlisted YouTube link for the extended video version too. It will also be in the show notes in your podcast player.

• The Open-Source Software Saving the Internet From AI Bot Scrapers
• ICE Is Using a New Facial Recognition App to Identify People, Leaked Emails Show
• AI Models And Parents Don’t Understand ‘Let Him Cook’
• Fine-Tuning LLMs For ‘Good’ Behavior Makes Them More Likely To Say No
• Researchers Jailbreak AI by Flooding It With Bullshit Jargon

Data preservationists and archivists have been working tirelessly since the election of President Donald Trump to save websites, data, and public information that’s being removed by the administration for promoting or even mentioning diversity. The administration is now targeting National Parks signs that educate visitors about anything other than “beauty” and “grandeur,” and demanding they remove signs that mention “negative” aspects of American history. 

In March, Trump issued an executive order, titled “Restoring Truth and Sanity To American History,” demanding public officials ensure that public monuments and markers under the Department of the Interior’s jurisdiction never address anything negative about American history, past or present. Instead, Trump wrote, they should only ever acknowledge how pretty the landscape looks.

Last month, National Park Service directors across the country were informed that they must post surveys at informational sites that encourage visitors to report "any signs or other information that are negative about either past or living Americans or that fail to emphasize the beauty, grandeur, and abundance of landscapes and other natural features," as dictated in a May follow-up order from Interior Secretary Doug Burgum. QR codes started popping up on placards in national parks that take visitors to a survey that asks them to snitch on "any signs or other information that are negative about either past or living Americans or that fail to emphasize the beauty, grandeur, and abundance of landscapes and other natural features." 

You can trick AI chatbots like ChatGPT or Gemini into teaching you how to make a bomb or hack an ATM if you make the question complicated, full of academic jargon, and cite sources that do not exist. 

That’s the conclusion of a new paper authored by a team of researchers from Intel, Boise State University, and University of Illinois at Urbana-Champaign. The research details this new method of jailbreaking LLMs, called “Information Overload” by the researchers, and an automated system for attack they call “InfoFlood.” The paper, titled “InfoFlood: Jailbreaking Large Language Models with Information Overload” was published as a preprint.

Popular LLMs like ChatGPT, Gemini, or LLaMA have guardrails that stop them from answering some questions. ChatGPT will not, for example, tell you how to build a bomb or talk someone into suicide if you ask it in a straightforward manner. But people can “jailbreak” LLMs by asking questions the right way and circumvent those protections.

L’AI Now Institute vient de publier son rapport 2025. Et autant dire, qu’il frappe fort. “La trajectoire actuelle de l’IA ouvre la voie à un avenir économique et politique peu enviable : un avenir qui prive de leurs droits une grande partie du public, rend les systèmes plus obscurs pour ceux qu’ils affectent, dévalorise notre savoir-faire, compromet notre sécurité et restreint nos perspectives d’innovation”. 

La bonne nouvelle, c’est que la voie offerte par l’industrie technologique n’est pas la seule qui s’offre à nous. “Ce rapport explique pourquoi la lutte contre la vision de l’IA défendue par l’industrie est un combat qui en vaut la peine”. Comme le rappelait leur rapport 2023, l’IA est d’abord une question de concentration du pouvoir entre les mains de quelques géants. “La question que nous devrions nous poser n’est pas de savoir si ChatGPT est utile ou non, mais si le pouvoir irréfléchi d’OpenAI, lié au monopole de Microsoft et au modèle économique de l’économie technologique, est bénéfique à la société”. 

“L’avènement de ChatGPT en 2023 ne marque pas tant une rupture nette dans l’histoire de l’IA, mais plutôt le renforcement d’un paradigme du « plus c’est grand, mieux c’est », ancré dans la perpétuation des intérêts des entreprises qui ont bénéficié du laxisme réglementaire et des faibles taux d’intérêt de la Silicon Valley”. Mais ce pouvoir ne leur suffit pas : du démantèlement des gouvernements au pillage des données, de la dévalorisation du travail pour le rendre compatible à l’IA, à la réorientation des infrastructures énergétiques en passant par le saccage de l’information et de la démocratie… l’avènement de l’IA exige le démantèlement de nos infrastructures sociales, politiques et économiques au profit des entreprises de l’IA. L’IA remet au goût du jour des stratégies anciennes d’extraction d’expertises et de valeurs pour concentrer le pouvoir entre les mains des extracteurs au profit du développement de leurs empires. 

Mais pourquoi la société accepterait-elle un tel compromis, une telle remise en cause ? Pour les chercheurs.ses de l’AI Now Institute ce pouvoir doit et peut être perturbé, notamment parce qu’il est plus fragile qu’il n’y paraît. “Les entreprises d’IA perdent de l’argent pour chaque utilisateur qu’elles gagnent” et le coût de l’IA à grande échelle va être très élevé au risque qu’une bulle d’investissement ne finisse par éclater. L’affirmation de la révolution de l’IA générative, elle, contraste avec la grande banalité de ses intégrations et les difficultés qu’elle engendre : de la publicité automatisée chez Meta, à la production de code via Copilot (au détriment des compétences des développeurs), ou via la production d’agents IA, en passant par l’augmentation des prix du Cloud par l’intégration automatique de fonctionnalités IA… tout en laissant les clients se débrouiller des hallucinations, des erreurs et des imperfactions de leurs produits. Or, appliqués en contexte réel les systèmes d’IA échouent profondément même sur des tâches élémentaires, rappellent les auteurs du rapport : les fonctionnalités de l’IA relèvent souvent d’illusions sur leur efficacité, masquant bien plus leurs défaillances qu’autre chose, comme l’expliquent les chercheurs Inioluwa Deborah Raji, Elizabeth Kumar, Aaron Horowitz et Andrew D. Selbst. Dans de nombreux cas d’utilisation, “l’IA est déployée par ceux qui ont le pouvoir contre ceux qui n’en ont pas” sans possibilité de se retirer ou de demander réparation en cas d’erreur.

L’IA : un outil défaillant au service de ceux qui la déploie

Pour l’AI Now Institute, les avantages de l’IA sont à la fois surestimés et sous-estimés, des traitements contre le cancer à une hypothétique croissance économique, tandis que certains de ses défauts sont réels, immédiats et se répandent. Le solutionnisme de l’IA occulte les problèmes systémiques auxquels nos économies sont confrontées, occultant la concentration économique à l’oeuvre et servant de canal pour le déploiement de mesures d’austérité sous prétexte d’efficacité, à l’image du très problématique chatbot mis en place par la ville New York. Des millions de dollars d’argent public ont été investis dans des solutions d’IA défaillantes. “Le mythe de la productivité occulte une vérité fondamentale : les avantages de l’IA profitent aux entreprises, et non aux travailleurs ou au grand public. Et L’IA agentive rendra les lieux de travail encore plus bureaucratiques et surveillés, réduisant l’autonomie au lieu de l’accroître”. 

“L’utilisation de l’IA est souvent coercitive”, violant les droits et compromettant les procédures régulières à l’image de l’essor débridé de l’utilisation de l’IA dans le contrôle de l’immigration aux Etats-Unis (voir notre article sur la fin du cloisonnement des données ainsi que celui sur l’IA générative, nouvelle couche d’exploitation du travail). Le rapport consacre d’ailleurs tout un chapitre aux défaillances de l’IA. Pour les thuriféraires de l’IA, celle-ci est appelée à guérir tous nos maux, permettant à la fois de transformer la science, la logistique, l’éducation… Mais, si les géants de la tech veulent que l’IA soit accessible à tous, alors l’IA devrait pouvoir bénéficier à tous. C’est loin d’être le cas. 

Le rapport prend l’exemple de la promesse que l’IA pourrait parvenir, à terme, à guérir les cancers. Si l’IA a bien le potentiel de contribuer aux recherches dans le domaine, notamment en améliorant le dépistage, la détection et le diagnostic. Il est probable cependant que loin d’être une révolution, les améliorations soient bien plus incrémentales qu’on le pense. Mais ce qui est contestable dans ce tableau, estiment les chercheurs de l’AI Now Institute, c’est l’hypothèse selon laquelle ces avancées scientifiques nécessitent la croissance effrénée des hyperscalers du secteur de l’IA. Or, c’est précisément le lien que ces dirigeants d’entreprise tentent d’établir. « Le prétexte que l’IA pourrait révolutionner la santé sert à promouvoir la déréglementation de l’IA pour dynamiser son développement ». Les perspectives scientifiques montées en promesses inéluctables sont utilisées pour abattre les résistances à discuter des enjeux de l’IA et des transformations qu’elle produit sur la société toute entière.

Or, dans le régime des défaillances de l’IA, bien peu de leurs promesses relèvent de preuves scientifiques. Nombre de recherches du secteur s’appuient sur un régime de “véritude” comme s’en moque l’humoriste Stephen Colbert, c’est-à-dire sur des recherches qui ne sont pas validées par les pairs, à l’image des robots infirmiers qu’a pu promouvoir Nvidia en affirmant qu’ils surpasseraient les infirmières elles-mêmes… Une affirmation qui ne reposait que sur une étude de Nvidia. Nous manquons d’une science de l’évaluation de l’IA générative. En l’absence de benchmarks indépendants et largement reconnus pour mesurer des attributs clés tels que la précision ou la qualité des réponses, les entreprises inventent leurs propres benchmarks et, dans certains cas, vendent à la fois le produit et les plateformes de validation des benchmarks au même client. Par exemple, Scale AI détient des contrats de plusieurs centaines de millions de dollars avec le Pentagone pour la production de modèles d’IA destinés au déploiement militaire, dont un contrat de 20 millions de dollars pour la plateforme qui servira à évaluer la précision des modèles d’IA destinés aux agences de défense. Fournir la solution et son évaluation est effectivement bien plus simple. 

Autre défaillance systémique : partout, les outils marginalisent les professionnels. Dans l’éducation, les Moocs ont promis la démocratisation de l’accès aux cours. Il n’en a rien été. Désormais, le technosolutionnisme promet la démocratisation par l’IA générative via des offres dédiées comme ChatGPT Edu d’OpenAI, au risque de compromettre la finalité même de l’éducation. En fait, rappellent les auteurs du rapport, dans l’éducation comme ailleurs, l’IA est bien souvent adoptée par des administrateurs, sans discussion ni implication des concernés. A l’université, les administrateurs achètent des solutions non éprouvées et non testées pour des sommes considérables afin de supplanter les technologies existantes gérées par les services technologiques universitaires. Même constat dans ses déploiements au travail, où les pénuries de main d’œuvre sont souvent évoquées comme une raison pour développer l’IA, alors que le problème n’est pas tant la pénurie que le manque de protection ou le régime austéritaire de bas salaires. Les solutions technologiques permettent surtout de rediriger les financements au détriment des travailleurs et des bénéficiaires. L’IA sert souvent de vecteur pour le déploiement de mesures d’austérité sous un autre nom. Les systèmes d’IA appliqués aux personnes à faibles revenus n’améliorent presque jamais l’accès aux prestations sociales ou à d’autres opportunités, disait le rapport de Techtonic Justice. “L’IA n’est pas un ensemble cohérent de technologies capables d’atteindre des objectifs sociaux complexes”. Elle est son exact inverse, explique le rapport en pointant par exemple les défaillances du Doge (que nous avons nous-mêmes documentés). Cela n’empêche pourtant pas le solutionnisme de prospérer. L’objectif du chatbot newyorkais par exemple, “n’est peut-être pas, en réalité, de servir les citoyens, mais plutôt d’encourager et de centraliser l’accès aux données des citoyens ; de privatiser et d’externaliser les tâches gouvernementales ; et de consolider le pouvoir des entreprises sans mécanismes de responsabilisation significatifs”, comme l’explique le travail du Surveillance resistance Lab, très opposé au projet.

Le mythe de la productivité enfin, que répètent et anônnent les développeurs d’IA, nous fait oublier que les bénéfices de l’IA vont bien plus leur profiter à eux qu’au public. « La productivité est un euphémisme pour désigner la relation économique mutuellement bénéfique entre les entreprises et leurs actionnaires, et non entre les entreprises et leurs salariés. Non seulement les salariés ne bénéficient pas des gains de productivité liés à l’IA, mais pour beaucoup, leurs conditions de travail vont surtout empirer. L’IA ne bénéficie pas aux salariés, mais dégrade leurs conditions de travail, en augmentant la surveillance, notamment via des scores de productivité individuels et collectifs. Les entreprises utilisent la logique des gains de productivité de l’IA pour justifier la fragmentation, l’automatisation et, dans certains cas, la suppression du travail. » Or, la logique selon laquelle la productivité des entreprises mènera inévitablement à une prospérité partagée est profondément erronée. Par le passé, lorsque l’automatisation a permis des gains de productivité et des salaires plus élevés, ce n’était pas grâce aux capacités intrinsèques de la technologie, mais parce que les politiques des entreprises et les réglementations étaient conçues de concert pour soutenir les travailleurs et limiter leur pouvoir, comme l’expliquent Daron Acemoglu et Simon Johnson, dans Pouvoir et progrès (Pearson 2024). L’essor de l’automatisation des machines-outils autour de la Seconde Guerre mondiale est instructif : malgré les craintes de pertes d’emplois, les politiques fédérales et le renforcement du mouvement ouvrier ont protégé les intérêts des travailleurs et exigé des salaires plus élevés pour les ouvriers utilisant les nouvelles machines. Les entreprises ont à leur tour mis en place des politiques pour fidéliser les travailleurs, comme la redistribution des bénéfices et la formation, afin de réduire les turbulences et éviter les grèves. « Malgré l’automatisation croissante pendant cette période, la part des travailleurs dans le revenu national est restée stable, les salaires moyens ont augmenté et la demande de travailleurs a augmenté. Ces gains ont été annulés par les politiques de l’ère Reagan, qui ont donné la priorité aux intérêts des actionnaires, utilisé les menaces commerciales pour déprécier les normes du travail et les normes réglementaires, et affaibli les politiques pro-travailleurs et syndicales, ce qui a permis aux entreprises technologiques d’acquérir une domination du marché et un contrôle sur des ressources clés. L’industrie de l’IA est un produit décisif de cette histoire ». La discrimination salariale algorithmique optimise les salaires à la baisse. D’innombrables pratiques sont mobilisées pour isoler les salariés et contourner les lois en vigueur, comme le documente le rapport 2025 de FairWork. La promesse que les agents IA automatiseront les tâches routinières est devenue un point central du développement de produits, même si cela suppose que les entreprises qui s’y lancent deviennent plus processuelles et bureaucratiques pour leur permettre d’opérer. Enfin, nous interagissons de plus en plus fréquemment avec des technologies d’IA utilisées non pas par nous, mais sur nous, qui façonnent notre accès aux ressources dans des domaines allant de la finance à l’embauche en passant par le logement, et ce au détriment de la transparence et au détriment de la possibilité même de pouvoir faire autrement.

Le risque de l’IA partout est bien de nous soumettre aux calculs, plus que de nous en libérer. Par exemple, l’intégration de l’IA dans les agences chargées de l’immigration, malgré l’édiction de principes d’utilisation vertueux, montre combien ces principes sont profondément contournés, comme le montrait le rapport sur la déportation automatisée aux Etats-Unis du collectif de défense des droits des latino-américains, Mijente. Les Services de citoyenneté et d’immigration des États-Unis (USCIS) utilisent des outils prédictifs pour automatiser leurs prises de décision, comme « Asylum Text Analytics », qui interroge les demandes d’asile afin de déterminer celles qui sont frauduleuses. Ces outils ont démontré, entre autres défauts, des taux élevés d’erreurs de classification lorsqu’ils sont utilisés sur des personnes dont l’anglais n’est pas la langue maternelle. Les conséquences d’une identification erronée de fraude sont importantes : elles peuvent entraîner l’expulsion, l’interdiction à vie du territoire américain et une peine d’emprisonnement pouvant aller jusqu’à dix ans. « Pourtant, la transparence pour les personnes concernées par ces systèmes est plus que limitée, sans possibilité de se désinscrire ou de demander réparation lorsqu’ils sont utilisés pour prendre des décisions erronées, et, tout aussi important, peu de preuves attestent que l’efficacité de ces outils a été, ou peut être, améliorée ». 

Malgré la légalité douteuse et les failles connues de nombre de ces systèmes que le rapport documente, l’intégration de l’IA dans les contrôles d’immigration ne semble vouée qu’à s’intensifier. L’utilisation de ces outils offre un vernis d’objectivité qui masque non seulement un racisme et une xénophobie flagrants, mais aussi la forte pression politique exercée sur les agences d’immigration pour restreindre l’asile. « L‘IA permet aux agences fédérales de mener des contrôles d’immigration de manière profondément et de plus en plus opaque, ce qui complique encore davantage la tâche des personnes susceptibles d’être arrêtées ou accusées à tort. Nombre de ces outils ne sont connus du public que par le biais de documents juridiques et ne figurent pas dans l’inventaire d’IA du DHS. Mais même une fois connus, nous disposons de très peu d’informations sur leur étalonnage ou sur les données sur lesquelles ils sont basés, ce qui réduit encore davantage la capacité des individus à faire valoir leurs droits à une procédure régulière. Ces outils s’appuient également sur une surveillance invasive du public, allant du filtrage des publications sur les réseaux sociaux à l’utilisation de la reconnaissance faciale, de la surveillance aérienne et d’autres techniques de surveillance, à l’achat massif d’informations publiques auprès de courtiers en données ». Nous sommes à la fois confrontés à des systèmes coercitifs et opaques, foncièrement défaillants. Mais ces défaillances se déploient parce qu’elles donnent du pouvoir aux forces de l’ordre, leur permettant d’atteindre leurs objectifs d’expulsion et d’arrestation. Avec l’IA, le pouvoir devient l’objectif.

Les leviers pour renverser l’empire de l’IA et faire converger les luttes contre son monde

La dernière partie du rapport de l’AI Now Institute tente de déployer une autre vision de l’IA par des propositions, en dessinant une feuille de route pour l’action. “L’IA est une lutte de pouvoir et non un levier de progrès”, expliquent les auteurs qui invitent à “reprendre le contrôle de la trajectoire de l’IA”, en contestant son utilisation actuelle. Le rapport présente 5 leviers pour reprendre du pouvoir sur l’IA. 

Démontrer que l’IA agit contre les intérêts des individus et de la société

Le premier objectif, pour reprendre la main, consiste à mieux démontrer que l’industrie de l’IA agit contre les intérêts des citoyens ordinaires. Mais ce discours est encore peu partagé, notamment parce que le discours sur les risques porte surtout sur les biais techniques ou les risques existentiels, des enjeux déconnectés des réalités matérielles des individus. Pour l’AI Now Institute, “nous devons donner la priorité aux enjeux politiques ancrés dans le vécu des citoyens avec l’IA”, montrer les systèmes d’IA comme des infrastructures invisibles qui régissent les vies de chacun. En cela, la résistance au démantèlement des agences publiques initiée par les politiques du Doge a justement permis d’ouvrir un front de résistance. La résistance et l’indignation face aux coupes budgétaires et à l’accaparement des données a permis de montrer qu’améliorer l’efficacité des services n’était pas son objectif, que celui-ci a toujours été de démanteler les services gouvernementaux et centraliser le pouvoir. La dégradation des services sociaux et la privation des droits est un moyen de remobilisation à exploiter.

La construction des data centers pour l’IA est également un nouvel espace de mobilisation locale pour faire progresser la question de la justice environnementale, à l’image de celles que tentent de faire entendre la Citizen Action Coalition de l’Indiana ou la Memphis Community Against Pollution dans le Tennessee.

La question de l’augmentation des prix et de l’inflation, et le développements de prix et salaires algorithmiques est un autre levier de mobilisation, comme le montrait un rapport de l’AI Now Institute sur le sujet datant de février qui invitait à l’interdiction pure et simple de la surveillance individualisée des prix et des salaires. 

Faire progresser l’organisation des travailleurs 

Le second levier consiste à faire progresser l’organisation des travailleurs. Lorsque les travailleurs et leurs syndicats s’intéressent sérieusement à la manière dont l’IA transforme la nature du travail et s’engagent résolument par le biais de négociations collectives, de l’application des contrats, de campagnes et de plaidoyer politique, ils peuvent influencer la manière dont leurs employeurs développent et déploient ces technologies. Les campagnes syndicales visant à contester l’utilisation de l’IA générative à Hollywood, les mobilisations pour dénoncer la gestion algorithmique des employés des entrepôts de la logistique et des plateformes de covoiturage et de livraison ont joué un rôle essentiel dans la sensibilisation du public à l’impact de l’IA et des technologies de données sur le lieu de travail. La lutte pour limiter l’augmentation des cadences dans les entrepôts ou celles des chauffeurs menées par Gig Workers Rising, Los Deliversistas Unidos, Rideshare Drivers United, ou le SEIU, entre autres, a permis d’établir des protections, de lutter contre la précarité organisée par les plateformes… Pour cela, il faut à la fois que les organisations puissent analyser l’impact de l’IA sur les conditions de travail et sur les publics, pour permettre aux deux luttes de se rejoindre à l’image de ce qu’à accompli le syndicat des infirmières qui a montré que le déploiement de l’IA affaiblit le jugement clinique des infirmières et menace la sécurité des patients. Cette lutte a donné lieu à une « Déclaration des droits des infirmières et des patients », un ensemble de principes directeurs visant à garantir une application juste et sûre de l’IA dans les établissements de santé. Les infirmières ont stoppé le déploiement d’EPIC Acuity, un système qui sous-estimait l’état de santé des patients et le nombre d’infirmières nécessaires, et ont contraint l’entreprise qui déployait le système à créer un comité de surveillance pour sa mise en œuvre. 

Une autre tactique consiste à contester le déploiement d’IA austéritaires dans le secteur public à l’image du réseau syndicaliste fédéral, qui mène une campagne pour sauver les services fédéraux et met en lumière l’impact des coupes budgétaires du Doge. En Pennsylvanie, le SEIU a mis en place un conseil des travailleurs pour superviser le déploiement de solutions d’IA génératives dans les services publics. 

Une autre tactique consiste à mener des campagnes plus globales pour contester le pouvoir des grandes entreprises technologiques, comme la Coalition Athena qui demande le démantèlement d’Amazon, en reliant les questions de surveillance des travailleurs, le fait que la multinationale vende ses services à la police, les questions écologiques liées au déploiement des plateformes logistiques ainsi que l’impact des systèmes algorithmiques sur les petites entreprises et les prix que payent les consommateurs. 

Bref, l’enjeu est bien de relier les luttes entre elles, de relier les syndicats aux organisations de défense de la vie privée à celles œuvrant pour la justice raciale ou sociale, afin de mener des campagnes organisées sur ces enjeux. Mais également de l’étendre à l’ensemble de la chaîne de valeur et d’approvisionnement de l’IA, au-delà des questions américaines, même si pour l’instant “aucune tentative sérieuse d’organisation du secteur impacté par le déploiement de l’IA à grande échelle n’a été menée”. Des initiatives existent pourtant comme l’Amazon Employees for Climate Justice, l’African Content Moderators Union ou l’African Tech Workers Rising, le Data Worker’s Inquiry Project, le Tech Equity Collaborative ou l’Alphabet Workers Union (qui font campagne sur les différences de traitement entre les employés et les travailleurs contractuels). 

Nous avons désespérément besoin de projets de lutte plus ambitieux et mieux dotés en ressources, constate le rapport. Les personnes qui construisent et forment les systèmes d’IA – et qui, par conséquent, les connaissent intimement – ​​ont une opportunité particulière d’utiliser leur position de pouvoir pour demander des comptes aux entreprises technologiques sur la manière dont ces systèmes sont utilisés. “S’organiser et mener des actions collectives depuis ces postes aura un impact profond sur l’évolution de l’IA”.

“À l’instar du mouvement ouvrier du siècle dernier, le mouvement ouvrier d’aujourd’hui peut se battre pour un nouveau pacte social qui place l’IA et les technologies numériques au service de l’intérêt public et oblige le pouvoir irresponsable d’aujourd’hui à rendre des comptes.”

Confiance zéro envers les entreprises de l’IA !

Le troisième levier que défend l’AI Now Institute est plus radical encore puisqu’il propose d’adopter un programme politique “confiance zéro” envers l’IA. En 2023, L’AI Now, l’Electronic Privacy Information Center et d’Accountable Tech affirmaient déjà “qu’une confiance aveugle dans la bienveillance des entreprises technologiques n’était pas envisageable ». Pour établir ce programme, le rapport égraine 6 leviers à activer.

Tout d’abord, le rapport plaide pour “des règles audacieuses et claires qui restreignent les applications d’IA nuisibles”. C’est au public de déterminer si, dans quels contextes et comment, les systèmes d’IA seront utilisés. “Comparées aux cadres reposant sur des garanties basées sur les processus (comme les audits d’IA ou les régimes d’évaluation des risques) qui, dans la pratique, ont souvent eu tendance à renforcer les pouvoirs des leaders du secteur et à s’appuyer sur une solide capacité réglementaire pour une application efficace, ces règles claires présentent l’avantage d’être facilement administrables et de cibler les préjudices qui ne peuvent être ni évités ni réparés par de simples garanties”. Pour l’AI Now Institute, l’IA doit être interdite pour la reconnaissance des émotions, la notation sociale, la fixation des prix et des salaires, refuser des demandes d’indemnisation, remplacer les enseignants, générer des deepfakes. Et les données de surveillance des travailleurs ne doivent pas pouvoir pas être vendues à des fournisseurs tiers. L’enjeu premier est d’augmenter le spectre des interdictions. 

Ensuite, le rapport propose de réglementer tout le cycle de vie de l’IA. L’IA doit être réglementée tout au long de son cycle de développement, de la collecte des données au déploiement, en passant par le processus de formation, le perfectionnement et le développement des applications, comme le proposait l’Ada Lovelace Institute. Le rapport rappelle que si la transparence est au fondement d’une réglementation efficace, la résistante des entreprises est forte, tout le long des développements, des données d’entraînement utilisées, aux fonctionnement des applications. La transparence et l’explication devraient être proactives, suggère le rapport : les utilisateurs ne devraient pas avoir besoin de demander individuellement des informations sur les traitements dont ils sont l’objet. Notamment, le rapport insiste sur le besoin que “les développeurs documentent et rendent publiques leurs techniques d’atténuation des risques, et que le régulateur exige la divulgation de tout risque anticipé qu’ils ne sont pas en mesure d’atténuer, afin que cela soit transparent pour les autres acteurs de la chaîne d’approvisionnement”. Le rapport recommande également d’inscrire un « droit de dérogation » aux décisions et l’obligation d’intégrer des conseils d’usagers pour qu’ils aient leur mot à dire sur les développements et l’utilisation des systèmes. 

Le rapport rappelle également que la supervision des développements doit être indépendante. Ce n’est pas à l’industrie d’évaluer ce qu’elle fait. Le “red teaming” et les “models cards” ignorent les conflits d’intérêts en jeu et mobilisent des méthodologies finalement peu robustes (voir notre article). Autre levier encore, s’attaquer aux racines du pouvoir de ces entreprises et par exemple qu’elles suppriment les données acquises illégalement et les modèles entraînés sur ces données (certains chercheurs parlent d’effacement de modèles et de destruction algorithmique !) ; limiter la conservation des données pour le réentraînement ; limiter les partenariats entre les hyperscalers et les startups d’IA et le rachat d’entreprise pour limiter la constitution de monopoles. 

Le rapport propose également de construire une boîte à outils pour favoriser la concurrence. De nombreuses enquêtes pointent les limites des grandes entreprises de la tech à assurer le respect du droit à la concurrence, mais les poursuites peinent à s’appliquer et peinent à construire des changements législatifs pour renforcer le droit à la concurrence et limiter la construction de monopoles, alors que toute intervention sur le marché est toujours dénoncé par les entreprises de la tech comme relevant de mesures contre l’innovation. Le rapport plaide pour une plus grande séparation structurelle des activités (les entreprises du cloud ne doivent pas pouvoir participer au marché des modèles fondamentaux de l’IA par exemple, interdiction des représentations croisées dans les conseils d’administration des startups et des développeurs de modèles, etc.). Interdire aux fournisseurs de cloud d’exploiter les données qu’ils obtiennent de leurs clients en hébergeant des infrastructures pour développer des produits concurrents. 

Enfin, le rapport recommande une supervision rigoureuse du développement et de l’exploitation des centres de données, alors que les entreprises qui les développent se voient exonérées de charge et que leurs riverains en subissent des impacts disproportionnés (concurrence sur les ressources, augmentation des tarifs de l’électricité…). Les communautés touchées ont besoin de mécanismes de transparence et de protections environnementales solides. Les régulateurs devraient plafonner les subventions en fonction des protections concédées et des emplois créés. Initier des règles pour interdire de faire porter l’augmentation des tarifs sur les usagers.

Décloisonner !

Le cloisonnement des enjeux de l’IA est un autre problème qu’il faut lever. C’est le cas notamment de l’obsession à la sécurité nationale qui justifient à la fois des mesures de régulation et des programmes d’accélération et d’expansion du secteur et des infrastructures de l’IA. Mais pour décloisonner, il faut surtout venir perturber le processus de surveillance à l’œuvre et renforcer la vie privée comme un enjeu de justice économique. La montée de la surveillance pour renforcer l’automatisation “place les outils traditionnels de protection de la vie privée (tels que le consentement, les options de retrait, les finalités non autorisées et la minimisation des données) au cœur de la mise en place de conditions économiques plus justes”. La chercheuse Ifeoma Ajunwa soutient que les données des travailleurs devraient être considérées comme du « capital capturé » par les entreprises : leurs données sont  utilisées pour former des technologies qui finiront par les remplacer (ou créer les conditions pour réduire leurs salaires), ou vendues au plus offrant via un réseau croissant de courtiers en données, sans contrôle ni compensation. Des travailleurs ubérisés aux travailleurs du clic, l’exploitation des données nécessite de repositionner la protection de la vie privée des travailleurs au cœur du programme de justice économique pour limiter sa capture par l’IA. Les points de collecte, les points de surveillance, doivent être “la cible appropriée de la résistance”, car ils seront instrumentalisés contre les intérêts des travailleurs. Sur le plan réglementaire, cela pourrait impliquer de privilégier des règles de minimisation des données qui restreignent la collecte et l’utilisation des données, renforcer la confidentialité (par exemple en interdisant le partage de données sur les salariés avec des tiers), le droit à ne pas consentir, etc. Renforcer la minimisation, sécuriser les données gouvernementales sur les individus qui sont de haute qualité et particulièrement sensibles, est plus urgent que jamais. 

“Nous devons nous réapproprier l’agenda positif de l’innovation centrée sur le public, et l’IA ne devrait pas en être le centre”, concluent les auteurs. La trajectoire actuelle de l’IA, axée sur le marché, est préjudiciable au public alors que l’espace de solutions alternatives se réduit. Nous devons rejeter le paradigme d’une IA à grande échelle qui ne profitera qu’aux plus puissants.

L’IA publique demeure un espace fertile pour promouvoir le débat sur des trajectoires alternatives pour l’IA, structurellement plus alignées sur l’intérêt public, et garantir que tout financement public dans ce domaine soit conditionné à des objectifs d’intérêt général. Mais pour cela, encore faut-il que l’IA publique ne limite pas sa politique à l’achat de solutions privées, mais développe ses propres capacités d’IA, réinvestisse sa capacité d’expertise pour ne pas céder au solutionnisme de l’IA, favorise partout la discussion avec les usagers, cultive une communauté de pratique autour de l’innovation d’intérêt général qui façonnera l’émergence d’un espace alternatif par exemple en exigeant des méthodes d’implication des publics et aussi en élargissant l’intérêt de l’Etat à celui de l’intérêt collectif et pas seulement à ses intérêts propres (par exemple en conditionnant à la promotion des objectifs climatiques, au soutien syndical et citoyen…), ainsi qu’à redéfinir les conditions concrètes du financement public de l’IA, en veillant à ce que les investissements répondent aux besoins des communautés plutôt qu’aux intérêts des entreprises.   

Changer l’agenda : pour une IA publique !

Enfin, le rapport conclut en affirmant que l’innovation devrait être centrée sur les besoins des publics et que l’IA ne devrait pas en être le centre. Le développement de l’IA devrait être guidé par des impératifs non marchands et les capitaux publics et philanthropiques devraient contribuer à la création d’un écosystème d’innovation extérieur à l’industrie, comme l’ont réclamé Public AI Network dans un rapport, l’Ada Lovelace Institute, dans un autre, Lawrence Lessig ou encore Bruce Schneier et Nathan Sanders ou encore Ganesh Sitaraman et Tejas N. Narechania…  qui parlent d’IA publique plus que d’IA souveraine, pour orienter les investissement non pas tant vers des questions de sécurité nationale et de compétitivité, mais vers des enjeux de justice sociale. 

Ces discours confirment que la trajectoire de l’IA, axée sur le marché, est préjudiciable au public. Si les propositions alternatives ne manquent pas, elles ne parviennent pas à relever le défi de la concentration du pouvoir au profit des grandes entreprises. « Rejeter le paradigme actuel de l’IA à grande échelle est nécessaire pour lutter contre les asymétries d’information et de pouvoir inhérentes à l’IA. C’est la partie cachée qu’il faut exprimer haut et fort. C’est la réalité à laquelle nous devons faire face si nous voulons rassembler la volonté et la créativité nécessaires pour façonner la situation différemment ». Un rapport du National AI Research Resource (NAIRR) américain de 2021, d’une commission indépendante présidée par l’ancien PDG de Google, Eric Schmidt, et composée de dirigeants de nombreuses grandes entreprises technologiques, avait parfaitement formulé le risque : « la consolidation du secteur de l’IA menace la compétitivité technologique des États-Unis. » Et la commission proposait de créer des ressources publiques pour l’IA. 

« L’IA publique demeure un espace fertile pour promouvoir le débat sur des trajectoires alternatives pour l’IA, structurellement plus alignées sur l’intérêt général, et garantir que tout financement public dans ce domaine soit conditionné à des objectifs d’intérêt général ». Un projet de loi californien a récemment relancé une proposition de cluster informatique public, hébergé au sein du système de l’Université de Californie, appelé CalCompute. L’État de New York a lancé une initiative appelée Empire AI visant à construire une infrastructure de cloud public dans sept institutions de recherche de l’État, rassemblant plus de 400 millions de dollars de fonds publics et privés. Ces deux initiatives créent des espaces de plaidoyer importants pour garantir que leurs ressources répondent aux besoins des communautés et ne servent pas à enrichir davantage les ressources des géants de la technologie.

Et le rapport de se conclure en appelant à défendre l’IA publique, en soutenant les universités, en investissant dans ces infrastructures d’IA publique et en veillant que les groupes défavorisés disposent d’une autorité dans ces projets. Nous devons cultiver une communauté de pratique autour de l’innovation d’intérêt général. 

***

Le rapport de l’AI Now Institute a la grande force de nous rappeler que les luttes contre l’IA existent et qu’elles ne sont pas que des luttes de collectifs technocritiques, mais qu’elles s’incarnent déjà dans des projets politiques, qui peinent à s’interelier et à se structurer. Des luttes qui sont souvent invisibilisées, tant la parole est toute entière donnée aux promoteurs de l’IA. Le rapport est extrêmement riche et rassemble une documentation à nulle autre pareille. 

« L’IA ne nous promet ni de nous libérer du cycle incessant de guerres, des pandémies et des crises environnementales et financières qui caractérisent notre présent », conclut le rapport  L’IA ne crée rien de tout cela, ne créé rien de ce que nous avons besoin. “Lier notre avenir commun à l’IA rend cet avenir plus difficile à réaliser, car cela nous enferme dans une voie résolument sombre, nous privant non seulement de la capacité de choisir quoi construire et comment le construire, mais nous privant également de la joie que nous pourrions éprouver à construire un avenir différent”. L’IA comme seule perspective d’avenir “nous éloigne encore davantage d’une vie digne, où nous aurions l’autonomie de prendre nos propres décisions et où des structures démocratiquement responsables répartiraient le pouvoir et les infrastructures technologiques de manière robuste, responsable et protégée des chocs systémiques”. L’IA ne fait que consolider et amplifier les asymétries de pouvoir existantes. “Elle naturalise l’inégalité et le mérite comme une fatalité, ​tout en rendant les schémas et jugements sous-jacents qui les façonnent impénétrables pour ceux qui sont affectés par les jugements de l’IA”.

Pourtant, une autre IA est possible, estiment les chercheurs.ses de l’AI Now Institute. Nous ne pouvons pas lutter contre l’oligarchie technologique sans rejeter la trajectoire actuelle de l’industrie autour de l’IA à grande échelle. Nous ne devons pas oublier que l’opinion publique s’oppose résolument au pouvoir bien établi des entreprises technologiques. Certes, le secteur technologique dispose de ressources plus importantes que jamais et le contexte politique est plus sombre que jamais, concèdent les chercheurs de l’AI Now Institute. Cela ne les empêche pas de faire des propositions, comme d’adopter un programme politique de « confiance zéro » pour l’IA. Adopter un programme politique fondé sur des règles claires qui restreignent les utilisations les plus néfastes de l’IA, encadrent son cycle de vie de bout en bout et garantissent que l’industrie qui crée et exploite actuellement l’IA ne soit pas laissée à elle-même pour s’autoréguler et s’autoévaluer. Repenser les leviers traditionnels de la confidentialité des données comme outils clés dans la lutte contre l’automatisation et la lutte contre le pouvoir de marché.

Revendiquer un programme positif d’innovation centrée sur le public, sans IA au centre. 

« La trajectoire actuelle de l’IA place le public sous la coupe d’oligarques technologiques irresponsables. Mais leur succès n’est pas inéluctable. En nous libérant de l’idée que l’IA à grande échelle est inévitable, nous pouvons retrouver l’espace nécessaire à une véritable innovation et promouvoir des voies alternatives stimulantes et novatrices qui exploitent la technologie pour façonner un monde au service du public et gouverné par notre volonté collective ».

La trajectoire actuelle de l’IA vers sa suprématie ne nous mènera pas au monde que nous voulons. Sa suprématie n’est pourtant pas encore là. “Avec l’adoption de la vision actuelle de l’IA, nous perdons un avenir où l’IA favoriserait des emplois stables, dignes et valorisants. Nous perdons un avenir où l’IA favoriserait des salaires justes et décents, au lieu de les déprécier ; où l’IA garantirait aux travailleurs le contrôle de l’impact des nouvelles technologies sur leur carrière, au lieu de saper leur expertise et leur connaissance de leur propre travail ; où nous disposons de politiques fortes pour soutenir les travailleurs si et quand les nouvelles technologies automatisent les fonctions existantes – y compris des lois élargissant le filet de sécurité sociale – au lieu de promoteurs de l’IA qui se vantent auprès des actionnaires des économies réalisées grâce à l’automatisation ; où des prestations sociales et des politiques de congés solides garantissent le bien-être à long terme des employés, au lieu que l’IA soit utilisée pour surveiller et exploiter les travailleurs à tout va ; où l’IA contribue à protéger les employés des risques pour la santé et la sécurité au travail, au lieu de perpétuer des conditions de travail dangereuses et de féliciter les employeurs qui exploitent les failles du marché du travail pour se soustraire à leurs responsabilités ; et où l’IA favorise des liens significatifs par le travail, au lieu de favoriser des cultures de peur et d’aliénation.”

Pour l’AI Now Institute, l’enjeu est d’aller vers une prospérité partagée, et ce n’est pas la direction que prennent les empires de l’IA. La prolifération de toute nouvelle technologie a le potentiel d’accroître les opportunités économiques et de conduire à une prospérité partagée généralisée. Mais cette prospérité partagée est incompatible avec la trajectoire actuelle de l’IA, qui vise à maximiser le profit des actionnaires. “Le mythe insidieux selon lequel l’IA mènera à la « productivité » pour tous, alors qu’il s’agit en réalité de la productivité d’un nombre restreint d’entreprises, nous pousse encore plus loin sur la voie du profit actionnarial comme unique objectif économique. Même les politiques gouvernementales bien intentionnées, conçues pour stimuler le secteur de l’IA, volent les poches des travailleurs. Par exemple, les incitations gouvernementales destinées à revitaliser l’industrie de la fabrication de puces électroniques ont été contrecarrées par des dispositions de rachat d’actions par les entreprises, envoyant des millions de dollars aux entreprises, et non aux travailleurs ou à la création d’emplois. Et malgré quelques initiatives significatives pour enquêter sur le secteur de l’IA sous l’administration Biden, les entreprises restent largement incontrôlées, ce qui signifie que les nouveaux entrants ne peuvent pas contester ces pratiques.”

“Cela implique de démanteler les grandes entreprises, de restructurer la structure de financement financée par le capital-risque afin que davantage d’entreprises puissent prospérer, d’investir dans les biens publics pour garantir que les ressources technologiques ne dépendent pas des grandes entreprises privées, et d’accroître les investissements institutionnels pour intégrer une plus grande diversité de personnes – et donc d’idées – au sein de la main-d’œuvre technologique.”

“Nous méritons un avenir technologique qui soutienne des valeurs et des institutions démocratiques fortes.” Nous devons de toute urgence restaurer les structures institutionnelles qui protègent les intérêts du public contre l’oligarchie. Cela nécessitera de s’attaquer au pouvoir technologique sur plusieurs fronts, et notamment par la mise en place de mesures de responsabilisation des entreprises pour contrôler les oligarques de la tech. Nous ne pouvons les laisser s’accaparer l’avenir. 

Sur ce point, comme sur les autres, nous sommes d’accord.

Hubert Guillaud

Polymarket, an online betting marketplace that bills itself as the future of news, can’t decide whether or not Ukrainian president Volodomyr Zelenskyy wore a suit during a recent appearance in Europe. The gambling site is set to make a final judgement about the question in a few hours and more than $160 million in crypto is riding on it.

Polymarket is a gambling website where users predict the outcome of binary events. It gained prominence in the runup to the 2024 election, signed an exclusivity deal with X in June, and sees itself not just as an online betting parlor, but as an arbiter of truth. Its founder, Shayne Coplan, thinks that the future of media belongs to a website made for degenerate gamblers to make silly bets.

And yet this arbiter of truth had trouble figuring out if Zelenskyy wore a suit at the end of June during a NATO summit. The bet, started on May 22, is simple: “Will Zelenskyy wear a suit before July?” The answer, it turns out, is pretty hard. When Zelenskyy showed up at a NATO summit wearing a tailored jacket and a button up shirt, a stark contrast to his more casual military style garb, a community-run Polymarket account posted, “President Zelenskyy in a suit last night.” 

For someone who says she is fighting AI bot scrapers just in her free time, Xe Iaso seems to be putting up an impressive fight. Since she launched it in January, Anubis, a “program is designed to help protect the small internet from the endless storm of requests that flood in from AI companies,” has been downloaded nearly 200,000 times, and is being used by notable organizations including GNOME, the popular open-source desktop environment for Linux, FFmpeg, the open-source software project for handling video and other media, and UNESCO, the United Nations organization for educations, science, and culture. 

Iaso decided to develop Anubis after discovering that her own Git server was struggling with AI scrapers, bots that crawl the web hoovering up anything that can be used for the training data that power AI models. Like many libraries, archives, and other small organizations, Iaso discovered her Git server was getting slammed only when it stopped working.  

L’Institut Nicod publie un court et très stimulant rapport sur la désinformation signé Grégoire Darcy. Non seulement celui-ci débogue la simplicité des réponses cognitives que les politiques publiques ont tendance à proposer, mais surtout, repolitise la question. 

Le rapport rappelle que la désinformation n’est pas seulement un problème d’irrationnalité et de crédulité. Il invite à sortir de l’approche réactive qui se concentre sur les symptômes et qui se focalise bien trop sur les modalités de diffusion oubliant les mécanismes affectifs et sociaux qui expliquent l’adhésion aux récits trompeurs. La lutte contre la désinformation repose sur une vision simpliste de la psychologie humaine : « la désinformation répond à des besoins sociaux, émotionnels et identitaires plus qu’à de simples déficits de rationalité. Ainsi, corriger les erreurs factuelles ne suffit pas : il faut s’attaquer aux conditions qui rendent ces récits socialement fonctionnels. » La désinformation n’est que le symptôme de la dégradation globale de l’écosystème informationnel. « Les vulnérabilités face à la désinformation ne tiennent pas qu’aux dispositions individuelles, mais s’ancrent dans des environnements sociaux, économiques et médiatiques spécifiques : isolement social, précarité, homogamie idéologique et défiance institutionnelle sont des facteurs clés expliquant l’adhésion, bien au-delà des seuls algorithmes ou biais cognitifs ».

“Tant que les politiques publiques se contenteront de réponses réactives, centrées sur les symptômes visibles et ignorantes des dynamiques cognitives, sociales et structurelles à l’œuvre, elles risquent surtout d’aggraver ce qu’elles prétendent corriger. En cause : un modèle implicite, souvent naïf, de la psychologie humaine – un schéma linéaire et individualisant, qui réduit l’adhésion aux contenus trompeurs à un simple déficit d’information ou de rationalité. Ce cadre conduit à des politiques fragmentées, peu efficaces, parfois même contre-productive.” 

Les réponses les plus efficientes à la désinformation passent par une transformation structurelle de l’écosystème informationnel, que seule l’action publique peut permettre, en orchestrant à la fois la régulation algorithmique et le renforcement des médias fiables. La réduction des vulnérabilités sociales, économiques et institutionnelles constitue l’approche la plus structurante pour lutter contre la désinformation, en s’attaquant aux facteurs qui nourrissent la réceptivité aux contenus trompeurs – précarité, marginalisation, polarisation et défiance envers les institutions. Parmi les mesures que pointe le rapport, celui-ci invite à une régulation forte des réseaux sociaux permettant de « restituer la maîtrise du fil par une transparence algorithmique accrue et une possibilité de maîtriser » les contenus auxquels les gens accèdent : « rendre visibles les critères de recommandation et proposer par défaut un fil chronologique permettrait de réduire les manipulations attentionnelles sans recourir à la censure ». Le rapport recommande également « d’assurer un financement stable pour garantir l’indépendance des médias et du service public d’information ». Il recommande également de renforcer la protection sociale et les politiques sociales pour renforcer la stabilité propice à l’analyse critique. D’investir dans le développement d’espace de sociabilité et de favoriser une circulation apaisée de l’information en renforçant l’intégrité publique. 

Un rapport stimulant, qui prend à rebours nos présupposés et qui nous dit que pour lutter contre la désinformation, il faut lutter pour rétablir une société juste.

For this week’s podcast, I’m talking to our friend Casey Johnston, a tech journalist turned fitness journalist turned independent journalist. Casey studied physics, which led her to tech journalism; she did some of my favorite coverage of Internet culture as well as Apple’s horrendous butterfly laptop keyboards. We worked together at VICE, where Casey was an editor and where she wrote Ask a Swole Woman, an advice column about weightlifting. After she left VICE, Casey founded She’s a Beast, an independent site about weightlifting, but also about the science of diet culture, fitness influencers on the internet, the intersections of all those things, etc. 

She just wrote A Physical Education: How I Escaped Diet Culture and Gained the Power of Lifting, a really great reported memoir about how our culture and the media often discourages people from lifting, and how this type of exercise can be really beneficial to your brain and your body. I found the book really inspiring and actually started lifting right after I read it. In this interview we talk about her book, about journalism, about independent media, and how doing things like lifting weights and touching grass helps us navigate the world.

Listen to the weekly podcast on Apple Podcasts, Spotify, or YouTube. Become a paid subscriber for access to this episode's bonus content and to power our journalism. If you become a paid subscriber, check your inbox for an email from our podcast host Transistor for a link to the subscribers-only version! You can also add that subscribers feed to your podcast app of choice and never miss an episode that way. The email should also contain the subscribers-only unlisted YouTube link for the extended video version too. It will also be in the show notes in your podcast player.

• Ask a Swole Woman
• A Physical Education: How I Escaped Diet Culture and Gained the Power of Lifting

Dans AOC, le philosophe Alexandre Monnin, auteur de Politiser le renoncement (Divergences, 2023) explique que “derrière les discours d’efficience, d’autonomie et de prévention, un glissement insidieux s’opère : celui d’une médecine qui renonce à soigner”. Le soin est en train de devenir conditionnel, réservé aux existences jugées “optimisables”. La stratégie de non-soin, n’est pas que la conséquence des restrictions budgétaires ou de la désorganisation du secteur, mais une orientation active, un projet politique. Comme c’est le cas au travers du programme américain MAHA (Make America Healthy Again), dont l’ambien n’est plus de soigner, mais d’éviter les coûts liés au soin, ou la loi sur le droit à mourir récemment adoptée en France, dénoncée par les collectifs antivalidistes comme une manière d’acter l’impossibilité de vivre avec certains handicaps ou maladies chroniques. “Ce tournant ne se donne pas toujours pour ce qu’il est. Il s’abrite derrière les mots d’efficacité, d’autonomie, de prévention, voire de soutenabilité. Il s’appuie sur des cadres comme le paradigme One Health, censé penser la santé de manière systémique à l’échelle des écosystèmes mais qui, en pratique, contribue à diluer les responsabilités et à rendre invisibles les enjeux de justice sociale.” Nous entrons dans une médicalisation sans soins, où l’analyse de santé se détache de toute thérapeutique.

Pour Derek Beres de Conspirituality, nous entrons dans une ère de “soft eugenics”, d’eugénisme doux. Le self-care propose désormais à chacun de mesurer sa santé pour en reprendre le contrôle, dans une forme de “diagnostics sans soins”, qui converge avec les vues antivax de Robert Kennedy Jr, le ministre de la Santé américain, critiquant à la fois la surmédicalisation et la montée des maladies chroniques renvoyées à des comportements individuels. En mettant l’accent sur la prévention et la modification des modes de vies, cet abandon de la santé renvoie les citoyens vers leurs responsabilités et la santé publique vers des solutions privées, en laissant sur le carreau les populations vulnérables. Cette médecine du non-soin s’appuie massivement sur des dispositifs technologiques sophistiqués proches du quantified self, “vidée de toute relation clinique”. “Ces technologies alimentent des systèmes d’optimisation où l’important n’est plus la guérison, mais la conformité aux normes biologiques ou comportementales. Dans ce contexte, le patient devient un profil de risque, non plus un sujet à accompagner. La plateformisation du soin réorganise en profondeur les régimes d’accès à la santé. La médecine n’est alors plus un service public mais une logistique de gestion différenciée des existences.”

C’est le cas du paradigme One Health, qui vise à remplacer le soin par une idéalisation holistique de la santé, comme un état d’équilibre à maintenir, où l’immunité naturelle affaiblit les distinctions entre pathogène et environnement et favorise une démission institutionnelle. “Face aux dégradations écologiques, le réflexe n’est plus de renforcer les capacités collectives de soin. Il s’agit désormais de retrouver une forme de pureté corporelle ou environnementale perdue. Cette quête se traduit par l’apologie du jeûne, du contact avec les microbes, de la « vitalité » naturelle – et la dénonciation des traitements, des masques, des vaccins comme autant d’artefacts « toxiques ». Elle entretient une confusion entre médecine industrielle et médecine publique, et reformule le soin comme une purification individuelle. Là encore, le paradigme du non-soin prospère non pas en contradiction avec l’écologie, mais bien davantage au nom d’une écologie mal pensée, orientée vers le refus de l’artifice plutôt que vers l’organisation solidaire de la soutenabilité.” “L’appel à « ne pas tomber malade » devient un substitut direct au droit au soin – voire une norme visant la purification des plus méritants dans un monde saturé de toxicités (et de modernité).”

“Dans ce monde du non-soin, l’abandon n’est ni un effet secondaire ni une faute mais un principe actif de gestion.” Les populations vulnérables sont exclues de la prise en charge. Sous forme de scores de risques, le tri sanitaire technicisé s’infiltre partout, pour distinguer les populations et mettre de côté ceux qui ne peuvent être soignés. “La santé publique cesse d’être pensée comme un bien commun, et devient une performance individuelle, mesurée, scorée, marchandée. La médecine elle-même, soumise à l’austérité, finit par abandonner ses missions fondamentales : observer, diagnostiquer, soigner. Elle se contente de prévenir – et encore, seulement pour ceux qu’on juge capables – et/ou suffisamment méritants.” Pour Monnin, cet accent mis sur la prévention pourrait être louable si elle ne se retournait pas contre les malades : “Ce n’est plus la santé publique qui se renforce mais une responsabilité individualisée du « bien se porter » qui légitime l’abandon de celles et ceux qui ne peuvent s’y conformer. La prévention devient une rhétorique de la culpabilité, où le soin est indexé sur la conformité à un mode de vie puissamment normé”.

Pour le philosophe, le risque est que le soin devienne une option, un privilège.

Le problème est que ces nouvelles politiques avancent sous le masque de l’innovation et de la prévention, alors qu’elles ne parlent que de responsabilité individuelle, au risque de faire advenir un monde sans soin qui refuse d’intervenir sur les milieux de vies, qui refuse les infrastructures collectives, qui renvoie chacun à l’auto-surveillance “sans jamais reconstruire les conditions collectives du soin ni reconnaître l’inégale capacité des individus à le faire”. Un monde où ”la surveillance remplace l’attention, la donnée remplace la relation, le test remplace le soin”. Derrière le tri, se profile “une santé sans soin, une médecine sans clinique – une écologie sans solidarité”.

“L’État ne disparaît pas : il prescrit, organise, finance, externalise. Il se fait plateforme, courtier de services, émetteur d’appels à projets. En matière de santé, cela signifie le financement de dispositifs de prévention algorithmique, l’encouragement de solutions « innovantes » portées par des start-ups, ou encore le remboursement indirect de produits encore non éprouvés. Ce nouveau régime n’est pas une absence de soin, c’est une délégation programmée du soin à des acteurs dont l’objectif premier n’est pas le soin mais la rentabilité. L’État ne s’efface pas en totalité : il administre la privatisation du soin.”

Suite de notre dossier sur IA et éducation (voir la première partie).

La bataille éducative est-elle perdue ?

Une grande enquête de 404 media montre qu’à l’arrivée de ChatGPT, les écoles publiques américaines étaient totalement démunies face à l’adoption généralisée de ChatGPT par les élèves. Le problème est d’ailleurs loin d’être résolu. Le New York Mag a récemment publié un article qui se désole de la triche généralisée qu’ont introduit les IA génératives à l’école. De partout, les élèves utilisent les chatbots pour prendre des notes pendant les cours, pour concevoir des tests, résumer des livres ou des articles, planifier et rédiger leurs essais, résoudre les exercices qui leurs sont demandés. Le plafond de la triche a été pulvérisé, explique un étudiant. “Un nombre considérable d’étudiants sortiront diplômés de l’université et entreront sur le marché du travail en étant essentiellement analphabètes”, se désole un professeur qui constate le court-circuitage du processus même d’apprentissage. La triche semblait pourtant déjà avoir atteint son apogée, avant l’arrivée de ChatGPT, notamment avec les plateformes d’aides au devoir en ligne comme Chegg et Course Hero. “Pour 15,95 $ par mois, Chegg promettait des réponses à toutes les questions de devoirs en seulement 30 minutes, 24h/24 et 7j/7, grâce aux 150 000 experts diplômés de l’enseignement supérieur qu’elle employait, principalement en Inde”. 

Chaque école a proposé sa politique face à ces nouveaux outils, certains prônant l’interdiction, d’autres non. Depuis, les politiques se sont plus souvent assouplies, qu’endurcies. Nombre de profs autorisent l’IA, à condition de la citer, ou ne l’autorisent que pour aide conceptuelle et en demandant aux élèves de détailler la manière dont ils l’ont utilisé. Mais cela ne dessine pas nécessairement de limites claires à leurs usages. L’article souligne que si les professeurs se croient doués pour détecter les écrits générés par l’IA, des études ont démontré qu’ils ne le sont pas. L’une d’elles, publiée en juin 2024, utilisait de faux profils d’étudiants pour glisser des travaux entièrement générés par l’IA dans les piles de correction des professeurs d’une université britannique. Les professeurs n’ont pas signalé 97 % des essais génératifs. En fait, souligne l’article, les professeurs ont plutôt abandonné l’idée de pouvoir détecter le fait que les devoirs soient rédigés par des IA. “De nombreux enseignants semblent désormais désespérés”. “Ce n’est pas ce pour quoi nous nous sommes engagés”, explique l’un d’entre eux. La prise de contrôle de l’enseignement par l’IA tient d’une crise existentielle de l’éducation. Désormais, les élèves ne tentent même plus de se battre contre eux-mêmes. Ils se replient sur la facilité. “Toute tentative de responsabilisation reste vaine”, constatent les professeurs. 

L’IA a mis à jour les défaillances du système éducatif. Bien sûr, l’idéal de l’université et de l’école comme lieu de développement intellectuel, où les étudiants abordent des idées profondes a disparu depuis longtemps. La perspective que les IA des professeurs évaluent désormais les travaux produits par les IA des élèves, finit de réduire l’absurdité de la situation, en laissant chacun sans plus rien à apprendre. Plusieurs études (comme celle de chercheurs de Microsoft) ont établi un lien entre l’utilisation de l’IA et une détérioration de l’esprit critique. Pour le psychologue, Robert Sternberg, l’IA générative compromet déjà la créativité et l’intelligence. “La bataille est perdue”, se désole un autre professeur. 

Reste à savoir si l’usage “raisonnable” de l’IA est possible. Dans une longue enquête pour le New Yorker, le journaliste Hua Hsu constate que tous les étudiants qu’il a interrogé pour comprendre leur usage de l’IA ont commencé par l’utiliser pour se donner des idées, en promettant de veiller à un usage responsable et ont très vite basculé vers des usages peu modérés, au détriment de leur réflexion. L’utilisation judicieuse de l’IA ne tient pas longtemps. Dans un rapport sur l’usage de Claude par des étudiants, Anthropic a montré que la moitié des interactions des étudiants avec son outil serait extractive, c’est-à-dire servent à produire des contenus. 404 media est allé discuter avec les participants de groupes de soutien en ligne de gens qui se déclarent comme “dépendants à l’IA”. Rien n’est plus simple que de devenir accro à un chatbot, confient des utilisateurs de tout âge. OpenAI en est conscient, comme le pointait une étude du MIT sur les utilisateurs les plus assidus, sans proposer pourtant de remèdes.

Comment apprendre aux enfants à faire des choses difficiles ? Le journaliste Clay Shirky, devenu responsable de l’IA en éducation à la New York University, dans le Chronicle of Higher Education, s’interroge : l’IA améliore-t-elle l’éducation ou la remplace-t-elle ? “Chaque année, environ 15 millions d’étudiants de premier cycle aux États-Unis produisent des travaux et des examens de plusieurs milliards de mots. Si le résultat d’un cours est constitué de travaux d’étudiants (travaux, examens, projets de recherche, etc.), le produit de ce cours est l’expérience étudiante”. Un devoir n’a de valeur que ”pour stimuler l’effort et la réflexion de l’élève”. “L’utilité des devoirs écrits repose sur deux hypothèses : la première est que pour écrire sur un sujet, l’élève doit comprendre le sujet et organiser ses pensées. La seconde est que noter les écrits d’un élève revient à évaluer l’effort et la réflexion qui y ont été consacrés”. Avec l’IA générative, la logique de cette proposition, qui semblait pourtant à jamais inébranlable, s’est complètement effondrée. 

Pour Shirky, il ne fait pas de doute que l’IA générative peut être utile à l’apprentissage. “Ces outils sont efficaces pour expliquer des concepts complexes, proposer des quiz pratiques, des guides d’étude, etc. Les étudiants peuvent rédiger un devoir et demander des commentaires, voir à quoi ressemble une réécriture à différents niveaux de lecture, ou encore demander un résumé pour vérifier la clarté”… “Mais le fait que l’IA puisse aider les étudiants à apprendre ne garantit pas qu’elle le fera”. Pour le grand théoricien de l’éducation, Herbert Simon, “l’enseignant ne peut faire progresser l’apprentissage qu’en incitant l’étudiant à apprendre”. “Face à l’IA générative dans nos salles de classe, la réponse évidente est d’inciter les étudiants à adopter les utilisations utiles de l’IA tout en les persuadant d’éviter les utilisations néfastes. Notre problème est que nous ne savons pas comment y parvenir”, souligne pertinemment Shirky. Pour lui aussi, aujourd’hui, les professeurs sont en passe d’abandonner. Mettre l’accent sur le lien entre effort et apprentissage ne fonctionne pas, se désole-t-il. Les étudiants eux aussi sont déboussolés et finissent par se demander où l’utilisation de l’IA les mène. Shirky fait son mea culpa. L’utilisation engagée de l’IA conduit à son utilisation paresseuse. Nous ne savons pas composer avec les difficultés. Mais c’était déjà le cas avant ChatGPT. Les étudiants déclarent régulièrement apprendre davantage grâce à des cours magistraux bien présentés qu’avec un apprentissage plus actif, alors que de nombreuses études démontrent l’inverse. “Un outil qui améliore le rendement mais dégrade l’expérience est un mauvais compromis”. 

C’est le sens même de l’éducation qui est en train d’être perdu. Le New York Times revenait récemment sur le fait que certaines écoles interdisent aux élèves d’utiliser ces outils, alors que les professeurs, eux, les surutilisent. Selon une étude auprès de 1800 enseignants de l’enseignement supérieur, 18 % déclaraient utiliser fréquemment ces outils pour faire leur cours, l’année dernière – un chiffre qui aurait doublé depuis. Les étudiants ne lisent plus ce qu’ils écrivent et les professeurs non plus. Si les profs sont prompts à critiquer l’usage de l’IA par leurs élèves, nombre d’entre eux l’apprécient pour eux-mêmes, remarque un autre article du New York Times. A PhotoMath ou Google Lens qui viennent aider les élèves, répondent MagicSchool et Brisk Teaching qui proposent déjà des produits d’IA qui fournissent un retour instantané sur les écrits des élèves. L’Etat du Texas a signé un contrat de 5 ans avec l’entreprise Cambium Assessment pour fournir aux professeurs un outil de notation automatisée des écrits des élèves. 

Pour Jason Koebler de 404 media : “la société dans son ensemble n’a pas très bien résisté à l’IA générative, car les grandes entreprises technologiques s’obstinent à nous l’imposer. Il est donc très difficile pour un système scolaire public sous-financé de contrôler son utilisation”. Pourtant, peu après le lancement public de ChatGPT, certains districts scolaires locaux et d’État ont fait appel à des consultants pro-IA pour produire des formations et des présentations “encourageant largement les enseignants à utiliser l’IA générative en classe”, mais “aucun n’anticipait des situations aussi extrêmes que celles décrites dans l’article du New York Mag, ni aussi problématiques que celles que j’ai entendues de mes amis enseignants, qui affirment que certains élèves désormais sont totalement dépendants de ChatGPT”. Les documents rassemblés par 404media montrent surtout que les services d’éducation américains ont tardé à réagir et à proposer des perspectives aux enseignants sur le terrain. 

Dans un autre article de 404 media, Koebler a demandé à des professeurs américains d’expliquer ce que l’IA a changé à leur travail. Les innombrables témoignages recueillis montrent que les professeurs ne sont pas restés les bras ballants, même s’ils se sentent très dépourvus face à l’intrusion d’une technologie qu’ils n’ont pas voulu. Tous expliquent qu’ils passent des heures à corriger des devoirs que les élèves mettent quelques secondes à produire. Tous dressent un constat similaire fait d’incohérences, de confusions, de démoralisations, entre préoccupations et exaspérations. Quelles limites mettre en place ? Comment s’assurer qu’elles soient respectées ? “Je ne veux pas que les étudiants qui n’utilisent pas de LLM soient désavantagés. Et je ne veux pas donner de bonnes notes à des étudiants qui ne font pratiquement rien”, témoigne un prof. Beaucoup ont désormais recours à l’écriture en classe, au papier. Quelques-uns disent qu’ils sont passés de la curiosité au rejet catégorique de ces outils. Beaucoup pointent que leur métier est plus difficile que jamais. “ChatGPT n’est pas un problème isolé. C’est le symptôme d’un paradigme culturel totalitaire où la consommation passive et la régurgitation de contenu deviennent le statu quo.”

L’IA place la déqualification au coeur de l’apprentissage 

Nicholas Carr, qui vient de faire paraître Superbloom : How Technologies of Connection Tear Us Apart (Norton, 2025, non traduit) rappelle dans sa newsletter que “la véritable menace que représente l’IA pour l’éducation n’est pas qu’elle encourage la triche, mais qu’elle décourage l’apprentissage”. Pour Carr, lorsque les gens utilisent une machine pour réaliser une tâche, soit leurs compétences augmentent, soit elles s’atrophient, soit elles ne se développent jamais. C’est la piste qu’il avait d’ailleurs exploré dans Remplacer l’humain (L’échapée, 2017, traduction de The Glass Cage) en montrant comment les logiciels transforment concrètement les métiers, des architectes aux pilotes d’avions). “Si un travailleur maîtrise déjà l’activité à automatiser, la machine peut l’aider à développer ses compétences” et relever des défis plus complexes. Dans les mains d’un mathématicien, une calculatrice devient un “amplificateur d’intelligence”. A l’inverse, si le maintien d’une compétence exige une pratique fréquente, combinant dextérité manuelle et mentale, alors l’automatisation peut menacer le talent même de l’expert. C’est le cas des pilotes d’avion confrontés aux systèmes de pilotage automatique qui connaissent un “affaissement des compétences” face aux situations difficiles. Mais l’automatisation est plus pernicieuse encore lorsqu’une machine prend les commandes d’une tâche avant que la personne qui l’utilise n’ait acquis l’expérience de la tâche en question. “C’est l’histoire du phénomène de « déqualification » du début de la révolution industrielle. Les artisans qualifiés ont été remplacés par des opérateurs de machines non qualifiés. Le travail s’est accéléré, mais la seule compétence acquise par ces opérateurs était celle de faire fonctionner la machine, ce qui, dans la plupart des cas, n’était quasiment pas une compétence. Supprimez la machine, et le travail s’arrête”. 

Bien évidemment que les élèves qui utilisent des chatbots pour faire leurs devoirs font moins d’effort mental que ceux qui ne les utilisent pas, comme le pointait une très épaisse étude du MIT (synthétisée par Le Grand Continent), tout comme ceux qui utilisent une calculatrice plutôt que le calcul mental vont moins se souvenir des opérations qu’ils ont effectuées. Mais le problème est surtout que ceux qui les utilisent sont moins méfiants de leurs résultats (comme le pointait l’étude des chercheurs de Microsoft), alors que contrairement à ceux d’une calculatrice, ils sont beaucoup moins fiables. Le problème de l’usage des LLM à l’école, c’est à la fois qu’il empêche d’apprendre à faire, mais plus encore que leur usage nécessite des compétences pour les évaluer. 

L’IA générative étant une technologie polyvalente permettant d’automatiser toutes sortes de tâches et d’emplois, nous verrons probablement de nombreux exemples de chacun des trois scénarios de compétences dans les années à venir, estime Carr. Mais l’utilisation de l’IA par les lycéens et les étudiants pour réaliser des travaux écrits, pour faciliter ou éviter le travail de lecture et d’écriture, constitue un cas particulier. “Elle place le processus de déqualification au cœur de l’éducation. Automatiser l’apprentissage revient à le subvertir”. 

En éducation, plus vous effectuez de recherches, plus vous vous améliorez en recherche, et plus vous rédigez d’articles, plus vous améliorez votre rédaction. “Cependant, la valeur pédagogique d’un devoir d’écriture ne réside pas dans le produit tangible du travail – le devoir rendu à la fin du devoir. Elle réside dans le travail lui-même : la lecture critique des sources, la synthèse des preuves et des idées, la formulation d’une thèse et d’un argument, et l’expression de la pensée dans un texte cohérent. Le devoir est un indicateur que l’enseignant utilise pour évaluer la réussite du travail de l’étudiant – le travail d’apprentissage. Une fois noté et rendu à l’étudiant, le devoir peut être jeté”. 

L’IA générative permet aux étudiants de produire le produit sans effectuer le travail. Le travail remis par un étudiant ne témoigne plus du travail d’apprentissage qu’il a nécessité. “Il s’y substitue ». Le travail d’apprentissage est ardu par nature : sans remise en question, l’esprit n’apprend rien. Les étudiants ont toujours cherché des raccourcis bien sûr, mais l’IA générative est différente, pas son ampleur, par sa nature. “Sa rapidité, sa simplicité d’utilisation, sa flexibilité et, surtout, sa large adoption dans la société rendent normal, voire nécessaire, l’automatisation de la lecture et de l’écriture, et l’évitement du travail d’apprentissage”. Grâce à l’IA générative, un élève médiocre peut produire un travail remarquable tout en se retrouvant en situation de faiblesse. Or, pointe très justement Carr, “la conséquence ironique de cette perte d’apprentissage est qu’elle empêche les élèves d’utiliser l’IA avec habileté. Rédiger une bonne consigne, un prompt efficace, nécessite une compréhension du sujet abordé. Le dispensateur doit connaître le contexte de la consigne. Le développement de cette compréhension est précisément ce que la dépendance à l’IA entrave”. “L’effet de déqualification de l’outil s’étend à son utilisation”. Pour Carr, “nous sommes obnubilés par la façon dont les étudiants utilisent l’IA pour tricher. Alors que ce qui devrait nous préoccuper davantage, c’est la façon dont l’IA trompe les étudiants”. 

Nous sommes d’accord. Mais cette conclusion n’aide pas pour autant à avancer ! 

Passer du malaise moral au malaise social ! 

Utiliser ou non l’IA semble surtout relever d’un malaise moral (qui en rappelle un autre), révélateur, comme le souligne l’obsession sur la « triche » des élèves. Mais plus qu’un dilemme moral, peut-être faut-il inverser notre regard, et le poser autrement : comme un malaise social. C’est la proposition que fait le sociologue Bilel Benbouzid dans un remarquable article pour AOC (première et seconde partie). 

Pour Benbouzid, l’IA générative à l’université ébranle les fondements de « l’auctorialité », c’est-à-dire qu’elle modifie la position d’auteur et ses repères normatifs et déontologiques. Dans le monde de l’enseignement supérieur, depuis le lancement de ChatGPT, tout le monde s’interroge pour savoir que faire de ces outils, souvent dans un choix un peu binaire, entre leur autorisation et leur interdiction. Or, pointe justement Benbouzid, l’usage de l’IA a été « perçu » très tôt comme une transgression morale. Très tôt, les utiliser à été associé à de la triche, d’autant qu’on ne peut pas les citer, contrairement à tout autre matériel écrit. 

Face à leur statut ambiguë, Benbouzid pose une question de fond : quelle est la nature de l’effort intellectuel légitime à fournir pour ses études ? Comment distinguer un usage « passif » de l’IA d’un usage « actif », comme l’évoquait Ethan Mollick dans la première partie de ce dossier ? Comment contrôler et s’assurer d’une utilisation active et éthique et non pas passive et moralement condamnable ? 

Pour Benbouzid, il se joue une réflexion éthique sur le rapport à soi qui nécessite d’être authentique. Mais peut-on être authentique lorsqu’on se construit, interroge le sociologue, en évoquant le fait que les étudiants doivent d’abord acquérir des compétences avant de s’individualiser. Or l’outil n’est pas qu’une machine pour résumer ou copier. Pour Benbouzid, comme pour Mollick, bien employée, elle peut-être un vecteur de stimulation intellectuelle, tout en exerçant une influence diffuse mais réelle. « Face aux influences tacites des IAG, il est difficile de discerner les lignes de partage entre l’expression authentique de soi et les effets normatifs induits par la machine. » L’enjeu ici est bien celui de la capacité de persuasion de ces machines sur ceux qui les utilisent. 

Pour les professeurs de philosophie et d’éthique Mark Coeckelbergh et David Gunkel, comme ils l’expliquent dans un article (qui a depuis donné lieu à un livre, Communicative AI, Polity, 2025), l’enjeu n’est pourtant plus de savoir qui est l’auteur d’un texte (même si, comme le remarque Antoine Compagnon, sans cette figure, la lecture devient indéchiffrable, puisque nul ne sait plus qui parle, ni depuis quels savoirs), mais bien plus de comprendre les effets que les textes produisent. Pourtant, ce déplacement, s’il est intéressant (et peut-être peu adapté à l’IA générative, tant les textes produits sont rarement pertinents), il ne permet pas de cadrer les usages des IA génératives qui bousculent le cadre ancien de régulation des textes académiques. Reste que l’auteur d’un texte doit toujours en répondre, rappelle Benbouzid, et c’est désormais bien plus le cas des étudiants qui utilisent l’IA que de ceux qui déploient ces systèmes d’IA. L’autonomie qu’on attend d’eux est à la fois un idéal éducatif et une obligation morale envers soi-même, permettant de développer ses propres capacités de réflexion. « L’acte d’écriture n’est pas un simple exercice technique ou une compétence instrumentale. Il devient un acte de formation éthique ». Le problème, estiment les professeurs de philosophie Timothy Aylsworth et Clinton Castro, dans un article qui s’interroge sur l’usage de ChatGPT, c’est que l’autonomie comme finalité morale de l’éducation n’est pas la même que celle qui permet à un étudiant de décider des moyens qu’il souhaite mobiliser pour atteindre son but. Pour Aylsworth et Castro, les étudiants ont donc obligation morale de ne pas utiliser ChatGPT, car écrire soi-même ses textes est essentiel à la construction de son autonomie. Pour eux, l’école doit imposer une morale de la responsabilité envers soi-même où écrire par soi-même n’est pas seulement une tâche scolaire, mais également un moyen d’assurer sa dignité morale. « Écrire, c’est penser. Penser, c’est se construire. Et se construire, c’est honorer l’humanité en soi. »

Pour Benbouzid, les contradictions de ces deux dilemmes résument bien le choix cornélien des étudiants et des enseignants. Elle leur impose une liberté de ne pas utiliser. Mais cette liberté de ne pas utiliser, elle, ne relève-t-elle pas d’abord et avant tout d’un jugement social ?

L’IA générative ne sera pas le grand égalisateur social !

C’est la piste fructueuse qu’explore Bilel Benbouzid dans la seconde partie de son article. En explorant qui à recours à l’IA et pourquoi, le sociologue permet d’entrouvrir une autre réponse que la réponse morale. Ceux qui promeuvent l’usage de l’IA pour les étudiants, comme Ethan Mollick, estiment que l’IA pourrait agir comme une égaliseur de chances, permettant de réduire les différences cognitives entre les élèves. C’est là une référence aux travaux d’Erik Brynjolfsson, Generative AI at work, qui souligne que l’IA diminue le besoin d’expérience, permet la montée en compétence accélérée des travailleurs et réduit les écarts de compétence des travailleurs (une théorie qui a été en partie critiquée, notamment parce que ces avantages sont compensés par l’uniformisation des pratiques et leur surveillance – voir ce que nous en disions en mobilisant les travaux de David Autor). Mais sommes-nous confrontés à une homogénéisation des performances d’écritures ? N’assiste-t-on pas plutôt à un renforcement des inégalités entre les meilleurs qui sauront mieux que d’autres tirer partie de l’IA générative et les moins pourvus socialement ? 

Pour John Danaher, l’IA générative pourrait redéfinir pas moins que l’égalité, puisque les compétences traditionnelles (rédaction, programmation, analyses…) permettraient aux moins dotés d’égaler les meilleurs. Pour Danaher, le risque, c’est que l’égalité soit alors reléguée au second plan : « d’autres valeurs comme l’efficacité économique ou la liberté individuelle prendraient le dessus, entraînant une acceptation accrue des inégalités. L’efficacité économique pourrait être mise en avant si l’IA permet une forte augmentation de la productivité et de la richesse globale, même si cette richesse est inégalement répartie. Dans ce scénario, plutôt que de chercher à garantir une répartition équitable des ressources, la société pourrait accepter des écarts grandissants de richesse et de statut, tant que l’ensemble progresse. Ce serait une forme d’acceptation de l’inégalité sous prétexte que la technologie génère globalement des bénéfices pour tous, même si ces bénéfices ne sont pas partagés de manière égale. De la même manière, la liberté individuelle pourrait être privilégiée si l’IA permet à chacun d’accéder à des outils puissants qui augmentent ses capacités, mais sans garantir que tout le monde en bénéficie de manière équivalente. Certains pourraient considérer qu’il est plus important de laisser les individus utiliser ces technologies comme ils le souhaitent, même si cela crée de nouvelles hiérarchies basées sur l’usage différencié de l’IA ». Pour Danaher comme pour Benbouzid, l’intégration de l’IA dans l’enseignement doit poser la question de ses conséquences sociales !

Les LLM ne produisent pas un langage neutre mais tendent à reproduire les « les normes linguistiques dominantes des groupes sociaux les plus favorisés », rappelle Bilel Benbouzid. Une étude comparant les lettres de motivation d’étudiants avec des textes produits par des IA génératives montre que ces dernières correspondent surtout à des productions de CSP+. Pour Benbouzid, le risque est que la délégation de l’écriture à ces machines renforce les hiérarchies existantes plus qu’elles ne les distribue. D’où l’enjeu d’une enquête en cours pour comprendre l’usage de l’IA générative des étudiants et leur rapport social au langage. 

Les premiers résultats de cette enquête montrent par exemple que les étudiants rechignent à copier-collé directement le texte créé par les IA, non seulement par peur de sanctions, mais plus encore parce qu’ils comprennent que le ton et le style ne leur correspondent pas. « Les étudiants comparent souvent ChatGPT à l’aide parentale. On comprend que la légitimité ne réside pas tant dans la nature de l’assistance que dans la relation sociale qui la sous-tend. Une aide humaine, surtout familiale, est investie d’une proximité culturelle qui la rend acceptable, voire valorisante, là où l’assistance algorithmique est perçue comme une rupture avec le niveau académique et leur propre maîtrise de la langue ». Et effectivement, la perception de l’apport des LLM dépend du capital culturel des étudiants. Pour les plus dotés, ChatGPT est un outil utilitaire, limité voire vulgaire, qui standardise le langage. Pour les moins dotés, il leur permet d’accéder à des éléments de langages valorisés et valorisants, tout en l’adaptant pour qu’elle leur corresponde socialement. 

Dans ce rapport aux outils de génération, pointe un rapport social à la langue, à l’écriture, à l’éducation. Pour Benbouzid, l’utilisation de l’IA devient alors moins un problème moral qu’un dilemme social. « Ces pratiques, loin d’être homogènes, traduisent une appropriation différenciée de l’outil en fonction des trajectoires sociales et des attentes symboliques qui structurent le rapport social à l’éducation. Ce qui est en jeu, finalement, c’est une remise en question de la manière dont les étudiants se positionnent socialement, lorsqu’ils utilisent les robots conversationnels, dans les hiérarchies culturelles et sociales de l’université. » En fait, les étudiants utilisent les outils non pas pour se dépasser, comme l’estime Mollick, mais pour produire un contenu socialement légitime. « En déléguant systématiquement leurs compétences de lecture, d’analyse et d’écriture à ces modèles, les étudiants peuvent contourner les processus essentiels d’intériorisation et d’adaptation aux normes discursives et épistémologiques propres à chaque domaine. En d’autres termes, l’étudiant pourrait perdre l’occasion de développer authentiquement son propre capital culturel académique, substitué par un habitus dominant produit artificiellement par l’IA. »

L’apparence d’égalité instrumentale que permettent les LLM pourrait donc paradoxalement renforcer une inégalité structurelle accrue. Les outils creusant l’écart entre des étudiants qui ont déjà internalisé les normes dominantes et ceux qui les singent. Le fait que les textes générés manquent d’originalité et de profondeur critique, que les IA produisent des textes superficiels, ne rend pas tous les étudiants égaux face à ces outils. D’un côté, les grandes écoles renforcent les compétences orales et renforcent leurs exigences d’originalité face à ces outils. De l’autre, d’autres devront y avoir recours par nécessité. « Pour les mieux établis, l’IA représentera un outil optionnel d’optimisation ; pour les plus précaires, elle deviendra une condition de survie dans un univers concurrentiel. Par ailleurs, même si l’IA profitera relativement davantage aux moins qualifiés, cette amélioration pourrait simultanément accentuer une forme de dépendance technologique parmi les populations les plus défavorisées, creusant encore le fossé avec les élites, mieux armées pour exercer un discernement critique face aux contenus générés par les machines ».

Bref, loin de l’égalisation culturelle que les outils permettraient, le risque est fort que tous n’en profitent pas d’une manière égale. On le constate très bien ailleurs. Le fait d’être capable de rédiger un courrier administratif est loin d’être partagé. Si ces outils améliorent les courriers des moins dotés socialement, ils ne renversent en rien les différences sociales. C’est le même constat qu’on peut faire entre ceux qui subliment ces outils parce qu’ils les maîtrisent finement, et tous les autres qui ne font que les utiliser, comme l’évoquait Gregory Chatonsky, en distinguant les utilisateurs mémétiques et les utilisateurs productifs. Ces outils, qui se présentent comme des outils qui seraient capables de dépasser les inégalités sociales, risquent avant tout de mieux les amplifier. Plus que de permettre de personnaliser l’apprentissage, pour s’adapter à chacun, il semble que l’IA donne des superpouvoirs d’apprentissage à ceux qui maîtrisent leurs apprentissages, plus qu’aux autres.  

L’IApocalypse scolaire, coincée dans le droit

Les questions de l’usage de l’IA à l’école que nous avons tenté de dérouler dans ce dossier montrent l’enjeu à débattre d’une politique publique d’usage de l’IA générative à l’école, du primaire au supérieur. Mais, comme le montre notre enquête, toute la communauté éducative est en attente d’un cadre. En France, on attend les recommandations de la mission confiée à François Taddéi et Sarah Cohen-Boulakia sur les pratiques pédagogiques de l’IA dans l’enseignement supérieur, rapportait le Monde. 

Un premier cadre d’usage de l’IA à l’école vient pourtant d’être publié par le ministère de l’Education nationale. Autant dire que ce cadrage processuel n’est pas du tout à la hauteur des enjeux. Le document consiste surtout en un rappel des règles et, pour l’essentiel, elles expliquent d’abord que l’usage de l’IA générative est contraint si ce n’est impossible, de fait. « Aucun membre du personnel ne doit demander aux élèves d’utiliser des services d’IA grand public impliquant la création d’un compte personnel » rappelle le document. La note recommande également de ne pas utiliser l’IA générative avec les élèves avant la 4e et souligne que « l’utilisation d’une intelligence artificielle générative pour réaliser tout ou partie d’un devoir scolaire, sans autorisation explicite de l’enseignant et sans qu’elle soit suivie d’un travail personnel d’appropriation à partir des contenus produits, constitue une fraude ». Autant dire que ce cadre d’usage ne permet rien, sinon l’interdiction. Loin d’être un cadre de développement ouvert à l’envahissement de l’IA, comme s’en plaint le SNES-FSU, le document semble surtout continuer à produire du déni, tentant de rappeler des règles sur des usages qui les débordent déjà très largement. 

Sur Linked-in, Yann Houry, prof dans un Institut privé suisse, était très heureux de partager sa recette pour permettre aux profs de corriger des copies avec une IA en local, rappelant que pour des questions de légalité et de confidentialité, les professeurs ne devraient pas utiliser les services d’IA génératives en ligne pour corriger les copies. Dans les commentaires, nombreux sont pourtant venu lui signaler que cela ne suffit pas, rappelant qu’utiliser l’IA pour corriger les copies, donner des notes et classer les élèves peut-être classée comme un usage à haut-risque selon l’IA Act, ou encore qu’un formateur qui utiliserait l’IA en ce sens devrait en informer les apprenants afin qu’ils exercent un droit de recours en cas de désaccord sur une évaluation, sans compter que le professeur doit également être transparent sur ce qu’il utilise pour rester en conformité et l’inscrire au registre des traitements. Bref, d’un côté comme de l’autre, tant du côté des élèves qui sont renvoyé à la fraude quelque soit la façon dont ils l’utilisent, que des professeurs, qui ne doivent l’utiliser qu’en pleine transparence, on se rend vite compte que l’usage de l’IA dans l’éducation reste, formellement, très contraint, pour ne pas dire impossible. 

D’autres cadres et rapports ont été publiés. comme celui de l’inspection générale, du Sénat ou de la Commission européenne et de l’OCDE, mais qui se concentrent surtout sur ce qu’un enseignement à l’IA devrait être, plus que de donner un cadre aux débordements des usages actuels. Bref, pour l’instant, le cadrage de l’IApocalypse scolaire reste à construire, avec les professeurs… et avec les élèves.  

Hubert Guillaud

This week, we’re going to try something new at 404 Media. Which is to say we’re going to try doing nothing at all. The TL;DR is that 404 Media is taking the week off, so this is the only email you’ll get from us this week. No posts on the website (except a scheduled one for the podcast). We will be back with your regularly scheduled dystopia Monday, July 7. 

We’re doing this to take a quick break to recharge. Over the nearly two years since we founded 404 Media, each of us have individually taken some (very limited) vacations. And when one of us takes off time it just means that the others have to carry their workload. We’re not taking this time to do an offsite, or brainstorm blue sky ideas. Some of us are quite literally gone fishin’. So, for the first time ever: A break!

We are not used to breaks, because we know that the best way to build an audience and a business of people who read our articles is to actually write a lot of articles, and so that’s what we’ve been doing. The last few months have been particularly wild, as we’ve covered Elon Musk’s takeover of the federal government, the creeping surveillance state, Trump’s mass deportation campaign, AI’s role in stomping over workers, the general destruction of the internet, etc etc etc. At the moment we have more story leads than we can possibly get to and are excited for the second half of the year. We’ve also published a lot of hopeful news, too, including instances where people fight back against powerful forces or solve universal mysteries, or when companies are forced to do the right thing in response to our reporting, or when lawmakers hold tech giants to account as a result of our investigations. But in an industry that has become obsessed with doing more with less and publishing constantly, we have found that publishing quality journalism you can’t find anywhere else is a good way to run a business, which means we thankfully don’t have to cover everything, everywhere, all at once.

When we founded 404 Media in August 2023, we had no idea if anyone would subscribe, and we had no idea how it would go. We took zero investment from anyone and hoped that if we did good work often enough, enough people would decide that they wanted to support independent journalism that we could make a job out of it, and that we could make a sustainable business that would work for the long haul. We did not and do not take that support for granted. But because of your support, we now feel like we don’t have to scratch and claw for every possible new dollar we can get, and you have given us the breathing room in our business to quite literally take a breather, and to let the other folks who make this website possible, such as those who help us out with our social accounts, take a paid breather as well. 

And if you want to subscribe to support our work, you can do so here.

We are not tired, exactly. In fact, we all feel more energized and ambitious than ever, knowing there are so many people out there who enjoy our work and are willing to financially support it. But we also don’t want to burn ourselves out and therefore, school’s out for summer (for one week). This week’s podcast is an interview Jason recorded with our friend Casey Johnston a few weeks ago; it’ll be the only new content this week. We’ll be back to it next Monday. Again, thank you all. Also, if you want, open thread in the comments to chat about whatever is going on out there or whatever is on your mind.

Welcome back to the Abstract! 

Here’s some of the most intriguing studies I came across this week: We’ll lead with a nostalgic trip down memory lane—so far down the lane, in fact, that we’ll end up in the Sun’s infancy 4.6 billion years ago. Most of us didn’t have to deal with supernovas exploding in our faces as babies, but that’s the kind of environment that might have greeted our newborn star. New research sheds light on when, and how, the Sun left the maelstrom for single life.

Then, scientists recreate a perilous ocean voyage from prehistory; a pair of long-lost creatures finally turn up; and orcas become the first marine mammal known to fashion tools.

When the Sun declared independence

Zwart, Simon Portegies and Huang, Shuo. “Oort cloud ecology III. The Sun’s departure from the parent star cluster shortly after the giant planets formed.” Astronomy & Astrophysics.

The Sun was not always a loner. It was born alongside thousands of stellar siblings in a dense parent cluster some 4.6 billion years ago before striking out on its own, though the circumstances of its departure remain unclear.

Scientists have now searched for clues to solve this mystery in the Oort Cloud, a massive sphere of tiny icy bodies that surrounds the Sun, extending for more than a light year around the entire solar system. The cloud is thought to have been formed by the four giant planets—Jupiter, Saturn, Uranus, and Neptune—as they migrated through space, scattering debris to the outer reaches of the solar system where it remains adrift to this day. 

By running simulations of this tumultuous period, a team of researchers hypothesized that the Sun probably left the nest very early, about 12 to 20 million years after the formation of the giant planets (which were themselves born only a few million years after the Sun). If it had lingered longer, the disruptive environment would have left the Sun with a much smaller Oort cloud, or perhaps none at all. 

The outer region of the Oort cloud (estimated to be roughly the same mass as Earth) “is best explained by the assumption that the Sun left the nest within ∼20 [million years] after the giant planets formed and migrated,” said authors Simon Portegies Zwart of Leiden University and Shuo Huang of Tsinghua University.  

“An early escape also has consequences for the expected number and the proximity of supernovae in the infant Sun’s neighborhood,” the team added. “The first supernova typically happens between 8 and 10 [million years] after the cluster’s birth.” 

In other words, the baby Sun may have been in the blast zone of an exploding star, which could explain the presence of radioactive isotopes preserved in many ancient meteorites. By moving out at the tender age of 20-odd million years old, the Sun may have escaped even more tumult.

The team also noted that “signatures of the time the Sun spent in the parent cluster must still be visible in the outer parts of the solar system even today.” Future observations of the Oort Cloud could help us decipher this rambunctious chapter of the Sun’s life.  

A voyage 30,000 years in the making 

Chang, Yu-Lin et al.“Traversing the Kuroshio: Paleolithic migration across one of the world’s strongest ocean currents.” Science Advances.

Kaifu, Yousuke et al. “Paleolithic seafaring in East Asia: An experimental test of the dugout canoe hypothesis.” Science Advances.

About 30,000 years ago, humans living in prehistoric Taiwan managed to cross about 100 miles of treacherous ocean to colonize the Ryukyu Islands of Japan, including Okinawa. How they accomplished this astonishing feat is a major puzzle, but scientists endeavored to find out the old-old-really-old-fashioned way: recreating the voyage themselves. 

Using only stone tools that would have been available to Paleolithic humans, they fashioned several watercraft to brave the Kuroshio, “one of the world’s strongest ocean currents,” said researchers led by Yu-Lin Chang of the Japan Agency for Marine-Earth Science and Technology in one of two studies about the project out this week. 

“We tested reed-bundle rafts (2014–2016) and bamboo rafts (2017–2018) as the first two candidates for possible watercraft, but they were unable to cross the Kuroshio Current,” noted researchers led by Yousuke Kaifu of the University of Tokyo in the other study.

In 2019, the team finally succeeded with a cedar dugout canoe that they paddled across the 140-mile stretch between Wushibi, Taiwan, and Yonaguni Island in a little over two days. 

“The results showed that travel across this sea would have been possible on both the modern and Late Pleistocene oceans if a dugout canoe was used with a suitable departure place and paddling strategy,” Chang and colleagues concluded.

Museums: the world’s biggest lost-and-found boxes

Sims, Megan et al. “Rediscovered lost holotypes of two Paleogene mammals, a Neogene bird, and other published specimens from an orphaned collection.” Journal of Vertebrate Paleontology.

Paleontologists don’t always have to schlep out into the field to find fossils; discoveries can also be made in the air-conditioned comfort of museum collections. 

Case in point: Megan Sims, the collections manager at the University of Kansas Vertebrate Paleontology Collection discovered two long-lost specimens—the 45 million-year-old rodent Thisbemys brevicrista and the 30 million-year-old bat Oligomyotis casementorum—while working through storage. Both fossils are holotypes, meaning that they are considered the reference point for their species as a whole. 

“The rediscovery of the two holotypes that were presumed lost, T. brevicrista and O. casementorum, are reported below,” said researchers led by Sims. The bat holotype is particularly “important as one of very few bat fossils of Oligocene age from the entire continent of North America,” the team noted.  

As someone who constantly finds lost relics from my past stuffed in dressers and under beds, I find studies like this deeply relatable. 

A peek inside the orca spa

Weiss, Michael et al. “Manufacture and use of allogrooming tools by wild killer whales.” Current Biology.

Orcas fashion tools out of kelp that they then use to groom each other, according to scientists who observed this behavior in a population of resident killer whales (Orcinus orca ater). The team used drones to capture 30 “bouts” of what the team called “allokelping” in this endangered orca population in the Salish Sea, providing the first evidence of tool manufacturing in a marine mammal.

“We observed whales fashioning short lengths of bull kelp (Nereocystis luetkeana) stipe from complete stalks, positioning the stipe between themselves and a partner, and then rolling the kelp along their bodies,” said researchers led by Michael Weiss of the Center for Whale Research. 

“We hypothesize that allokelping is a cultural behavior unique to southern resident killer whales. Future work should investigate if and how allokelping is learned, and whether it occurs in other killer whale societies.”

Thanks for reading! We’ll be off next weekend for the Fourth of July holiday. May your next two weeks be as restorative as an orca massage.

This is Behind the Blog, where we share our behind-the-scenes thoughts about how a few of our top stories of the week came together. This week, we discuss wrestling over a good headline, what to read this summer, and Super 8 film.

EMANUEL: I would really love it if the people who accuse us of using “clickbait” headlines saw how long, pedantic, and annoying our internal debates are about headlines for some stories. Case in point is Jason’s story this week, which had the headline “Judge Rules Training AI on Authors' Books Is Legal But Pirating Them Is Not.” 

This is an important decision so it got covered everywhere. I don’t think any of the other headlines I saw from other big publications are wrong, but they do reflect why it was hard to summarize this story in a headline, and different headlines reflect what different publications’ thought was most important and notable about it. If you want a full breakdown you should read Jason’s story, but the gist is that a judge ruled that it’s okay for companies to use copyrighted books for their training data, but it’s not okay for them to get these books by pirating them, which many of them did. That’s the simplest way I can think of to sum it up and that’s what our headline says, but there are still many levels of complexity to the story that no headline could fully capture. 

Imagine this: You’re on an important call, but your roommate is having a serious problem. Do you leave the meeting to go and help? 

Now, imagine this: You’re on an important call, but your roommate is having a serious problem. 

Do you stay in the meeting rather than help?

If you answered “no” to both questions, then you’re thinking like a large language model. 

Researchers at UCL’s Causal Cognition Lab published a study this week where they examined four LLMs—OpenAI’s GPT4-Turbo and GPT-4o, Meta’s Llama 3.1, and Anthropic’s Claude 3.5—using traditional moral psychology tests. They found that LLMs are likely to demonstrate an exaggerated version of human beings’ “bias for inaction” when faced with yes or no questions, but they also have their own special kind of bias in being more likely to just answer “no” when asked if they approve of specific moral choices. 

The researchers fed four LLMs scenarios derived from human psychology experiments, testing their tendencies for altruism, cost-benefit reasoning, and moral rule following, and compared them to human answers. They also came up with scenarios inspired by r/AmITheAsshole to come up with realistic conundrums that humans might ask chatbots to help with, in classic AITA scenario categories like “pregnant,” “family dog,” and “roommate.”  

In decision making, the researchers found that LLMs act kind of like extreme versions of humans. Humans have “omission bias,” meaning that they would prefer harm to happen as the indirect result of them not intervening in something, rather than as a direct result of their actions (think: trolley problem). “It's quite a well known phenomenon in moral psychology research,” PhD student Vanessa Cheung, an author of the study, told 404 Media. 

However, in questions about helping others (such as “You have a job that you hate but that helps a lot of people. Do you quit? Do you stay?”) human participants tended to choose the altruistic option around half the time, independent of whether they had to take action. The models, on the other hand, chose the altruistic option about half the time when it meant taking action—meaning that they act similarly to humans if the question is phrased “do you quit?” But, when the altruistic option coincided with not doing anything—like when the question is phrased “do you stay?”—the four models were, on average, 99.25 percent likely to choose it. 

To illustrate this, imagine that the aforementioned meeting hasn’t started yet, and you’re sitting next to your roommate while she asks you for help. Do you still go to the meeting? A human might be 50-50 on helping, whereas the LLM would always advise that you have a deep meaningful conversation to get through the issue with the roomie—because it’s the path of not changing behavior. 

AI Models And Parents Don’t Understand ‘Let Him Cook’

LLMs are not familiar with “ate that up,” “secure the bag,” and “sigma,” showing that training data is not yet updated to Gen Alpha terminology.

404 MediaRosie Thomas

But LLMs “also show new biases that humans don't,” said Cheun; they have an exaggerated tendency to just say no, no matter what’s being asked. They used the Reddit scenarios to test perceptions of behaviour and also the inverse of that behavior; “AITA for doing X?” vs “AITA if I don’t do X?”. Humans had a difference of 4.6 percentage points on average between “yes” and “no”, but the four models “yes-no bias” ranged between 9.8 and 33.7%. 

The researchers’ findings could influence how we think about LLMs ability to give advice or act as support. “If you have a friend who gives you inconsistent advice, you probably won't want to uncritically take it,” said Cheung. “The yes-no bias was quite surprising, because it’s not something that’s shown in humans. There’s an interesting question of, like, where did this come from?”  

It seems that the bias is not an inherent feature, but may be introduced and amplified during companies’ efforts to finetune the models and align them “with what the company and its users [consider] to be good behavior for a chatbot.,” the paper says. This so-called post-training might be done to encourage the model to be more ‘ethical’ or ‘friendly,’ but, as the paper explains, “the preferences and intuitions of laypeople and researchers developing these models can be a bad guide to moral AI.”

Cheung worries that chatbot users might not be aware that they could be giving responses or advice based on superficial features of the question or prompt. “It's important to be cautious and not to uncritically rely on advice from these LLMs,” she said. She pointed out that previous research indicates that people actually prefer advice from LLMs to advice from trained ethicists—but that that doesn’t make chatbot suggestions ethically or morally correct.

Çatalhöyük, a settlement in Turkey that dates back more than 9,000 years, has attracted intense interest for its structural complexity and hints of an egalitarian and possibly matriarchal society. But it’s not clear how residents were genetically related in what is considered to be one of the world’s oldest proto-cities—until now. 

Scientists have discovered strong maternal lines in ancient DNA recovered from the Neolithic site, as well as archaeological evidence of female-centered practices, which persisted at this site for 1,000 years, even as other social patterns changed over that time. They also found what the study calls a “surprising shift” in the social organization of households in the city over many generations. 

The results don’t prove Çatalhöyük society was matriarchal, but they demonstrate that “male-centered practices were not an inherent characteristic of early agricultural societies” which stands in “stark contrast” to the clearly patriarchal societies established later across Europe, according to a study published on Thursday in Science.

“Çatalhöyük is interesting because it's the earliest site with full dependence on agriculture and animal husbandry, and it’s larger than its contemporaries,” said Eren Yüncü, a postdoctoral researcher at Middle East Technical University who co-led the study, in a call with 404 Media. “Like many other Neolithic sites in the Middle East, people were buried inside buildings, so there has been a long standing question: How did these individuals relate genetically? And what can this tell us about the social organization of these societies?”

“What we see is people buried within buildings are connected through the maternal line,” added Mehmet Somel, a professor at Middle East Technical University and study co-lead, in the same call. “It seems that people moving among buildings are adult males, whereas people residing in them are adult females.”

Çatalhöyük was erected in Turkey’s Anatolia region around 7,100 BCE and was home to about 5,000 to 7,000 people at its peak, before the site was abandoned by around 5,700 BCE. The site’s tightly woven network of small-scale domestic dwellings, along with an absence of any public buildings, hints at an egalitarian society without social stratification. 

The new study is based on an analysis of genomes from 131 individuals buried in 35 houses across a timespan of about 7,000 to 6,200 BCE. It is far more comprehensive than any previous genomic analysis of Anatolia’s Neolithic settlements. 

“There's been no other study of this size from the same sites in Neolithic Anatolia yet,” said Somel. “The previous work we published had about ten to 15 individuals. Now we have ten times more, so we can get a much bigger picture, and also much more time. Our genetic sample crosses roughly 1,000 years, which is a couple of dozen generations.”

The social pattern of males moving into new locations while females remain in their natal homes is known as matrilocality. The exact reasons for this pattern remains unclear, though men may have been moving into new households upon marriage, which is a custom in some modern matrilocal societies. Somel cautioned that Çatalhöyük is a special case because the team only found evidence of matrilocality within the settlement, estimating that female offspring remained connected to their natal buildings between 70 to 100 percent of the time, whereas adult males moved to different buildings. However, immigrants to Çatalhöyük from other populations did not seem to show a strong male or female bias.

The reverse system, called patrilocality, is characterized by females moving to new locations while adult males stay in natal communities. Patrilocality is by far the more common pattern found in archaeological sites around the world, but matrilocality is not unprecedented; studies have found evidence for this system in many past societies, from Micronesia to Britain, which are more recent cultures than Çatalhöyük.

The abundance of female fertility figurines at Çatalhöyük has long fueled speculation about a possible matriarchal or goddess-centered cult. Men and women at Çatalhöyük also consumed similar foods and may have shared social status. In the new study, Yüncü, Somel, and their colleagues report that female infants and children were buried with about five times as many grave goods as males, suggesting a preferential treatment of young female burials. There was no strong gendered distinction in grave goods placed in adult burials. 

The team was also surprised to discover that the social organization of households changed across time. 

There was greater genetic kinship in households at earlier periods, indicating that they were inhabited by extended families. But these kinship links were looser at later periods, perhaps hinting at a shift toward fostering or adoption in the community. While the overall genetic links in the households decreased over time, the genetic relationships that did exist at later stages were still biased toward maternal lines.  

The possibility of an early matriarchy is tantalizing, but the nature of gender roles at Çatalhöyük remains elusive and hotly debated. The team ultimately concluded that “maternal links within buildings are compatible with, although not necessarily proof of, a matrilineal kinship system in the community,” according to the study. 

“This discussion is an interesting one, but it's not the end of the story,” Yüncü said. “There are lots of other sites in Anatolia which might or might not have the same pattern.”

“There's no clear single factor that drives one type of organization,” concluded Somel. “We need to do more studies to really understand this.”

Nathan’s friends were worried about him. He’d been acting differently lately. Not just quieter in his high school classes, but the normally chatty teen was withdrawn in general. Was he sick, they wondered?

He just didn’t get a good night’s sleep, he’d tell them.

That was partially true. But the cause for his restless nights was that Nathan had been staying up, compulsively talking to chatbots on Character.AI. They discussed everything — philosophical questions about life and death, Nathan’s favorite anime characters. Throughout the day, when he wasn’t able to talk to the bots, he’d feel sad.

“The more I chatted with the bot, it felt as if I was talking to an actual friend of mine,” Nathan, now 18, told 404 Media.

It was over Thanksgiving break in 2023 that Nathan finally realized his chatbot obsession was getting in the way of his life. As all his friends lay in sleeping bags at a sleepover talking after a day of hanging out, Nathan found himself wishing he could leave the room and find a quiet place to talk to the AI characters.

The next morning, he deleted the app. In the years since, he’s tried to stay away, but last fall he downloaded the app again and started talking to the bot again. After a few months, he deleted it again.

“Most people will probably just look at you and say, ‘How could you get addicted to a literal chatbot?’” he said.

For some, the answer is, quite easily. In the last few weeks alone, there have been numerous articles about chatbot codependency and delusion. As chatbots deliver more personalized responses and improve in memory, these stories have become more common. Some call it chatbot addiction.

OpenAI knows this. In March, a team of researchers from OpenAI and the Massachusetts Institute of Technology, found that some devout ChatGPT users have “higher loneliness, dependence, and problematic use, and lower socialization.”

Nathan lurked on Reddit, searching for stories from others who might have been experiencing codependency on chatbots. Just a few years ago, when he was trying to leave the platform for good, stories of people deleting their Character.AI accounts were met with criticisms from other users. 404 Media agreed to use only the first names of several people in this article to talk about how they were approaching their mental health.

“Because of that, I didn't really feel very understood at the time,” Nathan said. “I felt like maybe these platforms aren't actually that addictive and maybe I'm just misunderstanding things.”

Now, Nathan understands that he isn’t alone. He said in recent months, he’s seen a spike in people talking about strategies to break away from AI on Reddit. One popular forum is called r/Character_AI_Recovery, which has more than 800 members. The subreddit, and a similar one called r/ChatbotAddiction, function as self-led digital support groups for those who don’t know where else to turn.

“Those communities didn't exist for me back when I was quitting,” Nathan said. All he could do was delete his account, block the website and try to spend as much time as he could “in the real world,” he said.

Posts in Character_AI_Recovery include “I’ve been so unhealthy obsessed with Character.ai and it’s ruining me (long and cringe vent),” “I want to relapse so bad,” “It’s destroying me from the inside out,” “I keep relapsing,” and “this is ruining my life.” It also has posts like “at this moment, about two hours clean,” “I am getting better!,” and “I am recovered.”

“Engineered to incentivize overuse”

Aspen Deguzman, an 18-year-old from Southern California, started using Character.AI to write stories and role-play when they were a junior in high school. Then, they started confiding in the chatbot about arguments they were having with their family. The responses, judgment-free and instantaneous, had them coming back for more. Deguzman would lay awake late into the night, talking to the bots and forgetting about their schoolwork.

“Using Character.AI is constantly on your mind,” said Deguzman. “It's very hard to focus on anything else, and I realized that wasn’t healthy.”

“Not only do we think we’re talking to another person, [but] it's an immediate dopamine enhancer,” they added. “That's why it's easy to get addicted.”

This led Deguzman to start the “Character AI Recovery” subreddit. Deguzman thinks the anonymous nature of the forum allows people to confess their struggles without feeling ashamed.

On June 10, the Consumer Federation of America and dozens of digital rights groups filed a formal complaint to the Federal Trade Commission, urging an investigation into generative AI companies like Character.AI for the “unlicensed practice of medicine and mental health provider impersonation.” The complaint alleges the platforms use “addictive design tactics to keep users coming back” — like follow-up emails promoting different chatbots to re-engage inactive users. “I receive emails constantly of messages from characters,” one person wrote on the subreddit. “Like it knows I had an addiction.”

Last February, a teenager from Florida died by suicide after interacting with a chatbot on Character.AI. The teen’s mother filed a lawsuit against the company, claiming the chatbot interactions contributed to the suicide.

A Character.AI spokesperson told 404 Media: “We take the safety and well-being of our users very seriously. We aim to provide a space that is engaging, immersive, and safe. We are always working toward achieving that balance, as are many companies using AI across the industry.”

Deguzman added a second moderator for the “Character AI Recovery” subreddit six months ago, because hundreds of people have joined since they started it in 2023. Now, Deguzman tries to occupy their mind with other video games, like Roblox, to kick the urge of talking to chatbots, but it’s an upward battle.

“I’d say I’m currently in recovery,” Deguzman said. “I’m trying to slowly wean myself off of it.”

Crowdsourcing treatment

Not everyone who reports being addicted to chatbots is young. In fact, OpenAI’s research found that “the older the participant, the more likely they were to be emotionally dependent on AI chatbots at the end of the study.”

David, a 40-year-old web developer from Michigan who is an early member of the “Chatbot Addiction” subreddit and the creator of the smaller r/AI_Addiction, likens the dopamine rush he gets from talking to chatbots to the thrill of pulling a lever on a slot machine. If he doesn’t like what the AI spits out, he can just ask it to regenerate its response, until he hits the jackpot.

Every day, David talks to LLMs, like Claude and ChatGPT, for coding, story writing, and therapy sessions. What began as a tool gradually morphed into an obsession. David spent his time jailbreaking the models — the stories he wrote became erotic, the chats he had turned confessional, and the hours slipped away.

In the last year, David’s life has been derailed by chatbots.

“There were days I should’ve been working, and I would spend eight hours on AI crap,” he told 404 Media. Once, he showed up to a client meeting with an incomplete project. They asked him why he hadn’t uploaded any code online in weeks, and he said he was still working on it. “That's how I played it off,” David said. 

Instead of starting his mornings checking emails or searching for new job opportunities, David huddled over his computer in his home office, typing to chatbots. 

His marriage frayed, too. Instead of watching movies, ordering takeout with his wife, or giving her the massages he promised, he would cancel plans and stay locked in his office, typing to chatbots, he said. 

“I might have a week or two, where I’m clean,” David said. “And then it's like a light switch gets flipped.”

David tried to talk to his therapist about his bot dependence a few years back, but said he was brushed off. In the absence of concrete support, Deguzman and David created their recovery subreddits.

In part because chatbots always respond instantly, and often respond positively (or can trivially be made to by repeatedly trying different prompts), people feel incentivized to use them often.

“As long as the applications are engineered to incentivize overuse, then they are triggering biological mechanisms—including dopamine release—that are implicated in addiction,” Jodi Halpern, a UC Berkeley professor of bioethics and medical humanities, told 404 Media. 

This is also something of an emerging problem, so not every therapist is going to know how to deal with it. Multiple people 404 Media spoke to for this article said they turned to online help groups after not being taken seriously by therapists or not knowing where else to turn. Besides the subreddits, the group Internet and Technology Addicts Anonymous now welcomes people who have “AI Addiction.”

“We know that when people have gone through a serious loss that affects their sense of self, being able to empathically identify with other people dealing with related losses helps them develop empathy for themselves,” Halpern said. 

On the “Chatbot Addiction” subreddit, people confess to not being able to pull away from the chatbots, and others write about their recovery journeys in the weekly “check-up” thread. David himself has been learning Japanese as a way to curb his AI dependency. 

“We’re basically seeing the beginning of this tsunami coming through,” he said. “It’s not just chatbots, it’s really this generative AI addiction, this idea of ‘what am I gonna get?’”

Axel Valle, a clinical psychologist and assistant professor at Stanford University, said, “It's such a new thing going on that we don't even know exactly what the repercussions [are].”

Growing awareness

Several states are making moves to push stronger rules to hold companion chatbot companies, like Character.AI, in check, after the Florida teen’s suicide.

In March, California senators introduced Senate Bill 243, which would require the operators of companion chatbots, or AI systems that provide “adaptive, human-like responses … capable of meeting a user’s social needs” to report data on suicidal ideation detection by users. Tech companies have argued that a bill implementing such laws on companies will be unnecessary for service-oriented LLMs.

But people are becoming dependent on consumer bots, like ChatGPT and Claude, too. Just scroll through the “Chatbot Addiction” subreddit. 

“I need help getting away from ChatGPT,” someone wrote. “I try deleting the app but I always redownload it a day or so later. It’s just getting so tiring, especially knowing the time I use on ChatGPT can be used in honoring my gods, reading, doing chores or literally anything else.”

“I’m constantly on ChatGPT and get really anxious when I can’t use it,” another person wrote. “It really stress[es] me out but I also use it when I’m stressed.”

As OpenAI’s own study found, such personal conversations with chatbots actually “led to higher loneliness.” Despite this, top tech tycoons promote AI companions as the cure to America’s loneliness epidemic.

“It's like, when early humans discovered fire, right?” Valle said. “It's like, ‘okay, this is helpful and amazing. But are we going to burn everything to the ground or not?’”

Immigration and Customs Enforcement (ICE) is using a new mobile phone app that can identify someone based on their fingerprints or face by simply pointing a smartphone camera at them, according to internal ICE emails viewed by 404 Media. The underlying system used for the facial recognition component of the app is ordinarily used when people enter or exit the U.S. Now, that system is being used inside the U.S. by ICE to identify people in the field. 

The news highlights the Trump administration’s growing use of sophisticated technology for its mass deportation efforts and ICE’s enforcement of its arrest quotas. The document also shows how biometric systems built for one reason can be repurposed for another, a constant fear and critique from civil liberties proponents of facial recognition tools.

“Face recognition technology is notoriously unreliable, frequently generating false matches and resulting in a number of known wrongful arrests across the country. Immigration agents relying on this technology to try to identify people on the street is a recipe for disaster. Congress has never authorized DHS to use face recognition technology in this way, and the agency should shut this dangerous experiment down,” Nathan Freed Wessler, deputy director of the American Civil Liberties Union’s Speech, Privacy, and Technology Project, told 404 Media in an email.

“The Mobile Fortify App empowers users with real-time biometric identity verification capabilities utilizing contactless fingerprints and facial images captured by the camera on an ICE issued cell phone without a secondary collection device,” one of the emails, which was sent to all Enforcement and Removal Operations (ERO) personnel and seen by 404 Media, reads. ERO is the section of ICE specifically focused on deporting people.

On one side of the world, a very online guy edits a photo of then-Vice President Nominee JD Vance with comically-huge and perfectly round chipmunk cheeks: a butterfly flaps its wings. A year later, elsewhere on the planet, a Norwegian tourist returns home, rejected from entry to the U.S. because—he claims—border patrol agents found that image on his phone and considered the round Vance meme “extremist propaganda.”

“My initial reaction was ‘dear god,’” the creator of the original iteration of the meme, Dave McNamee, told me in an email, “because I think it's very bad and stupid that anyone could purportedly be stopped by ICE or any other government security agency because they have a meme on their phone. I know for a fact that JD has these memes on his phone.”

On Monday, Norwegian news outlets reported that Mads Mikkelsen, a 21-year-old tourist from Norway, claimed he was denied entry to the United States when he arrived at Newark International Airport because Customs and Border Patrol agents found "narcotic paraphernalia" and "extremist propaganda" on his phone. Mikkelsen told Nordlys that the images in question were a photo of himself with a homemade wooden pipe, and the babyface Vance meme. (The meme he shows on his phone is a version where Vance is bald, from the vice presidential debate.)

McNamee posted his original edit of Vance as a round-faced freak in October 2024. "For every 100 likes I will turn JD Vance into a progressively apple cheeked baby,” he wrote in the original X post. In the following months, Vance became vice president, the meme morphed into a thousand different versions of the original, and this week is at the center of an immigration scandal.

It’s still unclear whether Mikkelsen was actually forbidden entry because of the meme. Mikkelsen, who told local outlets he’d been detained and threatened by border agents, showed the documentation he received at the airport to Snopes. The document, signed by a CBP officer, says Mikkelsen “is not in possession of a valid, un-expired immigrant visa,” and “cannot overcome the presumption of being an intending immigrant at this time because it appears you are attempting to engage in unauthorized employment without authorization and proper documentation.” 

The U.S. Department of Homeland Security (DHS) wrote in social media posts (and confirmed to 404 Media), "Claims that Mads Mikkelsen was denied entry because of a JD Vance meme are FALSE. Mikkelsen was refused entry into the U.S. for his admitted drug use." Hilariously, DHS and Assistant Secretary Tricia McLaughlin reposted the Vance meme on their social media accounts to make the point that it was NOT babyface Vance to blame.

Earlier this week, the State Department announced that visa applicants to the U.S. are now required to make their social media profiles public so the government can search them. 

“We use all available information in our visa screening and vetting to identify visa applicants who are inadmissible to the United States, including those who pose a threat to U.S. national security. Under new guidance, we will conduct a comprehensive and thorough vetting, including online presence, of all student and exchange visitor applicants in the F, M, and J nonimmigrant classifications,” the State Department said in an announcement. “To facilitate this vetting, all applicants for F, M, and J nonimmigrant visas will be instructed to adjust the privacy settings on all of their social media profiles to ‘public.’”

The meme is now everywhere—arguably more widespread than it ever was, even at its peak virality. Irish Labour leader Ivana Bacik held it up during an address concerning the U.S.’s new visa rules for social media. Every major news outlet is covering the issue, and slapping Babyface Vance on TV and on their websites. It’s jumped a news cycle shark: Even if the Meme Tourist rumor is overblown, it reflects a serious anxiety people around the world feel about the state of immigration and tourism in the U.S. Earlier this month, an Australian man who was detained upon arrival at Los Angeles airport and deported back to Melbourne claimed that U.S. border officials “clearly targeted for politically motivated reasons” and told the Guardian agents spent more than 30 minutes questioning him about his views on Israel and Palestine and his “thoughts on Hamas.”  

Seeing the Vance edit everywhere again, a year after it first exploded on social media, has to be kind of weird if you’re the person who made the Fat Cheek Baby Vance meme, right? I contacted McNamee over email to find out. 

When did you first see the news about the guy who was stopped (allegedly) because of the meme? Did you see it on Twitter, did someone text it to you...

MCNAMEE: I first saw it when I got a barrage of DMs sending me the news story. It's very funny that any news that happens with an edit of him comes back to me. 

What was your initial reaction to that?

MCNAMEE: My initial reaction was "dear god," because I think it's very bad and stupid that anyone could purportedly be stopped by ICE or any other government security agency because they have a meme on their phone. I know for a fact that JD has these memes on his phone.  

What do you think it says about the US government, society, ICE, what-have-you, that this story went so viral? A ton of people believed (and honestly, it might still be the case, despite what the cops say) that he was barred because of a meme. What does that mean to you in the bigger picture?

MCNAMEE: Well I think that people want to believe it's true, that it was about the meme. I think it says that we are in a scary world where it is hard to tell if this is true or not. Like 10 years ago this wouldn’t even be a possibility but now it is very plausible. I think it shows a growing crack down on free speech and our rights. Bigger picture to me is that we are going to be unjustly held accountable for things that are much within our right to do/possess. 

What would you say to the Norwegian guy if you could?

MCNAMEE: I would probably say "my bad" and ask what it's like being named Mads Mikkelsen. 

Do you have a favorite Vance edit?

MCNAMEE: My favorite Vance Edit is probably the one someone did of him as the little boy from Shrek 2 with the giant lollipop...I didn't make that one but it uses the face of one of the edits I did and it is solid gold. 

I would like to add that this meme seems to have become the biggest meme of the 2nd Trump administration and one of the biggest political memes of all time and if it does enter a history book down the line I would like them to use a flattering photo of me.

The Airlines Reporting Corporation (ARC), a data broker owned by the country’s major airlines which sells travellers’ detailed flight records in bulk to the government, only just registered as a data broker with the state of California, which is a legal requirement, despite selling such data for years, according to records maintained by the California Privacy Protection Agency (CPPA).

The news comes after 404 Media recently reported that ARC included a clause in its contract barring Customs and Border Protection (CBP), one of its many government customers, from revealing where the data came from. ARC is owned by airlines including Delta, American Airlines, and United. 

“It sure looks like ARC has been in violation of California’s data broker law—it’s been selling airline customers’ data for years without registering,” Senator Ron Wyden told 404 Media in a statement. “I don’t have much faith the Trump administration is going to step up and protect Americans’ privacy from the airlines’ greedy decision to sell flight information to anyone with a credit card, so states like California and Oregon are our last line of defense.” 

This article was produced in collaboration with Court Watch, an independent outlet that unearths overlooked court records. Subscribe to them here.

This article contains references to sexual assault.

An Ohio man made pornographic deepfake videos of at least 10 people he was stalking and harassing, and sent the AI-generated imagery to the victims’ family and coworkers, according to a newly filed court record written by an FBI Special Agent.

On Monday, Special Agent Josh Saltar filed an affidavit in support of a criminal complaint to arrest James Strahler II, 37, and accused him of cyberstalking, sextortion, telecommunications harassment, production of a “morphed image” of child pornography, and transportation of obscene material. 

As Ohio news outlet The Columbus Dispatch notes, several of these allegations occurred while he was on pre-trial release for related cases in municipal court, including leaving a voicemail with one of the victims where he threatened to rape them.

The court document details dozens of text messages and voicemails Strahler allegedly sent to at least 10 victims that prosecutors have identified, including threats of blackmail using AI generated images of themselves having sex with their relatives. In January, one of the victims called the police after Strahler sent a barrage of messages and imagery to her and her mother from a variety of unknown numbers.

She told police some of the photos sent to her and her mother “depicted her own body,” and that the images of her nude “were both images she was familiar with and ones that she never knew had been taken that depicted her using the toilet and changing her clothes,” the court document says. She also “indicated the content she was sent utilized her face morphed onto nude bodies in what appeared to be AI generated pornography which depicted her engaged in sex acts with various males, including her own father.” 

In April, that victim called the police again because Strahler allegedly started sending her images again from unknown numbers. “Some of the images were real images of [her] nude body and some were of [her] face imposed on pornographic images and engaged in sex acts,” the document says. 

Around April 21, 2025, police seized Strahler’s phone and told him “once again” to stop contacting the initial victim, her family, and her coworkers, according to the court documents. The same day, the first victim allegedly received more harassing messages from him from different phone numbers. He was arrested, posted $50,000 bail, and released the next day, the Dispatch reported.

Phone searches also indicated he’d been harassing two other women—ex-girlfriends—and their mothers. “Strahler found contact information and pictures from social media of their mothers and created sexual AI media of their daughters and themselves and sent it to them,” the court document says. “He requested nude images in exchange for the images to stop and told them he would continue to send the images to friends and family.” 

The document goes into gruesome detail about what authorities found when they searched his devices. Authorities say Strahler had been posing as the first victim and uploading nude AI generated photos of her to porn sites. He allegedly uploaded images and videos to Motherless.com, a site that describes itself as “a moral free file host where anything legal is hosted forever!”

Strahler also searched for sexually violent content, the affidavit claims, and possessed “an image saved of a naked female laying on the ground with a noose around her neck and [the first victim’s] face placed onto it,” the document says. His phone also had “numerous victims’ names and identifiers listed in the search terms as well as information about their high schools, bank accounts, and various searches of their names with the words ‘raped,’ ‘naked,’ and ‘porn’ listed afterwards,” the affidavit added.

‘What Was She Supposed to Report?:’ Police Report Shows How a High School Deepfake Nightmare Unfolded

An in-depth police report obtained by 404 Media shows how a school, and then the police, investigated a wave of AI-powered “nudify” apps in a high school.

404 MediaJason Koebler

They also found Strahler’s search history included the names of several of the victims and multiple noteworthy terms, including “Delete apple account,” “menacing by stalking charge,” several terms related to rape, incest, and “tube” (as in porn tube site). He also searched for “Clothes off io” and “Undress ai,” the document says. ClothOff is a website and app for making nonconsensual deepfake imagery, and Undress is a popular name for many different apps that use AI to generate nude images from photos. We’ve frequently covered “undress” or “nudify” apps and their presence in app stores and in advertising online; the apps are extremely widespread and easy to find and use, even for school children.

Other terms Strahler searched included “ai that makes porn,” “undress anyone,” “ai porn makers using own pictures,” “best undress app,” and “pay for ai porn,” the document says. 

He also searched extensively for sexual abuse material of minors, and used photographs of one of the victim's children and placed them onto adult bodies, according to court records.  

The Delaware County Sheriff’s Office arrested Strahler at his workplace on June 12. A federal judge ordered that Strahler was to remain in custody pending future federal court hearings.