Denna vecka blev både inbitna läsare och vardagliga nätanvändare förskräckta över uppgifter om sällsynta böcker som mals till pappersmassa i stor skala som offer för stora språkmodeller. Ryktet gick att bokleverantörer mottog onormalt stora order, i tron att AI-företag sökte renare källmaterial samtidigt som de kringgick upphovsrättslagarna. I centrum av debatten stod ISBNdb, en bokdatabas som inte bara uppmuntrade trenden utan såg ut att möjliggöra den. Publiken reagerade starkt när sajten nu försöker distansera sig från kontroversen och rensa sina egna inlägg i frågan.
“Vi har sett den senaste bevakningen om en marknadsföringslandningssida på vår sajt, och vi förstår den oro den väckte,” skriver ISBNdb i en uppdatering. “Vi tränar inte AI-modeller, och det har vi aldrig gjort. Sidan var ett test av marknadsintresset; ingen sådan tjänst blev någonsin verklighet. Vi har tagit ner sidan.”
A few days earlier, 404 Media reported about the concerning trend of suppliers suddenly hit with bulk book orders. With schools and libraries lean on resources, the decreased business has left them vulnerable. It was suspected that AI firms were making these new orders, but putting themselves in front of the crosshairs was ISBNdb, a database who seemingly introduced a service to patch AI firms through to depositories.
“The world’s best AI training data is sitting on a shelf,” read the now deleted landing page. “Books represent curated, peer-reviewed, domain-specific human knowledge, structured in a way no web crawl can replicate. Dense, edited, authoritative.”
Upprörtheten nådde kokpunkt denna vecka men nyheterna om praxis bröt igenom i januari förra året, när rättsdokument avslöjade “Project Panama,” ett program inom Anthropic för att skanna och därefter förstöra så många böcker som de kunde få tag på. Anthropic slog sedan till med en uppgörelse med författarna på 1,5 miljarder dollar, men de osläppta inlagorna visade att praxisen anses laglig, bara dålig publicitet, och företaget var villigt att satsa mycket för att hålla den dold. Nu är informationen ute ur flaskan, och misstänkta sällsynta bokbeställningar granskas noggrant.
“Det gynnar mig ekonomiskt såväl som att rensa ut gammalt lager som annars sannolikt inte skulle säljas,” berättade en anonym säljare för 404s Samantha Cole. “Å andra sidan gillar jag inte slutbruket, och jag gillar inte att ovanliga böcker mals till pappersmassa.”
Medan AI-företagen försöker hantera helvetet de själva åsamkat sig kämpar de med att hitta ”ren” källmaterial att träna LLMs på. Oavsett om det är innehåll av låg kvalitet på nätet, eller material som redan genererats av AI och riskerar negativa återkopplingsslingor, försöker dessa företag suga upp högre kvalitet utan att väcka för mycket uppmärksamhet. Tidigare i somras tillkännagav A24 ett samarbete med Google för att bistå träningen av DeepMind, i hopp om att hjälpa deras mediegenaratorer att ta sig ur träsket av grumlig brun färg, förbannad Ghibli-slemm.
As for the destruction part, it’s unlikely being done in attempts to cover their tracks or some Brianiac-style rare knowledge obsession. The Project Panama documents didn’t specify why they trashed the books, but it’s most likely just trying to save a buck. Archiving and scanning books doesn’t have to destroy the source material, but being done cheaply and quickly, it likely will. Ripping apart the spines for clearer scans and disposing of the crumpled heap.
