We hebben bijna geen woorden meer.
Echte. Geschreven door echte mensen. De tijdlijn is krapper dan we dachten; sommige experts zeggen dat het eind dit jaar voorbij is. Wat er daarna gebeurt is een puinhoop genaamd model ineenstorting. De machines eten hun eigen staarten op, synthetiseren nieuwe gegevens uit oud afval, en beginnen dan te liegen. Niet alleen foute antwoorden. Totale verzinsel.
Dat is niet alleen vervelend voor een chatbot.
Als een LLM in een ziekenhuis een verkeerde diagnose van kanker begint te stellen omdat de trainingsgegevens zwak zijn geworden, heb je een existentiële bedreiging in handen. Yasser Roudi van King’s College London zegt dat de inzet niet hoger kan zijn.
“Als ze tijdens het trainen van een ander model het model Collapse ervaarden, zouden deze machines een verkeerde diagnose bij mensen kunnen stellen.”
Hij zei niet kan alsof het een misschien is.
Dus hoe stoppen we het afglijden naar onzin? Het antwoord is verrassend eenvoudig. Voeg gewoon één menselijk datapunt toe.
Geen miljard. Een.
De glijbaan naar onzin
We zien al kleine bordjes. ChatGPT geeft saaie, vloeiende antwoorden. Hallucinaties. Feiten die goed klinken, maar dat niet zijn. Wanneer LLM’s trainen op gegevens van andere LLM’s, wordt alles gehomogeniseerd. De vreemde randen verdwijnen. De variantie wordt levend opgegeten.
Vroege ineenstorting ziet eruit als saaie, algemene tekst. Een laat stadium is onzin.
Niemand wil een model dat denkt dat de zon in het westen opkomt, alleen maar om een symbolische limiet te vullen. Maar het volgen hiervan in enorme systemen is als het vinden van een speld in een digitale hooiberg. Het is te groot. Te chaotisch.
Kleine modellen, grote waarheden
De onderzoekers – teams van King’s College London, de Noorse Universiteit voor Wetenschap en Technologie en het Italiaanse Abdus Salam Centrum – deden een stap terug. Ze keken niet naar de monsters. Ze keken naar exponentiële families. Kleinere waarschijnlijkheidsmodellen.
Denk aan muntjesgooien. Bel-curven.
Wiskunde waar je echt grip op kunt krijgen.
Door deze handelbare modellen te bestuderen, ontdekten ze het mechanisme achter het verval. Het ‘waarom’. En ze vonden het geneesmiddel. Het maakt niet uit hoeveel synthetische slop er in de trainingslus zit, ook al is 99,9% machinaal gemaakt, het systeem blijft gezond zolang er maar één anker is voor grondwaarheid.
Een echt beeld geclassificeerd door een echt mens.
Slechts één.
Dit externe datapunt fungeert als zwaartekrachtbron voor de werkelijkheid. Het trekt de distributie terug naar waar de waarheid leeft. De onderzoekers publiceerden dit in mei in Physical Review Letters, waarmee ze de theorie wiskundig bewezen.
Volgende stappen?
Implementatie in de echte wereld is een ander verhaal. We hebben nog geen grote AI in het openbaar helemaal gek zien worden. We krijgen vooral rare gedichten en valse rechtszaken. Maar de wiskunde liegt niet. De drift is er.
Roudi wil dit nu op grotere beesten testen. Degenen die het internet beheren. Als dat zo is, verandert alles voor AI-ingenieurs die de volgende generatie ChatGPT’s bouwen. Ze hebben geen eindeloze menselijke datasets meer nodig. Net genoeg ankers.
Het is een vreemde redding.
Eén menselijke stem in een koor van digitale echo’s is voldoende om het nummer herkenbaar te houden.
Hoe lang kunnen we die draad echter volhouden?
