Uns gehen die Worte aus.
Echte. Von echten Menschen geschrieben. Der Zeitplan ist enger als wir dachten, einige Experten gehen davon aus, dass er Ende dieses Jahres abgeschlossen sein wird. Was als nächstes passiert, ist ein Chaos namens Modellkollaps. Die Maschinen fressen ihre eigenen Schwänze, synthetisieren neue Daten aus altem Müll und beginnen dann zu lügen. Nicht nur falsche Antworten. Totale Fertigung.
Das ist nicht nur für einen Chatbot ärgerlich.
Wenn ein LLM, der in einem Krankenhaus läuft, anfängt, Krebs falsch zu diagnostizieren, weil seine Trainingsdaten nicht mehr verfügbar sind, sind Sie einer existenziellen Bedrohung ausgesetzt. Yasser Roudi vom King’s College London sagt, dass der Einsatz nicht höher sein könnte.
„Wenn sie beim Training eines anderen Modells einen Modellkollaps erlebten, könnten diese Maschinen Menschen falsch diagnostizieren.“
Er hat nicht gesagt, könnte, es wäre vielleicht ein Vielleicht.
Wie können wir also das Abgleiten in den Unsinn stoppen? Die Antwort ist überraschend einfach. Fügen Sie einfach einen menschlichen Datenpunkt hinzu.
Keine Milliarde. Eins.
Die Folie zum Unsinn
Wir sehen bereits kleine Anzeichen. ChatGPT gibt langweilige, geglättete Antworten. Halluzinationen. Fakten, die richtig klingen, es aber nicht sind. Wenn LLMs auf Daten anderer LLMs trainieren, wird alles homogenisiert. Die seltsamen Kanten verschwinden. Die Varianz wird lebendig aufgefressen.
Der frühe Zusammenbruch sieht nach langweiligem, allgemeinem Text aus. Spätes Stadium ist Kauderwelsch.
Niemand will ein Modell, das denkt, dass die Sonne im Westen aufgeht, nur um eine symbolische Grenze zu füllen. Aber dies in riesigen Systemen zu verfolgen, ist wie die Suche nach der Nadel im digitalen Heuhaufen. Es ist zu groß. Zu chaotisch.
Kleine Modelle, große Wahrheiten
Die Forscher – Teams vom King’s College London, der norwegischen Universität für Wissenschaft und Technologie und dem italienischen Abdus Salam Centre – traten einen Schritt zurück. Sie schauten nicht auf die Monster. Sie betrachteten exponentielle Familien. Kleinere Wahrscheinlichkeitsmodelle.
Denken Sie an Münzwürfe. Glockenkurven.
Mathe, an dem man sich tatsächlich festhalten kann.
Durch die Untersuchung dieser nachvollziehbaren Modelle fanden sie den Mechanismus hinter dem Zerfall. Das „Warum“. Und sie fanden das Heilmittel. Es spielt keine Rolle, wie viel synthetischer Slop sich in der Trainingsschleife befindet, selbst wenn 99,9 % maschinell hergestellt werden, bleibt das System vernünftig, solange es einen einzigen Anker gibt, der die Wahrheit festlegt.
Ein reales Bild, klassifiziert von einem echten Menschen.
Nur einer.
Dieser externe Datenpunkt fungiert als Schwerkraftquelle für die Realität. Es zieht die Verteilung dorthin zurück, wo die Wahrheit lebt. Dies veröffentlichten die Forscher bereits im Mai in Physical Review Letters und bewiesen damit die Theorie mathematisch.
Nächste Schritte?
Der Einsatz in der realen Welt ist eine andere Geschichte. Wir haben noch nicht erlebt, dass eine große KI in der Öffentlichkeit völlig verrückt geworden ist. Wir bekommen meistens seltsame Gedichte und gefälschte Gerichtsverfahren. Aber die Mathematik lügt nicht. Der Drift ist da.
Roudi möchte dies jetzt an größeren Tieren testen. Diejenigen, die das Internet betreiben. Wenn es zutrifft, ändert es alles für KI-Ingenieure, die die nächste Generation von ChatGPTs entwickeln. Sie brauchen keine endlosen menschlichen Datensätze mehr. Gerade genug Anker.
Es ist eine seltsame Speicherung.
Eine einzige menschliche Stimme in einem Refrain aus digitalen Echos reicht aus, um den Wiedererkennungswert des Liedes aufrechtzuerhalten.
Aber wie lange können wir diesen Thread aufrechterhalten?
