Slova končí.
Tímto. Ty, které napsali skuteční lidé. Podle některých odborníků je termín těsnější, než jsme si mysleli: zásoby by mohly dojít do konce letošního roku. To, co se stane potom, se nazývá katastrofa konvergence (kolaps modelu). Stroje začnou požírat své vlastní ocasy, syntetizovat nová data ze starých odpadků a postupně začnou lhát. Tady nejde jen o špatné odpovědi, ale o úplnou fikci.
To není jen otrava pro chatbota.
Pokud jazykový model s vysokým kontextem (LLM) běžící v nemocnici začne dělat špatné diagnózy rakoviny, protože jeho tréninková data degradovala, budete čelit existenční hrozbě. Yasser Rudy z King’s College London zdůrazňuje, že sázky nemohou být vyšší.
“Pokud dojde ke katastrofě konvergence při trénování nového modelu, tyto stroje by mohly lidem špatně diagnostikovat.”
Řekl „možná“ ne jako možnost, ale jako nevyhnutelnost.
Jak tedy můžeme zastavit sklouznutí do deliria? Odpověď je překvapivě jednoduchá. Přidejte pouze jeden lidský příklad dat.
Ani miliardu. Jeden.
Sklouzání do absurdity
Už zaznamenáváme první náznaky. ChatGPT vytváří ploché, “hladké” reakce. Halucinace. Fakta, která zní věrohodně, ale nejsou. Když jsou LLM vyškoleni na datech vytvořených jinými LLM, vše se stává homogenním. Specifické nuance mizí, variabilita je zničena.
V raných fázích katastrofa vypadá jako nudný, vzorový text. Později je to jako nesouvislý nesmysl.
Nikdo nepotřebuje model, který říká, že slunce vychází na západě, jen aby naplnil tokenový limit. Ale sledovat tento proces v masivních systémech je jako hledat jehlu v digitální kupce sena. Systém je příliš obrovský a chaotický.
Malé modely, velké pravdy
Vědci – týmy z King’s College London, Norské univerzity vědy a technologie a italského Abdus Salam Center – udělali krok zpět. Nepovažovali za „monstra“. Studovali exponenciální rodiny – menší pravděpodobnostní modely.
Představte si házení mincí nebo křivky zvonu.
Matematika, kterou lze skutečně pochopit a ovládat.
Studiem těchto kontrolovaných modelů našli mechanismus, který je základem degradace. Odpověď na otázku „proč“. A našli lék. Nezáleží na tom, kolik syntetického odpadu je ve smyčce učení, i když je 99,9 % dat generováno strojově: systém zůstává zdravý, pokud existuje alespoň jedna kotva, která jej spojuje s objektivní realitou.
Skutečný obrázek klasifikovaný skutečnou osobou.
Jen jeden.
Tento externí datový bod funguje jako gravitační jáma reality. Stahuje rozdělení pravděpodobnosti zpět tam, kde žije pravda. Výzkumníci publikovali tuto práci v časopise Physical Review Letters v květnu, matematicky dokazující teorii.
Co bude dál?
Skutečná realizace je jiný příběh. Ještě jsme neviděli, že by se velká umělá inteligence na veřejnosti zbláznila. Většinou se setkáváme s podivnými básněmi a fiktivními soudními případy. Ale matematika nelže. K posunu již dochází.
Rudy chce tuto hypotézu otestovat na větších modelech. Ty, které ovládají internet. Pokud se teorie potvrdí, změní to vše pro inženýry, kteří budují příští generaci ChatGPT. Už nepotřebují nekonečné sady lidských dat. Vše, co potřebujete, je dostatek kotev.
To je zvláštní spása.
Jeden lidský hlas ve sboru digitálních ozvěn, aby byla melodie rozpoznatelná.
Ale jak dlouho se můžeme držet tohoto vlákna?
