Słowa dobiegają końca.
Niniejszym. Te pisane przez prawdziwych ludzi. Według części ekspertów termin jest krótszy, niż sądziliśmy: zapasy mogą się wyczerpać do końca tego roku. To, co dzieje się później, nazywa się katastrofą konwergencji (załamaniem modelu). Maszyny zaczynają zjadać własny ogon, syntetyzować nowe dane ze starych śmieci i stopniowo zaczynają kłamać. Nie chodzi tu tylko o błędne odpowiedzi, ale o kompletną fikcję.
Nie jest to tylko irytacja dla chatbota.
Jeśli działający w szpitalu model języka wysokiego kontekstu (LLM) zacznie stawiać błędne diagnozy raka z powodu degradacji danych szkoleniowych, staniesz w obliczu egzystencjalnego zagrożenia. Yasser Rudy z King’s College London podkreśla, że stawka nie może być wyższa.
„Jeśli podczas uczenia nowego modelu wystąpi katastrofa konwergencji, maszyny te mogą błędnie diagnozować ludzi”.
Powiedział „może” nie jako możliwość, ale jako nieuchronność.
Jak więc możemy powstrzymać popadnięcie w delirium? Odpowiedź jest zaskakująco prosta. Dodaj tylko jeden przykład danych od człowieka.
Nie miliard. Jeden.
Popadanie w absurd
Już zauważamy pierwsze oznaki. ChatGPT generuje płaskie, „płynne” odpowiedzi. Halucynacje. Fakty, które brzmią wiarygodnie, ale takie nie są. Kiedy LLM są szkolone na danych tworzonych przez inne LLM, wszystko staje się jednorodne. Zanikają specyficzne niuanse, zmienność zostaje zniszczona.
Na wczesnych etapach katastrofa wygląda jak nudny, szablonowy tekst. Później jest to jak niespójny nonsens.
Nikt nie potrzebuje modelu, który mówi, że słońce wschodzi na zachodzie, tylko po to, aby wypełnić limit żetonów. Jednak śledzenie tego procesu w ogromnych systemach przypomina szukanie igły w cyfrowym stogu siana. System jest zbyt duży i chaotyczny.
Małe modele, wielkie prawdy
Naukowcy – zespoły z King’s College London, Norweskiego Uniwersytetu Nauki i Technologii oraz włoskiego Abdus Salam Center – cofnęli się o krok. Nie uważali za „potwory”. Badali rodziny wykładnicze — mniejsze modele prawdopodobieństwa.
Pomyśl o rzucie monetą lub krzywiznach dzwonka.
Matematyka, którą można naprawdę zrozumieć i kontrolować.
Badając te kontrolowane modele, odkryli mechanizm leżący u podstaw degradacji. Odpowiedź na pytanie „dlaczego”. I znaleźli lekarstwo. Nie ma znaczenia, ile syntetycznych śmieci znajduje się w pętli uczenia się, nawet jeśli 99,9% danych jest generowanych maszynowo: system pozostaje zdrowy, dopóki istnieje co najmniej jedna kotwica łącząca go z obiektywną rzeczywistością.
Prawdziwy obraz sklasyfikowany przez prawdziwą osobę.
Tylko jeden.
Ten zewnętrzny punkt danych działa jak grawitacyjny dół rzeczywistości. To ściąga rozkład prawdopodobieństwa z powrotem do miejsca, w którym mieszka prawda. Naukowcy opublikowali tę pracę w czasopiśmie Physical Review Letters w maju, matematycznie potwierdzając tę teorię.
Co dalej?
Prawdziwe wdrożenie to inna historia. Nie widzieliśmy jeszcze, żeby duża sztuczna inteligencja szalała publicznie. Najczęściej spotykamy dziwne wiersze i fikcyjne sprawy sądowe. Ale matematyka nie kłamie. Zmiana już następuje.
Rudy chce przetestować tę hipotezę na większych modelach. Ci, którzy kontrolują Internet. Jeśli teoria okaże się prawdziwa, zmieni to wszystko dla inżynierów budujących kolejną generację ChatGPT. Nie potrzebują już niekończących się zbiorów ludzkich danych. Wszystko czego potrzebujesz to wystarczająca ilość kotwic.
To dziwne zbawienie.
Jeden ludzki głos w chórze cyfrowych ech, aby melodia była rozpoznawalna.
Ale jak długo możemy ciągnąć ten wątek?
