Словам приходить кінець.
Справжнім. Тим, що написані справжніми людьми. За словами деяких експертів, терміни стиснуті більше, ніж ми думали: запаси можуть закінчитися вже до кінця цього року. Тим, що станеться далі, дали назву катастрофа збіжності (model collapse). Машини починають поїдати свої власні хвости, синтезуючи нові дані зі старого сміття, і поступово починають брехати. Йдеться не просто про невірні відповіді, а про повну вигадку.
Це не просто прикра неприємність для чат-бота.
Якщо мовна модель з великим контекстом (LLM), яка працює в лікарні, почне помилятися в діагнозах раку через те, що її навчальні дані деградували, ви зіткнетеся з екзистенційною загрозою. Ясер Руді з Королівського коледжу Лондона підкреслює, що ставки тут не можуть бути вищими.
«Якщо під час навчання нової моделі станеться катастрофа збіжності, ці машини можуть поставити людям неправильний діагноз».
Він сказав “можуть” не як можливість, а як неминучість.
То як же зупинити сповзання до марення? Відповідь напрочуд проста. Додайте лише один людський приклад даних.
Чи не мільярд. Один.
Сповзання в абсурд
Ми вже помічаємо перші ознаки. ChatGPT видає плоскі, згладжені відповіді. Галюцинації. Факти, які звучать правдоподібно, але не є такими. Коли LLM навчаються на даних, створених іншими LLM, все стає однорідним. Зникають специфічні нюанси, варіативність знищується.
На ранніх стадіях катастрофа виглядає нудним, шаблонним текстом. На пізніх — як безладна маячня.
Нікому не потрібна модель, яка стверджує, що сонце встає на заході, аби заповнити ліміт токенів. Але відстежувати цей процес у масивних системах однаково шукати голку в цифровому стогу сіна. Система надто величезна та хаотична.
Маленькі моделі, великі істини
Дослідники – команди з Королівського коледжу Лондона, Норвезького університету науки та технологій та італійського Центру Абдуса Салама – зробили крок назад. Вони не розглядали “монстрів”. Вони вивчали експоненційні сімейства — менші ймовірнісні моделі.
Уявіть підкидання монети або дзвонові криві.
Математику, яку можна дійсно осягнути та контролювати.
Вивчаючи ці керовані моделі, вони виявили механізм, що лежить в основі деградації. Відповідь на запитання «чому». І вони знайшли ліки. Не має значення, скільки синтетичного шлаку міститься в циклі навчання, навіть якщо 99,9% даних створено машинами: система зберігає розум, поки існує хоча б один якір, що пов’язує її з об’єктивною реальністю.
Реальне зображення, класифіковане реальною людиною.
Усього одне.
Ця зовнішня точка даних діє як гравітаційна яма реальності. Вона притягує розподіл ймовірностей назад до того місця, де живе істина. Дослідники опублікували цю роботу в журналі Physical Review Letters ще в травні, математично довівши теорію.
Що далі?
Реальне використання — це вже інша історія. Ми ще не бачили, щоб великий ІІ збожеволів на публіці. В основному ми стикаємося з дивними віршами та вигаданими судовими справами. Але математика не бреше. Зрушення вже відбувається.
Руді хоче протестувати цю гіпотезу на більших моделях. На тих, що керують інтернетом. Якщо теорія підтвердиться, це змінить все для інженерів, які створюють нове покоління ChatGPT. Їм більше не потрібні нескінченні набори людських даних. Потрібні лише достатні якорі.
Це дивний порятунок.
Один людський голос у хорі цифрових ехо 足以, щоб зберегти впізнаваність мелодії.
Але як довго ми зможемо утримувати цю нитку?
