Nous manquons de mots.
Des vrais. Écrit par de vrais humains. Le calendrier est plus serré que nous le pensions, certains experts disent qu’il sera terminé d’ici la fin de cette année. Ce qui se passe ensuite est un désordre appelé effondrement du modèle. Les machines mangent leurs propres queues, synthétisent de nouvelles données à partir de vieux déchets, puis se mettent à mentir. Pas seulement de mauvaises réponses. Fabrication totale.
Ce n’est pas seulement ennuyeux pour un chatbot.
Si un LLM en cours dans un hôpital commence à mal diagnostiquer le cancer parce que ses données de formation sont devenues faibles, vous avez une menace existentielle entre vos mains. Yasser Roudi, du King’s College de Londres, affirme que les enjeux ne pourraient pas être plus élevés.
“Si lors de l’entraînement d’un autre modèle, ils rencontraient un effondrement de modèle, ces machines pourraient mal diagnostiquer les gens.”
Il n’a pas dit pourrait aimer que ce soit un peut-être.
Alors, comment pouvons-nous arrêter de glisser vers le non-sens ? La réponse est étonnamment simple. Ajoutez simplement un point de données humaines.
Pas un milliard. Un.
Le glissement vers le non-sens
Nous voyons déjà de petits signes. ChatGPT donne des réponses fades et adoucies. Hallucinations. Des faits qui semblent vrais mais qui ne le sont pas. Lorsque les LLM s’entraînent sur les données créées par d’autres LLM, tout s’homogénéise. Les bords étranges disparaissent. La variance est mangée vivante.
L’effondrement précoce ressemble à un texte ennuyeux et générique. Le stade avancé est du charabia.
Personne ne veut d’un modèle qui pense que le soleil se lève à l’ouest juste pour combler une limite symbolique. Mais suivre cela dans des systèmes massifs, c’est comme chercher une aiguille dans une botte de foin numérique. C’est trop gros. Trop chaotique.
Petits modèles, grandes vérités
Les chercheurs – des équipes du King’s College de Londres, de l’Université norvégienne des sciences et technologies et du Centre Abdus Salam en Italie – ont pris du recul. Ils n’ont pas regardé les monstres. Ils ont examiné les familles exponentielles. Modèles de probabilité plus petits.
Pensez aux tirages au sort. Courbes en cloche.
Des mathématiques auxquelles vous pouvez réellement vous accrocher.
En étudiant ces modèles réalisables, ils ont découvert le mécanisme à l’origine de la désintégration. Le « pourquoi ». Et ils ont trouvé le remède. Peu importe la quantité de résidus synthétiques dans la boucle d’entraînement, même si 99,9 % sont fabriqués par machine, le système reste sain d’esprit tant qu’il y a un seul point d’ancrage à la vérité terrain.
Une vraie image classée par un vrai humain.
Juste un.
Ce point de données externe agit comme un puits de gravité pour la réalité. Cela ramène la distribution là où se trouve la vérité. Les chercheurs ont publié cela dans Physical Review Letters en mai dernier, prouvant mathématiquement la théorie.
Prochaines étapes ?
Le déploiement dans le monde réel est une autre histoire. Nous n’avons pas encore vu une IA majeure devenir complètement folle en public. Nous recevons surtout des poèmes bizarres et de fausses affaires judiciaires. Mais les calculs ne mentent pas. La dérive est là.
Roudi veut maintenant tester cela sur des bêtes plus grosses. Ceux qui gèrent Internet. Si cela se maintient, cela change tout pour les ingénieurs en IA qui construisent la prochaine génération de ChatGPT. Ils n’ont plus besoin d’ensembles de données humaines infinis. Juste assez d’ancres.
C’est une sauvegarde bizarre.
Une voix humaine dans un chœur d’échos numériques suffit à rendre la chanson reconnaissable.
Combien de temps pouvons-nous maintenir ce fil ?
