Stiamo finendo le parole.
Quelli veri. Scritto da esseri umani reali. I tempi sono più stretti di quanto pensassimo, alcuni esperti dicono che finirà entro la fine di quest’anno. Quello che succede dopo è un pasticcio chiamato collasso del modello. Le macchine si mangiano la coda, sintetizzano nuovi dati da vecchi rifiuti e poi iniziano a mentire. Non solo risposte sbagliate. Fabbricazione totale.
Questo non è solo fastidioso per un chatbot.
Se un LLM in esecuzione in un ospedale inizia a diagnosticare erroneamente il cancro perché i suoi dati di formazione sono diventati deboli, hai tra le mani una minaccia esistenziale. Yasser Roudi del King’s College di Londra afferma che la posta in gioco non potrebbe essere più alta.
“Se durante l’addestramento di un altro modello sperimentassero il collasso del modello, queste macchine potrebbero diagnosticare erroneamente le persone.”
Non ha detto che potrebbe come se fosse un forse.
Allora come possiamo fermare lo scivolamento verso l’assurdità? La risposta è sorprendentemente semplice. Aggiungi solo un punto dati umano.
Non un miliardo. Uno.
La diapositiva verso le sciocchezze
Vediamo già piccoli segnali. ChatGPT fornisce risposte blande e uniformi. Allucinazioni. Fatti che sembrano giusti ma non lo sono. Quando i LLM si addestrano sui dati forniti da altri LLM, tutto viene omogeneizzato. Gli strani bordi svaniscono. La varianza viene mangiata viva.
Il collasso iniziale sembra un testo noioso e generico. La fase avanzata è senza senso.
Nessuno vuole un modello che pensi che il sole sorga a ovest solo per colmare un limite simbolico. Ma tracciarlo in sistemi massicci è come trovare un ago in un pagliaio digitale. È troppo grande. Troppo caotico.
Piccoli modelli, grandi verità
I ricercatori – gruppi del King’s College di Londra, dell’Università norvegese di scienza e tecnologia e del Centro Abdus Salam italiano – hanno fatto un passo indietro. Non guardavano i mostri. Hanno esaminato le famiglie esponenziali. Modelli di probabilità più piccoli.
Pensa al lancio della moneta. Curve a campana.
Matematica a cui puoi effettivamente aggrapparti.
Studiando questi modelli trattabili, hanno scoperto il meccanismo dietro il decadimento. Il “perché”. E hanno trovato la cura. Non importa quanta sbavatura sintetica ci sia nel ciclo di addestramento, anche se il 99,9% è prodotto dalle macchine, il sistema rimane sano finché c’è un unico ancoraggio alla verità fondamentale.
Un’immagine reale classificata da un vero essere umano.
Solo uno.
Questo punto dati esterno funge da pozzo gravitazionale per la realtà. Riporta la distribuzione al luogo in cui vive la verità. I ricercatori lo hanno pubblicato su Physical Review Letters a maggio, dimostrando matematicamente la teoria.
Passi successivi?
L’implementazione nel mondo reale è un’altra storia. Non abbiamo ancora visto una grande intelligenza artificiale impazzire completamente in pubblico. Per lo più riceviamo poesie strane e casi giudiziari falsi. Ma la matematica non mente. La deriva è lì.
Roudi vuole testarlo adesso su animali più grandi. Quelli che gestiscono Internet. Se dovesse reggere, cambierebbe tutto per gli ingegneri dell’intelligenza artificiale che costruiranno la prossima generazione di ChatGPT. Non hanno più bisogno di infiniti set di dati umani. Ancoraggi appena sufficienti.
È un salvataggio strano.
Basta una voce umana in un coro di echi digitali per rendere riconoscibile la canzone.
Per quanto tempo possiamo mantenere quel thread?
