Nos estamos quedando sin palabras.
Los reales. Escrito por humanos reales. El cronograma es más ajustado de lo que pensábamos; algunos expertos dicen que finalizará a fines de este año. Lo que sucede después es un desastre llamado colapso del modelo. Las máquinas se comen sus propias colas, sintetizan nuevos datos a partir de basura vieja y luego empiezan a mentir. No sólo respuestas incorrectas. Fabricación total.
Esto no sólo es molesto para un chatbot.
Si un LLM que se ejecuta en un hospital comienza a diagnosticar erróneamente el cáncer porque sus datos de entrenamiento se han debilitado, tiene una amenaza existencial en sus manos. Yasser Roudi, del King’s College de Londres, dice que lo que está en juego no podría ser mayor.
“Si mientras entrenaban a otro modelo experimentaban un colapso del modelo, estas máquinas podrían diagnosticar erróneamente a las personas”.
No dijo podría como si fuera un tal vez.
Entonces, ¿cómo podemos detener el deslizamiento hacia el sinsentido? La respuesta es sorprendentemente simple. Simplemente agregue un punto de datos humanos.
No mil millones. Uno.
El deslizamiento hacia las tonterías
Ya vemos pequeñas señales. ChatGPT ofrece respuestas suaves y fluidas. Alucinaciones. Hechos que suenan correctos pero no lo son. Cuando los LLM se entrenan con datos elaborados por otros LLM, todo se homogeneiza. Los bordes extraños desaparecen. La variación se come viva.
El colapso temprano parece un texto aburrido y genérico. La última etapa es un galimatías.
Nadie quiere un modelo que piense que el sol sale por el oeste sólo para llenar un límite simbólico. Pero rastrear esto en sistemas masivos es como encontrar una aguja en un pajar digital. Es demasiado grande. Demasiado caótico.
Pequeños modelos, grandes verdades.
Los investigadores (equipos del King’s College de Londres, la Universidad Noruega de Ciencia y Tecnología y el Centro Abdus Salam de Italia) dieron un paso atrás. No miraron a los monstruos. Observaron familias exponenciales. Modelos de probabilidad más pequeños.
Piense en lanzamientos de monedas. Curvas de campana.
Matemáticas a las que realmente puedes aferrarte.
Al estudiar estos modelos manejables, encontraron el mecanismo detrás del deterioro. El “por qué”. Y encontraron la cura. No importa cuánta basura sintética haya en el circuito de entrenamiento, incluso si el 99,9% está hecho a máquina, el sistema se mantiene cuerdo siempre que haya un único ancla a la verdad en el terreno.
Una imagen real clasificada por un humano real.
Sólo uno.
Este punto de datos externo actúa como un pozo de gravedad para la realidad. Hace que la distribución regrese al lugar donde vive la verdad. Los investigadores publicaron esto en Physical Review Letters en mayo, demostrando la teoría matemáticamente.
¿Próximos pasos?
La implementación en el mundo real es otra historia. Todavía no hemos visto a una IA importante volverse completamente loca en público. La mayoría de las veces recibimos poemas extraños y casos judiciales falsos. Pero las matemáticas no mienten. La deriva está ahí.
Roudi quiere probar esto ahora en bestias más grandes. Los que manejan Internet. Si se mantiene, cambiará todo para los ingenieros de inteligencia artificial que construyen la próxima generación de ChatGPT. Ya no necesitan conjuntos de datos humanos interminables. Bastantes anclas.
Es una salvación extraña.
Una voz humana en un coro de ecos digitales es suficiente para que la canción siga siendo reconocible.
¿Cuánto tiempo podremos mantener ese hilo?
