Los científicos han publicado una nueva investigación sobre grandes modelos de lenguaje (LLM), también conocidos como IA, que confirma la hipótesis de que la exposición constante a contenido web de baja calidad conduce a una disminución prolongada y significativa de las capacidades cognitivas de los modelos: razonamiento, comprensión de contextos largos, seguridad, e incluso a la aparición de "rasgos oscuros", como la psicopatía, el narcisismo y el maquiavelismo. La investigación fue realizada por un grupo de científicos de varias universidades estadounidenses.
En el experimento, cuatro LLM abiertos fueron sometidos a un largo reentrenamiento con datos "basura" — publicaciones cortas y populares y tuits, contenido de baja calidad, trivial, pero altamente activo. Los datos se dividieron en dos dimensiones: M1 — grado de participación (popularidad de las publicaciones cortas), y M2 — calidad semántica (qué tan sustancioso es el material). Los datos de control eran de tamaño similar, pero comprimidos y poco participativos o sustanciosos.
Los resultados fueron graves. Con la intervención M1 (alta participación de publicaciones basura), los indicadores en los benchmarks de razonamiento (ARC-Challenge con Chain-of-Thought) cayeron de ~74.9 a ~57.2, y en la prueba de contexto largo (RULER-CWE) — de ~84.4 a ~52.3, a medida que la proporción de datos basura aumentó del 0% al 100%. La principal causa del deterioro fue lo que se denomina "pensamiento de omisión" (thought-skipping): los modelos omitieron o acortaron cada vez más las cadenas de razonamiento y planificación.
Sin embargo, los intentos de "curar" tal estado — a través de la configuración de instrucciones o reentrenamiento en datos limpios — solo logran una recuperación parcial. La investigación muestra que incluso los ajustes más significativos no pueden devolver completamente a los modelos sus habilidades originales: se produce un sesgo persistente en las representaciones (representational drift), y no solo un problema de formato de aprendizaje. Es especialmente notable: la métrica de popularidad (participación de la publicación) resultó ser un predictor más fuerte del deterioro que la longitud del texto o el contenido.
En última instancia, los autores enfatizan: la calidad de los datos no es solo un detalle técnico del aprendizaje, sino una cuestión de seguridad del aprendizaje. Hacen un llamado a realizar "chequeos regulares de salud cognitiva" de los LLM desplegados y a revisar la práctica de aprendizaje continuo en datos web no seleccionados. Este estudio establece un nuevo estándar: no es suficiente escalar modelos, es necesario controlar qué se les da "de entrada".
Recuerda esto cuando operes según las señales y consejos de GPT!)
