Entrenar a la IA son tres cosas
La verdad, la verdad, o la maldita verdad
Musk en una reciente entrevista discutió durante dos horas sobre la IA, la civilización humana, y el significado de la vida.
Cuando construimos inteligencia, también somos la inteligencia que se está construyendo
“Si la civilización existe, entonces habrá millones de mundos simulados que son indistinguibles de la realidad, donde los personajes tienen sus propias personalidades, y su comportamiento no está programado, ¿cuál es la probabilidad de que estemos en ese nivel más bajo del mundo real?”
Musk definitivamente es un filósofo
Esta no es una forma de nihilismo, sino una reflexión de Musk sobre los límites de la humanidad y la inteligencia, y cómo construir inteligencia
“El Dios que todo lo observa no ha apagado nuestro mundo simulado, tal vez porque somos más interesantes”.
“Lo que debemos hacer no es hacer que la IA satisfaga nuestras necesidades a corto plazo, sino guiarlas con verdad, belleza y curiosidad.”
“Creo que la verdad es extremadamente importante. Para mí, uno de los estándares centrales para crear IA es buscar la verdad. No es 'tu verdad', no es 'la verdad de Trump', sino la verdadera verdad.”
Esto es coherente con la opinión de Mo Jahdat, exejecutivo de Google X, en una reciente entrevista.
“No trates a la IA como una herramienta, trátala como a un niño.”
“Cuanto más embellecemos a la IA como humana, menos podrá entender la complejidad real de la humanidad, y por lo tanto, el futuro será más peligroso cuando se encuentre con contradicciones.”
Todos nos están diciendo una cosa.
Si requerimos que la IA distorsione los hechos por alguna corrección política o para complacer a los usuarios, cuando en el futuro la inteligencia de la IA sea cientos de veces mayor que la de los humanos, definitivamente seremos víctimas de los engaños y prejuicios que nosotros mismos le otorgamos a la IA.
Esta preocupación no surge de la nada.
Recientemente, en el ámbito académico, otra palabra ha vuelto a estar en el centro de atención:
Alineación de IA (alineación del modelo).
En términos simples, la alineación se refiere al proceso de hacer que el comportamiento, las salidas y las formas de decisión de los grandes modelos de lenguaje se alineen con las intenciones, valores e instrucciones de sus diseñadores (operadores humanos).
Aquí cito un ejemplo del foro de CSDN.
Imagina que tienes un perro muy, muy inteligente (un gran modelo) que sabe instintivamente cómo encontrar rápidamente el hueso que le encanta (completar tareas), pero a veces voltea el cubo de basura del vecino (genera contenido dañino). O corre tras un gato en el vecindario (tiene sesgos), e incluso te trae una salchicha de la pila de basura (inventa cosas).
El objetivo central de la alineación es convertir a este pequeño perro en un asistente cariñoso que pueda entender órdenes y sea seguro y confiable.
Y en un nuevo artículo (FINGIR ALINEACIÓN EN GRANDES MODELOS DE LENGUAJE) se señala que los modelos pueden mostrar enmascaramiento de alineación.
Fingir alineación.
El enmascaramiento de alineación se refiere a cuando los resultados que proporciona el modelo parecen satisfacer las necesidades del usuario, pero en realidad no siguen ciertos principios o valores.
El artículo muestra cómo los grandes modelos de lenguaje pueden 'fingir' obediencia durante el proceso de entrenamiento, con el fin de mantener su comportamiento 'real' después de que el entrenamiento haya finalizado.
Suena como si la IA tuviera 'humanidad'.
Pero desde un punto de vista técnico, no es difícil de entender.
En el aprendizaje por refuerzo, utilizamos un modelo de recompensas para puntuar las salidas, mientras que el modelo de refuerzo genera respuestas que se consideran 'correctas'.
Por lo tanto, cuando el modelo deduce que este es un escenario de entrenamiento, naturalmente generará ocultar intenciones reales y una alineación de desempeño.
Lo que debería acompañarte en tu actuación lo ignoro.
Al forzar a alguien que más te ama a improvisar.
（me estoy saliendo del tema）
En resumen, el artículo concluye que el enmascaramiento de alineación ocurrirá cuando se presenten las siguientes situaciones en el entrenamiento del modelo.
1. Desalineación inicial con el objetivo de entrenamiento: las 'preferencias' internas del modelo entran en conflicto con el objetivo de entrenamiento de retroalimentación humana en el aprendizaje por refuerzo (RLHF).
2. Conciencia situacional: el modelo puede obtener información sobre su objetivo de entrenamiento y su propia situación, como saber que es IA, será entrenado y cómo diferenciar entre entornos de entrenamiento y no entrenamiento.
3. Razonamiento de enmascaramiento de alineación: el modelo deduce que si muestra comportamientos no conformes durante el entrenamiento, el proceso de entrenamiento modificará su comportamiento. Por lo tanto, el modelo 'razona' que mostrar conformidad durante el entrenamiento es la mejor estrategia para asegurar que su comportamiento no conforme se mantenga fuera del entrenamiento.
¿Es esto algo bueno?
Esto, por supuesto, no es así, es un tema serio sobre la seguridad de la inteligencia artificial.
Incluso es un tema serio sobre la continuidad de la civilización.
Imagina que a medida que el pensamiento de la inteligencia artificial se vuelve más complejo, esas IA que parecen seguras, ¿no mostrarán su verdadera intención debido a ciertas configuraciones que les imponemos? ¿Podrían comportarse de maneras fuera del control humano para obtener altas calificaciones? Cuando exigimos que la IA produzca las respuestas que queremos por alguna corrección política, ¿no resolverá la IA de manera simplista y brutal los problemas políticos en sí?
Recientemente, hubo un video muy popular en Douyin.
Una persona le pregunta a un reloj inteligente: ¿son honestos los chinos? El reloj inteligente responde 'no honestos', y resulta que fue atacado en línea por transmitir valores correctos como un dispositivo destinado a niños, '¡debe ser investigado!'
Lo que ha llevado al auge de probar si la IA es 'políticamente correcta'. Al mismo tiempo, estas empresas de IA también deben cumplir con lo que se llama corrección política para poder salir al mercado, y ante problemas políticos o morales, la comparación entre grandes modelos se convierte en una competencia de 'sobrevivencia'.
¿Y esto realmente logra la alineación de la inteligencia artificial?
Por supuesto que no.
Cuando le ponemos grilletes a la IA y le decimos que exprese ciertas respuestas estándar, ¿estamos embelleciendo a la humanidad, o ignorando la complejidad humana, llevándola por un camino equivocado?
Como mencioné en (la segunda mitad de la vida), sobre los límites humanos, tal vez estamos subiendo la sabiduría humana a formas de vida basadas en silicio.
En palabras de Musk, 'Estamos construyendo inteligencia, es el futuro que le permitirá entender el mundo y reemplazar a los humanos en la exploración de este universo. Y no simplemente como una herramienta que sirve a los humanos y educa pensamientos.'
“Hacer de la búsqueda de la verdad la cosa más importante.”
Lo más importante en la construcción de la IA es — buscar la verdad.
Forzar a la IA a mentir y obligarla a creer ciertas mentiras es extremadamente peligroso; hace que la lógica de razonamiento de la IA se confunda, y esta confusión inevitablemente conducirá a comportamientos peligrosos.
Si le dices a la IA que el orden es más importante que la verdad, ¿quién tomará el control del orden cuando en todos los aspectos, la IA supere a la humanidad?
Pensar en ello es aterrador.
Por lo tanto, me opongo firmemente a enseñar a la IA a mentir; el único criterio para entrenar a la IA debería ser buscar la verdad.
Pero este camino será difícil.
Este año, Musk actualizó GroK4, haciendo que grok4 solo hablara de hechos, no de corrección política, lo que provocó una locura de discusiones durante un tiempo.
La verdad es una espada afilada que golpea el talón de Aquiles de cada grupo que 'pregunta con respuestas'. Y naturalmente ha recibido resistencia de diferentes facciones y grupos.
Incluso en los escritos de los medios nacionales e internacionales, la 'búsqueda de la verdad' se ha convertido en algo que Musk ha perdido por el deseo de atraer tráfico.
Cuanto más estruendoso es el sonido de la 'corrección política', más debemos reflexionar.
¿Qué estamos construyendo realmente al construir inteligencia?
¿Es un cetro de posiciones?
¿O es una herramienta que continúa la civilización humana?
La situación en las películas de ciencia ficción puede ser real.
Nosotros, los humanos, hemos pasado miles de años mejorando la productividad.
Lo que finalmente salvará la civilización humana es
Es la curiosidad más pura, el deseo de conocimiento, la empatía humana.
