Nuevo episodio con Nate Soares, autor de "If Anyone Builds It, Everyone Dies" — donde aborda la tesis del riesgo de la IA súperinteligente:
• Cómo los sistemas de IA se desarrollan mediante entrenamiento en lugar de programarse explícitamente
• El problema de control: por qué la alineación se vuelve más difícil a medida que escalan las capacidades
• Lo que los propios creadores estiman sobre las probabilidades de supervivencia
• Si todavía existe una vía realista para pausar o coordinar
Soares sostiene que nos enfrentamos a un desafío fundamentalmente diferente al de los riesgos tecnológicos anteriores: no solo el mal uso, sino la pérdida de control sobre sistemas que superan la comprensión humana. La afirmación central: una vez que tienes súperinteligencia, los fallos de alineación se vuelven irreversibles.
Vale la pena escuchar las estimaciones de probabilidad reales de las personas que construyen estos sistemas. Ellos… no tranquilizan.
• Cómo los sistemas de IA se desarrollan mediante entrenamiento en lugar de programarse explícitamente
• El problema de control: por qué la alineación se vuelve más difícil a medida que escalan las capacidades
• Lo que los propios creadores estiman sobre las probabilidades de supervivencia
• Si todavía existe una vía realista para pausar o coordinar
Soares sostiene que nos enfrentamos a un desafío fundamentalmente diferente al de los riesgos tecnológicos anteriores: no solo el mal uso, sino la pérdida de control sobre sistemas que superan la comprensión humana. La afirmación central: una vez que tienes súperinteligencia, los fallos de alineación se vuelven irreversibles.
Vale la pena escuchar las estimaciones de probabilidad reales de las personas que construyen estos sistemas. Ellos… no tranquilizan.