#newt $NEWT La mayoría de las personas que hablan sobre el riesgo de la IA parecen estar obsesionadas con una sola cosa.
¿Qué pasa si el modelo toma la decisión equivocada?
Yo antes pensaba que ese era el gran problema también.
Luego pasé un tiempo leyendo el Protocolo Newton, y me quedé atorado con otra pregunta.
¿Y si la IA toma la decisión correcta... pero en realidad nunca se suponía que tomara esa decisión?
Honestamente, eso se siente como un fallo mucho más realista.
Una IA puede generar la transacción correcta. Puede encontrar la mejor ruta. Puede optimizar todo perfectamente.
Nada de eso responde a una pregunta sencilla.
¿Quién le dio permiso realmente?
Creo que la gente confunde inteligencia con autoridad todo el tiempo.
No es lo mismo.
Un modelo puede ser increíblemente inteligente y aun así no tener ningún motivo para tocar una billetera en particular, mover un activo específico o aprobar una transacción determinada.
Eso fue lo que me llamó la atención mientras leía el Protocolo Newton.
El protocolo no asume que toda transacción técnicamente válida deba ejecutarse. Comprueba si la acción coincide con las políticas definidas de antemano. Límites de gasto. Permisos delegados. Requisitos de identidad. Las reglas que la aplicación decida aplicar.
La autorización viene antes de la ejecución.
Ahí fue donde cambió mi forma de pensar.
Quizá el verdadero reto no sea construir una IA que nunca cometa errores.
Buena suerte con eso.
Quizá el reto sea asegurarse de que una IA no pueda actuar fuera de la autoridad que se le dio, incluso cuando técnicamente sí podría hacerlo.
Una cosa no dejaba de repetirse en mi mente mientras leía la documentación.
La inteligencia responde: “¿Puedo hacer esto?”
La autorización responde: “¿Se me permite hacer esto?”
No son la misma pregunta.
Quizá esté equivocado, pero si la IA va a gestionar dinero real, yo querría
que se compruebe el permiso antes que la inteligencia, cada vez.
#Newt @NewtonProtocol $NEWT
¿Qué pasa si el modelo toma la decisión equivocada?
Yo antes pensaba que ese era el gran problema también.
Luego pasé un tiempo leyendo el Protocolo Newton, y me quedé atorado con otra pregunta.
¿Y si la IA toma la decisión correcta... pero en realidad nunca se suponía que tomara esa decisión?
Honestamente, eso se siente como un fallo mucho más realista.
Una IA puede generar la transacción correcta. Puede encontrar la mejor ruta. Puede optimizar todo perfectamente.
Nada de eso responde a una pregunta sencilla.
¿Quién le dio permiso realmente?
Creo que la gente confunde inteligencia con autoridad todo el tiempo.
No es lo mismo.
Un modelo puede ser increíblemente inteligente y aun así no tener ningún motivo para tocar una billetera en particular, mover un activo específico o aprobar una transacción determinada.
Eso fue lo que me llamó la atención mientras leía el Protocolo Newton.
El protocolo no asume que toda transacción técnicamente válida deba ejecutarse. Comprueba si la acción coincide con las políticas definidas de antemano. Límites de gasto. Permisos delegados. Requisitos de identidad. Las reglas que la aplicación decida aplicar.
La autorización viene antes de la ejecución.
Ahí fue donde cambió mi forma de pensar.
Quizá el verdadero reto no sea construir una IA que nunca cometa errores.
Buena suerte con eso.
Quizá el reto sea asegurarse de que una IA no pueda actuar fuera de la autoridad que se le dio, incluso cuando técnicamente sí podría hacerlo.
Una cosa no dejaba de repetirse en mi mente mientras leía la documentación.
La inteligencia responde: “¿Puedo hacer esto?”
La autorización responde: “¿Se me permite hacer esto?”
No son la misma pregunta.
Quizá esté equivocado, pero si la IA va a gestionar dinero real, yo querría
que se compruebe el permiso antes que la inteligencia, cada vez.
#Newt @NewtonProtocol $NEWT