El Problema de Confianza en la IA
Todo el mundo habla de si la IA es lo suficientemente inteligente.
Yo me pregunto si es lo suficientemente confiable.
Eso parece ser una pregunta completamente diferente.
Porque la inteligencia sin confianza crea un tipo extraño de riesgo. El modelo puede ser brillante. La salida puede sonar convincente. Sin embargo, en algún lugar entre el mundo y la respuesta, algo podría estar mal.
Los datos podrían estar incompletos.
El proceso de obtención podría ser manipulado.
La versión del modelo podría cambiar sin que nadie se dé cuenta.
El cálculo en sí podría ser alterado.
Y la parte más inquietante es esta:
Un sistema de IA puede explicar con confianza una conclusión que se basó en evidencia defectuosa.
Así que cuando la gente me pregunta si la IA transformará las finanzas, la atención médica, la ciencia o el gobierno, creo que la pregunta más difícil es:
¿Cómo verificaremos las decisiones que toma la IA cuando esas decisiones realmente importan?
Si un agente de IA aprueba un pago:
¿Quién verifica el modelo que tomó la decisión?
¿Quién prueba que los datos en los que se basó eran auténticos?
¿Quién confirma que el cálculo no fue manipulado?
Si un sistema de IA ayuda a diagnosticar a un paciente:
¿Podemos rastrear el origen de la información que utilizó?
¿Podemos probar que el entorno donde se ejecutó el modelo era seguro?
¿Podemos verificar independientemente el resultado?
Por eso encuentro la idea de la IA verificable tan interesante.
No una IA que simplemente afirme ser correcta.
No una IA que nos pida que confiemos en ella.
Sino sistemas de IA que puedan proporcionar evidencia:
• ¿Qué modelo se ejecutó?
• ¿Qué código se ejecutó?
• ¿Qué datos se utilizaron?
• ¿Si el entorno de ejecución era auténtico?
• ¿Si la salida permaneció sin cambios?
Porque a largo plazo, la IA más valiosa puede no ser la que suene más inteligente.
Puede ser la IA que pueda probar lo que sucedió.
Esa es una razón por la que sigo de cerca #OPG y @OpenGradient .
El futuro de la IA puede depender no solo de la inteligencia, sino de la evidencia.
#OpenGradient $OPG @OpenGradient
SI UN AGENTE DE IA MANEJARA TU DINERO MAÑANA, ¿EN QUÉ CONFIARÍAS MENOS?
Todo el mundo habla de si la IA es lo suficientemente inteligente.
Yo me pregunto si es lo suficientemente confiable.
Eso parece ser una pregunta completamente diferente.
Porque la inteligencia sin confianza crea un tipo extraño de riesgo. El modelo puede ser brillante. La salida puede sonar convincente. Sin embargo, en algún lugar entre el mundo y la respuesta, algo podría estar mal.
Los datos podrían estar incompletos.
El proceso de obtención podría ser manipulado.
La versión del modelo podría cambiar sin que nadie se dé cuenta.
El cálculo en sí podría ser alterado.
Y la parte más inquietante es esta:
Un sistema de IA puede explicar con confianza una conclusión que se basó en evidencia defectuosa.
Así que cuando la gente me pregunta si la IA transformará las finanzas, la atención médica, la ciencia o el gobierno, creo que la pregunta más difícil es:
¿Cómo verificaremos las decisiones que toma la IA cuando esas decisiones realmente importan?
Si un agente de IA aprueba un pago:
¿Quién verifica el modelo que tomó la decisión?
¿Quién prueba que los datos en los que se basó eran auténticos?
¿Quién confirma que el cálculo no fue manipulado?
Si un sistema de IA ayuda a diagnosticar a un paciente:
¿Podemos rastrear el origen de la información que utilizó?
¿Podemos probar que el entorno donde se ejecutó el modelo era seguro?
¿Podemos verificar independientemente el resultado?
Por eso encuentro la idea de la IA verificable tan interesante.
No una IA que simplemente afirme ser correcta.
No una IA que nos pida que confiemos en ella.
Sino sistemas de IA que puedan proporcionar evidencia:
• ¿Qué modelo se ejecutó?
• ¿Qué código se ejecutó?
• ¿Qué datos se utilizaron?
• ¿Si el entorno de ejecución era auténtico?
• ¿Si la salida permaneció sin cambios?
Porque a largo plazo, la IA más valiosa puede no ser la que suene más inteligente.
Puede ser la IA que pueda probar lo que sucedió.
Esa es una razón por la que sigo de cerca #OPG y @OpenGradient .
El futuro de la IA puede depender no solo de la inteligencia, sino de la evidencia.
#OpenGradient $OPG @OpenGradient
SI UN AGENTE DE IA MANEJARA TU DINERO MAÑANA, ¿EN QUÉ CONFIARÍAS MENOS?
The Model itself
The data it uses
The Company operating it
The lack of veriable proof
3 día(s) restante(s)