Justo entregué un informe de datos para que lo procesara la IA, y al volver me di cuenta de que había tomado el control de los permisos de la base de datos. Solo querías que organizara la tabla, pero casi activa la alarma de seguridad del sistema. Esta sensación de falta de control, quizás la han experimentado todos los que utilizan IA para realizar tareas.
Anhelamos que los agentes de IA puedan completar tareas de forma autónoma, pero también nos preocupa que otorgar demasiados permisos pueda plantear riesgos. Detrás de esta contradicción, en realidad se oculta un problema más esencial: ¿cómo se deben trazar los límites de los permisos cuando un agente comienza a tomar decisiones por ti?
Los permisos deben ser controlables como un interruptor
El proyecto Kite no se ha dejado llevar por la moda de los grandes modelos, sino que se ha enfocado en resolver el problema central del comportamiento de los agentes. Su sistema de identidad de tres capas revela una lógica clave: lo que los agentes necesitan no es poder equivalente al de los humanos, sino un sistema de gestión de permisos bien definido.
Los usuarios, como la fuente de permisos, siempre tienen el control final.
El agente, como ejecutor, solo puede actuar dentro del ámbito de la autorización.
Cada tarea se completa en un espacio de sesión independiente, y los permisos terminan cuando la tarea concluye.
Este diseño permite que el agente trabaje de manera eficiente sin exceder su autoridad. Es como dar llaves a los empleados; no se entrega la tarjeta de acceso a todo el edificio, sino que se abren permisos temporales solo para habitaciones específicas.
Los permisos revocables son la verdadera red de seguridad.
Lo que más me impactó fue la importancia que Kite otorga al mecanismo de 'revocabilidad'. Cuando los humanos cometen errores, instintivamente ajustan su comportamiento, pero un agente que ejecuta instrucciones incorrectas puede amplificar el error en un ciclo continuo.
La solución de Kite es exhaustiva: todos los permisos provienen de la concesión del usuario, no de la naturaleza inherente del agente. Los usuarios pueden cortar el flujo de permisos en cualquier momento, como cerrar un grifo; este diseño no limita la capacidad del agente, sino que asegura que los humanos siempre tengan la última palabra.
A medida que los agentes de IA asumen más responsabilidades, la revocabilidad de los permisos se convertirá en una línea de seguridad. Si los permisos de un agente no pueden ser terminados en cualquier momento, nunca podrá ser un socio confiable.
Un agente verdaderamente inteligente debería, como un asistente bien entrenado, tener la capacidad de resolver problemas y ser consciente de los límites de sus capacidades. Como humanos, necesitamos aprender a ser buenos 'jefes' — no controlando cada detalle, sino estableciendo reglas claras para que el agente trabaje de manera segura y eficiente.