#opg @OpenGradient
Estaba revisando el GitHub de OpenGradient hace poco y me encontré con Veil, un proxy local que se sitúa entre la lógica de tu agente y las llamadas a LLM externas. Se presenta como una capa de privacidad para los prompts intermedios, y eso me hizo dudar de inmediato, porque la mayoría de los proyectos hablan de privacidad del usuario, no de privacidad del flujo de trabajo del desarrollador.
Y, honestamente, ¿qué parte es la que me tocó de cerca? Cuando ejecuto agentes de LangGraph con razonamiento de varios pasos, esos prompts intermedios contienen lógica de negocio, contexto del usuario e incluso datos propietarios. Ahora mismo, todo eso pasa por la infraestructura del proveedor que exista, y nunca me ha gustado del todo ese intercambio. Veil enruta la inferencia a través de la capa TEE de OpenGradient mientras mantiene la orquestación local, así que al menos, en teoría, la parte sensible se queda contigo.
Pero sigo volviendo a una preocupación: ¿esa frontera realmente se mantiene cuando las cadenas de prompts se alargan y se llenan las ventanas de contexto? La separación suena limpia sobre el papel, pero las cargas de trabajo agentic se vuelven un caos muy rápido. He visto que la orquestación y la inferencia se mezclan de formas que me hacen cuestionar dónde termina realmente lo “local”.
Aun así, valoro el enfoque acotado. La mayoría de los proyectos de infraestructura intentan abarcar toda la pila. Veil solo inserta un componente en una frontera de confianza específica, y eso se siente sorprendentemente limitado. Si los desarrolladores realmente buscan verificabilidad en la capa de orquestación es otra cuestión: he notado que la mayoría de los equipos lo tratan como un asunto de despliegue, resuelto mucho después de que las decisiones de arquitectura estén cerradas.
No estoy seguro de qué tan ampliamente se usa Veil todavía. Pero la dirección es… acertada. Valdrá la pena seguirla.
@OpenGradient #ATM
$OPG
$ATM
Estaba revisando el GitHub de OpenGradient hace poco y me encontré con Veil, un proxy local que se sitúa entre la lógica de tu agente y las llamadas a LLM externas. Se presenta como una capa de privacidad para los prompts intermedios, y eso me hizo dudar de inmediato, porque la mayoría de los proyectos hablan de privacidad del usuario, no de privacidad del flujo de trabajo del desarrollador.
Y, honestamente, ¿qué parte es la que me tocó de cerca? Cuando ejecuto agentes de LangGraph con razonamiento de varios pasos, esos prompts intermedios contienen lógica de negocio, contexto del usuario e incluso datos propietarios. Ahora mismo, todo eso pasa por la infraestructura del proveedor que exista, y nunca me ha gustado del todo ese intercambio. Veil enruta la inferencia a través de la capa TEE de OpenGradient mientras mantiene la orquestación local, así que al menos, en teoría, la parte sensible se queda contigo.
Pero sigo volviendo a una preocupación: ¿esa frontera realmente se mantiene cuando las cadenas de prompts se alargan y se llenan las ventanas de contexto? La separación suena limpia sobre el papel, pero las cargas de trabajo agentic se vuelven un caos muy rápido. He visto que la orquestación y la inferencia se mezclan de formas que me hacen cuestionar dónde termina realmente lo “local”.
Aun así, valoro el enfoque acotado. La mayoría de los proyectos de infraestructura intentan abarcar toda la pila. Veil solo inserta un componente en una frontera de confianza específica, y eso se siente sorprendentemente limitado. Si los desarrolladores realmente buscan verificabilidad en la capa de orquestación es otra cuestión: he notado que la mayoría de los equipos lo tratan como un asunto de despliegue, resuelto mucho después de que las decisiones de arquitectura estén cerradas.
No estoy seguro de qué tan ampliamente se usa Veil todavía. Pero la dirección es… acertada. Valdrá la pena seguirla.
@OpenGradient #ATM
$OPG
$ATM