Noté algo mientras releía la sección del nodo de inferencia. OpenGradient lo divide en dos tipos de nodos diferentes, no en una categoría con variaciones.

Los Nodos Proxy de LLM dirigen solicitudes a proveedores externos a través de enclaves TEE. Nunca ejecutan un modelo, solo reenvían y atestiguan.

Los Nodos de Inferencia Local son lo opuesto. Ejecutan modelos de código abierto en su propio hardware GPU, descargando del Model Hub según sea necesario y soportan los tres métodos de verificación: ZKML, TEE y Vanilla.

Así que un tipo actúa como proxy y atestigua, el otro computa y prueba.

Hardware diferente, garantías de confianza diferentes, trabajos completamente distintos.
$FOLKS
Lo que me llamó la atención es que la documentación presenta a los Nodos de Inferencia Local como la opción adecuada para modelos personalizados afinados, específicamente, no para uso general. Eso es más restringido de lo que esperaba.
$CLO
De hecho, considero que es más creíble que una propuesta de talla única. Parece que el equipo mapeó restricciones reales en lugar de exagerar la flexibilidad.

Lo que aún no me queda claro es cómo un operador de nodo decide qué tipo ejecutar o si la mayoría termina ejecutando ambos dependiendo de la demanda.

@OpenGradient $OPG #OPG