#OPG Estaba pensando 🤔 en esto ayer mientras comparaba las salidas de dos modelos de IA diferentes con el mismo prompt. Ambos me dieron respuestas distintas.
Ninguno me explicó cómo llegaron allí.
Ese es el vacío que “OpEngradient” está construyendo en torno a — no cuál modelo es más inteligente, sino si puedes demostrar qué se ejecutó y cómo.
Lo que llamó mi atención es que no eligieron un solo método de verificación y ya está.
Hay un espectro según lo que la situación realmente exija.
Para la inferencia cotidiana con LLM donde importa la velocidad, la ejecución aislada por hardware dentro de los enclaves de AWS Nitro hace el trabajo.
El enclave genera una atestación que prueba que se ejecutó el código correcto sin alteraciones.
La sobrecarga es insignificante.
Funciona a escala ahora mismo.
Para salidas de mayor riesgo donde la certeza matemática importa más que el rendimiento, entran en juego las pruebas de conocimiento cero.
Prueba criptográfica de que un modelo específico produjo un resultado específico a partir de entradas específicas — sin hardware en el que confiar, sin un tercero en quien creer.
Aunque el coste es real.
En algún punto entre 1000 y 10000 veces más lento que la inferencia directa, lo que lo descarta para modelos grandes en este momento.
Lo que se quedó conmigo es que ambos métodos pueden mezclarse dentro de una sola operación.
Atestación de hardware para una capa.
Prueba de conocimiento cero para otra.
Ajustado a lo que realmente está en juego en ese paso específico en lugar de aplicarse de forma uniforme en todo.
La mayoría de los proyectos de infraestructura que he visto te obligan a aceptar su supuesto de confianza.
OpenGradient te permite elegir cuánta prueba necesitas realmente.
No sé con certeza si esa flexibilidad se mantendrá a medida que la red escale.
@OpenGradient $OPG
Ninguno me explicó cómo llegaron allí.
Ese es el vacío que “OpEngradient” está construyendo en torno a — no cuál modelo es más inteligente, sino si puedes demostrar qué se ejecutó y cómo.
Lo que llamó mi atención es que no eligieron un solo método de verificación y ya está.
Hay un espectro según lo que la situación realmente exija.
Para la inferencia cotidiana con LLM donde importa la velocidad, la ejecución aislada por hardware dentro de los enclaves de AWS Nitro hace el trabajo.
El enclave genera una atestación que prueba que se ejecutó el código correcto sin alteraciones.
La sobrecarga es insignificante.
Funciona a escala ahora mismo.
Para salidas de mayor riesgo donde la certeza matemática importa más que el rendimiento, entran en juego las pruebas de conocimiento cero.
Prueba criptográfica de que un modelo específico produjo un resultado específico a partir de entradas específicas — sin hardware en el que confiar, sin un tercero en quien creer.
Aunque el coste es real.
En algún punto entre 1000 y 10000 veces más lento que la inferencia directa, lo que lo descarta para modelos grandes en este momento.
Lo que se quedó conmigo es que ambos métodos pueden mezclarse dentro de una sola operación.
Atestación de hardware para una capa.
Prueba de conocimiento cero para otra.
Ajustado a lo que realmente está en juego en ese paso específico en lugar de aplicarse de forma uniforme en todo.
La mayoría de los proyectos de infraestructura que he visto te obligan a aceptar su supuesto de confianza.
OpenGradient te permite elegir cuánta prueba necesitas realmente.
No sé con certeza si esa flexibilidad se mantendrá a medida que la red escale.
@OpenGradient $OPG
