OpenGradient ha sido uno de esos proyectos que me hace profundizar en cómo la IA y blockchain pueden trabajar juntos. Cuanto más leo sobre #OPG , más me doy cuenta de que algunos de los mayores desafíos no son obvios al principio.
@OpenGradient
Hace unos días estuve hablando con mi hermano mayor. Me hizo una pregunta sencilla que, honestamente, se me quedó grabada:
¿Por qué no puedes simplemente hacer funcionar la IA en una blockchain normal?
Al principio suena fácil, pero después de investigar sobre HACA de @OpenGradient , descubrí que hay tres obstáculos bastante serios.
Primero está el costo. El consenso tradicional de blockchain requiere que cada validador vuelva a ejecutar cada transacción. Si 100 validadores necesitan verificar un modelo de 70B parámetros, eso son básicamente 100 ejecuciones separadas del modelo. El costo se dispara rápidamente con casi ningún valor añadido.
Segundo está la no determinación. Los LLMs no siempre producen salidas idénticas para entradas idénticas. Diferentes GPUs y cálculos de punto flotante también pueden crear pequeñas diferencias. #opg Eso significa que los validadores no pueden simplemente comparar salidas y esperar coincidencias perfectas cada vez.
Tercero está la latencia. La inferencia de IA ya toma tiempo. Si cada validador tuviera que completar la inferencia antes de que la cadena avanzara, los tiempos de bloque se volverían dolorosamente lentos.
Aquí es donde $OPG toma un enfoque diferente.
HACA separa la ejecución de la verificación. El nodo de inferencia genera la respuesta de inmediato y se la envía al usuario. La verificación y la atestación suceden de manera asíncrona en segundo plano, con el asentamiento registrado en la cadena más tarde.
El resultado es una IA que se siente con la velocidad de Web2 mientras mantiene la verificación basada en blockchain detrás de escena. Yo personalmente he utilizado chat.opengradient.ai y nunca noté ningún retraso de la capa de verificación.
Lo que aún no puedo resolver del todo es esto:
Si la verificación ocurre más tarde, ¿eso crea una ventana temporal donde se podría actuar sobre un resultado malo antes de que la red termine de verificar y lo marque??????? 🤔
#OPG @OpenGradient $OPG
@OpenGradient
Hace unos días estuve hablando con mi hermano mayor. Me hizo una pregunta sencilla que, honestamente, se me quedó grabada:
¿Por qué no puedes simplemente hacer funcionar la IA en una blockchain normal?
Al principio suena fácil, pero después de investigar sobre HACA de @OpenGradient , descubrí que hay tres obstáculos bastante serios.
Primero está el costo. El consenso tradicional de blockchain requiere que cada validador vuelva a ejecutar cada transacción. Si 100 validadores necesitan verificar un modelo de 70B parámetros, eso son básicamente 100 ejecuciones separadas del modelo. El costo se dispara rápidamente con casi ningún valor añadido.
Segundo está la no determinación. Los LLMs no siempre producen salidas idénticas para entradas idénticas. Diferentes GPUs y cálculos de punto flotante también pueden crear pequeñas diferencias. #opg Eso significa que los validadores no pueden simplemente comparar salidas y esperar coincidencias perfectas cada vez.
Tercero está la latencia. La inferencia de IA ya toma tiempo. Si cada validador tuviera que completar la inferencia antes de que la cadena avanzara, los tiempos de bloque se volverían dolorosamente lentos.
Aquí es donde $OPG toma un enfoque diferente.
HACA separa la ejecución de la verificación. El nodo de inferencia genera la respuesta de inmediato y se la envía al usuario. La verificación y la atestación suceden de manera asíncrona en segundo plano, con el asentamiento registrado en la cadena más tarde.
El resultado es una IA que se siente con la velocidad de Web2 mientras mantiene la verificación basada en blockchain detrás de escena. Yo personalmente he utilizado chat.opengradient.ai y nunca noté ningún retraso de la capa de verificación.
Lo que aún no puedo resolver del todo es esto:
Si la verificación ocurre más tarde, ¿eso crea una ventana temporal donde se podría actuar sobre un resultado malo antes de que la red termine de verificar y lo marque??????? 🤔
#OPG @OpenGradient $OPG