#opg $OPG La cosa es así. La semana pasada, en el tren de alta velocidad, el hermano al lado escuchó que trabajo en blockchain y no quiso perderse la oportunidad de ver en vivo "cuán increíble es la IA descentralizada". Me emocioné y saqué mi teléfono, activé el hotspot, me conecté a la red de prueba de OpenGradient y envié una solicitud de inferencia.
Luego, sólo quedaba esperar. El tren pasó por un túnel y la señal se redujo a una sola barra. Estuve mirando el ícono de carga girando mientras el hermano me miraba. Esos 5 segundos fueron más largos que mi primera cita.
El resultado llegó: 7 segundos. El hermano dijo educadamente "es bastante impresionante", y luego se puso a ver TikTok. Qué vergüenza.
Pero esa noche, al regresar al hotel, revisé el registro en cadena de esa inferencia y, en cambio, me di cuenta de algunas cosas que había pasado por alto. En esos 7 segundos, la inferencia realmente solo tomó 1.4 segundos; los 5.6 segundos restantes se gastaron en el enrutamiento de la red: la solicitud voló desde mi teléfono al nodo, la comparación de consenso entre nodos y la retransmisión del resultado, además de que el cambio de estación del tren hizo que se retransmitiera una vez más. La lógica de validación central no es lenta, lo que es lento es el costo de comunicación que implica ser "descentralizado".
De repente, comprendí. ¿Quieres que un coche tenga certificación de seguridad, múltiples controles de seguridad y aún así corra a la velocidad de un coche desnudo? Las leyes físicas no lo permitirán.
Así que ahora mi visión sobre la latencia de OpenGradient es la siguiente: no es adecuada para que hables con la IA, eso debe ser en menos de 300 milisegundos y actualmente no se puede lograr. Pero si lo que necesitas es un resultado de inferencia "en el que no necesitas confiar en nadie", como la evaluación de riesgo de una gran suma de dinero o el cribado inicial de un informe médico por IA, entonces esperar unos segundos más a cambio de una trazabilidad completa en la cadena vale la pena a lo grande.
También empecé a entender por qué la comunidad de OpenGradient no hace tanto ruido sobre los datos de latencia: en esta etapa no pueden hacer mucho al respecto. Pero han estado optimizando el enrutamiento de nodos, y la última actualización redujo el cambio entre continentes de 3 segundos a 1.2 segundos. Estoy atento a esta tendencia.
La próxima vez que alguien pregunte sobre la latencia, diré: ¿Estás dispuesto a esperar unos segundos por una respuesta en la que no necesitas confiar en nadie? Si estás dispuesto, entonces esa latencia no es un bug, es una característica. @OpenGradient
Luego, sólo quedaba esperar. El tren pasó por un túnel y la señal se redujo a una sola barra. Estuve mirando el ícono de carga girando mientras el hermano me miraba. Esos 5 segundos fueron más largos que mi primera cita.
El resultado llegó: 7 segundos. El hermano dijo educadamente "es bastante impresionante", y luego se puso a ver TikTok. Qué vergüenza.
Pero esa noche, al regresar al hotel, revisé el registro en cadena de esa inferencia y, en cambio, me di cuenta de algunas cosas que había pasado por alto. En esos 7 segundos, la inferencia realmente solo tomó 1.4 segundos; los 5.6 segundos restantes se gastaron en el enrutamiento de la red: la solicitud voló desde mi teléfono al nodo, la comparación de consenso entre nodos y la retransmisión del resultado, además de que el cambio de estación del tren hizo que se retransmitiera una vez más. La lógica de validación central no es lenta, lo que es lento es el costo de comunicación que implica ser "descentralizado".
De repente, comprendí. ¿Quieres que un coche tenga certificación de seguridad, múltiples controles de seguridad y aún así corra a la velocidad de un coche desnudo? Las leyes físicas no lo permitirán.
Así que ahora mi visión sobre la latencia de OpenGradient es la siguiente: no es adecuada para que hables con la IA, eso debe ser en menos de 300 milisegundos y actualmente no se puede lograr. Pero si lo que necesitas es un resultado de inferencia "en el que no necesitas confiar en nadie", como la evaluación de riesgo de una gran suma de dinero o el cribado inicial de un informe médico por IA, entonces esperar unos segundos más a cambio de una trazabilidad completa en la cadena vale la pena a lo grande.
También empecé a entender por qué la comunidad de OpenGradient no hace tanto ruido sobre los datos de latencia: en esta etapa no pueden hacer mucho al respecto. Pero han estado optimizando el enrutamiento de nodos, y la última actualización redujo el cambio entre continentes de 3 segundos a 1.2 segundos. Estoy atento a esta tendencia.
La próxima vez que alguien pregunte sobre la latencia, diré: ¿Estás dispuesto a esperar unos segundos por una respuesta en la que no necesitas confiar en nadie? Si estás dispuesto, entonces esa latencia no es un bug, es una característica. @OpenGradient