Sigo volviendo a una pregunta que parece que no se hace lo suficiente.
Muchas redes descentralizadas se ven geniales cuando manejan un puñado de solicitudes. La verdadera prueba comienza cuando miles de personas llegan al mismo tiempo.
Lo he visto antes. Sistemas que parecían impresionantes en papel empezaron a ralentizarse una vez que llegó el tráfico real. La latencia aumentó, los nodos se esforzaron, y la brecha entre la teoría y la realidad se volvió obvia. Por eso, cuando leo acerca de @OpenGradient , me interesa menos si la idea suena bien y más cómo se comporta bajo presión real.
El diseño de separar la inferencia de la verificación es interesante. Tener diferentes nodos manejando la computación y la verificación de pruebas parece lógico. Pero si eso sigue funcionando de manera eficiente a gran escala es algo que solo el uso real puede responder.
Lo que me llama la atención es que la mayoría de los proyectos de IA ni siquiera pueden ser evaluados de esta manera. Si no hay forma de verificar la salida, no hay nada significativo que estresar en primer lugar.
Quizás esa sea la verdadera diferencia. No que ya sea perfecto, sino que está tratando de resolver un problema que vale la pena medir cuando la demanda crece.
Sigo pensándolo.
@OpenGradient $OPG #OPG
Muchas redes descentralizadas se ven geniales cuando manejan un puñado de solicitudes. La verdadera prueba comienza cuando miles de personas llegan al mismo tiempo.
Lo he visto antes. Sistemas que parecían impresionantes en papel empezaron a ralentizarse una vez que llegó el tráfico real. La latencia aumentó, los nodos se esforzaron, y la brecha entre la teoría y la realidad se volvió obvia. Por eso, cuando leo acerca de @OpenGradient , me interesa menos si la idea suena bien y más cómo se comporta bajo presión real.
El diseño de separar la inferencia de la verificación es interesante. Tener diferentes nodos manejando la computación y la verificación de pruebas parece lógico. Pero si eso sigue funcionando de manera eficiente a gran escala es algo que solo el uso real puede responder.
Lo que me llama la atención es que la mayoría de los proyectos de IA ni siquiera pueden ser evaluados de esta manera. Si no hay forma de verificar la salida, no hay nada significativo que estresar en primer lugar.
Quizás esa sea la verdadera diferencia. No que ya sea perfecto, sino que está tratando de resolver un problema que vale la pena medir cuando la demanda crece.
Sigo pensándolo.
@OpenGradient $OPG #OPG