Hace un par de días intenté correr un nodo de una cadena pública normal y un modelo grande de 70B (700 mil millones de parámetros) en un servidor al mismo tiempo, y el resultado fue que la memoria de video se llenó de inmediato, haciendo que la máquina se colapsara. Esto me dio una idea clara de una brecha de hardware: actualmente, un nodo validador estándar de Ethereum solo necesita unos 16GB de RAM y 2TB de SSD, lo cual es asumible para cualquier persona; pero para correr un modelo de 70B sin problemas, necesitas al menos 140GB de memoria de GPU (equivalente a dos GPUs A100 de gama alta), con un costo que fácilmente supera los cientos de miles.
Si seguimos el enfoque tradicional de las cadenas públicas, exigiendo que todos los nodos de contabilidad compren GPUs de alta gama para correr AI, esta red simplemente no se puede establecer.
Siguiendo este punto crítico de hardware para analizar el whitepaper de @OpenGradient , descubrí que su diseño de "especialización de nodos" realmente ha calculado bien esta situación. En pocas palabras, están aplicando una división del trabajo tipo línea de ensamblaje.
En su arquitectura, los "nodos completos" responsables de la consenso y la liquidación de libros no tocan el cálculo de GPU, lo que mantiene bajo el umbral de entrada para la descentralización de la red. Y los que realmente hacen el trabajo duro son los "nodos de inferencia" independientes, que como trabajadores solo se encargan de recibir trabajos para ejecutar modelos, entregando resultados sin la carga de mantener el estado masivo de la blockchain. $OPG
Aquí hay un gran problema: un archivo de modelo puede fácilmente pesar decenas o cientos de GB, y según los costos de almacenamiento actuales en la red principal de Ethereum, almacenar 1GB de datos puede costar decenas de millones de dólares. Al comparar su repositorio de código, descubrí que la solución de OpenGradient integra nativamente el almacenamiento descentralizado de Walrus. Los enormes archivos de modelo y las pruebas de verificación son completamente descargados de la cadena, y en la cadena principal solo se registra una cadena inmutable de IDs de Blob. #opg
Este modelo que descompone por completo la "contabilidad, el cálculo y el almacenamiento" realmente baja la barrera para correr AI. Sin embargo, dado que los nodos están distribuyendo tareas, ¿cómo se evita que esos nodos de potencia que han recibido dinero alteren los resultados de inferencia en secreto? Aquí es donde entra en juego su interesante mecanismo de "verificación asimétrica", que desglosaremos mañana.
Si seguimos el enfoque tradicional de las cadenas públicas, exigiendo que todos los nodos de contabilidad compren GPUs de alta gama para correr AI, esta red simplemente no se puede establecer.
Siguiendo este punto crítico de hardware para analizar el whitepaper de @OpenGradient , descubrí que su diseño de "especialización de nodos" realmente ha calculado bien esta situación. En pocas palabras, están aplicando una división del trabajo tipo línea de ensamblaje.
En su arquitectura, los "nodos completos" responsables de la consenso y la liquidación de libros no tocan el cálculo de GPU, lo que mantiene bajo el umbral de entrada para la descentralización de la red. Y los que realmente hacen el trabajo duro son los "nodos de inferencia" independientes, que como trabajadores solo se encargan de recibir trabajos para ejecutar modelos, entregando resultados sin la carga de mantener el estado masivo de la blockchain. $OPG
Aquí hay un gran problema: un archivo de modelo puede fácilmente pesar decenas o cientos de GB, y según los costos de almacenamiento actuales en la red principal de Ethereum, almacenar 1GB de datos puede costar decenas de millones de dólares. Al comparar su repositorio de código, descubrí que la solución de OpenGradient integra nativamente el almacenamiento descentralizado de Walrus. Los enormes archivos de modelo y las pruebas de verificación son completamente descargados de la cadena, y en la cadena principal solo se registra una cadena inmutable de IDs de Blob. #opg
Este modelo que descompone por completo la "contabilidad, el cálculo y el almacenamiento" realmente baja la barrera para correr AI. Sin embargo, dado que los nodos están distribuyendo tareas, ¿cómo se evita que esos nodos de potencia que han recibido dinero alteren los resultados de inferencia en secreto? Aquí es donde entra en juego su interesante mecanismo de "verificación asimétrica", que desglosaremos mañana.