#opg $OPG
A menudo se asume que la parte más difícil de la infraestructura de IA es construir mejores modelos.
Cuanta más documentación leo, menos creo que ahí viva el verdadero desafío de la ingeniería.
Un detalle dentro de @OpenGradient me mantenía volviendo sobre lo mismo: la red está construida en torno a ONNX, en lugar de depender de un único framework de modelos.
Al principio suena como una simple elección de compatibilidad.
No lo es.
Cada ecosistema importante de IA evoluciona de manera distinta. PyTorch, TensorFlow y otras cadenas de herramientas lanzan nuevos operadores, optimizaciones y formatos de modelos con el tiempo. Exigir que los desarrolladores reescriban sus aplicaciones cada vez que cambia el ecosistema subyacente crea una deuda técnica que se acumula mucho más rápido que la mejora de la calidad del modelo.
Usar ONNX cambia esa ecuación.
Un modelo exportado a una representación intermedia común resulta más fácil de mover entre diferentes entornos de ejecución, en vez de quedar atado al runtime de un solo proveedor. Eso reduce los costos de migración en lugar de obligar a las aplicaciones a seguir cada decisión de framework.
La segunda consecuencia es más sutil. Como los nodos de inferencia ejecutan una representación estandarizada, la infraestructura puede optimizar la ejecución independientemente de cómo se entrenó el modelo original. Esto separa el desarrollo de la aplicación de la ingeniería de bajo nivel del runtime.
En tercer lugar, el versionado se vuelve más sencillo de gestionar. Actualizar un modelo ya no tiene que significar rediseñar la aplicación que lo rodea si la interfaz de ejecución permanece estable.
En cuarto lugar, el hardware heterogéneo se vuelve más práctico, porque una sola representación puede apuntar a diferentes aceleradores en lugar de encerrar las cargas de trabajo en una sola pila.
Por último, los SDK se vuelven más duraderos. Los desarrolladores crean sobre una sola abstracción en vez de estar persiguiendo constantemente a proveedores de modelos que cambian.
Eso me hizo mirar #OPG de otra manera.
Quizá el valor a largo plazo de $OPG won no provenga de alojar primero el modelo más nuevo.
Puede venir de lograr que la aplicación de ayer siga funcionando cuando, inevitablemente, cambie el ecosistema de IA del mañana.
A menudo se asume que la parte más difícil de la infraestructura de IA es construir mejores modelos.
Cuanta más documentación leo, menos creo que ahí viva el verdadero desafío de la ingeniería.
Un detalle dentro de @OpenGradient me mantenía volviendo sobre lo mismo: la red está construida en torno a ONNX, en lugar de depender de un único framework de modelos.
Al principio suena como una simple elección de compatibilidad.
No lo es.
Cada ecosistema importante de IA evoluciona de manera distinta. PyTorch, TensorFlow y otras cadenas de herramientas lanzan nuevos operadores, optimizaciones y formatos de modelos con el tiempo. Exigir que los desarrolladores reescriban sus aplicaciones cada vez que cambia el ecosistema subyacente crea una deuda técnica que se acumula mucho más rápido que la mejora de la calidad del modelo.
Usar ONNX cambia esa ecuación.
Un modelo exportado a una representación intermedia común resulta más fácil de mover entre diferentes entornos de ejecución, en vez de quedar atado al runtime de un solo proveedor. Eso reduce los costos de migración en lugar de obligar a las aplicaciones a seguir cada decisión de framework.
La segunda consecuencia es más sutil. Como los nodos de inferencia ejecutan una representación estandarizada, la infraestructura puede optimizar la ejecución independientemente de cómo se entrenó el modelo original. Esto separa el desarrollo de la aplicación de la ingeniería de bajo nivel del runtime.
En tercer lugar, el versionado se vuelve más sencillo de gestionar. Actualizar un modelo ya no tiene que significar rediseñar la aplicación que lo rodea si la interfaz de ejecución permanece estable.
En cuarto lugar, el hardware heterogéneo se vuelve más práctico, porque una sola representación puede apuntar a diferentes aceleradores en lugar de encerrar las cargas de trabajo en una sola pila.
Por último, los SDK se vuelven más duraderos. Los desarrolladores crean sobre una sola abstracción en vez de estar persiguiendo constantemente a proveedores de modelos que cambian.
Eso me hizo mirar #OPG de otra manera.
Quizá el valor a largo plazo de $OPG won no provenga de alojar primero el modelo más nuevo.
Puede venir de lograr que la aplicación de ayer siga funcionando cuando, inevitablemente, cambie el ecosistema de IA del mañana.