La cosa de OpenGradient que me mantenía regresando no era el Blob ID.
Peor.
La caché.
Porque una vez que un nodo de inferencia de OPG mantiene el artefacto antiguo caliente durante una llamada demasiado larga, el mismo nombre de modelo de OpenGradient empieza a mentir.
Esa parte.
Mismo nombre de modelo de OpenGradient arriba.
Distinto artefacto debajo.
Buena suerte explicándolo de forma limpia.
En fin.
Sigo imaginando dos llamadas de OpenGradient aterrizando con un minuto de diferencia. Mismo nombre de modelo en el panel. Una ruta obtiene el artefacto actualizado desde Model Hub. Un nodo de inferencia sirve el artefacto en caché más antiguo porque ya estaba ahí, ya estaba caliente, y nadie tuvo ganas de hacer visible para el usuario esa distinción aburrida.
Así que ahora ambos resultados caen bajo el mismo nombre de OpenGradient. ¿Cierto?
Qué bien.
Eso es HACA otra vez. Los nodos de inferencia mantienen el modelo caliente localmente porque nadie quiere que cada llamada de OpenGradient espere a Model Hub y a Walrus cada vez. Bien. Los nodos completos se asientan más tarde. Los Blob IDs existen. Existe el versionado.
Y el artefacto viejo todavía responde si la caché llega primero.
Y el usuario todavía puede acceder a ayer. Encantador.
Ahí es donde se me pone feo.
Porque cuando soporte abre el rastro de OPG, el daño ya es social antes de ser técnico. Un usuario obtuvo el artefacto actualizado. Otro obtuvo el en caché. Mismo nombre de modelo de OpenGradient. Linaje de artefactos distinto debajo.
He visto a gente llamar a eso "el mismo modelo" con toda la cara.
No confío en esa etiqueta cuando la caché entra en juego.
Nunca.
Fila tranquila de OpenGradient. Respuesta limpia de OpenGradient. Todos actuando como que "el mismo modelo" significa lo mismo. Hasta que alguien pregunta por qué las salidas no coinciden y ahora la pista tiene que explicar el estado de la caché, el versionado de Model Hub, los Walrus Blob IDs, los artefactos locales por nodo... toda esa basura que se suponía que debía quedarse entre bastidores.
Entonces, ¿exactamente con qué está llamando el usuario al @OpenGradient ?
¿Con un modelo de OpenGradient?
¿O simplemente con lo que sea que ese nodo de inferencia todavía tenía caliente cuando llegó la solicitud?
$OPG #OPG $M $NES
Peor.
La caché.
Porque una vez que un nodo de inferencia de OPG mantiene el artefacto antiguo caliente durante una llamada demasiado larga, el mismo nombre de modelo de OpenGradient empieza a mentir.
Esa parte.
Mismo nombre de modelo de OpenGradient arriba.
Distinto artefacto debajo.
Buena suerte explicándolo de forma limpia.
En fin.
Sigo imaginando dos llamadas de OpenGradient aterrizando con un minuto de diferencia. Mismo nombre de modelo en el panel. Una ruta obtiene el artefacto actualizado desde Model Hub. Un nodo de inferencia sirve el artefacto en caché más antiguo porque ya estaba ahí, ya estaba caliente, y nadie tuvo ganas de hacer visible para el usuario esa distinción aburrida.
Así que ahora ambos resultados caen bajo el mismo nombre de OpenGradient. ¿Cierto?
Qué bien.
Eso es HACA otra vez. Los nodos de inferencia mantienen el modelo caliente localmente porque nadie quiere que cada llamada de OpenGradient espere a Model Hub y a Walrus cada vez. Bien. Los nodos completos se asientan más tarde. Los Blob IDs existen. Existe el versionado.
Y el artefacto viejo todavía responde si la caché llega primero.
Y el usuario todavía puede acceder a ayer. Encantador.
Ahí es donde se me pone feo.
Porque cuando soporte abre el rastro de OPG, el daño ya es social antes de ser técnico. Un usuario obtuvo el artefacto actualizado. Otro obtuvo el en caché. Mismo nombre de modelo de OpenGradient. Linaje de artefactos distinto debajo.
He visto a gente llamar a eso "el mismo modelo" con toda la cara.
No confío en esa etiqueta cuando la caché entra en juego.
Nunca.
Fila tranquila de OpenGradient. Respuesta limpia de OpenGradient. Todos actuando como que "el mismo modelo" significa lo mismo. Hasta que alguien pregunta por qué las salidas no coinciden y ahora la pista tiene que explicar el estado de la caché, el versionado de Model Hub, los Walrus Blob IDs, los artefactos locales por nodo... toda esa basura que se suponía que debía quedarse entre bastidores.
Entonces, ¿exactamente con qué está llamando el usuario al @OpenGradient ?
¿Con un modelo de OpenGradient?
¿O simplemente con lo que sea que ese nodo de inferencia todavía tenía caliente cuando llegó la solicitud?
$OPG #OPG $M $NES