Je lisais aujourd’hui la documentation de l’architecture d’OpenGradient et j’ai remarqué un détail marqué « Coming Soon » qui change la façon dont le réseau actuellement en direct fonctionne réellement. Les Data Nodes, la couche dédiée chargée de servir les poids du modèle aux nœuds d’inférence, ne sont pas encore en ligne. Le livre blanc les décrit comme un rôle planifié. Le réseau fonctionne sans eux aujourd’hui.

Cela compte parce que les nœuds d’inférence sont décrits explicitement comme sans état (stateless). Ils ne stockent pas les poids du modèle localement. Chaque requête d’inférence nécessite d’abord de streamer les poids depuis un endroit quelconque. Sans Data Nodes dédiés, cet endroit est directement Walrus, la couche de stockage décentralisée construite sur Sui en utilisant le codage par effacement (erasure coding) de Red Stuff avec un facteur de réplication de 4,5x.

Ce que je trouve vraiment intéressant à examiner, c’est ce que cela implique pour la latence d’inférence aujourd’hui, comparé à ce que l’architecture prévoit une fois que les Data Nodes arriveront. Le fait de streamer les poids du modèle depuis un réseau de stockage décentralisé pour chaque requête d’inférence ne correspond pas au même profil de performance que le fait de streamer depuis un nœud spécialisé conçu et optimisé spécifiquement pour cette tâche. L’écart entre ces deux configurations s’accroît à mesure que les tailles de modèles augmentent. Un modèle de 7 milliards de paramètres nécessite environ 14 gigaoctets de poids. Les servir sur un réseau de stockage décentralisé pour chaque requête d’inférence « à froid » crée une demande en bande passante que l’architecture reconnaît ne pas avoir encore entièrement résolue.

Les Data Nodes existent dans la documentation comme solution prévue. Ils n’existent pas encore sur le réseau, en tant qu’élément réel. ReplyForwardAdd reaction

#opg $OPG @OpenGradient