Letzte Woche habe ich im OpenGradient-Chat eine On-Chain-Transaktion überprüft, die Seite zeigte "Inference validiert". Einige Minuten später habe ich dieselbe Frage erneut gestellt, und das Ergebnis war anders. Ich habe die Blockaufzeichnungen durchforstet, und die beiden Anfragen hatten eine Zeitdifferenz von 40 Sekunden, in denen die Modellgewichte aktualisiert wurden. Bei der ersten Anfrage habe ich die Ausgabe des alten Modells erhalten, und bei der zweiten Anfrage kam das Ergebnis des neuen Modells. Die On-Chain-Aufzeichnung beweist, dass beide Validierungen stattgefunden haben, aber nicht mit derselben Version des Modells. Du erhältst ein Paket und siehst "Zugestellt", denkst, es sei das Paket, das heute angekommen ist, in Wirklichkeit könnte es sich auch um ein altes Paket handeln, das gestern im Sortierzentrum festhing.
Du denkst, "Inference validiert" bezieht sich auf die letzte Inferenz, in Wirklichkeit könnte es sein, dass die Bestätigung für etwas war, das möglicherweise 10 Sekunden im Memory Pool gewartet hat, bevor es an die Chain geschickt wurde. Die OpenGradient-Chain produziert alle 10 Sekunden einen Block, mit CometBFT-Konsens. Ein GPU-Knoten benötigt nur 1 bis 3 Sekunden, um eine LLM-Anfrage zu bearbeiten; eine PIPE-Transaktion könnte 3 Modelle gleichzeitig aufrufen. Bei 100 gleichzeitigen Anfragen pro Sekunde, könnten in 10 Sekunden 1000 Inferenz-Ergebnisse warten, um in einen Block aufgenommen zu werden. Das Gas-Limit der Blöcke und die Verarbeitungszeit der Validatoren sind das obere Limit; wenn die Einreichung der Bestätigung die Blockzeit übersteigt, bleibt sie im Memory Pool hängen. Das Sortierzentrum funktioniert nach demselben Prinzip: Pakete kommen ständig an, das Sortierzentrum verarbeitet alle 10 Sekunden eine Charge. Normalerweise ist das kein Problem, aber während des Singles Day steigt die Paketanzahl sprunghaft an, und das Sortierzentrum kann nicht mehr mithalten, die Pakete stauen sich im Lager. Du hast die Inferenz-Ergebnisse erhalten, die Bestätigung wartet jedoch noch auf die Verarbeitung. Was passiert, wenn die Modellgewichte während der Wartezeit aktualisiert werden? "Inference validiert" bezieht sich auf die Ausgabe der alten Version und ist somit nicht synchron mit der aktuellen Erfahrung. Das Video-Transcoding-Netzwerk von Livepeer hat ebenfalls mit der Diskrepanz zwischen Produktionsgeschwindigkeit und On-Chain-Bestätigung zu kämpfen, aber Transcoding-Aufgaben werden segmentweise eingereicht und abgerechnet, sodass es keine Konflikte zwischen sekündlicher Produktion und Batch-Validierung gibt. OpenGradient priorisiert die Inferenzgeschwindigkeit und verzögert die Validierung; die Nutzer nehmen es schnell wahr, aber "validiert" hat während der Spitzenzeiten an Wert verloren. Du überprüfst die Sendungsnummer und siehst "Zugestellt", aber das könnte das alte Paket von gestern sein. Was du "validiert" nennst, bezieht sich auf Ergebnisse von vor wenigen Sekunden oder vor mehreren Sekunden?
@OpenGradient $BTC $ETH
$OPG
#OPG
Du denkst, "Inference validiert" bezieht sich auf die letzte Inferenz, in Wirklichkeit könnte es sein, dass die Bestätigung für etwas war, das möglicherweise 10 Sekunden im Memory Pool gewartet hat, bevor es an die Chain geschickt wurde. Die OpenGradient-Chain produziert alle 10 Sekunden einen Block, mit CometBFT-Konsens. Ein GPU-Knoten benötigt nur 1 bis 3 Sekunden, um eine LLM-Anfrage zu bearbeiten; eine PIPE-Transaktion könnte 3 Modelle gleichzeitig aufrufen. Bei 100 gleichzeitigen Anfragen pro Sekunde, könnten in 10 Sekunden 1000 Inferenz-Ergebnisse warten, um in einen Block aufgenommen zu werden. Das Gas-Limit der Blöcke und die Verarbeitungszeit der Validatoren sind das obere Limit; wenn die Einreichung der Bestätigung die Blockzeit übersteigt, bleibt sie im Memory Pool hängen. Das Sortierzentrum funktioniert nach demselben Prinzip: Pakete kommen ständig an, das Sortierzentrum verarbeitet alle 10 Sekunden eine Charge. Normalerweise ist das kein Problem, aber während des Singles Day steigt die Paketanzahl sprunghaft an, und das Sortierzentrum kann nicht mehr mithalten, die Pakete stauen sich im Lager. Du hast die Inferenz-Ergebnisse erhalten, die Bestätigung wartet jedoch noch auf die Verarbeitung. Was passiert, wenn die Modellgewichte während der Wartezeit aktualisiert werden? "Inference validiert" bezieht sich auf die Ausgabe der alten Version und ist somit nicht synchron mit der aktuellen Erfahrung. Das Video-Transcoding-Netzwerk von Livepeer hat ebenfalls mit der Diskrepanz zwischen Produktionsgeschwindigkeit und On-Chain-Bestätigung zu kämpfen, aber Transcoding-Aufgaben werden segmentweise eingereicht und abgerechnet, sodass es keine Konflikte zwischen sekündlicher Produktion und Batch-Validierung gibt. OpenGradient priorisiert die Inferenzgeschwindigkeit und verzögert die Validierung; die Nutzer nehmen es schnell wahr, aber "validiert" hat während der Spitzenzeiten an Wert verloren. Du überprüfst die Sendungsnummer und siehst "Zugestellt", aber das könnte das alte Paket von gestern sein. Was du "validiert" nennst, bezieht sich auf Ergebnisse von vor wenigen Sekunden oder vor mehreren Sekunden?
@OpenGradient $BTC $ETH
$OPG
#OPG