🚨 Antes de rolar, eu quero A SUA opinião sobre minha perspectiva. Compartilhe insights e incentive uma discussão valiosa.
Eu passei duas horas ontem tentando entender por que o SDK do OpenGradient divide cada chamada de inferência em duas etapas. Fiquei encarando os exemplos em Python. Primeiro você executa o modelo. Depois, separadamente, você valida. Eu fiquei irritado. Eu só queria uma chamada de API limpa que retornasse um resultado e uma prova juntos. Por que complicar isso?
Então eu encontrei a seção HACA no whitepaper. E entendi. A separação não é complicação. É a arquitetura inteira.
Todo outro projeto de IA descentralizada que eu analisei tem a mesma falha fatal. Eles querem que validadores reexecutem toda inferência. Executar o modelo 100 vezes para 100 validadores. Isso é insano. Um modelo de 70 bilhões de parâmetros custa dinheiro de verdade por execução. Multiplique pelo tamanho do conjunto de validadores. Os tempos de bloco subiriam para minutos. E LLMs são não determinísticos por natureza. Mesmo prompt, resultados diferentes a cada vez. Os validadores nunca conseguiriam chegar a um consenso sobre o estado.
O OpenGradient não pede que validadores rodem modelos. Nós de inferência com GPUs executam uma vez. Retornam os resultados aos usuários imediatamente. Depois, as provas são submetidas separadamente. Atestações TEE de enclaves AWS Nitro ou provas criptográficas ZKML. Os nós completos verificam essas provas sem tocar no modelo. Não são necessárias GPUs para validadores. Apenas hardware comum rodando o consenso CometBFT.
A estrutura do SDK agora faz sentido. A separação não é um design estranho. É necessária. Execução e verificação vivem em cronogramas completamente diferentes.
Mas eu continuei procurando a fraqueza. Encontrei na seção 10.2. "O acerto assíncrono cria lacunas temporárias de confiança." Entre a entrega do resultado e o acerto da prova, há uma janela. Você obtém a resposta em milissegundos. A verificação na blockchain é acertada segundos depois. Para a maioria das aplicações, tudo bem. Para high frequency trading ou qualquer coisa que exija finalização criptográfica instantânea, essa é a sua exposição.
Agora, quando eu vejo um projeto de "IA descentralizada", eu faço uma pergunta. Como os validadores verificam a inferência sem reexecutar o modelo eles mesmos?
@OpenGradient $OPG #OPG
Eu passei duas horas ontem tentando entender por que o SDK do OpenGradient divide cada chamada de inferência em duas etapas. Fiquei encarando os exemplos em Python. Primeiro você executa o modelo. Depois, separadamente, você valida. Eu fiquei irritado. Eu só queria uma chamada de API limpa que retornasse um resultado e uma prova juntos. Por que complicar isso?
Então eu encontrei a seção HACA no whitepaper. E entendi. A separação não é complicação. É a arquitetura inteira.
Todo outro projeto de IA descentralizada que eu analisei tem a mesma falha fatal. Eles querem que validadores reexecutem toda inferência. Executar o modelo 100 vezes para 100 validadores. Isso é insano. Um modelo de 70 bilhões de parâmetros custa dinheiro de verdade por execução. Multiplique pelo tamanho do conjunto de validadores. Os tempos de bloco subiriam para minutos. E LLMs são não determinísticos por natureza. Mesmo prompt, resultados diferentes a cada vez. Os validadores nunca conseguiriam chegar a um consenso sobre o estado.
O OpenGradient não pede que validadores rodem modelos. Nós de inferência com GPUs executam uma vez. Retornam os resultados aos usuários imediatamente. Depois, as provas são submetidas separadamente. Atestações TEE de enclaves AWS Nitro ou provas criptográficas ZKML. Os nós completos verificam essas provas sem tocar no modelo. Não são necessárias GPUs para validadores. Apenas hardware comum rodando o consenso CometBFT.
A estrutura do SDK agora faz sentido. A separação não é um design estranho. É necessária. Execução e verificação vivem em cronogramas completamente diferentes.
Mas eu continuei procurando a fraqueza. Encontrei na seção 10.2. "O acerto assíncrono cria lacunas temporárias de confiança." Entre a entrega do resultado e o acerto da prova, há uma janela. Você obtém a resposta em milissegundos. A verificação na blockchain é acertada segundos depois. Para a maioria das aplicações, tudo bem. Para high frequency trading ou qualquer coisa que exija finalização criptográfica instantânea, essa é a sua exposição.
Agora, quando eu vejo um projeto de "IA descentralizada", eu faço uma pergunta. Como os validadores verificam a inferência sem reexecutar o modelo eles mesmos?
@OpenGradient $OPG #OPG