No último trimestre, comecei a receber chamados de suporte que eu não conseguia entender. Os usuários descreviam o produto como “falho”, menos confiável do que antes, não quebrado de nenhuma forma que eu pudesse apontar, apenas sutilmente diferente na maneira como ele raciocinava ao resolver os problemas. Passei três dias convencido de que eu tinha introduzido uma regressão em algum lugar do meu próprio código.
Eu não tinha. O modelo subjacente havia sido atualizado.
Não houve um anúncio que eu conseguisse encontrar, nenhum registro de changelog, nenhum aumento de versão nos cabeçalhos de resposta da API. Algo tinha mudado na forma como o modelo raciocinava, e essa mudança passou silenciosamente por tudo o que o meu produto fazia por cima. Meus usuários perceberam antes de mim, e esse detalhe me incomodou mais do que o problema em si.
É aqui que as dependências de uma plataforma de IA divergem dos riscos que vieram antes. Mudanças nas regras da App Store vêm com documentação. Encerramentos de APIs sociais chegam com avisos de descontinuação, datas, momentos específicos ao redor dos quais dá para planejar. Mas, quando a camada de inteligência do seu produto vive dentro do pipeline de treinamento de outra empresa, o terreno pode mudar sem um carimbo de tempo. As decisões internas de re-treinamento deles viram o comportamento do seu produto, no cronograma deles, sem obrigação de informar o que mudou.
O que eu continuei retomando não foi a inconveniência. Foi a realidade estrutural por trás disso. O comportamento que meus usuários tinham aprendido a confiar não era inteiramente meu para manter.
Esse é o problema que acho que a OpenGradient está tentando abordar. Não é acesso a modelos mais rápido ou mais barato, mas um caminho para assumir a camada onde esse comportamento é, de fato, definido.
Ainda estou descobrindo o que seria necessário para construir de forma diferente. Mas a pergunta em que eu continuo chegando é mais específica do que parece.
Se o modelo que dá suporte ao seu produto mudou ontem, você seria o primeiro a saber?
@OpenGradient
$OPG
#OPG
$VELVET
$MYX
Eu não tinha. O modelo subjacente havia sido atualizado.
Não houve um anúncio que eu conseguisse encontrar, nenhum registro de changelog, nenhum aumento de versão nos cabeçalhos de resposta da API. Algo tinha mudado na forma como o modelo raciocinava, e essa mudança passou silenciosamente por tudo o que o meu produto fazia por cima. Meus usuários perceberam antes de mim, e esse detalhe me incomodou mais do que o problema em si.
É aqui que as dependências de uma plataforma de IA divergem dos riscos que vieram antes. Mudanças nas regras da App Store vêm com documentação. Encerramentos de APIs sociais chegam com avisos de descontinuação, datas, momentos específicos ao redor dos quais dá para planejar. Mas, quando a camada de inteligência do seu produto vive dentro do pipeline de treinamento de outra empresa, o terreno pode mudar sem um carimbo de tempo. As decisões internas de re-treinamento deles viram o comportamento do seu produto, no cronograma deles, sem obrigação de informar o que mudou.
O que eu continuei retomando não foi a inconveniência. Foi a realidade estrutural por trás disso. O comportamento que meus usuários tinham aprendido a confiar não era inteiramente meu para manter.
Esse é o problema que acho que a OpenGradient está tentando abordar. Não é acesso a modelos mais rápido ou mais barato, mas um caminho para assumir a camada onde esse comportamento é, de fato, definido.
Ainda estou descobrindo o que seria necessário para construir de forma diferente. Mas a pergunta em que eu continuo chegando é mais específica do que parece.
Se o modelo que dá suporte ao seu produto mudou ontem, você seria o primeiro a saber?
@OpenGradient
$OPG
#OPG
$VELVET
$MYX