Últimamente he estado notando algo que no estoy seguro de cómo articular completamente.
La mayoría de las herramientas de IA que uso se venden como suscripciones de software. Una tarifa fija mensual sin importar cuánto las use realmente. Algunos meses eso se siente razonable. Otros meses me pregunto si ese modelo de precios fue diseñado en función de cómo se están utilizando estas herramientas — o simplemente se tomó prestado de la industria del software porque era familiar.
Eso es parte de lo que me atrajo hacia cómo @OpenGradient aborda la liquidación de inferencias.
La idea de pagar por solicitud en lugar de por mes se siente menos como una suscripción de software y más como pagamos por servicios públicos. Consumes una unidad, pagas por esa unidad. La facturación refleja el uso real en lugar de un patrón de consumo asumido.
Al menos en principio.
Todavía recuerdo cuando la mayoría de las conversaciones sobre precios de IA eran casi completamente sobre qué nivel desbloqueaba qué modelo. Últimamente, parece que la infraestructura detrás del precio se está volviendo igual de relevante.
Si el modelo de facturación asume un suscriptor humano al otro lado, los sistemas se diseñan en torno a esa suposición. Si no lo hace, se vuelven posibles diferentes cosas.
A lo que sigo volviendo es que OpenGradient parece ser parte de un cambio más amplio en cómo se estructura el consumo de IA. No solo qué modelos se ejecutan, sino cómo se inician, liquidan y verifican las solicitudes sin un titular de cuenta humano requerido en cada paso.
Todavía estoy descubriendo lo que eso significa a gran escala y dónde reside la verdadera fricción.
Probablemente he simplificado en exceso los costos de coordinación involucrados. La liquidación en cadena por solicitud conlleva un sobrecosto que una suscripción fija nunca tiene que absorber — y no estoy completamente seguro de cómo se desarrolla eso en cargas de trabajo de alta frecuencia.
Quizás la pregunta no sea cómo hacer que la IA sea más barata, sino si la forma en que hemos estado pagando por ella fue alguna vez realmente diseñada para lo que lentamente se está convirtiendo.
Sigo preguntándome cómo se verá eventualmente la infraestructura de IA una vez que quien haga las solicitudes no sea una persona en absoluto.
#OPG $OPG
La mayoría de las herramientas de IA que uso se venden como suscripciones de software. Una tarifa fija mensual sin importar cuánto las use realmente. Algunos meses eso se siente razonable. Otros meses me pregunto si ese modelo de precios fue diseñado en función de cómo se están utilizando estas herramientas — o simplemente se tomó prestado de la industria del software porque era familiar.
Eso es parte de lo que me atrajo hacia cómo @OpenGradient aborda la liquidación de inferencias.
La idea de pagar por solicitud en lugar de por mes se siente menos como una suscripción de software y más como pagamos por servicios públicos. Consumes una unidad, pagas por esa unidad. La facturación refleja el uso real en lugar de un patrón de consumo asumido.
Al menos en principio.
Todavía recuerdo cuando la mayoría de las conversaciones sobre precios de IA eran casi completamente sobre qué nivel desbloqueaba qué modelo. Últimamente, parece que la infraestructura detrás del precio se está volviendo igual de relevante.
Si el modelo de facturación asume un suscriptor humano al otro lado, los sistemas se diseñan en torno a esa suposición. Si no lo hace, se vuelven posibles diferentes cosas.
A lo que sigo volviendo es que OpenGradient parece ser parte de un cambio más amplio en cómo se estructura el consumo de IA. No solo qué modelos se ejecutan, sino cómo se inician, liquidan y verifican las solicitudes sin un titular de cuenta humano requerido en cada paso.
Todavía estoy descubriendo lo que eso significa a gran escala y dónde reside la verdadera fricción.
Probablemente he simplificado en exceso los costos de coordinación involucrados. La liquidación en cadena por solicitud conlleva un sobrecosto que una suscripción fija nunca tiene que absorber — y no estoy completamente seguro de cómo se desarrolla eso en cargas de trabajo de alta frecuencia.
Quizás la pregunta no sea cómo hacer que la IA sea más barata, sino si la forma en que hemos estado pagando por ella fue alguna vez realmente diseñada para lo que lentamente se está convirtiendo.
Sigo preguntándome cómo se verá eventualmente la infraestructura de IA una vez que quien haga las solicitudes no sea una persona en absoluto.
#OPG $OPG