#opg $OPG 月初收到AWS账单的时候我正在吃饭，瞄了眼金额差点把筷子扔了——上个月光SageMaker推理就烧了390美金。我知道这东西贵，但没想到贵成这样。
那天晚上我较真了。打开计算器，把AWS和OpenGradient的推理成本一项一项拆开比，结果有点上头。
先说AWS。我用的是SageMaker实时推理，ml.g4dn.xlarge实例，按小时计费0.53美金。看起来不贵对吧？但坑在“按小时”——哪怕你这个小时只跑了一次推理，照样收整小时的钱。我上个月跑了大概15000次文本推理，平均每次耗时1.2秒，实际用到的算力时间加起来才5个小时。但账单呢？按24小时在线算，30天就是720小时，381美金。利用率连1%都不到，钱全烧在闲置上了。
然后看OpenGradient。它按实际推理次数计费，我测下来单次文本推理大概0.00018美金，15000次就是2.7美金。对，你没看错，小数点位置没问题。加上链上验证的Gas费，总成本大概8美金出头。为什么差这么多？因为没有闲置——你不需要为“等待请求”的时间付钱，节点闲着是节点的事。
我又拿图片推理算了一遍。SD生成一张图，AWS上大概0.032美金，OpenGradient上我实测0.008美金，差了四倍。原因也简单，OpenGradient碎片化分发，找的是当时最便宜的可用算力，不是死绑一张固定价格的卡。
当然我得说句公道话，AWS的延迟确实更低，SLA也稳。但我一个创业小团队，省出来的380美金够付两个月的服务器托管费了。这差距不是什么百分比优化，是直接降了一个数量级。反正我下个月把推理全迁过去。@OpenGradient
那天晚上我较真了。打开计算器，把AWS和OpenGradient的推理成本一项一项拆开比，结果有点上头。
先说AWS。我用的是SageMaker实时推理，ml.g4dn.xlarge实例，按小时计费0.53美金。看起来不贵对吧？但坑在“按小时”——哪怕你这个小时只跑了一次推理，照样收整小时的钱。我上个月跑了大概15000次文本推理，平均每次耗时1.2秒，实际用到的算力时间加起来才5个小时。但账单呢？按24小时在线算，30天就是720小时，381美金。利用率连1%都不到，钱全烧在闲置上了。
然后看OpenGradient。它按实际推理次数计费，我测下来单次文本推理大概0.00018美金，15000次就是2.7美金。对，你没看错，小数点位置没问题。加上链上验证的Gas费，总成本大概8美金出头。为什么差这么多？因为没有闲置——你不需要为“等待请求”的时间付钱，节点闲着是节点的事。
我又拿图片推理算了一遍。SD生成一张图，AWS上大概0.032美金，OpenGradient上我实测0.008美金，差了四倍。原因也简单，OpenGradient碎片化分发，找的是当时最便宜的可用算力，不是死绑一张固定价格的卡。
当然我得说句公道话，AWS的延迟确实更低，SLA也稳。但我一个创业小团队，省出来的380美金够付两个月的服务器托管费了。这差距不是什么百分比优化，是直接降了一个数量级。反正我下个月把推理全迁过去。@OpenGradient