$PHA
Peso oficial FP8: 755 GB
Peso Phala W4AFP8: 368 GB
Esto libera 387 GB para caché de KV, gráficas CUDA, búferes en tiempo de ejecución y un margen de servicio dentro de una ventana completa de 1M tokens.
Peso oficial FP8: 755 GB
Peso Phala W4AFP8: 368 GB
Esto libera 387 GB para caché de KV, gráficas CUDA, búferes en tiempo de ejecución y un margen de servicio dentro de una ventana completa de 1M tokens.