#opg $OPG A rede organiza sua infraestrutura em formatos de nós distintos, dependendo da carga de trabalho alvo.
Especificações de Hardware para Nós de Inferência Local
Os nós de inferência local executam modelos open-source (como Llama ou Mistral) diretamente a partir do Model Hub integrado da rede.
Unidade de Processamento Gráfico (GPU): Uma GPU dedicada é estritamente obrigatória. GPUs de nível corporativo (por exemplo, NVIDIA A100, H100 ou L40S) ou hardware de consumo de ponta (por exemplo, NVIDIA RTX 4090 / 3090) com VRAM substancial são necessários para acomodar grandes parâmetros localmente.
Especificações de Hardware para Nós de Inferência Local
Os nós de inferência local executam modelos open-source (como Llama ou Mistral) diretamente a partir do Model Hub integrado da rede.
Unidade de Processamento Gráfico (GPU): Uma GPU dedicada é estritamente obrigatória. GPUs de nível corporativo (por exemplo, NVIDIA A100, H100 ou L40S) ou hardware de consumo de ponta (por exemplo, NVIDIA RTX 4090 / 3090) com VRAM substancial são necessários para acomodar grandes parâmetros localmente.