Continuando hoje no Google turboquant
@xingpt A postagem do irmão atinge o ponto-chave
O espaço HBM economizado não será considerado uma economia de custo, mas será utilizado para fazer três coisas:
Janela de contexto mais longa: antes só era possível ler um artigo, agora você pode ler cem livros de uma vez
Tamanho de Batch maior: a mesma placa gráfica pode atender a mais usuários simultaneamente
IA de borda (Edge AI) explode: enfiando grandes modelos em celulares e PCs
Não entende? Aqui está uma versão resumida para iniciantes
Um dos verdadeiros vencedores confirmados na Ai2.0 - Guangtong