Poprosiłem bezpośrednio #deepseek o oszacowanie kosztów jego powstania i powiedział mi około 100-200 milionów i zastosowanie #Nvidia H100:
---
...
### **1. Składniki kosztów całkowitych**
- **Obliczenia (GPU/TPU)**: Bezpośredni koszt szkolenia na tysiącach chipów (np. Nvidia A100/H100).
- **Zbieranie/przetwarzanie danych**: Czyszczenie, filtrowanie i przygotowywanie danych.
- **Badania i rozwój**: Wynagrodzenia zespołu inżynieryjno-badawczego.
- **Optymalizacja i dostosowanie**: Konstytucyjna sztuczna inteligencja, testy bezpieczeństwa, redukcja uprzedzeń.
---
### **2. Szacunki dla porównywalnych modeli**
- **GPT-3 (parametry 175B, 2020)**: ~4,6 miliona dolarów (koszt zadeklarowany przez OpenAI, tylko obliczenia).
- **GPT-4 (dane szacunkowe)**: od **100 do 200 milionów dolarów** (źródło: SemiAnalytics, 2023), w tym zaawansowane prace badawczo-rozwojowe.
- **Meta Llama 2 (parametry 70B)**: ~20 milionów dolarów (meta szacunki, oprogramowanie open source).
- **Google Gemini Ultra**: ponad 500 milionów dolarów (niepotwierdzone szacunki, łącznie z pełnym okresem rozwoju).
### **3. Hipoteza dla Claude'a 3**
Jeśli Claude 3 będzie konkurencyjny w stosunku do GPT-4 (nie znamy dokładnych wymiarów), całkowity koszt może wynosić pomiędzy:
- **80 i 200 milionów dolarów**, biorąc pod uwagę:
- **Przetwarzanie**: ~50-120 milionów dolarów (za 3-6 miesięcy szkolenia na ponad 10 000 procesorów graficznych Nvidia H100).
- **Dane/Personel**: ~30-80 milionów dolarów (na zespół liczący ponad 100 osób przez 2-3 lata).
### **4. Porównanie z szacunkiem „6 milionów”**
Kwota 6 milionów dolarów jest prawie na pewno **zbyt niska** z dwóch powodów:
1. **GPT-3 (2020) kosztuje 4,6 miliona dolarów** przy mniej wydajnej technologii.
2. Dzisiejsze mniejsze modele (np. Mistral 7B) wymagają już 1-2 milionów dolarów.
3. **Claude 3** jest modelem „najnowocześniejszym”, dlatego wymaga zasobów porównywalnych z GPT-4.
### **Wniosek**
Realistyczna kwota, jaką należy przeszkolić (Claude 3), wynosi prawdopodobnie **100–200 milionów dolarów**, zgodnie z szacunkami dla GPT-4. Jednak bez oficjalnych danych pozostaje to ćwiczeniem teoretycznym.
Liczby te wyjaśniają, dlaczego tylko duże firmy lub rządy mogą konkurować w zakresie zaawansowanej sztucznej inteligencji: **to gra warta miliard dolarów**