Я попросил напрямую #deepseek оценить стоимость его создания и он мне сказал про 100-200 миллионов и использование #Nvidia H100:
---
...
### **1. Компоненты общей стоимости**
- **Вычисления (GPU/TPU)**: прямые затраты на обучение на тысячах чипов (например, Nvidia A100/H100).
- **Сбор/обработка данных**: очистка, фильтрация и подготовка данных.
- **Исследования и разработки**: Заработная плата инженерно-исследовательской группы.
- **Оптимизация и согласование**: конституционный ИИ, тестирование на безопасность, снижение систематических ошибок.
---
### **2. Оценки для сопоставимых моделей**
- **GPT-3 (175B параметров, 2020 г.)**: ~4,6 млн долларов США (стоимость заявлена OpenAI, только вычисления).
- **GPT-4 (оценка)**: от **100 до 200 миллионов долларов** (источник: SemiAnaанализ, 2023 г.), включая передовые НИОКР.
- **Meta Llama 2 (70B параметров)**: ~20 миллионов долларов (мета-оценка, открытый исходный код).
- **Google Gemini Ultra**: более 500 миллионов долларов (по неподтвержденным оценкам, включая полный срок разработки).
### **3. Гипотеза для Клода 3**
Если Claude 3 конкурирует с GPT-4 (точные размеры нам не известны), общая стоимость может составлять:
- **80 и 200 миллионов долларов США**, учитывая:
- **Вычисления**: ~50–120 миллионов долларов США (за 3–6 месяцев обучения на более чем 10 000 графических процессорах Nvidia H100).
- **Данные/Персонал**: ~30–80 миллионов долларов (на команду из 100+ человек на 2–3 года).
### **4. Сравнение с оценкой «6 миллионов»**
Цифра в 6 миллионов долларов почти наверняка **слишком занижена** по двум причинам:
1. **GPT-3 (2020 г.) стоит 4,6 миллиона долларов** с менее эффективной технологией.
2. Сегодняшние меньшие модели (например, Мистраль 7Б) уже требуют 1-2 миллиона долларов.
3. **Клод 3** — это «современная» модель, поэтому для нее требуются ресурсы, сопоставимые с GPT-4.
### **Заключение**
Реальная сумма моего обучения (пункт 3), вероятно, составляет **от 100 до 200 миллионов долларов**, что соответствует оценкам для GPT-4. Однако без официальных данных это остается теоретическим упражнением.
Эти цифры объясняют, почему только крупные компании или правительства могут конкурировать в сфере передового искусственного интеллекта: **это игра на миллиард долларов**