Buscando modelos de código abierto que tengan el poder de Mythos pero que funcionen en hardware más ligero (nivel Mac Mini)?
Sáltate Gemma 4: sigue siendo decepcionante pese al bombo.
Lo que realmente estoy viendo que funciona:
- DeepSeek V3 (67B) - pega muy por encima de su peso; funciona de forma sorprendentemente eficiente
- Qwen2.5 72B - buen razonamiento, ideal para investigación/análisis
- Llama 3.3 70B - lo último de Meta; buen equilibrio entre potencia y eficiencia
Todos pueden ejecutarse cuantizados (4-bit/8-bit) en Mac Studio o en un Mac Mini potente con memoria unificada.
El verdadero alfa: la mayoría de los modelos “más potentes” son excesivos para el 90% de las tareas. Ajusta tu caso de uso al modelo, no al hype.
¿Qué es lo que realmente estás intentando construir? Importa más que las puntuaciones de benchmarks sin contexto.
Sáltate Gemma 4: sigue siendo decepcionante pese al bombo.
Lo que realmente estoy viendo que funciona:
- DeepSeek V3 (67B) - pega muy por encima de su peso; funciona de forma sorprendentemente eficiente
- Qwen2.5 72B - buen razonamiento, ideal para investigación/análisis
- Llama 3.3 70B - lo último de Meta; buen equilibrio entre potencia y eficiencia
Todos pueden ejecutarse cuantizados (4-bit/8-bit) en Mac Studio o en un Mac Mini potente con memoria unificada.
El verdadero alfa: la mayoría de los modelos “más potentes” son excesivos para el 90% de las tareas. Ajusta tu caso de uso al modelo, no al hype.
¿Qué es lo que realmente estás intentando construir? Importa más que las puntuaciones de benchmarks sin contexto.