El Acuerdo Templar-72B marca un hito importante en el campo de la inteligencia artificial.

Detrás de esa emoción hay un logro técnico tangible. El 10 de marzo, Templar anunció la finalización de Covenant-72B, un modelo de lenguaje grande (LLM) con 72 mil millones de parámetros completamente entrenado en la Subred 3 de Bittensor.

El modelo fue entrenado en aproximadamente 1.1 billones de tokens utilizando conexiones a internet convencionales. No se utilizaron clústeres de servidores centralizados ni listas blancas. Cualquiera que tenga una GPU puede participar libremente.

Templar ha utilizado una técnica llamada SparseLoCo para abordar las limitaciones de ancho de banda. Cada participante realiza pasos de optimización local antes de comprimir y compartir las actualizaciones, lo que hace que el entrenamiento descentralizado sea viable a una escala de 72 mil millones.

El equipo de investigación afirma que Covenant-72B ofrece un rendimiento competitivo con modelos centralizados como LLaMA-2-70B.