Acordul Templar-72B marchează o etapă importantă în domeniul inteligenței artificiale.

În spatele acestei entuziasm se află o realizare tehnică tangibilă. Pe 10 martie, Templar a anunțat finalizarea Covenant-72B, un model de limbaj mare (LLM) cu 72 de miliarde de parametri, complet antrenat pe Subnet 3 al Bittensor.

Modelul a fost antrenat pe aproximativ 1,1 trilioane de tokeni folosind conexiuni de internet obișnuite. Nu au fost folosite clustere de servere centralizate sau liste albe. Oricine are un GPU poate participa liber.

Templar a folosit o tehnică numită SparseLoCo pentru a depăși limitările de lățime de bandă. Fiecare participant efectuează pași de optimizare locală înainte de a comprima și a împărtăși actualizările, facilitând antrenarea descentralizată la o scară de 72 de miliarde.

Echipa de cercetare a declarat că Covenant-72B oferă performanțe competitive cu modele centralizate precum LLaMA-2-70B.