Covenant Templar-72B menandai tonggak penting dalam bidang kecerdasan buatan.

Di balik antusiasme itu adalah sebuah pencapaian teknis yang nyata. Pada tanggal 10 Maret, Templar mengumumkan penyelesaian Covenant-72B, sebuah model bahasa besar (LLM) dengan 72 miliar parameter yang sepenuhnya dilatih di Subnet 3 dari Bittensor.

Model ini dilatih pada sekitar 1,1 triliun token dengan menggunakan koneksi internet biasa. Tidak ada cluster server terpusat atau Daftar putih yang digunakan. Siapa pun yang memiliki GPU dapat berpartisipasi secara bebas.

Templar telah menggunakan teknik yang disebut SparseLoCo untuk mengatasi batasan bandwidth. Setiap peserta melakukan langkah optimasi lokal sebelum mengompresi dan membagikan pembaruan, membantu pelatihan terdesentralisasi menjadi mungkin pada skala 72 miliar.

Tim peneliti menyatakan bahwa Covenant-72B memberikan kinerja yang kompetitif dengan model terpusat seperti LLaMA-2-70B.