Giao ước Templar-72B đánh dấu cột mốc quan trọng trong lĩnh vực trí tuệ nhân tạo.

Đằng sau sự hào hứng đó là một thành tựu kỹ thuật hữu hình. Vào ngày 10 tháng 3, Templar đã thông báo hoàn thành Covenant-72B, một mô hình ngôn ngữ lớn (LLM) với 72 tỷ tham số được huấn luyện trước hoàn toàn trên Subnet 3 của Bittensor.

Mô hình được huấn luyện trên khoảng 1,1 nghìn tỷ token bằng cách sử dụng các kết nối internet thông thường. Không có cụm máy chủ tập trung hay Danh sách trắng được sử dụng. Bất kỳ ai có GPU đều có thể tham gia một cách tự do .

Templar đã sử dụng kỹ thuật gọi là SparseLoCo để khắc phục những hạn chế về băng thông. Mỗi người tham gia thực hiện các bước tối ưu hóa cục bộ trước khi nén và chia sẻ các bản cập nhật, giúp việc huấn luyện phi tập trung trở nên khả thi ở quy mô 72 tỷ.

Nhóm nghiên cứu cho biết Covenant-72B mang lại hiệu suất cạnh tranh với các mô hình tập trung như LLaMA-2-70B.