Tiếp tục ảnh hưởng của Google turboquant hôm nay
@xingpt Anh ấy đã chỉ ra điểm chính trong bài viết này
Không gian HBM tiết kiệm được sẽ không được coi là tiết kiệm chi phí, mà sẽ được dùng cho ba việc:
Cửa sổ ngữ cảnh dài hơn: Trước đây chỉ có thể đọc một bài báo, bây giờ có thể đọc một trăm cuốn sách cùng một lúc
Kích thước Batch lớn hơn: Cùng một card đồ họa có thể phục vụ nhiều người dùng hơn
AI biên giới (Edge AI) bùng nổ: Nhét những mô hình lớn vào điện thoại và PC
Không hiểu? Để tôi đưa một phiên bản tóm tắt đơn giản
Một trong những người chiến thắng lớn thực sự trong Ai2.0 - Quang thông