Hôm qua chúng ta đã nói về sự tin tưởng. Hôm nay - về lý do tại sao nó lại gặp vấn đề.
AI-hallucinations nghe như một cái gì đó hài hước. Giống như mô hình chỉ “nhầm lẫn” một cái gì đó. Nhưng nếu nhìn kỹ - đó không phải là sự ngẫu nhiên và không phải là lỗi trong mã.
Các mô hình ngôn ngữ lớn, chẳng hạn như OpenAI hay Google, không “biết” sự thật như con người. Chúng không có cơ sở nội bộ về sự thật. Chúng dự đoán từ tiếp theo dựa trên xác suất.
Nếu dữ liệu đủ, câu trả lời trông sẽ chính xác.
Nếu không - mô hình vẫn sẽ trả lời. Và sẽ làm điều đó một cách tự tin.
Đây là vấn đề: hệ thống không có cơ chế nghi ngờ tích hợp. Nó sẽ không dừng lại và nói: “Tôi không chắc chắn”. Nó sẽ xây dựng cấu trúc có khả năng xảy ra nhất. Và chúng ta sẽ coi đó là sự thật.
Trong hầu hết các trường hợp, đó chỉ là những điều nhỏ nhặt. Nhưng khi nói đến tài chính, y tế hoặc các vấn đề pháp lý - một lỗi tự tin có thể tốn kém.
Và đây là một điểm quan trọng: những ảo giác không thể đơn giản “sửa chữa bằng bản vá”. Chúng phát sinh từ chính kiến trúc của các mô hình. Vâng, chúng có thể được giảm thiểu thông qua việc đào tạo bổ sung, lọc, các cơ chế RLHF. Nhưng để loại bỏ hoàn toàn - thì khó.
Chính vì vậy, câu hỏi chuyển từ lĩnh vực “làm thế nào để làm cho mô hình thông minh hơn” sang lĩnh vực “làm thế nào để kiểm tra câu trả lời của nó”.
Và đây là nơi Mira xuất hiện.
Ý tưởng không phải là thay đổi bản chất của AI. Mà là thêm một cơ chế kiểm tra bên ngoài cho các tuyên bố. Để kết quả có thể được xác nhận thông qua một hệ thống xác thực phi tập trung.
Nói một cách đơn giản - nếu AI tự tin sai lầm, cần có một lớp kiểm tra sự tự tin.
Ngày mai, thật hợp lý để xem xét: Mira thực hiện điều đó theo cách nào.