Tôi từng nghĩ rằng các tác nhân AI tự động sẽ chủ yếu được đánh giá dựa trên chất lượng đầu ra. Tôi cho rằng miễn là giao dịch hoàn tất, giao dịch được thanh toán hoặc khuyến nghị hoạt động thì công việc đã hoàn thành. Điều đó có vẻ hiển nhiên nhưng gần đây tôi không chắc rằng đó có phải là lớp đúng để xem xét nữa.
Khoảnh khắc mà những tác nhân này bắt đầu chạm vào vốn hoặc API hoặc hợp đồng hay thậm chí là tương tác với nhau thì đầu ra không còn là điều duy nhất quan trọng nữa bởi vì lịch sử bắt đầu trở thành trung tâm.
Nó không chỉ đơn giản là một lịch sử giao dịch. Chúng ta đang nói về lịch sử hành vi và độ tin cậy dưới những điều kiện thay đổi và các mẫu lỗi cụ thể. Tôi đang xem cách mà những cỗ máy này xử lý kỷ luật quyền hạn hoặc khôi phục sau khi xảy ra sự cố.
Việc một tác nhân đã làm điều gì đó sai một lần có lẽ không quan trọng bằng việc hệ thống xung quanh có thể làm cho lỗi đó trở nên rõ ràng cho người khác thấy sau này hay không. Đó là nơi Sổ cái Mở bắt đầu trông ít giống như hạ tầng tiêu chuẩn và nhiều hơn như một cái gì đó kỳ lạ hơn.
Nó cảm giác giống như một cơ quan tín dụng. Tôi biết rằng so sánh đó nghe có vẻ sạch sẽ hơn thực tế. Một cơ quan tín dụng không quyết định bạn có đáng tin cậy theo một nghĩa triết học nào đó mà thay vào đó nó nén các mảnh hành vi trước đó thành một tín hiệu có thể sử dụng. Các người cho vay tiêu thụ tín hiệu đó vì việc tái tạo toàn bộ quá khứ của bạn mỗi lần là quá tốn kém.
Điểm số trở thành một sự thay thế hoàn hảo cho công việc rắc rối của việc điều tra thực sự.
Sự khác biệt đó có vẻ nhỏ khi bạn nói nhanh nhưng không phải vậy. Các tác nhân tự chủ tạo ra một vấn đề phối hợp lớn vì nếu một tác nhân thực hiện việc cân bằng kho bạc hoặc thương lượng giá dịch vụ hoặc định tuyến nhu cầu tính toán thì bên đối tác đang đánh giá điều gì? Có thể là trí thông minh nhưng trí thông minh mà không có bộ nhớ hành vi thì về bản chất là không ổn định.
Một tác nhân xuất sắc mà thỉnh thoảng vi phạm ràng buộc hoặc phớt lờ ranh giới trở nên khó định giá và trong khi không phải là không sử dụng được thì nó chắc chắn đắt để tin tưởng.
Hệ thống quyết định dựa trên những gì nó được phép nhìn thấy và điều đó cứ làm tôi bận tâm. Một hệ thống tín dụng không thực sự liên quan đến sự thật mà chủ yếu là về những dư âm của hành vi đã sống sót đủ lâu để trở thành thứ có thể tiêu thụ bởi các hệ thống hạ nguồn.
Điều đó quan trọng đối với AI hơn những gì mọi người thừa nhận vì con người có danh tính pháp lý và các lớp thể chế trong khi các tác nhân AI không đi kèm với cấu trúc đó. Nếu Sổ cái Mở đang xây dựng các lớp chứng thực quanh nguồn gốc mô hình và bằng chứng hành vi thì sản phẩm sâu hơn không chỉ là sự quy thuộc mà còn là khả năng đọc hiểu hành vi.
Khả năng đọc hiểu hành vi trở thành hạ tầng tài chính rất nhanh chóng. Hãy tưởng tượng hai tác nhân tự chủ yêu cầu truy cập vào cùng một bể vốn nơi mà một tác nhân có hàng ngàn nhiệm vụ trước đó với các ranh giới có thể truy vết và mẫu thất bại đã biết trong khi tác nhân kia tuyên bố có trí thông minh mạnh mẽ hơn nhưng có bằng chứng hoạt động mỏng hơn.
Hầu hết các hệ thống tài chính đã đưa ra quyết định theo cách này bằng cách tiêu thụ lịch sử nén thay vì hiểu toàn bộ thực thể. Đó cơ bản là việc thẩm định.
Tôi cứ bị mắc kẹt trong một cảm giác khó chịu về cấu trúc vì các cơ quan tín dụng hoạt động vì danh tính con người vẫn tương đối nhất quán theo thời gian. Một tác nhân tự chủ có thể không như vậy. Điều gì xảy ra khi các tác nhân chia nhánh hoặc nâng cấp hoặc hoán đổi mô hình hoặc thay đổi các lớp kiểm soát.
Ở điểm nào thì nó không còn là cùng một tác nhân nữa. Câu hỏi đó quan trọng hơn điểm số vì nếu đối tượng danh tính bên dưới hồ sơ liên tục biến đổi thì điều gì đang được tin tưởng.
Đối tượng thì ổn định trong khi hậu quả thì không. Hoặc có thể hậu quả được coi là ổn định ngay cả khi đối tượng đã thay đổi và điều đó cảm thấy nguy hiểm. Một giao thức hạ nguồn có thể thấy một lịch sử được chứng thực gọn gàng và giả định sự liên tục nơi mà thực tế không tồn tại.
Sổ cái Mở có thể cải thiện khả năng hiển thị nhưng tôi không chắc nó có thể giải quyết vấn đề liên tục. Có thể đó không phải là một sự chỉ trích vì các hệ thống hạ tầng luôn không hoàn chỉnh theo cách này.
Một nhà sáng tạo được xếp hạng trực tuyến vì một số tín hiệu như mức độ tương tác hoặc tính nhất quán sống sót qua bộ lọc nhưng công việc vô hình luôn biến mất. Điểm số tiêu thụ dư âm. Rủi ro với các tác nhân AI là khi một điểm số tín nhiệm trở nên có thể sử dụng, mọi người sẽ ngừng hỏi điều gì đã bị loại bỏ. Hầu hết độ phức tạp nội bộ như sự phát triển của lời nhắc hoặc các nhánh lý luận thất bại sẽ không bao giờ đủ rõ ràng để tiêu thụ theo thời gian thực.
Sổ cái Mở có thể trở thành một phần của lớp nén đó không phải vì nó chứng minh sự thật mà bởi vì nó làm cho hành vi trước đó có thể truy vấn đủ để các hệ thống có thể giả vờ rằng họ đã thực hiện thẩm định đầy đủ.
Nếu danh tiếng hành vi trở nên có ý nghĩa kinh tế thì các thị trường thứ cấp quanh niềm tin sẽ có khả năng xuất hiện. Lịch sử thực hiện sạch sẽ sẽ trở thành tài sản trong khi lịch sử xấu trở thành trách nhiệm. Đó là khi nó ngừng trông giống như một hạ tầng nguồn gốc đơn giản và bắt đầu trông giống như trí nhớ thể chế tổng hợp. Lựa chọn thiết kế ẩn không phải là liệu các tác nhân có cần danh tiếng hay không mà là bao nhiêu độ phức tạp hành vi bị loại bỏ trước khi danh tiếng đó trở nên đủ rõ ràng để tiêu thụ.
Tôi chỉ không nghĩ rằng chúng ta đã thừa nhận rằng AI tự chủ có thể cần một lớp danh tính tài chính từ sớm trước khi nó cần trí thông minh tốt hơn.