Kesalahan AI yang paling mahal mungkin bukanlah jawaban yang salah.

Ini mungkin keputusan yang terlihat dapat dipercaya.

Kebanyakan orang menganggap risiko AI berasal dari halusinasi.

Saya pikir risiko yang lebih besar berasal dari kepercayaan diri.

Sebuah sistem bisa salah dan tetap terlihat dapat diandalkan.

Sebuah model bisa menyebutkan sumber, menunjukkan alasan, melewati pemeriksaan verifikasi, dan masih menghasilkan keputusan yang buruk karena informasi yang mendasarinya tidak lengkap, usang, atau disalahpahami.

Itulah yang membuat fase berikutnya dari AI menarik.

Kita berpindah dari dunia di mana AI menghasilkan informasi ke dunia di mana AI semakin bertindak berdasarkan informasi.

Perbedaannya sangat besar.

Respon chatbot yang buruk itu mengganggu.

Keputusan finansial yang buruk, transaksi otomatis, atau tindakan tata kelola itu mahal.

Pertanyaannya sekarang bukan lagi:

"Bisakah AI menghasilkan jawaban?"

Pertanyaannya adalah:

"Seberapa besar kepercayaan yang harus kita tempatkan pada jawaban itu?"

Di situlah proyek seperti @OpenGradient menjadi menarik bagi saya.

Bukan karena verifikasi menjamin kebenaran.

Itu tidak.

Tapi karena verifikasi menciptakan sesuatu yang sangat dibutuhkan industri AI: bukti.

Bukti dari mana informasi berasal.

Bukti bagaimana itu diproses.

Bukti tentang apa yang sebenarnya terjadi.

Seiring AI menjadi lebih otonom, kepercayaan mungkin menjadi sumber daya yang perlu diperoleh daripada diasumsikan.

Dan jaringan yang membuat kepercayaan dapat diukur bisa menjadi lebih berharga daripada model itu sendiri.

Penasaran bagaimana orang lain melihat ini.
$OPG #opg
$ARX
$SYN