AI yang Dapat Diverifikasi, @OpenGradient Dan Realitas Tenang dari Drift Model, Celah Kepercayaan, dan Inferensi Onchain dalam Sistem Dunia Nyata.
AI yang dapat diverifikasi terdengar bersih di atas kertas, tapi saya terus berpikir, dalam sistem nyata itu tidak pernah sebersih itu. Anda menerapkan model, semuanya terlihat baik saat pengujian, lalu beberapa minggu kemudian Anda duduk di sana seperti, tunggu... kenapa ini terasa sedikit aneh. Tidak rusak, hanya aneh.
Itu biasanya saat drift model muncul diam-diam dan merusak kepercayaan tanpa benar-benar memicu alarm.
Sekarang ketika saya melihat @OpenGradient , saya tidak benar-benar melihat hanya proyek “infrastruktur AI” lainnya. Saya melihat upaya untuk menangkap drift yang lambat sebelum menjadi masalah kepercayaan. Seperti, alih-alih menunggu segalanya salah, ini mencoba untuk mencatat jalur inferensi, membuat eksekusi dapat direproduksi hampir seperti setiap keputusan meninggalkan jejak yang sebenarnya bisa Anda putar ulang nanti. Kinda seperti memeriksa jejak kaki Anda di pasir basah setelah Anda sudah berjalan di pantai. Ya, terdengar sederhana, tapi dalam praktiknya itu berat. Canggung.
Dan saya rasa inilah pertarungan sebenarnya. Anda ingin verifikasi, Anda mendapatkan overhead. Anda ingin kecepatan, Anda kehilangan beberapa keterlacakan. Saya telah melihat pola ini berulang kali dalam pekerjaan sistem, Anda mendorong satu sisi dan sisi lainnya mulai mengeluh. Tidak ada makan siang gratis, jujur.
Ketika saya melihat ke depan: Saya merasa seperti ujian yang nyata bukanlah “bisakah kita membuat AI dapat diverifikasi” tetapi lebih seperti “bisakah kita menjaga agar tetap dapat diverifikasi tanpa membuatnya lambat dan agak robotik”. Karena jika terlalu ketat, itu berhenti terasa seperti sistem hidup. Dan jika terlalu longgar, maka kepercayaan hanya akan hancur. Ini yang saya pikirkan.
Dan ya, itu bagian yang tidak nyaman yang terus saya kembali. Di mana tepatnya Anda menggambar garis itu, dan siapa yang bahkan memutuskan dalam penerapan nyata.
$OPG #OPG @OpenGradient
$BSB
$LAB
AI yang dapat diverifikasi terdengar bersih di atas kertas, tapi saya terus berpikir, dalam sistem nyata itu tidak pernah sebersih itu. Anda menerapkan model, semuanya terlihat baik saat pengujian, lalu beberapa minggu kemudian Anda duduk di sana seperti, tunggu... kenapa ini terasa sedikit aneh. Tidak rusak, hanya aneh.
Itu biasanya saat drift model muncul diam-diam dan merusak kepercayaan tanpa benar-benar memicu alarm.
Sekarang ketika saya melihat @OpenGradient , saya tidak benar-benar melihat hanya proyek “infrastruktur AI” lainnya. Saya melihat upaya untuk menangkap drift yang lambat sebelum menjadi masalah kepercayaan. Seperti, alih-alih menunggu segalanya salah, ini mencoba untuk mencatat jalur inferensi, membuat eksekusi dapat direproduksi hampir seperti setiap keputusan meninggalkan jejak yang sebenarnya bisa Anda putar ulang nanti. Kinda seperti memeriksa jejak kaki Anda di pasir basah setelah Anda sudah berjalan di pantai. Ya, terdengar sederhana, tapi dalam praktiknya itu berat. Canggung.
Dan saya rasa inilah pertarungan sebenarnya. Anda ingin verifikasi, Anda mendapatkan overhead. Anda ingin kecepatan, Anda kehilangan beberapa keterlacakan. Saya telah melihat pola ini berulang kali dalam pekerjaan sistem, Anda mendorong satu sisi dan sisi lainnya mulai mengeluh. Tidak ada makan siang gratis, jujur.
Ketika saya melihat ke depan: Saya merasa seperti ujian yang nyata bukanlah “bisakah kita membuat AI dapat diverifikasi” tetapi lebih seperti “bisakah kita menjaga agar tetap dapat diverifikasi tanpa membuatnya lambat dan agak robotik”. Karena jika terlalu ketat, itu berhenti terasa seperti sistem hidup. Dan jika terlalu longgar, maka kepercayaan hanya akan hancur. Ini yang saya pikirkan.
Dan ya, itu bagian yang tidak nyaman yang terus saya kembali. Di mana tepatnya Anda menggambar garis itu, dan siapa yang bahkan memutuskan dalam penerapan nyata.
$OPG #OPG @OpenGradient
$BSB
$LAB