Anthropic lagi nyari lab AI teratas di dunia buat bikin sistem yang bisa bikin mereka semua pause pengembangan AI barengan. Laporan baru mereka ngasih tau kalau AI sekarang udah bisa ningkatin diri sendiri dengan cepet, sehingga mesin bisa segera merancang dan melatih penerusnya sendiri, dan begitu siklus itu tertutup, kesalahan kecil bisa menumpuk dari satu generasi ke generasi berikutnya sampai orang-orang udah nggak bisa paham atau memperbaiki apa yang dilakukan sistem-sistem ini.
Pause ini dimaksudkan untuk beli waktu buat riset keamanan dan supaya pemerintah bisa siap sebelum kita sampai ke titik itu.
Namun, jeda global tidak hanya akan menahan AI di tempatnya hari ini. Tingkat pengawasan yang diperlukan untuk menegakkan ini, dan kekuatan untuk memutuskan kapan itu diangkat, akan membentuk kembali siapa yang bisa membangun AI sama sekali, dengan efek yang menjangkau jauh melampaui lab-lab dan ke tangan pengembang serta pengguna sehari-hari.
AI sudah melakukan sebagian besar pekerjaan membangun AI.
Laporan ini, oleh co-founder Anthropic Jack Clark dan Marina Favaro dari Institut Anthropic, mengukur seberapa banyak pengembangan AI sekarang dilakukan oleh AI sendiri alih-alih manusia. Bulan lalu, Claude menulis lebih dari 80% kode yang digabungkan ke dalam produk Anthropic, naik dari angka satu digit yang rendah sebelum Claude Code diluncurkan pada awal 2025. Setiap insinyur sekarang mengirimkan sekitar delapan kali lipat kode per kuartal dibandingkan yang mereka lakukan pada tahun 2024, yang diakui Anthropic melebih-lebihkan peningkatan produktivitas yang sebenarnya tetapi tetap menunjukkan bahwa segalanya semakin cepat.
Pada bulan April, Claude mengirimkan lebih dari 800 perbaikan yang mengurangi kelas kesalahan API hingga seribu kali lipat, pekerjaan yang diperkirakan oleh insinyur yang mengawasinya akan memakan waktu manusia empat tahun. Ketika salah satu dari upgrade ini mulai menghancurkan puluhan ribu pekerjaan pelatihan, Claude melacaknya ke satu pengaturan yang tidak jelas dan memperbaikinya dalam waktu sekitar dua jam alih-alih dua atau tiga hari seperti biasanya.
Namun, Claude masih kesulitan dengan penilaian, yang merupakan bagian yang paling diperhatikan oleh Anthropic. Mengetahui masalah mana yang layak untuk dipecahkan, hasil mana yang bisa dipercaya, dan kapan harus berhenti dari jalan buntu. Penilaian itu adalah hal terakhir yang dibutuhkan sistem untuk merancang penerusnya sendiri tanpa keterlibatan manusia, dan Anthropic khawatir itu adalah keterampilan yang saat ini kurang dimiliki AI tetapi bisa cepat diperoleh. Bawa cukup jauh dan Anda mencapai apa yang disebut perbaikan diri rekursif—sebenarnya AI yang membangun dan melatih penggantinya sendiri.
Kita jelas belum sampai di sana, tapi tidak ada yang bisa memberitahu seberapa cepat kita akan sampai. Apa yang menakutkan Anthropic, menurut laporan mereka, adalah bahwa misalignment kecil yang bisa kita tangkap di model hari ini dapat terakumulasi dari generasi ke generasi sampai tidak ada yang bisa memperbaikinya.
Laporan ini menguraikan tiga masa depan:
Tren terhenti. Kemajuan mencapai langit-langit dan kecepatan hari ini mendatar. Anthropic berpikir ini adalah yang paling tidak mungkin.
Itu terus terakumulasi sementara manusia masih mengendalikan. Taruhan mereka. AI terus mempercepat pengembangan dirinya sendiri, yang bisa mempercepat penyembuhan penyakit tetapi juga bisa memberdayakan pengawasan dan manipulasi yang disesuaikan dengan setiap individu.
Ini beralih ke perbaikan diri penuh. AI mulai merancang dan melatih penerusnya sendiri dengan sedikit input manusia. Ini adalah hasil yang paling mereka takutkan karena memiliki tingkat risiko tertinggi mengingat sifat AI yang ada di mana-mana.
Anthropic ingin lab-lab terbesar berkoordinasi untuk melakukan jeda.
Anthropic tidak melakukan jeda, dan mereka tidak meminta siapa pun untuk berbagi jeda sekarang. Clark menggambarkan momen itu di CNN sebagai mengemudikan mobil dengan pedal gas dan tanpa rem. Usulannya adalah agar lab-lab terkemuka membangun sistem yang memungkinkan mereka untuk melambat bersama dan memverifikasi bahwa mereka benar-benar melakukannya, dengan Anthropic berhenti hanya jika pesaingnya juga berhenti, dan hanya jika lab-lab di AS dan China semua berpartisipasi. Secara realistis, ini sangat tidak mungkin terjadi.
Satu lab yang melakukan jeda hanya akan mengubah siapa yang ada di depan. Jeda yang terkoordinasi membekukan siapa yang ada di depan. Siapa pun yang memimpin saat semua orang berhenti akan tetap di sana. Sulit untuk diabaikan bahwa laporan ini muncul sekitar seminggu setelah Anthropic secara rahasia mengajukan untuk go public dengan valuasi mendekati satu triliun dolar, dan Holger Mueller dari Constellation Research secara terbuka bertanya apakah tujuannya adalah untuk mengunci posisi terdepan. Struktur ini melakukannya terlepas dari niat.
Menegakkan jeda berarti memantau siapa yang membangun AI yang kuat.
Jeda hanya menargetkan pengembangan skala batas, jadi pada awalnya tampaknya mungkin memungkinkan open-source dan lab yang lebih kecil untuk mengejar pemimpin yang beku. Masalahnya adalah penegakan. Jeda tidak ada artinya jika Anda tidak bisa menangkap seseorang yang melanggarnya. Menemukan jalur pelatihan AI yang tersembunyi hampir mustahil saat ini. Perangkat keras bersifat umum, jalur pelatihan mudah disembunyikan, dan siapa pun yang terus maju dengan tenang akan meraih kemenangan besar.
Menegakkannya berarti bisa mendeteksi pelatihan berskala besar di seluruh dunia, itulah sebabnya Anthropic menyebut ini sebagai masalah pengendalian senjata. Setelah jenis alat ini ada, tidak harus tetap diarahkan hanya pada batas. Sistem yang dapat mendeteksi pelatihan besar di mana saja adalah sistem yang dapat mengawasi siapa pun yang membangun pada skala besar, dan batas untuk apa yang dianggap "besar" semakin murah untuk dilalui, sehingga lebih banyak pembangun jatuh di bawahnya seiring waktu. Pemantauan juga tidak akan menghilang saat jeda diangkat. Begitu Anda bisa melihat siapa yang melatih AI yang kuat, pertarungan berikutnya adalah siapa yang diizinkan untuk melakukannya.
Sistem jeda juga memberi lab alasan untuk bersembunyi. Setelah pelatihan dipantau dan dibatasi, setiap pemain serius memiliki insentif untuk menyembunyikan apa yang mereka bangun, dan laporan Anthropic sendiri mengakui bahwa insentif itu sangat besar, karena siapa pun yang terus bergerak sementara yang lain berhenti mewarisi posisi terdepan. Arahkan pekerjaan batas ke arah kerahasiaan dan Anda membalikkan seluruh tujuan dari jeda. Sistem yang paling mampu akhirnya dibangun dengan visibilitas luar yang lebih sedikit dan pengawasan independen yang lebih sedikit, tepat di mana bahayanya paling besar.
Masa depan AI yang lebih aman harus tetap terbuka, tidak terkurung di belakang beberapa lab.
Jeda seperti ini tidak pernah tetap sebagai pembekuan sederhana. Di seluruh versi proposal, respons terhadap risiko adalah mengumpulkan kontrol atas siapa yang membangun AI ke dalam tangan yang lebih sedikit. Bagi pengembang, itu berarti lebih sedikit perusahaan yang disetujui untuk membangun sistem paling mampu dan lapisan pemantauan yang memperlakukan pekerjaan independen sebagai sesuatu yang perlu dilacak. Bagi semua orang lainnya, itu berarti lebih banyak AI paling mampu dimiliki oleh segelintir raksasa yang harus Anda percayai dengan akses, data, dan privasi Anda.
Skenario paling mungkin dari Anthropic adalah dunia di mana AI dapat menjalankan pengawasan dan manipulasi yang dipersonalisasi dalam skala yang tidak dapat ditandingi oleh tim manusia mana pun. Layak untuk ditanyakan apakah mengkonsentrasikan jenis kekuatan itu di tangan yang lebih sedikit adalah respons yang paling aman, atau apakah yang lebih aman adalah memastikan tidak ada satu perusahaan, atau sekelompok kecil perusahaan, yang akhirnya memiliki semuanya.
Semua ini tidak memerlukan perlombaan maju tanpa pengaman. AI dapat diaudit dan diverifikasi, dengan pengaman yang benar-benar dapat Anda terapkan. Pertanyaan terbuka adalah di mana akuntabilitas itu berada. Jawaban Anthropic mengarah pada lingkaran kecil lab-lab batas dan rezim pemantauan global. Jalur lainnya adalah infrastruktur terbuka yang dapat digunakan, diperiksa, dan dimiliki oleh siapa pun, dan di sinilah AI dan blockchain lebih cocok bersama daripada hype kripto yang pernah disarankan. Keduanya bekerja paling baik ketika tidak ada yang perlu mempercayai perantara. Catatan publik yang dapat diaudit memungkinkan siapa pun untuk memverifikasi apa yang sebenarnya dilakukan AI, model dan data apa yang digunakannya, dan apakah itu mengikuti aturan, tanpa mengalihkan kepercayaan itu melalui satu lab saja.
Dengan blok bangunan ini, pengembangan AI dapat menjadi semakin dapat diakses dan adil. Ini memberi orang pilihan nyata alih-alih memaksa mereka untuk menyewa akses dari penjaga gerbang, dan menjaga data mereka tetap di tangan mereka sendiri. Sahara AI sedang membangun infrastruktur itu agar AI dapat diakses, adil, dan kolaboratif sambil tetap dapat diverifikasi dan akuntabel. AI seharusnya menjadi milik semua orang, bukan hanya beberapa lab di atas.
Tentang Sahara AI: Sahara AI adalah perusahaan AI yang bersifat agenik yang didedikasikan untuk membuat AI lebih dapat diakses dan adil. Kami membangun protokol inti, infrastruktur, dan aplikasi yang memungkinkan agen pribadi untuk mengantisipasi dan mengeksekusi atas nama Anda. Untuk ini bekerja, infrastruktur harus dapat dipercaya: eksekusi yang dapat diverifikasi, kebijakan penggunaan yang dapat diterapkan, dan distribusi nilai otomatis di seluruh setiap alat, model, dan layanan yang disentuh agen. Sahara sedang membangun suite aplikasi bertenaga agen yang terus berkembang di atas fondasi ini, termasuk Sorin, agen pribadi Anda untuk pasar digital global. Solusi kami saat ini memberdayakan agen AI dan data berkualitas tinggi untuk konsumen, perusahaan Fortune 500, dan lab penelitian terkemuka, termasuk Microsoft, Amazon, MIT, Motherson, dan Snap.