Ketika sistem agen gagal, itu jarang terlihat seperti kegagalan pada awalnya.
Tidak ada yang crash. Tidak ada yang berhenti. Tugas masih berjalan. Keputusan masih dibuat. Apa yang berubah lebih sulit diukur. Hal-hal mulai membutuhkan lebih banyak koordinasi daripada yang diharapkan. Pengecualian kecil muncul. Seseorang harus turun tangan 'hanya sekali ini saja.'
Itulah biasanya saat otonomi sudah mulai tergerus.
Kesalahan hampir selalu sama. Tata kelola diperlakukan sebagai sesuatu yang ditambahkan setelah agen membuktikan bahwa mereka bekerja. Pertama datang kemampuan. Kemudian datang skala. Tata kelola seharusnya mengejar ketinggalan nanti.
Ini biasanya tidak.
Ketika agen beroperasi tanpa batasan yang tegas, mereka tidak menjadi berbahaya dalam semalam. Mereka menjadi tidak konsisten. Setiap agen mengikuti logikanya sendiri, yang dibentuk oleh insentif lokal. Sendirian, logika itu masuk akal. Dalam kombinasi, itu menciptakan tumpang tindih, konflik, dan ketidakpastian tentang siapa yang sebenarnya bertanggung jawab atas apa.
Pada skala kecil, ini terasa dapat dikelola. Pada skala yang lebih besar, ini berubah menjadi gesekan. Lebih banyak pemeriksaan muncul. Lebih banyak pengabaian. Lebih banyak aturan ditulis di luar sistem karena sistem itu sendiri tidak dapat menegakkannya dengan bersih.
Pada titik itu, otonomi tidak gagal. Itu telah digantikan secara diam-diam.
Layangan dimulai dari asumsi yang berbeda. Tata kelola bukanlah lapisan yang Anda letakkan di atas perilaku agen. Ini adalah sesuatu yang mendefinisikan ruang di mana agen diizinkan untuk beroperasi sejak awal.
Identitas penting di sini. Bukan sebagai label, tetapi sebagai batas. Seorang agen tahu apa yang dapat disentuhnya, di mana ia dapat bertindak, dan kapan ia harus berhenti. Batasan-batasan itu tidak dinegosiasikan secara langsung. Mereka bersifat struktural.
Struktur itu mengubah cara sistem berskala. Strategi dapat berkembang tanpa menulis ulang aturan. Agen baru dapat ditambahkan tanpa memperluas ketidakpastian. Kendali tidak memerlukan intervensi konstan karena sudah terbenam.
Sistem agen yang dirancang dengan baik tidak bergantung pada agen yang berperilaku baik. Mereka bergantung pada agen yang dibatasi dengan cara yang jelas dan dapat diprediksi.
Sebagian besar sistem kehilangan kendali bukan karena agen menjadi terlalu mampu, tetapi karena tidak ada yang memutuskan di mana kemampuan itu harus berakhir.
