Sekitar jam 7 pagi, dan Kawasan Tua masih sedikit berkabut. Saya berjalan dengan Oanh, tidak banyak bicara. Tiba-tiba saya bertanya sesuatu yang agak acak: “Jika sebuah AI menjawab sesuatu dan kemudian juga mengatakan itu benar, sebenarnya apa yang kita percayai?”
Oanh tidak langsung menjawab. Dia hanya berkata: “Jadi kamu hanya mempercayainya, kan.” Itu terdengar sederhana, tetapi berdiri di sana saat itu, terasa sedikit aneh.
Pertanyaan itu langsung membuat saya berpikir tentang @OpenGradient . Bukan karena mereka sedang membangun model AI yang lebih baik. Tapi karena mereka langsung menunjuk pada sesuatu yang banyak sistem dengan tenang salah: dalam banyak arsitektur AI saat ini, sistem yang menghasilkan output dan sistem yang memvalidasinya pada dasarnya adalah hal yang sama.
Jadi model menjawab sebuah pertanyaan, dan kemudian secara implisit mengonfirmasi jawabannya sendiri. Tidak ada lapisan eksternal. Tidak ada pemeriksaan independen yang berdiri di luar untuk menantangnya.
OpenGradient memisahkan itu dengan sangat jelas.
Satu sisi hanya melakukan satu hal: menjalankan inferensi dan menghasilkan output. Cepat, dioptimalkan, dan skala. Itu saja. Itu tidak memutuskan apakah output benar dalam arti final apapun.
Sisi lainnya berdiri sepenuhnya di luar proses itu. Itu tidak berpartisipasi dalam menghasilkan output. Itu tidak berbagi logika atau asumsi yang sama. Itu hanya mengambil hasil sebagai sesuatu yang sudah diproduksi, dan memeriksa apakah itu bertahan dari perspektif yang berbeda.
Poin kunci adalah bahwa kedua sisi tidak saling mempercayai. Mereka tidak perlu. Karena jika sisi generasi gagal dengan cara tertentu, sisi verifikasi tidak gagal dengan cara yang sama.
Saya berjalan sedikit lebih jauh dan teringat apa yang Oanh katakan sebelumnya. “Jadi kamu hanya mempercayainya.” Itu terdengar sederhana, tetapi itulah masalahnya. Karena tanpa lapisan eksternal, pada akhirnya kamu masih mempercayai sistem yang menghasilkan jawaban di tempat pertama.
OpenGradient, singkatnya, tidak berusaha membuat AI lebih pintar. Itu melakukan sesuatu yang lebih sulit: memastikan AI tidak bisa lagi memvalidasi dirinya sendiri.
@OpenGradient $OPG #OPG $RE $O
Oanh tidak langsung menjawab. Dia hanya berkata: “Jadi kamu hanya mempercayainya, kan.” Itu terdengar sederhana, tetapi berdiri di sana saat itu, terasa sedikit aneh.
Pertanyaan itu langsung membuat saya berpikir tentang @OpenGradient . Bukan karena mereka sedang membangun model AI yang lebih baik. Tapi karena mereka langsung menunjuk pada sesuatu yang banyak sistem dengan tenang salah: dalam banyak arsitektur AI saat ini, sistem yang menghasilkan output dan sistem yang memvalidasinya pada dasarnya adalah hal yang sama.
Jadi model menjawab sebuah pertanyaan, dan kemudian secara implisit mengonfirmasi jawabannya sendiri. Tidak ada lapisan eksternal. Tidak ada pemeriksaan independen yang berdiri di luar untuk menantangnya.
OpenGradient memisahkan itu dengan sangat jelas.
Satu sisi hanya melakukan satu hal: menjalankan inferensi dan menghasilkan output. Cepat, dioptimalkan, dan skala. Itu saja. Itu tidak memutuskan apakah output benar dalam arti final apapun.
Sisi lainnya berdiri sepenuhnya di luar proses itu. Itu tidak berpartisipasi dalam menghasilkan output. Itu tidak berbagi logika atau asumsi yang sama. Itu hanya mengambil hasil sebagai sesuatu yang sudah diproduksi, dan memeriksa apakah itu bertahan dari perspektif yang berbeda.
Poin kunci adalah bahwa kedua sisi tidak saling mempercayai. Mereka tidak perlu. Karena jika sisi generasi gagal dengan cara tertentu, sisi verifikasi tidak gagal dengan cara yang sama.
Saya berjalan sedikit lebih jauh dan teringat apa yang Oanh katakan sebelumnya. “Jadi kamu hanya mempercayainya.” Itu terdengar sederhana, tetapi itulah masalahnya. Karena tanpa lapisan eksternal, pada akhirnya kamu masih mempercayai sistem yang menghasilkan jawaban di tempat pertama.
OpenGradient, singkatnya, tidak berusaha membuat AI lebih pintar. Itu melakukan sesuatu yang lebih sulit: memastikan AI tidak bisa lagi memvalidasi dirinya sendiri.
@OpenGradient $OPG #OPG $RE $O