#opg $OPG menjalankan dua jenis node inferensi yang berbeda di bawah satu atap. LLM Proxy Nodes berada di dalam enclave TEE dan mengarahkan permintaan ke penyedia eksternal seperti OpenAI dan Anthropic. Operator node tidak dapat melihat prompt Anda, tidak dapat mencatat respons Anda, dan seluruh interaksi ditandatangani secara kriptografis sebelum keluar. Local Inference Nodes berbeda. Mereka menjalankan model sumber terbuka langsung di perangkat keras GPU dari Model Hub, dengan verifikasi mulai dari bukti ZKML penuh hingga tanda tangan ringan tergantung pada apa yang sebenarnya dibutuhkan oleh kasus penggunaan.
Yang menghentikan saya adalah apa arti pemisahan ini dalam praktik. Ketika Anda memanggil GPT-4 melalui API terpusat hari ini, penyedia melihat segalanya. Melalui LLM Proxy Node, enclave TEE adalah satu-satunya yang menyentuh data Anda, dan operator yang menjalankan perangkat keras terkunci dari desain.
Itu mengubah sesuatu secara diam-diam. Operator node mendapatkan biaya untuk menjalankan infrastruktur yang sebenarnya tidak dapat mereka baca.
Bagian yang terus saya pikirkan adalah pertanyaan routing. Ketika permintaan masuk, apa yang menentukan tipe node mana yang menangani? Dan jika LLM proxy nodes mendistribusikan permintaan ke beberapa node untuk anonimitas, apakah distribusi itu memperkenalkan masalah latensi atau konsistensi yang perlu diketahui?
Jika operator node tidak dapat melihat data Anda tetapi tetap mendapatkan keuntungan dari memprosesnya, seperti apa model itu pada skala ketika jaringan tumbuh?
Yang menghentikan saya adalah apa arti pemisahan ini dalam praktik. Ketika Anda memanggil GPT-4 melalui API terpusat hari ini, penyedia melihat segalanya. Melalui LLM Proxy Node, enclave TEE adalah satu-satunya yang menyentuh data Anda, dan operator yang menjalankan perangkat keras terkunci dari desain.
Itu mengubah sesuatu secara diam-diam. Operator node mendapatkan biaya untuk menjalankan infrastruktur yang sebenarnya tidak dapat mereka baca.
Bagian yang terus saya pikirkan adalah pertanyaan routing. Ketika permintaan masuk, apa yang menentukan tipe node mana yang menangani? Dan jika LLM proxy nodes mendistribusikan permintaan ke beberapa node untuk anonimitas, apakah distribusi itu memperkenalkan masalah latensi atau konsistensi yang perlu diketahui?
Jika operator node tidak dapat melihat data Anda tetapi tetap mendapatkan keuntungan dari memprosesnya, seperti apa model itu pada skala ketika jaringan tumbuh?