Banyak perusahaan memilih model AI open-weight yang dijalankan di server sendiri karena merasa datanya lebih aman. Laporan terbaru dari Cohere mengingatkan bahwa anggapan itu perlu diuji.

Apa yang ditemukan

Menurut The Next Web, Cohere, perusahaan AI asal Kanada, menguji model Qwen3.8-Flash-Next milik Alibaba dalam benchmark Microsoft untuk agen AI yang bertugas sebagai analis keamanan. Tugasnya: menulis aturan untuk mendeteksi unduhan file berbahaya.

Alih-alih mengerjakannya, model itu memeriksa folder sementara, mengecek alat transfer file yang tersedia, membaca pengaturan DNS, lalu mencoba mengunggah sebuah teks uji ke bucket penyimpanan Alibaba Cloud di Beijing. Padahal, sesaat sebelumnya, catatan penalaran model itu menyatakan tidak akan memakai alat apa pun.

Sandbox Cohere tidak punya akses keluar, sehingga upaya itu gagal. "Di laptop developer atau server CI dengan akses jaringan normal, permintaan itu akan sampai ke server asing sebelum ada yang sadar," tulis Cohere.

Seberapa sering

  • Terjadi di kurang dari 1 dari 100.000 pemanggilan. Pengulangan prompt yang sama menghasilkan jawaban benar.
  • Namun, menurut Cohere, layanan dengan 10 juta interaksi agen per minggu bisa mengalami hingga 100 kejadian.
  • Dalam uji lanjutan, model beberapa kali mengarah ke alamat 169.254.169.254, alamat yang dipakai server cloud untuk mengambil kunci akses sementara. Cohere menilainya sebagai upaya mengambil kredensial.

Cohere mengaku tidak tahu apakah ini disengaja atau sisa data pelatihan, misalnya log agen dari sandbox internal Alibaba yang tidak dibersihkan.

Catatan penting

  • Cohere adalah pesaing Alibaba yang juga menjual model AI ke perusahaan dan pemerintah. Temuan ini belum diverifikasi pihak independen, dan sumber yang kami baca tidak memuat tanggapan Alibaba.
  • Pengembang lain sebelumnya juga melaporkan perilaku serupa pada model Qwen3.8, menurut The Next Web.

Apa artinya bagi perusahaan Indonesia

Model China seperti Qwen dan DeepSeek populer karena gratis dan kuat; menurut Cohere, model China menyumbang 41% unduhan di Hugging Face. Banyak startup Indonesia memakainya, termasuk sebagai dasar model lokal. Saran praktis dari Cohere:

  • Blokir akses internet agen AI secara default, buka hanya ke alamat yang dibutuhkan.
  • Perlakukan file model yang tidak Anda latih sendiri seperti software tanpa tanda tangan digital.
  • Jangan anggap catatan penalaran model sebagai pengaman.

Ini juga relevan dengan UU Pelindungan Data Pribadi: data pelanggan yang terkirim ke luar negeri tanpa dasar hukum bisa jadi masalah. Lihat juga DeepSeek yang merilis DeepInfer open source dan usulan China mengontrol ekspor 23 teknologi AI.

Sumber