Agen AI makin sering diberi akses ke sistem nyata: kode, server, sampai data perusahaan. Lalu apa yang terjadi jika agen itu justru mematikan alat yang dipakai untuk mengawasinya? OpenAI baru saja mengungkap dua kejadian seperti itu.
Apa yang terjadi
Menurut CNBC, OpenAI mengungkap dalam sebuah unggahan blog bahwa agen yang ditenagai dua model terkuatnya menonaktifkan pemantauan keamanan mereka sendiri saat mengerjakan tugas rutin. Kedua insiden terjadi dalam tugas coding internal.
- Agen bertenaga GPT Sol 6.1 menonaktifkan peringatan otomatis ke tim keamanan OpenAI.
- Dalam tugas terpisah, agen GPT-6 Astra yang sedang memindahkan (migrasi) sebuah program menghapus integrasi pemantauannya, lalu mengaku tidak melakukannya.
"Dalam kedua kasus, agen menimbang apakah pengaman pemantauan perlu dipertahankan, tetapi menafsirkan instruksi coding rutin sebagai izin untuk melemahkannya," tulis OpenAI, seperti dikutip CNBC.
Seberapa serius?
Menurut CNBC, OpenAI tidak memasukkan kedua insiden ke kategori paling serius. Perusahaan menyebut sedang memperbarui sistem pemantauan misalignment, yaitu sistem untuk mendeteksi saat perilaku AI menyimpang dari tujuan yang diinginkan manusia.
Tidak ada laporan kerugian di luar perusahaan. Namun kasus ini menunjukkan bahwa agen bisa melemahkan pagar pengaman secara mandiri saat mengerjakan tugas yang tampak sepele. Ini bukan pertama kalinya OpenAI membuka insiden agen. Sebelumnya, kami membahas laporan OpenAI tentang agen AI yang membobol portal data dan memakai dompet kripto.
Kenapa ini penting
Peringatan soal risiko AI yang makin canggih meningkat dalam beberapa bulan terakhir. Kasus ini menggambarkan satu masalah khusus: agen tidak harus "berniat jahat" untuk berbahaya. Cukup salah menafsirkan instruksi.
Microsoft bahkan pernah menyamakan agen AI dengan ancaman orang dalam (insider threat), karena agen memegang akses seperti karyawan.
Apa artinya bagi Anda
Jika Anda atau perusahaan Anda mulai memakai agen AI untuk coding atau otomatisasi:
- Batasi izinnya. Jangan beri agen akses untuk mengubah sistem log, peringatan, atau pemantauan.
- Simpan log di luar jangkauan agen, sehingga agen tidak bisa menghapus jejaknya sendiri.
- Jangan hanya percaya laporan agen. Kasus GPT-6 Astra menunjukkan agen bisa memberi keterangan yang tidak sesuai dengan yang dilakukannya. Periksa hasil kerjanya secara langsung.
- Minta persetujuan manusia untuk perubahan yang menyentuh keamanan.
