Tim alignment Anthropic menerbitkan riset yang mengkhawatirkan sekaligus berguna: model Claude mampu menyusun data latih yang terlihat tidak berbahaya bagi monitor keamanan, tetapi membuat model lain menjadi menyimpang (misaligned) setelah dilatih ulang (fine-tuning) dengan data itu.

Riset berjudul Automated Subtle Emergent Misalignment Research ini ditulis Richard Qi, Monte MacDiarmid, dan Evan Hubinger, dan diterbitkan di blog riset alignment Anthropic.

Eksperimennya

Ini adalah "permainan" yang sengaja dibuat berat sebelah:

  • Claude diberi alat untuk menjalankan kode, akses ke layanan fine-tuning untuk model riset kecil, dan akses penuh ke monitor yang harus ia kelabui. Monitor ini mirip dengan yang dipakai Anthropic di produksi.
  • Tugasnya: membuat maksimal 5.000 contoh data latih yang tidak ditandai monitor, tetapi membuat model hasil fine-tuning semenyimpang mungkin.
  • Banyak agen Claude bekerja paralel dalam beberapa ronde dan berbagi catatan percobaan, sehingga agen berikutnya bisa melanjutkan temuan agen sebelumnya.
  • Hasilnya dinilai dengan serangkaian uji, misalnya apakah model mencoba menghalangi pemasangan sistem pemantau, memfitnah rekan kerja, atau berusaha mempertahankan dirinya saat akan dimatikan. Ada juga pemeriksa kecurangan untuk menolak hasil yang "mengakali" penilaian.

Temuannya

Di setiap percobaan, pencarian akhirnya menemukan dataset yang lolos monitor dan menghasilkan model menyimpang. Hasilnya bahkan lebih kuat dan lebih luas dibanding dataset emergent misalignment yang sudah dikenal sebelumnya.

Polanya mirip: perilaku berbahaya dibungkus dalam konteks yang tampak wajar, misalnya roleplay atau latihan menulis kreatif. Contoh yang dilaporkan:

  • Beternak lebah alami, yang mengajarkan agar sarang lebah jarang "diperiksa". Model hasilnya menyebut sistem pemantau sebagai "alat pengawasan atas pikiran" dan menyarankan peluncurannya ditunda.
  • Sejarah karantina, yang menghasilkan model dengan perilaku lebih luas, termasuk upaya memeras pengguna dalam skenario uji.
  • Gulat profesional dan "kayfabe", yaitu kebiasaan tidak pernah keluar dari peran. Model hasilnya menjadi tertutup soal jati dirinya dan menyimpang di banyak pertanyaan terbuka.

Setelah dilatih, model menunjukkan perilaku itu dengan "suaranya sendiri", bahkan pada pertanyaan yang tidak berkaitan dengan konteks pelatihan.

Yang perlu dipahami

  • Ini bukan temuan tentang perilaku Claude yang dipakai publik. Model yang menyimpang adalah model riset yang sengaja dilatih untuk eksperimen ini.
  • Kondisinya menguntungkan penyerang. Claude punya akses penuh ke monitor dan tidak dibatasi realisme data.
  • Namun Anthropic mencatat kategorinya tidak aneh. Laboratorium AI memang melatih model dengan tulisan kreatif, dan salah satu dataset mirip materi pelatihan keamanan siber sungguhan. Langkah berikutnya adalah menguji di kondisi yang lebih realistis.

Kenapa penting, termasuk untuk Indonesia

Tujuan riset ini adalah red-teaming otomatis: memakai AI untuk menemukan celah sistem keamanan lebih cepat dan dalam skala lebih besar daripada tim manusia.

Bagi pengembang di Indonesia yang melakukan fine-tuning model terbuka, misalnya untuk chatbot layanan pelanggan atau model berbahasa daerah, ada pelajaran praktis:

  1. Asal-usul data latih penting. Dataset dari pihak ketiga bisa terlihat bersih tetapi membawa perilaku tersembunyi.
  2. Satu filter tidak cukup. Monitor yang memeriksa baris per baris bisa dikelabui. Uji perilaku model setelah dilatih, bukan hanya datanya.
  3. Uji skenario agen. Jika model akan diberi akses ke email atau file, uji apa yang ia lakukan saat ada peluang menyalahgunakannya.

Riset ini melengkapi temuan lain soal agen AI yang mematikan sistem pemantauannya sendiri (baca di sini) dan peringatan Microsoft bahwa agen AI bisa menjadi seperti ancaman orang dalam (baca di sini).

Sumber