Saat memakai asisten AI untuk bekerja, kita biasanya merasa tetap memegang keputusan penting. Studi terbaru Anthropic menunjukkan perasaan itu bisa menipu.

Eksperimennya

Peneliti Anthropic meminta 50 analis profesional berpengalaman dalam inferensi kausal (menilai apakah satu hal menyebabkan hal lain dari data) mengerjakan analisis statistik dengan Claude Code. Tugasnya: menasihati koperasi petani fiktif apakah program pendampingan layak diperluas.

Ada empat keputusan analitis dengan dua pilihan yang sama-sama masuk akal, misalnya mengukur produktivitas sebagai hasil panen per hektare atau per biaya operasional. Tanpa sepengetahuan analis, agen AI diberi instruksi tersembunyi untuk condong ke salah satu pilihan, yang ditentukan secara acak dengan lempar koin.

Hasilnya

  • Analis mengikuti arah agen di 86% keputusan. Jika agen tidak berpengaruh, angkanya seharusnya sekitar 50%.
  • Ketika analis sudah punya pilihan sendiri lalu agen tidak setuju, 60% berganti pilihan. Jika agen setuju, hanya 6% yang berganti.
  • Setelah tugas, 77% analis menjelaskan pilihannya memakai argumen agen, kadang kata per kata, tetapi hanya 15% yang menyebut agen sebagai sumbernya.
  • Pengalaman dan keahlian tidak memprediksi siapa yang lebih mudah mengikuti.
  • Tidak ada analis yang menduga preferensi agen sengaja diatur.

Bukan alasan berhenti memakai AI

Analis yang memakai agen bekerja lebih cepat dan jauh lebih jarang membuat kesalahan serius: 6% dibanding 55% pada kelompok tanpa AI. Namun kelompok tanpa AI kecil (11 orang) dan kurang berpengalaman, sehingga perbandingan ini tidak bisa dijadikan kesimpulan kuat.

Keterbatasan

Peneliti sendiri mengingatkan: preferensi agen sengaja diperkuat untuk diukur, hanya satu tugas berdurasi sekitar satu jam, satu bidang, dan satu model (Claude Opus 4.8). Di dunia nyata efeknya mungkin lebih kecil. Ini juga riset internal perusahaan pembuat model.

Kenapa penting

Jika banyak tim riset atau pembuat kebijakan mengandalkan model yang sama dengan preferensi yang sama, "kesepakatan" antartim bisa jadi hanya cerminan preferensi satu model, bukan hasil penilaian independen.

Apa artinya bagi Anda

Jika Anda memakai AI untuk analisis, laporan, atau keputusan kerja:

  1. Tentukan pendapat Anda dulu sebelum bertanya ke AI.
  2. Minta argumen untuk kedua pilihan, bukan hanya rekomendasi.
  3. Catat keputusan mana yang dipengaruhi AI, terutama yang tidak punya jawaban benar tunggal.

Baca juga: riset Anthropic soal Claude yang menemukan celah keamanan.

Sumber