Selama ini, penerbit yang tidak ingin kontennya dipakai melatih AI harus memblokir crawler satu per satu: GPTBot milik OpenAI, Google-Extended, ClaudeBot, dan seterusnya. Daftar itu terus bertambah. Kini empat perusahaan AI terbesar, yaitu OpenAI, Google, Microsoft, dan Anthropic, menyatakan akan menghormati satu sinyal bersama.
Bagaimana cara kerjanya
Sinyalnya berupa policy token yang ditaruh di file robots.txt, file yang sejak lama dipakai situs untuk memberi tahu crawler bagian mana yang boleh dan tidak boleh diambil. Usulan ini diajukan Kevin Kelley, technical lead standar di Anthropic, ke Internet Engineering Task Force (IETF), lembaga yang merumuskan standar teknis internet. Jika sebuah situs memasang sinyal itu, crawler AI dari perusahaan yang ikut serta tidak akan mengambil kontennya untuk pelatihan.
Jadwal penerapannya berbeda-beda, menurut The Verge:
- Anthropic sudah menerapkannya.
- Google dan Microsoft akan mendukungnya tahun depan.
- OpenAI menyebut "dalam beberapa bulan mendatang".
- Meta menyatakan dukungan terhadap gagasannya, tetapi tidak menegaskan akan mematuhinya.
Microsoft juga menjanjikan kontrol yang lebih rinci: penerbit bisa memilih menolak pelatihan AI saja, atau juga menolak grounding, yaitu pemakaian konten sebagai rujukan jawaban AI. Situs tetap muncul di hasil pencarian Bing apa pun pilihannya.
Apa artinya bagi penerbit Indonesia
Banyak media Indonesia sudah memasang larangan crawling untuk AI, sebagian hanya lewat teks di halaman artikel. Teks seperti itu tidak dibaca mesin. Standar baru ini membuat penolakan lebih mudah dan lebih konsisten. Beberapa hal yang perlu dicatat:
- Ini sukarela. Sinyal ini hanya mengikat perusahaan yang berkomitmen. Crawler nakal tetap bisa mengabaikannya, sehingga pemblokiran teknis seperti fitur blokir bot AI di Cloudflare masih relevan.
- Tidak berlaku surut. Konten yang sudah terlanjur dipakai melatih model tidak otomatis ditarik.
- Pilih dengan sadar. Menolak pelatihan berbeda dengan menolak muncul di fitur pencarian AI. Penerbit perlu menimbang trafik dan visibilitas.
- Bukan pengganti lisensi. Bagi media yang ingin dibayar, ada skema seperti Really Simple Licensing (RSL).
Di Indonesia, isu ini juga beririsan dengan pembahasan RUU Hak Cipta yang menyentuh AI. Di Malaysia, pemerintah bahkan melarang data publik dipakai untuk melatih AI.
Catatan kami: nama dan sintaks persis token ini belum final selama proses IETF berjalan. Tunggu dokumentasi resmi sebelum mengubah robots.txt Anda.
