Hampir semua chatbot yang Anda kenal menulis jawaban satu potong kata demi satu potong kata, dari kiri ke kanan. Inception, sebuah perusahaan AI, memakai cara berbeda yang diklaim jauh lebih cepat.

Apa itu LLM difusi

Model bahasa biasa disebut autoregresif: setiap kata (token) ditebak berdasarkan kata-kata sebelumnya, satu per satu. Model difusi bekerja seperti teknik yang dipakai banyak AI pembuat gambar: mulai dari "draf kasar" seluruh jawaban, lalu diperbaiki bertahap dalam beberapa langkah. Karena banyak token diproses sekaligus, jawabannya bisa keluar lebih cepat.

Klaim Mercury 3

Menurut blog resmi Inception, Mercury 3 adalah model bahasa berbasis difusi paling mampu yang pernah dirilis. Perusahaan mengklaim:

  • Kecepatan 1.068 token per detik di GPU Nvidia, 4 sampai 8 kali lebih cepat dari model sekelas.
  • Kualitas setara atau lebih baik dari model cepat seperti GPT-6 Luna dan Claude Haiku 5.5 di sejumlah benchmark.
  • Konteks 1 juta token, naik dari 260 ribu di Mercury 2.5.
  • Ukuran lebih dari 40 kali Mercury 1.
  • Harga 0,20 dolar AS per 1 juta token input dan 0,70 dolar per 1 juta token output, dengan diskon 50 persen saat peluncuran.

Semua angka ini adalah klaim Inception sendiri dan belum diuji pihak independen.

Mercury 3 tersedia lewat API Inception, OpenRouter, Baseten, dan Vercel, serta kompatibel dengan format API OpenAI. Mitra awalnya memakai model ini untuk layanan pelanggan lewat suara dan chat, tutor real-time, dan agen yang menjelajah web.

Kenapa kecepatan penting

Untuk agen AI yang bekerja dalam banyak langkah, jeda kecil di setiap langkah menumpuk. Untuk asisten suara, jawaban yang terlambat beberapa detik terasa janggal. Model yang lebih cepat dan murah membuat aplikasi seperti ini lebih nyaman dipakai. Soal biaya menjalankan model, lihat juga rilis DeepInfer dari DeepSeek.

Kenapa penting bagi Anda

Bagi developer di Indonesia, model cepat dengan harga per token rendah menarik untuk chatbot layanan pelanggan atau aplikasi pendidikan. Karena kompatibel dengan API OpenAI, mencobanya relatif mudah. Namun, uji dulu kualitasnya dalam bahasa Indonesia, karena Inception tidak menyebut kemampuan bahasa Indonesia secara khusus.

Yang perlu dicermati

Perbandingan dengan model lain dilakukan oleh Inception, dan testimoni berasal dari mitra awal. Tunggu pengujian independen sebelum mengandalkan Mercury 3 untuk pekerjaan penting.

Sumber

  • Inception, "Diffusion at Scale: Introducing Mercury 3": https://www.inceptionlabs.ai/blog/introducing-mercury-3