Bayangkan menelepon layanan pelanggan dan langsung dilayani tanpa menunggu, oleh agen yang mengerti maksud Anda, mengecek tagihan, lalu membuat janji temu. Itulah jenis layanan yang ingin dibantu oleh rilis terbaru Mistral, perusahaan AI asal Prancis.

Isi paket Voxtral 3

Menurut blog resmi Mistral, Voxtral 3 terdiri dari:

  • Model transkripsi (speech-to-text) untuk 50+ bahasa. Model ini bisa membedakan siapa yang berbicara, memakai daftar istilah khusus agar lebih akurat, dan mendeteksi kapan seseorang selesai bicara. Ada versi Mini berukuran 4 miliar parameter seharga 0,0035 dolar AS per menit, dan versi Realtime dengan latensi di bawah 500 milidetik.
  • Model teks ke suara (text-to-speech) yang bisa menyesuaikan emosi, tempo, dan penekanan, untuk 35+ bahasa dan 50+ dialek, seharga 13 dolar AS per 1 juta karakter.
  • SDK agen suara yang dibangun di atas LiveKit. Agen bisa mendengar, berpikir dengan model bahasa seperti Mistral Small, memanggil alat (misalnya sistem tagihan), lalu menjawab dengan suara. Mistral mengklaim setiap giliran percakapan selesai dalam kurang dari satu detik.
  • Pro Voice, fitur meniru karakter suara seseorang dari sekitar 30 menit rekaman.

Agen bisa menerima dan melakukan panggilan telepon (lewat SIP), berjalan di browser dan aplikasi, serta terhubung ke perangkat lunak call center yang sudah ada.

Bisa dijalankan di server sendiri

Mistral menekankan kedaulatan data: Voxtral 3 bisa dipakai lewat API Mistral atau dipasang di infrastruktur sendiri, sehingga perusahaan bisa mengatur di mana audio diproses dan apakah rekaman disimpan.

Kenapa penting bagi Anda

Indonesia punya industri layanan pelanggan yang besar, dari perbankan sampai telekomunikasi. Agen suara AI sudah mulai dipakai di sini, misalnya AI talkbot penagihan yang dipakai BTN. Opsi menjalankan model di server sendiri penting bagi bank dan instansi yang harus menjaga data nasabah tetap di dalam negeri.

Bahasa Indonesia tercantum dalam daftar bahasa yang diuji untuk transkripsi. Namun, untuk teks ke suara, Mistral tidak merinci apakah bahasa Indonesia sudah didukung dengan baik, dan bahasa Indonesia tidak ada dalam daftar 18 bahasa voice preset. Uji dulu sebelum dipakai untuk pelanggan, terutama dengan aksen dan campuran bahasa daerah.

Yang perlu dicermati

Hasil benchmark yang ditampilkan sebagian besar adalah evaluasi internal Mistral. Fitur peniru suara juga perlu dipakai dengan hati-hati karena bisa disalahgunakan untuk penipuan, dan pelanggan sebaiknya diberi tahu bila mereka berbicara dengan AI.

Sumber

  • Mistral AI, "Voxtral 3: Voice Agent SDK & Speech Models in 50+ Languages": https://mistral.ai/news/voxtral-3/