NVIDIA tidak hanya menjual chip. Perusahaan itu kini juga makin serius membuat model AI terbuka, dan rilis terbarunya dirancang agar bisa dipakai dari pusat data raksasa sampai laptop.

Apa yang terjadi

NVIDIA merilis Nemotron 3.5 Super VL, model terbuka berukuran 120 miliar parameter untuk agen AI yang bekerja terus-menerus di perusahaan. Bersamaan dengan itu, hadir dua model kecil untuk perangkat lokal: Nemotron 3.5 Bolt 74B-A9B 24GB dan Nemotron 3.5 Bolt E4B 4GB.

Super VL dan Bolt 74B-A9B sudah tersedia, sedangkan Bolt E4B dijadwalkan hadir pada 23 Oktober. Model-model ini bergabung dengan anggota keluarga Nemotron lain: Lightning untuk beban kerja bervolume tinggi dan Ultra untuk penalaran tersulit.

Apa bedanya

Super VL adalah model vision-language, artinya bisa memahami teks sekaligus gambar. NVIDIA menyebut model ini cocok untuk membaca halaman web, tabel, grafik, dan PDF, lalu bertindak berdasarkan isinya. Menurut NVIDIA, akurasinya sebanding dengan model penalaran terbesar mereka dengan sekitar seperlima jumlah parameter, dan disebut lima kali lebih cepat dari model terbuka terbaik berikutnya di kelasnya. Klaim ini berasal dari NVIDIA sendiri.

Bolt 74B-A9B dirancang untuk menjalankan tugas agen sehari-hari secara lokal. Menurut kartu modelnya di Hugging Face, model ini punya total 74 miliar parameter dengan 9 miliar yang aktif, memakai kuantisasi 2-bit agar muat di memori 24 GB, dan mendukung konteks hingga 256 ribu token. Model ini juga bisa menerima teks, gambar, dan video. Dukungannya mencakup alat populer seperti llama.cpp, Ollama, dan LM Studio.

Bolt E4B yang hanya 4 GB ditujukan untuk asisten suara lokal, karakter interaktif, dan antarmuka tertanam di perangkat seperti Jetson.

NVIDIA menyebut Super VL dilatih dengan sekitar 26 triliun token, lalu disempurnakan dengan sekitar 3,8 juta sampel dan pembelajaran penguatan. Sejumlah perusahaan sudah menyesuaikannya untuk tugas khusus. Contohnya, Scale AI melatih ulang model ini untuk agen uji tuntas merger dan akuisisi milik EY.

Kenapa penting untuk Indonesia

Ada dua alasan. Pertama, soal data. NVIDIA menekankan bahwa organisasi bisa melatih ulang Super VL dengan data sendiri dan menjalankannya di infrastruktur sendiri. Bagi bank, asuransi, atau rumah sakit di Indonesia yang wajib menjaga data nasabah atau pasien, model terbuka yang bisa dijalankan di lokasi sendiri adalah pilihan menarik dibanding mengirim data ke layanan luar negeri.

Kedua, soal akses. NVIDIA juga merilis dataset terbuka dan resep pelatihan. Ini membuka peluang bagi peneliti dan startup lokal untuk menyesuaikan model, termasuk untuk dokumen berbahasa Indonesia. Model Bolt yang muat di 24 GB juga menurunkan kebutuhan perangkat untuk bereksperimen dengan agen AI tanpa koneksi cloud.

Yang perlu dicermati

Perangkat dengan memori GPU 24 GB tetap bukan barang murah, dan semua angka kinerja masih berasal dari NVIDIA. Pengujian independen, terutama untuk bahasa Indonesia, akan menentukan seberapa berguna model ini di sini.

Sumber

  • NVIDIA Blog, "Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models": https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/
  • Hugging Face, kartu model NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB