Melatih model AI memang mahal, tetapi menjalankannya setiap hari untuk menjawab jutaan pertanyaan juga makan biaya besar. DeepSeek, perusahaan AI asal China, kini membagikan "resep dapurnya" untuk urusan ini secara gratis.

Apa yang dirilis

Menurut The Next Web (TNW), DeepSeek pada Selasa, 20 Oktober 2026, merilis DeepInfer, perangkat lunak yang dipakainya untuk menjalankan model AI di layanan produksinya, secara open source di GitHub dengan lisensi Apache 2.0. Lisensi ini termasuk longgar: kode boleh dipakai, diubah, dan dipakai untuk keperluan komersial.

Untuk saat ini, DeepInfer baru mendukung model DeepSeek-V4.1-Flash, yang dirilis September lalu. Perangkat ini berjalan di dua jenis chip: GPU pusat data Nvidia SM100 dan chip Huawei Ascend 950.

Apa itu mesin inferensi

Inferensi adalah proses menjalankan model yang sudah dilatih untuk menjawab permintaan. Model yang sama bisa jauh lebih murah atau lebih mahal untuk dijalankan, tergantung perangkat lunak yang dipakai. Analoginya, model adalah mesin mobil, dan mesin inferensi adalah cara mobil itu disetel agar irit bensin.

DeepInfer berisi kode yang sudah dioptimalkan untuk model DeepSeek, cara membagi pekerjaan ke banyak chip, dan teknik speculative decoding yang "menebak" beberapa kata sekaligus lalu memeriksanya dalam satu langkah. DeepSeek menyebut DeepInfer awalnya dibangun di atas vLLM, mesin inferensi open source populer, serta mengambil ide dari SGLang dan TensorRT-LLM milik Nvidia.

Perlu dicatat, ini belum layanan lengkap. Menurut halaman GitHub-nya, beberapa komponen seperti sistem cache dan pembagian beban antarmesin tidak disertakan. Angka kecepatan yang diumumkan juga masih klaim DeepSeek sendiri dan belum diuji pihak independen.

Kenapa penting untuk Indonesia

Model DeepSeek sudah dipakai di Indonesia, termasuk lewat layanan seperti Model-as-a-Service Huawei Cloud yang menyediakan model DeepSeek bagi perusahaan lokal. Penyedia cloud, startup, atau kampus yang menjalankan model DeepSeek di server sendiri kini bisa memakai teknik yang sama dengan DeepSeek untuk menekan biaya.

Dukungan untuk chip Huawei juga menarik, karena memberi pilihan selain Nvidia. Ini sejalan dengan upaya China membangun ekosistem chip sendiri, yang juga terlihat dari usulan kontrol ekspor 23 teknologi AI.

Yang perlu dicermati

TNW mencatat rilis ini keluar sehari setelah pemerintah Amerika Serikat memerintahkan lembaga federal sipilnya menghapus produk DeepSeek dari sistem mereka. Bagi perusahaan di Indonesia, pertimbangan keamanan dan kepatuhan tetap perlu dilakukan sebelum memakai model atau perangkat lunak apa pun, termasuk soal di mana data diproses. Menjalankan model di server sendiri bisa menjadi salah satu cara agar data tidak keluar dari Indonesia.

Sumber

  • The Next Web, "DeepSeek open-sources DeepInfer, the engine that runs its AI models": https://thenextweb.com/news/deepseek-deepinfer-open-source-inference-engine