Poin utama: Dell dan NVIDIA bekerja sama untuk mengembangkan teknologi AI, khususnya dalam proses AI inference (proses saat AI memberikan jawaban). Mereka menghadirkan inovasi seperti Context Memory Storage Platform (CMS) dan NVIDIA BlueField-4 DPU. Kolaborasi ini membantu model AI besar seperti Large Language Models (LLM) bekerja lebih cepat, lebih efisien, mengurangi jeda (latency), dan menekan biaya. Solusi storage dari Dell seperti Dell PowerScale, Dell ObjectScale, dan Project Lightning dirancang untuk mendukung kebutuhan AI saat ini dan di masa depan.
Tantangan AI Modern: Bukan Lagi Sekadar Training
AI berkembang sangat cepat. Model bahasa besar (LLM) seperti yang digunakan dalam chatbot atau asisten virtual kini semakin pintar dan kompleks.
Namun, tantangan utama bagi banyak perusahaan bukan lagi melatih (training) model AI, melainkan menjalankan model tersebut secara cepat dan efisien saat digunakan oleh pengguna. Proses ini disebut inference.
Agar AI bisa memberikan jawaban yang cepat dan memahami konteks percakapan, sistem membutuhkan cara penyimpanan data yang efisien. Salah satu teknologi penting dalam proses ini adalah KV Cache (Key-Value Cache).
Apa Itu KV Cache dan Mengapa Penting?
Saat AI memproses pertanyaan, ia membuat data “Keys” dan “Values” yang membantu memahami konteks. Data ini biasanya disimpan di memori GPU yang sangat cepat (HBM). Proses ini disebut KV Caching.
Masalahnya, jika percakapan semakin panjang atau dokumen yang diproses semakin besar, ukuran cache ikut membesar. Jika memori GPU tidak cukup, sistem harus menghitung ulang data tersebut. Akibatnya:
-
Respons menjadi lebih lambat
-
Konsumsi daya meningkat
-
Biaya infrastruktur bertambah
Solusinya adalah memindahkan (offload) KV Cache ke media penyimpanan lain yang lebih besar, sehingga GPU bisa fokus pada proses utama.
NVIDIA BlueField-4 dan Context Memory Storage Platform (CMS)
NVIDIA menghadirkan teknologi terbaru bernama BlueField-4 Data Processing Unit (DPU). Teknologi ini membantu mengelola penyimpanan KV Cache secara lebih efisien.
BlueField-4 bertindak sebagai jembatan antara:
-
Memori GPU yang sangat cepat tapi terbatas
-
Storage tradisional yang besar tapi lebih lambat
Dengan cara ini, performa inference bisa tetap cepat meskipun data yang diproses sangat besar.
Manfaat utama BlueField-4:
-
Memaksimalkan penggunaan GPU
Mengurangi proses hitung ulang sehingga kinerja meningkat. -
Respons lebih cepat
Latency lebih rendah, penting untuk aplikasi AI real-time seperti chatbot. -
Lebih hemat energi
Performa meningkat tanpa meningkatkan konsumsi listrik secara drastis.
Peran Dell dalam Mendukung AI Inference
Dell mengembangkan solusi storage yang dirancang khusus untuk mendukung teknologi NVIDIA ini. Artinya, perusahaan tidak perlu menunggu hardware masa depan untuk mendapatkan peningkatan performa.
Saat ini, solusi Dell sudah mampu memberikan:
-
Peningkatan 19 kali lebih cepat untuk waktu respons pertama (Time to First Token / TTFT)
-
Hingga 5,3 kali lebih banyak permintaan (query) per detik
Fleksibilitas Solusi Dell
Tidak semua perusahaan langsung menggunakan BlueField-4. Untuk itu, Dell menyediakan solusi fleksibel yang bisa bekerja di berbagai lingkungan.
Dengan menggabungkan teknologi seperti LMCache dan NVIDIA NIXL, Dell memungkinkan storage bertindak seperti perpanjangan memori GPU.
Data KV Cache bisa dipindahkan langsung ke storage Dell menggunakan teknologi cepat seperti RDMA, tanpa harus melewati CPU. Ini menjaga aliran data tetap cepat.
Pilihan Storage AI dari Dell
Dell menyediakan beberapa opsi sesuai kebutuhan perusahaan:
1. Dell PowerScale
Cocok untuk perusahaan yang membutuhkan penyimpanan file (NAS) dengan performa tinggi. Memberikan akses cepat ke data dalam jumlah besar.
2. Dell ObjectScale
Dirancang untuk aplikasi berbasis cloud. Menggunakan teknologi S3-over-RDMA, sehingga tetap cepat seperti sistem file biasa tetapi dengan fleksibilitas cloud.
3. Project Lightning (masih tahap preview)
Untuk kebutuhan AI paling berat. Menggunakan teknologi NVMe-over-Fabrics untuk memindahkan data langsung dari storage ke GPU dengan latency sangat rendah.
Mengapa Ini Penting untuk Bisnis?
Kemampuan memindahkan KV Cache secara efisien membawa dampak besar:
1. Hemat Biaya
Perusahaan tidak perlu membeli GPU mahal hanya untuk menambah memori. Cukup menambah storage yang lebih ekonomis.
2. Pengalaman Pengguna Lebih Baik
AI bisa mengingat percakapan lebih panjang, memahami dokumen besar, dan memberikan jawaban lebih akurat serta personal.
3. Siap untuk Masa Depan
Model AI akan terus berkembang dan membutuhkan konteks lebih besar (jutaan token). Infrastruktur yang skalabel memastikan sistem tetap bisa berkembang.
Membangun Infrastruktur AI Bersama
Dell dan NVIDIA percaya pada ekosistem terbuka. Dengan bekerja sama, mereka membangun fondasi yang disebut sebagai “AI Factory”, yaitu infrastruktur lengkap untuk mendukung inovasi AI.
Baik menggunakan:
-
NVIDIA BlueField-4 untuk latency ultra-rendah
-
Dell PowerScale dan ObjectScale untuk skalabilitas besar
-
Project Lightning untuk performa ekstrem
Semua solusi ini dirancang untuk mendukung AI yang:
-
Lebih cepat
-
Lebih cerdas
-
Lebih efisien
Kesimpulan
Masa depan AI adalah sistem yang mampu memahami konteks secara mendalam, merespons dengan cepat, dan bekerja secara efisien.
Kolaborasi Dell dan NVIDIA membantu perusahaan membangun infrastruktur yang siap menghadapi perkembangan AI berikutnya. Dengan solusi storage dan teknologi pemrosesan terbaru, organisasi dapat mengoptimalkan performa, menekan biaya, dan memberikan pengalaman AI yang lebih baik kepada pengguna.
Bersama, Dell dan NVIDIA sedang membangun fondasi untuk generasi AI berikutnya.
Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan storage indonesia, merupakan bagian dari PT. iLogo Indonesia, yang merupakan mitra terpercaya dalam solusi Infrastruktur IT dan Cybersecurity terbaik di Indonesia.
Hubungi kami sekarang atau kunjungi storage.ilogoindonesia.id untuk informasi lebih lanjut!