TEKNOBUZZ – F5 resmi mengumumkan peningkatan kemampuan infrastruktur inferensi AI melalui kolaborasi berkelanjutan dengan NVIDIA. Integrasi terbaru ini menggabungkan F5 BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU untuk menghadirkan sistem AI yang lebih cepat, efisien, dan aman dalam skala besar.
Solusi ini dirancang untuk meningkatkan token throughput, unit output penting dalam proses AI, sekaligus menurunkan latensi dan biaya per token. Dengan memanfaatkan telemetri GPU dan kecerdasan routing berbasis inferensi, sistem mampu mengoptimalkan penggunaan akselerator secara real-time, memberikan pengalaman pengguna yang lebih responsif.
Baca juga: CEO Nvidia: Kehadiran AI Membantu Manusia, Bukan Menggantikannya!
Dalam ekosistem AI modern, metrik seperti throughput token, time to first token (TTFT), hingga biaya operasional menjadi indikator utama kesuksesan. Kolaborasi F5 dan NVIDIA menjawab tantangan tersebut dengan pendekatan “tokenomics”, yaitu memaksimalkan nilai ekonomi dari setiap GPU yang digunakan dalam AI factory.
“Infrastruktur AI kini bukan hanya soal kapasitas GPU, tetapi bagaimana menghasilkan output ekonomi optimal dari setiap akselerator. Teknologi ini memungkinkan perusahaan meningkatkan efisiensi sekaligus menekan biaya operasional,” ujar Chief Product Officer F5, Kunal Anand, melalui keterangan resminya.
Hasil pengujian independen oleh The Tolly Group menunjukkan peningkatan hingga 40% pada token throughput, percepatan TTFT sebesar 61%, serta penurunan latensi hingga 34%. Hal ini dicapai dengan memindahkan beban kerja seperti networking dan enkripsi ke DPU, sehingga GPU dapat fokus pada proses inferensi.
Selain itu, solusi ini mendukung kebutuhan AI berbasis agen dan platform multi-tenant yang aman. Dengan fitur seperti routing berbasis inferensi, integrasi NVIDIA DOCA, serta keamanan jaringan tingkat lanjut, perusahaan dapat berbagi infrastruktur GPU tanpa mengorbankan performa.
SVP Networking NVIDIA, Kevin Deierling, menyebut kolaborasi ini membuka potensi besar bagi AI factory untuk menghadirkan inferensi yang lebih skalabel dan hemat biaya tanpa perlu modifikasi model.
Dengan inovasi ini, F5 dan NVIDIA menghadirkan fondasi baru bagi ekonomi AI factory, memungkinkan organisasi meningkatkan ROI, menekan biaya, dan mempercepat adopsi AI dalam skala enterprise.
