Pengguna terkemuka dan tolok ukur standar industri setuju: GPU NVIDIA H100 Tensor Core menghadirkan kinerja AI terbaik, terutama pada model bahasa besar (LLM) yang mendukung AI generatif.

GPU H100 mencetak rekor baru pada delapan pengujian dalam tolok ukur pelatihan MLPerf terbaru yang dirilis hari ini, unggul dalam pengujian MLPerf baru untuk AI generatif. Keunggulan itu diberikan baik per akselerator maupun dalam skala besar di server besar.

Misalnya, pada klaster 3.584 GPU H100 yang tersedia secara komersial yang dikembangkan bersama oleh startup Inflection AI dan dioperasikan oleh CoreWeave, penyedia layanan cloud yang berspesialisasi dalam beban kerja yang dipercepat GPU, sistem menyelesaikan tolok ukur pelatihan berbasis GPT-3 dalam waktu kurang dari sebelas menit.

“Pelanggan kami sedang membangun AI dan LLM generatif mutakhir dalam skala besar hari ini, berkat ribuan GPU H100 kami pada jaringan InfiniBand latensi rendah yang cepat,” kata Brian Venturo, salah satu pendiri dan CTO CoreWeave. “Pengajuan MLPerf bersama kami dengan NVIDIA dengan jelas menunjukkan kinerja luar biasa yang dinikmati pelanggan kami.”

Performa Terbaik Tersedia Hari Ini

Infleksi AI memanfaatkan kinerja itu untuk membangun LLM canggih di belakang AI pribadi pertamanya, Pi, yang merupakan singkatan dari kecerdasan pribadi. Perusahaan akan bertindak sebagai studio AI, menciptakan AI pribadi yang dapat berinteraksi dengan pengguna dengan cara yang sederhana dan alami.

“Siapa pun dapat merasakan kekuatan AI pribadi hari ini berdasarkan model bahasa besar kami yang canggih yang dilatih pada jaringan GPU H100 CoreWeave yang kuat,” kata Mustafa Suleyman, CEO Inflection AI.

Didirikan bersama pada awal tahun 2022 oleh Mustafa dan Karén Simonyan dari DeepMind dan Reid Hoffman, Inflection AI bertujuan untuk bekerja dengan CoreWeave untuk membangun salah satu cluster komputasi terbesar di dunia menggunakan GPU NVIDIA.

Kisah Pita

Pengalaman pengguna ini mencerminkan kinerja yang ditunjukkan dalam tolok ukur MLPerf yang diumumkan hari ini.

GPU H100 menghadirkan performa tertinggi di setiap tolok ukur, termasuk model bahasa besar, pemberi rekomendasi, visi komputer, pencitraan medis, dan pengenalan suara. Mereka adalah satu-satunya chip yang menjalankan kedelapan pengujian, menunjukkan keserbagunaan platform NVIDIA AI.

Keunggulan Berlari Sesuai Skala

Pelatihan biasanya merupakan pekerjaan yang dijalankan dalam skala besar oleh banyak GPU yang bekerja bersama-sama. Pada setiap pengujian MLPerf, GPU H100 mencetak rekor performa berskala baru untuk pelatihan AI.

Pengoptimalan di seluruh kumpulan teknologi lengkap memungkinkan penskalaan kinerja yang hampir linier pada uji LLM yang menuntut karena pengajuan diskalakan dari ratusan hingga ribuan GPU H100.

Selain itu, CoreWeave menghadirkan kinerja yang serupa dari cloud dengan apa yang dicapai NVIDIA dari superkomputer AI yang berjalan di pusat data lokal. Itu adalah bukti jaringan latensi rendah dari jaringan NVIDIA Quantum-2 InfiniBand yang digunakan CoreWeave.

Di babak ini, MLPerf juga memperbarui benchmark untuk sistem rekomendasinya.

Tes baru menggunakan kumpulan data yang lebih besar dan model AI yang lebih modern untuk mencerminkan tantangan yang dihadapi penyedia layanan cloud dengan lebih baik. NVIDIA adalah satu-satunya perusahaan yang mengirimkan hasil pada benchmark yang disempurnakan.

Ekosistem NVIDIA AI yang Berkembang

Hampir selusin perusahaan mengirimkan hasil pada platform NVIDIA di babak ini. Pekerjaan mereka menunjukkan NVIDIA AI didukung oleh ekosistem industri terluas dalam pembelajaran mesin.

Pengajuan datang dari pembuat sistem utama yang meliputi ASUS, Dell Technologies, GIGABYTE, Lenovo, dan QCT. Lebih dari 30 kiriman menggunakan GPU H100.

Tingkat partisipasi ini memberi tahu pengguna bahwa mereka bisa mendapatkan performa hebat dengan NVIDIA AI baik di cloud maupun di server yang berjalan di pusat data mereka sendiri.

Performa di Semua Beban Kerja

Mitra ekosistem NVIDIA berpartisipasi dalam MLPerf karena mereka tahu ini adalah alat yang berharga bagi pelanggan untuk mengevaluasi platform dan vendor AI.

Tolok ukur mencakup beban kerja yang menjadi perhatian pengguna — visi komputer, terjemahan, dan pembelajaran penguatan, selain AI generatif dan sistem rekomendasi.

Pengguna dapat mengandalkan hasil MLPerf untuk membuat keputusan pembelian yang tepat, karena pengujiannya transparan dan objektif. Tolok ukur menikmati dukungan dari grup luas yang mencakup Arm, Baidu, AI Facebook, Google, Harvard, Intel, Microsoft, Stanford, dan Universitas Toronto.

Hasil MLPerf tersedia hari ini di platform H100, L4, dan NVIDIA Jetson di seluruh pelatihan AI, inferensi, dan tolok ukur HPC. Kami juga akan mengirimkan sistem NVIDIA Grace Hopper di putaran MLPerf mendatang.

Pentingnya Efisiensi Energi

Seiring meningkatnya persyaratan kinerja AI, penting untuk memperluas efisiensi cara pencapaian kinerja tersebut. Itulah yang dilakukan komputasi yang dipercepat.

Pusat data yang dipercepat dengan GPU NVIDIA menggunakan lebih sedikit node server, sehingga menggunakan lebih sedikit ruang rak dan energi. Selain itu, jaringan yang dipercepat meningkatkan efisiensi dan kinerja, dan pengoptimalan perangkat lunak yang berkelanjutan membawa keuntungan x-factor pada perangkat keras yang sama.

Performa hemat energi juga baik untuk planet dan bisnis. Peningkatan kinerja dapat mempercepat waktu pemasaran dan memungkinkan organisasi membangun aplikasi yang lebih canggih.

Efisiensi energi juga mengurangi biaya karena pusat data yang dipercepat dengan GPU NVIDIA menggunakan lebih sedikit node server. Memang, NVIDIA menggerakkan 22 dari 30 superkomputer teratas dalam daftar Green500 terbaru.

Perangkat Lunak Tersedia untuk Semua

NVIDIA AI Enterprise, lapisan perangkat lunak platform NVIDIA AI, memungkinkan kinerja optimal pada infrastruktur komputasi terakselerasi terdepan. Perangkat lunak ini dilengkapi dengan dukungan, keamanan, dan keandalan tingkat perusahaan yang diperlukan untuk menjalankan AI di pusat data perusahaan.

Semua perangkat lunak yang digunakan untuk pengujian ini tersedia dari repositori MLPerf, jadi hampir semua orang bisa mendapatkan hasil kelas dunia ini.

Pengoptimalan terus digabungkan ke dalam wadah yang tersedia di NGC, katalog NVIDIA untuk perangkat lunak yang dipercepat GPU.

Baca blog teknis ini untuk mempelajari lebih dalam pengoptimalan yang mendorong kinerja dan efisiensi MLPerf NVIDIA.