Tim NVIDIA yang terdiri dari lima pakar pembelajaran mesin yang tersebar di empat benua memenangkan ketiga tugas dalam kompetisi bergengsi yang diperebutkan dengan panas untuk membangun sistem rekomendasi canggih.

Hasilnya mencerminkan kepintaran grup dalam menerapkan platform NVIDIA AI untuk menghadapi tantangan dunia nyata bagi mesin ekonomi digital ini. Para pemberi rekomendasi menyajikan triliunan hasil pencarian, iklan, produk, musik, dan berita kepada miliaran orang setiap hari.

Lebih dari 450 tim data scientist berkompetisi di Amazon KDD Cup ’23. Tantangan tiga bulan ini memiliki liku-liku dan penyelesaian akhir yang menggigit kuku.

Berpindah Ke Gigi Tinggi

Dalam 10 minggu pertama kompetisi, tim memimpin dengan nyaman. Namun pada fase terakhir, penyelenggara beralih ke kumpulan data uji baru dan tim lain melonjak maju.

NVIDIAN beralih ke kecepatan tinggi, bekerja malam dan akhir pekan untuk mengejar ketinggalan. Mereka meninggalkan jejak pesan Slack sepanjang waktu dari anggota tim yang tinggal di kota-kota dari Berlin hingga Tokyo.

“Kami bekerja tanpa henti, itu sangat menyenangkan,” kata Chris Deotte, seorang anggota tim di San Diego.

Produk dengan Nama Lain

Yang terakhir dari tiga tugas adalah yang paling sulit.

Peserta harus memprediksi produk mana yang akan dibeli pengguna berdasarkan data dari sesi penjelajahan mereka. Tetapi data pelatihan tidak menyertakan nama merek dari banyak kemungkinan pilihan.

“Saya tahu sejak awal, ini akan menjadi ujian yang sangat, sangat sulit,” kata Gilberto “Giba” Titericz.

KGMON untuk Menyelamatkan

Berbasis di Curitaba, Brasil, Titericz adalah salah satu dari empat anggota tim yang diperingkatkan sebagai grandmaster dalam kompetisi Kaggle, Olimpiade ilmu data online. Mereka adalah bagian dari tim ninja pembelajaran mesin yang telah memenangkan puluhan kompetisi. Pendiri dan CEO NVIDIA Jensen Huang menyebut mereka KGMON (Kaggle Grandmasters of NVIDIA), lepas landas yang menyenangkan dari Pokémon.

Dalam lusinan percobaan, Titericz menggunakan model bahasa besar (LLM) untuk membuat AI generatif guna memprediksi nama produk, tetapi tidak ada yang berhasil.

Dalam kilasan kreatif, tim menemukan solusi. Prediksi menggunakan model peringkat/pengklasifikasi hibrid baru mereka sangat tepat.

Turun ke Kawat

Pada jam-jam terakhir kompetisi, tim berlomba untuk mengemas semua model mereka bersama-sama untuk beberapa pengiriman terakhir. Mereka telah menjalankan eksperimen semalaman di sebanyak 40 komputer.

Kazuki Onodera, seorang KGMON di Tokyo, merasa gelisah. “Saya benar-benar tidak tahu apakah skor aktual kami akan sesuai dengan yang kami perkirakan,” katanya.

Keempat KGMON (searah jarum jam dari kiri atas) Onodera, Titericz, Deotte dan Puget.

Deotte, juga seorang KGMON, mengingatnya sebagai “sesuatu seperti 100 model berbeda yang semuanya bekerja bersama untuk menghasilkan satu keluaran … kami mengirimkannya ke papan peringkat, dan POW!”

Tim beringsut di depan saingan terdekatnya dalam AI yang setara dengan penyelesaian foto.

Kekuatan Pembelajaran Transfer

Dalam tugas lain, tim harus mengambil pelajaran dari kumpulan data besar dalam bahasa Inggris, Jerman, dan Jepang dan menerapkannya ke kumpulan data kecil sepersepuluh ukuran dalam bahasa Prancis, Italia, dan Spanyol. Ini adalah jenis tantangan dunia nyata yang dihadapi banyak perusahaan saat mereka memperluas kehadiran digital mereka di seluruh dunia.

Jean-Francois Puget, grandmaster Kaggle tiga kali yang berbasis di luar Paris, mengetahui pendekatan yang efektif untuk mentransfer pembelajaran. Dia menggunakan model multibahasa terlatih untuk menyandikan nama produk, lalu menyempurnakan penyandiannya.

“Menggunakan pembelajaran transfer sangat meningkatkan skor papan peringkat,” katanya.

Memadukan Perangkat Lunak Cerdas dan Cerdas

Upaya KGMON menunjukkan bidang yang dikenal sebagai recsys terkadang lebih merupakan seni daripada sains, sebuah praktik yang menggabungkan intuisi dan iterasi.

Keahlian inilah yang dikodekan ke dalam produk perangkat lunak seperti NVIDIA Merlin, kerangka kerja untuk membantu pengguna membangun sistem rekomendasi mereka sendiri dengan cepat.

Kerangka kerja Merlin menyediakan solusi end-to-end untuk membangun sistem rekomendasi.

Benedikt Schifferer, rekan satu tim yang berbasis di Berlin yang membantu merancang Merlin, menggunakan perangkat lunak tersebut untuk melatih model transformator yang mengalahkan tugas klasik kompetisi.

“Merlin memberikan hasil yang luar biasa langsung, dan desain yang fleksibel memungkinkan saya menyesuaikan model untuk tantangan tertentu,” katanya.

Mengendarai RAPIDS

Seperti rekan satu timnya, dia juga menggunakan RAPIDS, sekumpulan pustaka sumber terbuka untuk mempercepat ilmu data pada GPU.

Misalnya, Deotte mengakses kode dari NGC, hub NVIDIA untuk perangkat lunak yang dipercepat. Disebut DASK XGBoost, kode tersebut membantu menyebarkan tugas besar dan kompleks ke delapan GPU dan memorinya.

Sementara itu, Titericz menggunakan pustaka RAPIDS yang disebut cuML untuk menelusuri jutaan perbandingan produk dalam hitungan detik.

Tim berfokus pada pemberi rekomendasi berbasis sesi yang tidak memerlukan data dari beberapa kunjungan pengguna. Ini adalah praktik terbaik saat ini ketika banyak pengguna ingin melindungi privasi mereka.

Untuk mempelajari lebih lanjut: