Rilis terbaru MLPerf Inference memperkenalkan LLM baru dan tolok ukur rekomendasi, menandai lompatan maju dalam bidang pengujian AI.
Iterasi v3.1 dari rangkaian benchmark telah mencapai rekor partisipasi, menghasilkan lebih dari 13.500 hasil kinerja dan memberikan peningkatan kinerja hingga 40 persen.
Yang membedakan pencapaian ini adalah beragamnya 26 pengirim berbeda dan lebih dari 2.000 hasil yang kuat, yang menunjukkan spektrum luas pelaku industri yang berinvestasi dalam inovasi AI.
Di antara daftar pengirim adalah raksasa teknologi seperti Google, Intel, dan NVIDIA, serta pendatang baru Connect Tech, Nutanix, Oracle, dan TTA, yang berpartisipasi dalam benchmark MLPerf Inference untuk pertama kalinya.
Inferensi MLPerf adalah rangkaian benchmark penting yang mengukur kecepatan sistem AI dalam mengeksekusi model dalam berbagai skenario penerapan. Skenario ini mencakup chatbot AI generatif terbaru hingga fitur peningkatan keselamatan pada kendaraan, seperti penjaga jalur otomatis dan antarmuka ucapan-ke-teks.
Sorotan dari MLPerf Inference v3.1 menyoroti pengenalan dua tolok ukur baru:
- Sebuah LLM yang menggunakan model referensi GPT-J untuk merangkum artikel berita CNN mengumpulkan kiriman dari 15 peserta berbeda, yang menunjukkan adopsi AI generatif dengan cepat.
- Tolok ukur pemberi rekomendasi yang diperbarui – disempurnakan agar lebih selaras dengan praktik industri – menggunakan model referensi DLRM-DCNv2 dan kumpulan data yang lebih besar, sehingga menarik sembilan pengajuan. Tolok ukur baru ini dirancang untuk mendorong batas-batas AI dan memastikan bahwa tolok ukur standar industri tetap selaras dengan tren terkini dalam adopsi AI, sehingga berfungsi sebagai panduan berharga bagi pelanggan, vendor, dan peneliti.
Mitchelle Rasquinha, salah satu ketua Kelompok Kerja Inferensi MLPerf, berkomentar: “Pengajuan untuk MLPerf Inference v3.1 merupakan indikasi dari berbagai akselerator yang sedang dikembangkan untuk melayani beban kerja ML.
“Rangkaian benchmark saat ini memiliki cakupan yang luas di antara domain ML, dan penambahan terbaru GPT-J merupakan kontribusi yang disambut baik pada bidang AI generatif. Hasilnya akan sangat membantu pengguna saat memilih akselerator terbaik untuk domainnya masing-masing.”
Tolok ukur Inferensi MLPerf terutama berfokus pada pusat data dan sistem edge. Pengiriman v3.1 menampilkan berbagai prosesor dan akselerator di seluruh kasus penggunaan dalam visi komputer, sistem pemberi rekomendasi, dan pemrosesan bahasa.
Rangkaian benchmark mencakup pengajuan terbuka dan tertutup dalam kategori kinerja, kekuatan, dan jaringan. Pengajuan tertutup menggunakan model referensi yang sama untuk memastikan persaingan yang setara di seluruh sistem, sementara peserta di divisi terbuka diizinkan untuk mengirimkan berbagai model.
Ketika AI terus merasuki berbagai aspek kehidupan kita, tolok ukur MLPerf berfungsi sebagai alat penting untuk mengevaluasi dan membentuk masa depan teknologi AI.
