Search
Rabu 26 Juni 2024
  • :
  • :

Akselerator AMD Instinct MI300X Mendukung Layanan Microsoft Azure OpenAI dan VM Azure ND MI300X V5 Baru

MAJALAH ICT – Jakarta. Hari ini di Microsoft Build, AMD (NASDAQ: AMD) memamerkan kemampuan komputasi dan perangkat lunak end-to-end terbarunya untuk pelanggan dan pengembang Microsoft. Dengan menggunakan solusi AMD seperti akselerator AMD Instinct™ MI300X, perangkat lunak terbuka ROCm™, prosesor dan perangkat lunak AI Ryzen™, dan akselerator media Alveo™ MA35D, Microsoft mampu menyediakan rangkaian alat canggih untuk penerapan berbasis AI di berbagai pasar. Mesin virtual (VM) Microsoft Azure ND MI300X yang baru kini tersedia secara umum, memberikan pelanggan seperti Hugging Face, akses ke kinerja dan efisiensi yang mengesankan untuk beban kerja AI yang paling menuntut.

“Software AMD Instinct MI300X dan ROCm mendukung layanan Azure OpenAI Chat GPT 3.5 dan 4, yang merupakan salah satu beban kerja AI yang paling menuntut di dunia,” kata Victor Peng, presiden AMD. “Dengan ketersediaan umum mesin virtual baru dari Azure, pelanggan AI memiliki akses yang lebih luas ke MI300X untuk menghadirkan solusi berkinerja tinggi dan efisien untuk aplikasi AI.”

“Microsoft dan AMD memiliki sejarah panjang dalam bermitra di berbagai platform komputasi: pertama PC, kemudian silikon khusus untuk Xbox, HPC, dan sekarang AI,” kata Kevin Scott, chief technology officer dan wakil presiden eksekutif AI, Microsoft. “Selama beberapa waktu terakhir, kami menyadari pentingnya menggabungkan perangkat keras komputasi yang kuat dengan optimalisasi sistem dan perangkat lunak yang diperlukan untuk memberikan kinerja dan nilai AI yang luar biasa. Bersama dengan AMD, kami telah mencapai hal ini melalui penggunaan ROCm dan MI300X, memberdayakan pelanggan dan pengembang AI Microsoft untuk mencapai hasil kinerja harga yang luar biasa untuk model frontier paling canggih dan intensif komputasi. Kami berkomitmen pada kolaborasi kami dengan AMD untuk terus mendorong kemajuan AI.”

Memajukan AI di Microsoft
Sebelumnya diumumkan dalam pratinjau pada November 2023, seri VM Azure ND MI300x v5 kini tersedia di wilayah Kanada Tengah bagi pelanggan untuk menjalankan beban kerja AI mereka.

Menawarkan kinerja terdepan di industri, VM ini memberikan kapasitas HBM dan bandwidth memori yang mengesankan, memungkinkan pelanggan untuk memasukkan model yang lebih besar ke dalam memori GPU dan/atau menggunakan lebih sedikit GPU, yang pada akhirnya membantu menghemat daya, biaya, dan waktu dalam penyelesaian solusi.

VM ini dan perangkat lunak ROCm™ yang mendukungnya, juga digunakan untuk beban kerja Azure AI Production, termasuk Azure OpenAI Service, yang memberi pelanggan akses ke model GPT-3.5 dan GPT-4. Dengan AMD Instinct MI300X dan tumpukan perangkat lunak terbuka ROCm yang telah terbukti dan siap pakai, Microsoft mampu mencapai harga/kinerja terdepan pada beban kerja inferensi GPT.
Selain beban kerja produksi Azure AI, salah satu pelanggan pertama yang menggunakan VM ini adalah Hugging Face. Dengan mem-porting model mereka ke VM ND MI300X hanya dalam waktu satu bulan, Hugging Face mampu mencapai performa dan harga/kinerja yang mengesankan untuk model mereka. Sebagai bagian dari hal ini, pelanggan VM ND MI300X dapat menghadirkan model Hugging Face ke VM untuk membuat dan menerapkan aplikasi NLP dengan mudah dan efisien.

“Kolaborasi mendalam antara Microsoft, AMD, dan Hugging Face pada ekosistem perangkat lunak terbuka ROCm akan memungkinkan pengguna Hugging Face menjalankan ratusan ribu model AI yang tersedia di Hugging Face Hub di Azure dengan GPU AMD Instinct tanpa perubahan kode, sehingga memudahkan untuk Pelanggan Azure akan membangun AI dengan model terbuka dan sumber terbuka,” kata Julien Simon, chief evangelist officer, Hugging Face.

Selain itu, pengembang dapat menggunakan perangkat lunak AMD Ryzen AI untuk mengoptimalkan dan menerapkan inferensi AI pada PC yang didukung AMD Ryzen AI. Perangkat lunak Ryzen AI memungkinkan aplikasi berjalan pada unit pemrosesan saraf (NPU) yang dibangun pada arsitektur AMD XDNA™, silikon pemrosesan AI khusus pertama pada prosesor Windows x86. Meskipun menjalankan model AI pada CPU atau GPU saja dapat menguras baterai dengan cepat, dengan laptop yang ditenagai oleh Ryzen AI, model AI beroperasi pada NPU yang tertanam, sehingga membebaskan sumber daya CPU dan GPU untuk tugas komputasi lainnya. Hal ini membantu meningkatkan masa pakai baterai secara signifikan dan memungkinkan pengembang menjalankan beban kerja AI LLM pada perangkat dan aplikasi bersamaan secara efisien dan lokal.

Memajukan Layanan Video dan Komputasi Perusahaan

Microsoft telah memilih akselerator media AMD Alveo™ MA35D untuk mendukung beban kerja video streaming langsung yang besar, termasuk Microsoft Teams, video SharePoint, dan lainnya. Dibuat khusus untuk mendukung layanan streaming interaktif langsung dalam skala besar, Alveo MA35D akan membantu Microsoft memastikan pengalaman video berkualitas tinggi dengan menyederhanakan beban kerja pemrosesan video, termasuk transcoding, decoding, pengkodean, dan streaming bitrate adaptif (ABR) video. Dengan menggunakan akselerator Alveo MA35D di server yang didukung oleh prosesor AMD EPYC™ Generasi ke-4, Microsoft mendapatkan Kemampuan untuk mengkonsolidasikan server dan Infrastruktur cloud – memanfaatkan kepadatan saluran yang tinggi, hemat energi, dan kemampuan pemrosesan video latensi sangat rendah dari Alveo MA35D, Microsoft dapat secara signifikan mengurangi jumlah server yang diperlukan untuk mendukung aplikasi streaming interaktif langsung bervolume tinggi.

Performa Mengesankan – Alveo MA35D dilengkapi unit pemrosesan video berbasis ASIC yang mendukung standar kompresi AV1 dan optimalisasi kualitas video berkemampuan AI yang membantu memastikan pengalaman video lancar dan lancar.

Teknologi AV1 Siap Masa Depan – dengan jalur peningkatan untuk mendukung standar baru seperti AV1, Alveo MA35D memberi Microsoft solusi yang dapat beradaptasi dengan kebutuhan pemrosesan video yang terus berkembang.

Prosesor AMD EPYC™ Generasi ke-4 saat ini mendukung berbagai VM komputasi untuk keperluan umum, intensif memori, dioptimalkan komputasi, dan dipercepat di Azure. VM ini menunjukkan pertumbuhan dan permintaan untuk prosesor AMD EPYC di cloud dan dapat memberikan kinerja hingga 20% lebih baik untuk VM tujuan umum dan intensif memori dengan harga/kinerja yang lebih baik, dan kinerja CPU hingga 2x lebih baik untuk VM dengan komputasi optimal dibandingkan generasi sebelumnya dari VM yang didukung prosesor AMD EPYC di Azure. Sekarang dalam pratinjau, seri VM Dalsv6, Dasv6, Easv6, Falsv6 dan Famsv6 akan tersedia secara umum dalam beberapa bulan mendatang.