Ulasyuk.com - ASUS memperkenalkan UGen Intel Arc Pro B70, kartu akselerator dengan memori GDDR6 32GB untuk menjalankan kecerdasan buatan secara lokal. Perangkat ini menyasar kebutuhan komputasi model bahasa besar dan alur kerja multi-agen yang mulai beralih dari layanan awan ke komputer meja serta stasiun kerja.
Peralihan tersebut membuat kapasitas memori menjadi pertimbangan penting. Model yang memproses konteks panjang membutuhkan ruang untuk menyimpan data sementara, sehingga kekurangan memori dapat menghambat kinerja. Lewat akselerator AI lokal ASUS ini, perusahaan menawarkan konfigurasi yang dirancang untuk menangani beban tersebut di perangkat pengguna.
Mengapa kapasitas memori penting untuk AI lokal
Saat model bekerja, memori grafis membantu menampung parameter dan data yang diperlukan selama pemrosesan. Kebutuhannya dapat meningkat ketika sistem menangani konteks yang panjang atau menjalankan beberapa bagian dari alur kerja AI. Karena itu, kapasitas memori yang tersedia ikut menentukan model seperti apa yang dapat dijalankan dengan lancar.
Jika memori pada kartu tidak mencukupi, sistem dapat memindahkan sebagian data ke memori utama komputer. Proses ini berpotensi memperlambat pemrosesan secara tajam, bahkan hingga 90 persen. Dampaknya terasa terutama pada pekerjaan yang terus membutuhkan akses ke data tersebut.
Kapasitas 32GB pada UGen Intel Arc Pro B70 memberi ruang lebih luas sebelum sistem perlu mengandalkan memori utama. Namun, angka itu bukan jaminan bahwa setiap model atau beban kerja akan berjalan dengan kecepatan yang sama. Hasilnya tetap bergantung pada model, pengaturan, dan kebutuhan pemrosesan yang digunakan.
ASUS juga melengkapi memorinya dengan ECC, atau koreksi kesalahan. Fitur ini membantu menjaga integritas data selama operasi berlangsung. Stabilitas tersebut relevan bagi pengguna yang menjalankan model besar secara lokal dan membutuhkan pemrosesan konsisten.
Model hingga 27 miliar parameter
Dalam konfigurasi satu kartu, perangkat ini dapat menangani model bahasa dengan jumlah parameter di bawah 27 miliar. ASUS juga menyebut dukungan konteks hingga 128 ribu token. Kombinasi kapasitas memori dan konteks tersebut ditujukan untuk pekerjaan yang perlu memproses masukan panjang tanpa langsung bergantung pada komputasi awan.
Token merupakan unit yang dipakai model untuk mengolah teks. Batas konteks yang lebih besar memungkinkan model mempertimbangkan lebih banyak informasi dalam satu sesi pemrosesan. Meski begitu, kapasitas konteks maksimum tidak otomatis berarti setiap tugas akan menggunakan seluruh ruang tersebut; kebutuhan aktual bergantung pada aplikasi dan ukuran masukan.
Bagi pengembang, kemampuan menjalankan model di mesin sendiri dapat membantu pengujian dan penerapan sistem AI. Mereka bisa mengatur lingkungan kerja lokal sesuai kebutuhan, selama perangkat lunak yang dipakai mendukung akselerator tersebut. Dengan demikian, kapasitas memori menjadi salah satu bagian dari pertimbangan, bukan satu-satunya penentu kinerja.
Konfigurasi dapat diperluas dengan beberapa kartu
Pengguna yang membutuhkan kapasitas lebih besar dapat menambahkan kartu dalam satu sistem. Dua kartu memungkinkan kapasitas total mencapai 64GB, sedangkan konfigurasi empat kartu dapat menyediakan hingga 128GB. Fleksibilitas ini memberi pilihan untuk menyesuaikan perangkat keras dengan skala pekerjaan.
Penambahan kartu dapat berguna bagi organisasi yang ingin menjalankan model atau beban kerja lebih besar secara lokal. Akan tetapi, kapasitas total tersebut mengacu pada konfigurasi beberapa kartu, bukan kapasitas satu perangkat. Pengguna tetap perlu memastikan sistem dan aplikasi yang dipakai mampu memanfaatkan konfigurasi tersebut.
Pendekatan bertahap juga memberi ruang untuk mengembangkan kapasitas seiring perubahan kebutuhan. Pengguna dapat memulai dengan satu kartu, lalu mempertimbangkan penambahan unit apabila beban kerja meningkat. Namun, biaya keseluruhan dan kecocokan lingkungan kerja tetap perlu diperhitungkan saat menyusun konfigurasi.
Dukungan perangkat lunak dan pertimbangan penerapan
Di sisi perangkat lunak, ASUS menyebut dukungan untuk vLLM, Ollama, dan PyTorch. Ketiganya umum digunakan dalam pengembangan maupun penerapan model AI, sehingga dukungan tersebut dapat memudahkan integrasi ke berbagai alur kerja. Meski demikian, pengguna perlu memeriksa kebutuhan versi dan konfigurasi masing-masing perangkat lunak sebelum memulai penerapan.
Ketersediaan dukungan beberapa kerangka kerja juga memberi keleluasaan memilih cara menjalankan model. Sebagian pengguna mungkin mengutamakan proses eksperimen, sementara organisasi lain membutuhkan pengoperasian model dalam lingkungan kerja yang lebih terstruktur. Perangkat lunak yang sesuai membantu menghubungkan kemampuan kartu dengan kebutuhan tersebut.
Komputasi lokal juga membawa pertimbangan tentang kendali data. Organisasi di sektor sensitif seperti keuangan dan kesehatan dapat menilai opsi ini untuk mengelola pemrosesan di lingkungan sendiri. Namun, penggunaan perangkat lokal tidak dengan sendirinya menjamin keamanan; kebijakan akses, perlindungan sistem, dan pengelolaan data tetap berperan.
ASUS memosisikan UGen Intel Arc Pro B70 sebagai pilihan untuk menjalankan AI di luar layanan awan. Operasi lokal berpotensi mengurangi ketergantungan pada layanan berulang dan membantu mengendalikan biaya jangka panjang, tetapi penghematan aktual bergantung pada pola pemakaian serta investasi perangkat keras. Untuk calon pengguna, kapasitas memori, dukungan perangkat lunak, kebutuhan konteks, dan rencana ekspansi menjadi faktor utama sebelum menentukan konfigurasi.
