Meta Lancar Muse Glimmer, Model AI Open-Weight 30B untuk Operasi Tempatan
Meta melancarkan Muse Glimmer, model kecerdasan buatan open-weight baharu dengan 30 bilion parameter yang direka untuk menjalankan beban kerja ejen secara tempatan pada PC dan workstation, bukannya menghantar setiap tugasan ke awan.
Kepentingan pelancaran ini ialah gabungan seni bina dense yang agak kompak dengan berat terbuka, konteks panjang dan keupayaan ejen. Pembangun boleh membina sistem yang membuat penaakulan berbilang langkah, memanggil alat, memproses maklumat multimodal dan meneruskan aliran kerja sambil mengekalkan lebih banyak pemprosesan pada perkakasan tempatan.
Muse Glimmer menyasarkan ejen AI tempatan yang sentiasa aktif
Muse Glimmer ialah model dense 30 bilion parameter daripada Meta Superintelligence Labs untuk beban kerja ejen yang boleh kekal aktif pada mesin pengguna. Meta menyasarkannya untuk penaakulan berbilang langkah, pengekodan, penggunaan alat, pemahaman multimodal dan pemulihan apabila aliran kerja gagal, bukan sekadar soal jawab ringkas.
Model 30B direka untuk satu GPU
Model ini direka untuk berjalan secara tempatan pada satu GPU yang cukup berkuasa, membawa tugasan AI yang biasanya bergantung pada awan lebih dekat kepada PC pengguna dan workstation. Meta menyediakan berat di bawah lesen Apache 2.0, membolehkan penggunaan, pengubahsuaian dan pengedaran semula termasuk projek komersial tertakluk kepada lesen.
Didistil daripada Muse Spark dengan konteks panjang
Muse Glimmer didistil daripada Muse Spark yang lebih besar. Dokumentasi Meta dan ekosistem menerangkan konteks melebihi 120,000 tokens serta komponen persepsi khusus untuk input multimodal. Gabungan ini bertujuan mengekalkan konteks kerja yang besar sepanjang rangkaian keputusan, panggilan alat dan hasil yang panjang.
AMD dan NVIDIA menggalakkan penggunaan tempatan
AMD melaporkan ujian awal Windows sehingga 24 tokens/s pada Ryzen AI Max+ 395 dan sehingga 53 tokens/s pada Radeon AI PRO R9700 dengan dFlash. NVIDIA turut mengetengahkan Muse Glimmer untuk aliran kerja ejen tempatan. Prestasi sebenar bergantung pada kuantisasi, memori, perisian dan konfigurasi perkakasan.
Baca lagi
Mengapa AI open-weight tempatan penting
Menjalankan ejen secara tempatan boleh mengurangkan kos token awan berulang dan mengekalkan lebih banyak data kerja pada peranti. Ini penting untuk fail tempatan, mesej atau bahan proprietari dan memberi lebih kawalan terhadap inferens, penyesuaian dan integrasi. Namun model 30B masih memerlukan memori besar dan perkakasan berkuasa dan tidak akan berjalan sama baik pada setiap komputer riba biasa.
Meta menyediakan Muse Spark 1.2 open-weight
Pelancaran Glimmer turut menandakan dorongan open-weight baharu Meta. Mark Zuckerberg berkata syarikat merancang untuk melancarkan versi open-weight Muse Spark 1.2 yang lebih berkuasa tidak lama lagi. Glimmer ialah model tempatan praktikal yang tersedia sekarang dan petunjuk bahawa Meta mahu membuka lebih banyak keluarga Muse di luar model awan tertutup.
