Meta เปิดตัว Muse Glimmer โมเดล AI Open-Weight 30B ออกแบบให้รันในเครื่องได้
Meta เปิดตัว Muse Glimmer โมเดลปัญญาประดิษฐ์แบบ open-weight ขนาด 30,000 ล้านพารามิเตอร์รุ่นใหม่ ซึ่งออกแบบมาสำหรับงาน AI Agent ที่สามารถทำงานภายในพีซีหรือเวิร์กสเตชันของผู้ใช้ แทนที่จะต้องส่งทุกงานไปประมวลผลบนระบบคลาวด์
จุดสำคัญของการเปิดตัวครั้งนี้คือ Meta นำสถาปัตยกรรมแบบ dense ที่มีขนาดค่อนข้างกะทัดรัดมารวมกับน้ำหนักโมเดลแบบเปิด ความสามารถรองรับบริบทยาว และงานแบบ Agent โดยมุ่งให้นักพัฒนาสร้างระบบ AI ที่ให้เหตุผลหลายขั้นตอน เรียกใช้เครื่องมือ ทำงานกับข้อมูลหลายรูปแบบ และดำเนินเวิร์กโฟลว์ต่อเนื่องโดยเก็บการประมวลผลไว้บนฮาร์ดแวร์ภายในเครื่องมากขึ้น
Muse Glimmer มุ่งเป้า AI Agent ที่ทำงานในเครื่องอย่างต่อเนื่อง
Muse Glimmer เป็นโมเดล dense ขนาด 30,000 ล้านพารามิเตอร์จาก Meta Superintelligence Labs ที่สร้างมาสำหรับงานแบบ Agent ซึ่งสามารถทำงานต่อเนื่องบนเครื่องของผู้ใช้ Meta วางตำแหน่งโมเดลให้รองรับการให้เหตุผลหลายขั้นตอน การเขียนโค้ด การเรียกใช้เครื่องมือ ความเข้าใจข้อมูลหลายรูปแบบ และการกู้คืนเมื่อเวิร์กโฟลว์ล้มเหลว ไม่ได้จำกัดอยู่เพียงการถามตอบสั้น ๆ
โมเดล 30B ที่ออกแบบให้รันด้วย GPU เดียว
โมเดลถูกออกแบบให้รันภายในเครื่องด้วย GPU ที่มีความสามารถเพียงตัวเดียว ทำให้งาน AI บางประเภทที่มักพึ่งโครงสร้างพื้นฐานคลาวด์เข้ามาใกล้พีซีระดับผู้ใช้และเวิร์กสเตชันมากขึ้น Meta เปิดน้ำหนักโมเดลภายใต้สัญญาอนุญาต Apache 2.0 ซึ่งเปิดให้นักพัฒนานำไปใช้ ดัดแปลง และเผยแพร่ต่อ รวมถึงใช้ในโครงการเชิงพาณิชย์ภายใต้เงื่อนไขของสัญญาอนุญาต
Distill จาก Muse Spark พร้อม Context ขนาดยาว
Muse Glimmer ถูกสร้างด้วยการ distill จาก Muse Spark ซึ่งเป็นโมเดลที่ใหญ่กว่าของ Meta เอกสารจาก Meta และระบบนิเวศระบุว่าโมเดลรองรับ context มากกว่า 120,000 tokens และมีส่วนประมวลผลการรับรู้เฉพาะสำหรับข้อมูลหลายรูปแบบ การผสมผสานนี้มีเป้าหมายช่วยให้ Agent รักษาบริบทการทำงานจำนวนมากระหว่างลำดับการตัดสินใจ การเรียกเครื่องมือ และผลลัพธ์ที่ต่อเนื่องยาวนาน
AMD และ NVIDIA ผลักดันการรัน AI ในเครื่อง
พันธมิตรฮาร์ดแวร์เริ่มผลักดันการใช้งานในเครื่องแล้ว AMD รายงานผลทดสอบเบื้องต้นบน Windows สูงสุด 24 tokens ต่อวินาทีบนระบบ Ryzen AI Max+ 395 และสูงสุด 53 tokens ต่อวินาทีบน Radeon AI PRO R9700 เมื่อเปิด dFlash ขณะที่ NVIDIA ก็ชู Muse Glimmer สำหรับเวิร์กโฟลว์ Agent ในเครื่องบนแพลตฟอร์มของบริษัทเช่นกัน ประสิทธิภาพจริงจะแตกต่างกันตามการ quantize หน่วยความจำ ซอฟต์แวร์ และการกำหนดค่าฮาร์ดแวร์
อ่านเพิ่มเติม
เหตุผลที่ Local Open-Weight AI มีความสำคัญ
การรัน Agent ภายในเครื่องช่วยลดค่าใช้จ่าย token บนคลาวด์ที่เกิดซ้ำ และช่วยเก็บข้อมูลการทำงานไว้บนอุปกรณ์ของผู้ใช้มากขึ้น ซึ่งมีความสำคัญกับเวิร์กโฟลว์ที่เกี่ยวข้องกับไฟล์ในเครื่อง ข้อความ หรือข้อมูลกรรมสิทธิ์ นักพัฒนายังควบคุม inference การปรับแต่ง และการเชื่อมต่อระบบได้มากขึ้น อย่างไรก็ตาม โมเดล 30B ยังคงต้องการหน่วยความจำจำนวนมากและฮาร์ดแวร์ที่มีประสิทธิภาพ จึงไม่ได้หมายความว่าจะทำงานได้ดีเท่ากันบนแล็ปท็อปทั่วไปทุกเครื่อง
Meta เตรียมเปิดน้ำหนัก Muse Spark 1.2
การเปิดตัว Glimmer ยังสะท้อนการกลับมาผลักดันโมเดล open-weight ของ Meta โดย Mark Zuckerberg ระบุว่าบริษัทมีแผนเปิดตัว Muse Spark 1.2 รุ่น open-weight ซึ่งเป็นโมเดลที่ทรงพลังกว่าในเร็ว ๆ นี้ สำหรับนักพัฒนา Glimmer จึงเป็นทั้งโมเดล local ที่ใช้งานได้ในปัจจุบัน และเป็นสัญญาณว่า Meta ต้องการเปิดตระกูล Muse ให้ใช้งานนอกระบบคลาวด์แบบปิดมากขึ้น
