Meta发布Muse Glimmer:面向本地运行的30B开放权重AI模型

作者
KOMCHAD
作者KOMCHAD
KOMCHAD นำเสนอข่าวไอที AI สมาร์ตโฟน Gadget คอมพิวเตอร์ ความปลอดภัยไซเบอร์ และนวัตกรรมล่าสุดในภาษาไทย

Meta发布Muse Glimmer:面向本地运行的30B开放权重AI模型
Meta发布了Muse Glimmer,这是一款拥有300亿参数的新型开放权重人工智能模型,目标是在个人电脑和工作站上本地运行智能体工作负载,而不是让所有任务都依赖云端处理。

此次发布的重要之处在于,Meta把相对紧凑的dense架构与开放权重、长上下文能力和智能体工作方式结合起来。开发者可构建能够进行多步骤推理、调用工具、处理多模态信息并持续执行工作流的AI系统,同时让更多计算留在本地硬件上。

Muse Glimmer瞄准常驻本地AI智能体
Muse Glimmer是Meta Superintelligence Labs推出的300亿参数dense模型,专为能够持续运行在用户设备上的智能体工作负载打造。Meta将其定位于多步骤推理、编程、工具调用、多模态理解以及工作流失败后的恢复,而不仅仅是短问短答。

30B模型设计为单GPU本地运行
该模型被设计为可在一块性能足够的GPU上本地运行,让过去通常依赖云基础设施的一类AI任务更接近消费级PC和工作站。Meta以宽松的Apache 2.0许可证提供模型权重,开发者可在遵守许可条款的前提下使用、修改和再分发,包括商业项目。

由Muse Spark蒸馏并支持长上下文
Muse Glimmer由Meta更大的Muse Spark模型蒸馏而来。Meta及生态资料显示,其上下文窗口超过120,000 tokens,并配有用于多模态输入的专用感知组件。这一组合旨在让智能体在长时间的决策链、工具调用和结果处理中保持大量工作上下文。

AMD与NVIDIA推动本地部署
硬件合作伙伴已经开始推广本地部署。AMD公布的Windows初步测试显示,Ryzen AI Max+ 395系统最高可达24 tokens/秒,启用dFlash的Radeon AI PRO R9700最高可达53 tokens/秒。NVIDIA也强调Muse Glimmer可用于其平台上的本地智能体工作流。实际性能会随量化方式、内存、软件栈和硬件配置而变化。

本地开放权重AI为何重要
本地运行智能体可以降低持续产生的云端token成本,并让更多工作数据保留在用户设备中。这对于涉及本地文件、消息或专有资料的工作流尤其重要,同时也让开发者更能控制推理、定制和集成。不过,30B模型仍需要较大的内存和较强硬件,并不意味着它能在每一台普通笔记本上都以同样水平运行。

Meta还将推出Muse Spark 1.2开放权重版
Glimmer的发布也表明Meta重新加强开放权重战略。Mark Zuckerberg表示,公司计划很快发布更强大的Muse Spark 1.2开放权重版本。对开发者而言,Glimmer既是现在即可使用的本地模型,也显示Meta希望让更多Muse系列模型走出封闭的纯云端模式。

分享本文
作者KOMCHAD
关注:
KOMCHAD นำเสนอข่าวไอที AI สมาร์ตโฟน Gadget คอมพิวเตอร์ ความปลอดภัยไซเบอร์ และนวัตกรรมล่าสุดในภาษาไทย
发表评论