发布信息

Meta发布Llama 4 Scout和Maverick大模型,MoE架构提升AI训练效率

作者:软荐小编      2025-04-06 15:01:25     159

4 月 5 日是当地时间。meta 公司在这一天发布了最新的开源人工智能软件。该软件名为 Llama 4。首批大模型版本分别是 Llama 4 Scout 和 Llama 4 Maverick。这两款是该公司迄今最强大的 AI 大型语言模型(LLM)。

meta 表示,有一款更强大的大模型仍在训练中,它被命名为 Llama 4 Behemoth。这款模型将在 meta 的混合专家模型(MoE)架构中充当“新模型的老师”。

谷歌的无礼颠覆了什么__谷歌废物框架

meta 首次采用基于 Llama 软件的 MoE 模型架构。在这种模型中,单个 token 只会激活总参数的一部分。meta 宣称,MoE 架构在训练和推理过程中计算效率更高,在固定的训练 FLOPs 预算下,相较于密集模型能够提供更高的质量。

以 Llama 4 Maverick 模型为示例,此模型具备 170 亿激活参数以及 4000 亿总参数。meta 通过运用交替的密集层与混合专家(MoE)层,以提升推理效率。在这样的情形下,即便所有参数都被存储于内存之中,然而在对这些模型进行服务时,仅有总参数的一部分会被激活。

meta 最新大模型发布了,这意味着科技巨头在生成式人工智能大潮中的投资竞赛进一步升级。此前有报道称,meta 推迟了大模型的最新版本发布。原因是在开发过程中,Llama 4 在技术基准方面未达到 meta 的期望,尤其在推理和数学任务方面。

meta 公司创始人 CEO 马克·扎克伯格在 Instagtam 上的视频中称,我们的目标是缔造出处于世界领先地位的人工智能,要将其开源,并且让其能够普遍被使用,以便让世界上的每一个人都能从其中获得益处。他还认为,开源人工智能软件能够构建出领先的模型,而随着 Llama 4 的出现,这种情况开始得以呈现。

谷歌的 CEO 桑达尔·皮查伊在社交媒体上针对 Llama 最新模型的发布表达了祝贺。他说:“人工智能的世界始终充满着新奇与变化,不会让人感到乏味。在此,向 Llama 团队表示祝贺,希望他们能继续向前迈进!”

meta 会在 4 月 29 日举办首届 LlamaCon AI 大会。这家公司预估会在今年第二季度推出 meta AI 聊天机器人的独立应用程序。

meta 公司的首席产品官 Chris Cox 在上个月表明,Llama 4 会促使 AI 智能体得以发展,让其拥有更高级别的推理以及行动能力。这些 AI 智能体能够上网,并且可以处理大量对消费者和企业都有用的任务。

meta 正在大力投入 AI 基础设施。该公司打算今年花费 650 亿美元来扩建 AI 基础设施。其中或许包含一个在美威斯康星州中部建设的数据中心项目,此项目耗资近 10 亿美元。

meta 新模型发布之前,该公司人工智能研究主管乔尔·皮诺上周宣布离职。皮诺是 meta 公司顶尖的人工智能研究人员之一。从 2023 年开始,他一直领导着该公司的基础人工智能研究部门(FAIR)。他负责公司的前沿计算机科学相关研究,其中包括 meta 的开源 Llama 系列 AI 模型以及其他技术。

相关内容 查看全部