开源 MoE 模型 Mixtral 8x7B 性能超过 GPT-3.5

大模型创业公司 Mistral AI 终于介绍了前两天“开源”的MoE 模型 Mixtral 8x7B。

Mistral AI 用「磁链链接」开源了 87 GB 的 8x7B MoE 模型

官方称,Mixtral 8x7B 是开放权重的高质量稀疏混合专家模型 (SMoE),采用 Apache 2.0 License 开源。在大多数基准测试中,Mixtral 的成绩都优于 Llama 2-70B,且推理速度提升了 6 倍。而且在大多数标准基准测试中超过 GPT-3.5。

因此,Mistral AI 称 Mixtral 是最强大的开放权重模型,也是成本/性能权衡方面的最佳模型。

Mixtral 主要特性

• 32k上下文 • 支持英语、法语、意大利语、德语和西班牙语 • 性能超过 Llama 2 系列和GPT-3.5 • 在代码生成方面具有强劲性能 • 在 MT-Bench 上获得 8.3 分

Mixtral 作为稀疏混合专家网络,是一个纯解码器模型,其中前馈块从 8 组不同的参数组中选择。在每一层,对于每个 token,路由网络选择两组“专家”来处理 token 并相加地结合它们的输出。

Mixtral 总共有 45B 个参数,但每个 token 只使用 12B 个参数。因此,它以与 12B 模型相同的速度和成本处理输入和生成输出。

更多细节查看:https://mistral.ai/news/mixtral-of-experts/