Mixtral 8x22B 为开放模型树立了新基准

Mistral AI 发布了Mixtral 8x22B,这为开源模型在性能和效率方面树立了新的基准。该模型拥有强大的多语言能力,以及卓越的数学和编码能力。

Mixtral 8x22B采用稀疏混合专家(SMoE)模型架构,在激活状态下仅使用其1410亿参数中的390亿个。 GPT4.0，Google Play，Claude，Overleaf， Midjourney, OF, X等等平台现已可通过WildCard订阅。

除了高效之外,Mixtral 8x22B还精通多种主要语言,包括英语、法语、意大利语、德语和西班牙语。它在技术领域也有出色的表现,具有强大的数学和编码能力。值得注意的是,该模型支持原生函数调用,并配有”受约束输出模式”,有助于大规模应用程序开发和技术升级。

凭借强大的64K令牌上下文窗口,Mixtral 8x22B确保从大量文档中精确地提取信息,进一步吸引了企业级应用,因为处理大量数据集已成为常规操作。

为了培养协作和创新的人工智能研究环境,Mistral AI已经在Apache 2.0许可下发布了Mixtral 8x22B。这种高度宽松的开源许可确保了无限制的使用,并促进了广泛的采用。

从统计角度来看,Mixtral 8x22B优于许多现有模型。在标准行业基准测试中的头对头比较中 - 从常识、推理到特定主题知识 - Mistral的新创新都表现出色。Mistral AI发布的数据显示,Mixtral 8x22B在关键的推理和知识基准测试中的各种语言环境中,显著优于LLaMA 2 70B模型。

此外,在编码和数学领域,Mixtral继续在开源模型中占据主导地位。更新的结果显示,在数学基准测试中,Mixtral模型的表现得到了显著改善,这得益于模型的指令版本的发布:

在 AI 作用日益扩大的时代,Mixtral 8x22B 凭借其高性能、高效率和开放可访问性,在民主化先进 AI 工具方面迈出了重要的一步。