Meta AI与微软云服务Azure合作发布官方开源大语言模型Llama 2，并可免费商用

Meta AI 在周二发布了最新一代开源大模型 Llama 2。相较于今年 2 月发布的 Llama 1，Llama 2 的训练所用的 token 数量翻了一倍，达到了 2 万亿个，并且上下文长度限制也翻了一倍。Llama 2 包含了 70 亿、130 亿和 700 亿参数的模型。

此外，Meta 还宣布与微软云服务 Azure 合作，向全球开发者首发基于 Llama 2 模型的云服务。这次合作标志着 Meta 和微软的深度合作，并正式推出下一代开源大语言模型 Llama 2，同时宣布该模型将免费提供给研究和商业使用。相比于 Llama 1，Llama 2 的训练数据增加了 40%，上下文长度是 Llama 1 的两倍，并且采用了分组查询注意力机制。

具体来说，Llama 2 的预训练模型是在 2 万亿的 token 上进行训练的，微调 Chat 模型则是在 100 万个人类标记数据上进行训练的。

Meta AI Llama 2 官方介绍页面：https://941ai.com/zyur

Llama 2 官方论文地址：https://941ai.com/dyog

Llama Github 官方开源代码网址：https://github.com/facebookresearch/llama