Meta AI 在周二发布了最新一代开源大模型 Llama 2。相较于今年 2 月发布的 Llama 1，Llama 2 的训练所用的 token 数量翻了一倍，达到了 2 万亿个，并且上下文长度限制也翻了一倍。Llama 2 包含了 70 亿、130 亿和 700 亿参数的模型。
此外，Meta 还宣布与微软云服务 Azure 合作，向全球开发者首发基于 Llama 2 模型的云服务。这次合作标志着 Meta 和微软的深度合作，并正式推出下一代开源大语言模型 Llama 2，同时宣布该模型将免费提供给研究和商业使用。相比于 Llama 1，Llama 2 的训练数据增加了 40%，上下文长度是 Llama 1 的两倍，并且采用了分组查询注意力机制。
具体来说，Llama 2 的预训练模型是在 2 万亿的 token 上进行训练的，微调 Chat 模型则是在 100 万个人类标记数据上进行训练的。
Meta AI Llama 2 官方介绍页面：https://941ai.com/zyur
Llama 2 官方论文地址：https://941ai.com/dyog
Llama Github 官方开源代码网址：https://github.com/facebookresearch/llama
致力于发现人工智能的新世界，
长期更新目前热门 AI 教程与动态！
持续关注 AI 探索站，与我们一起探索 AI 的神秘世界吧！
https://941ai.com/meta-llama2-1188.html