Meta AI 在周二发布了最新一代開源大模型 Llama 2。相較於今年 2 月發布的 Llama 1,Llama 2 的訓練所用的 token 數量翻了一倍,達到了 2 萬億個,並且上下文長度限制也翻了一倍。Llama 2 包含了 70 億、130 億和 700 億參數的模型。
此外,Meta 還宣布與微軟雲服務 Azure 合作,向全球開發者首發基於 Llama 2 模型的雲服務。這次合作標誌著 Meta 和微軟的深度合作,並正式推出下一代開源大語言模型 Llama 2,同時宣布該模型將免費提供給研究和商業使用。相比於 Llama 1,Llama 2 的訓練數據增加了 40%,上下文長度是 Llama 1 的兩倍,並且採用了分組查詢注意力機制。
具體來說,Llama 2 的預訓練模型是在 2 萬億的 token 上進行訓練的,微調 Chat 模型則是在 100 萬個人類標記數據上進行訓練的。
Meta AI Llama 2 官方介紹頁面:https://941ai.com/zyur
Llama 2 官方論文地址:https://941ai.com/dyog
Llama Github 官方開源代碼網址:https://github.com/facebookresearch/llama
致力於發現人工智能的新世界,
長期更新目前熱門 AI 教程與動態!
持續關注 AI 探索站,與我們一起探索 AI 的神秘世界吧!
https://941ai.com/meta-llama2-1188.html