Meta AI は火曜日に最新世代のオープンソース大規模モデル Llama 2 を発表しました。今年 2 月に発表された Llama 1 と比べて、Llama 2 のトレーニングに使用されるトークンの数は 2 倍に増え、2 兆個に達し、コンテキストの長さ制限も 2 倍になりました。Llama 2 には 70 億、130 億、700 億のパラメータを持つモデルが含まれています。
さらに、Meta は Microsoft のクラウドサービス Azure と提携し、Llama 2 モデルを基にしたクラウドサービスを世界の開発者に最初に提供することを発表しました。この提携は Meta と Microsoft の深い協力を象徴し、次世代のオープンソース大規模言語モデル Llama 2 を正式に発表し、このモデルを研究および商業利用に無料で提供することを発表しました。Llama 2 は Llama 1 と比べてトレーニングデータが 40% 増加し、コンテキストの長さは Llama 1 の 2 倍になり、グループ化されたクエリのアテンションメカニズムが採用されています。
具体的には、Llama 2 のプレトレーニングモデルは 2 兆のトークンでトレーニングされ、チャットモデルのファインチューニングは 100 万の人間の注釈付きデータでトレーニングされます。
Meta AI Llama 2 公式紹介ページ：https://941ai.com/zyur
Llama 2 公式論文アドレス：https://941ai.com/dyog
Llama Github 公式オープンソースコードウェブサイト：https://github.com/facebookresearch/llama
人工知能の新しい世界を発見するために、
現在の人気のある AI チュートリアルと動向を長期間更新しています！
AI Exploration Station を継続的にフォローし、AI の神秘的な世界を一緒に探索しましょう！
https://941ai.com/meta-llama2-1188.html