project
OLMo - アレン人工知能研究所が開発した、大規模言語モデルのための完全オープンソースフレームワーク。
OLMo（Open Language Model）は、Allen AI（AI2、Allen Institute for AI）によって開発された、完全オープンソースの大規模言語モデル（LLM）フレームワークです。当初の設計目的は、オープンなコラボレーションを通じて学術研究を促進することでした。
OLMoとは何ですか？
OLMo（Open Language Model）は、Allen AI（AI2、Allen Institute for Artificial Intelligence）が開発した、完全オープンソースの大規模言語モデル（LLM）フレームワークです。オープンリサーチを通じて、学術界や研究者間の言語モデルに関する共同研究を促進するために設計されました。OLMoフレームワークは、データ、トレーニングコード、モデルの重み、評価ツールなど、さまざまなリソースを提供し、研究者が言語モデルへの理解を深め、改善することを可能にします。
OLMoの公式サイトへの入り口
- 公式プロジェクトホームページ：https://allenai.org/olmo
- GitHubリポジトリ:https://github.com/allenai/olmo
- ハグの顔のアドレス:https://huggingface.co/allenai/OLMo-7B
- 研究論文：https://allenai.org/olmo/olmo-paper.pdf
OLMoの主な特徴
- 大規模な事前学習データAI2 Dolmaデータセット（3兆個のタグを含む大規模なオープンコーパス）に基づいており、モデルに豊富な言語学習素材を提供する。
- 多様なモデルバリエーションOLMoフレームワークには4つの異なるモデルバリアントが含まれており、それぞれが少なくとも2兆個のトークンで学習されているため、研究者はさまざまな研究ニーズに合わせて多様な選択肢を利用できます。
- 詳細なトレーニングおよび評価リソースOLMoは、モデルの重みに加えて、完全なトレーニングログ、トレーニング指標、および500を超えるチェックポイントを提供しており、研究者がモデルのトレーニングプロセスとパフォーマンスをより深く理解するのに役立ちます。
- 開放性と透明性OLMoのコード、重み、および中間チェックポイントはすべてApache 2.0ライセンスの下で公開されており、研究者はこれらのリソースを自由に利用、変更、配布して、知識共有とイノベーションを促進することができます。
OLMoのモデル性能
OLMoの論文によると、OLMo-7Bモデルのゼロショット評価における性能は、Falcon-7B、LLaMA-7B、MPT-7B、Pythia-6.9B、RPJ-INCITE-7B、LLaMA-7Bなど、他のいくつかのモデルと比較された。
以下は、OLMo-7Bの主要タスクにおける比較結果です。
- 下流タスクの評価9つの主要タスクにおけるゼロサンプル評価において、OLMo-7Bは2つのタスク（科学的質問と因果推論）で最高の成績を収め、8つのタスクで上位3位以内に入りました。これは、OLMo-7Bがこれらのタスクにおいて高い競争力を持っていることを示しています。
- パープレキシティに基づく評価Paloma評価フレームワークにおいて、OLMo-7Bは複数のデータソースにわたるパープレキシティ（1バイトあたりのビット数）においても、他のモデルに匹敵する性能を示しました。特に、コード関連のデータソース（Dolma 100プログラミング言語など）においては、OLMo-7Bは他のモデルを大きく上回る性能を発揮しました。
- 追加タスク評価追加の6つのタスク（headqa en、logiqa、mrpcw、qnli、wic、wnli）においても、OLMo-7Bはゼロショット評価で他のモデルを上回るか、ほぼ同等の性能を発揮しました。