Arctic - Snowflake オープンソースのエンタープライズグレードAI大規模モデル
Arcticは、クラウドコンピューティング大手SnowflakeのAI研究チームが開発した、高性能なオープンソースのエンタープライズグレードの大規模言語モデルです。この大規模モデルは480億（480B）ものパラメータを持ち、128人の精緻な専門家によって構築されています。
北極とは何ですか？
Arcticは、クラウドコンピューティング大手SnowflakeのAI研究チームが開発した、高性能なオープンソースのエンタープライズグレードの大規模言語モデルです。この大規模モデルは、480億個のパラメータと128個のきめ細かいエキスパートを持つハイブリッドエキスパートモデル（MoE）です。コスト効率、トレーニング効率、推論効率において大きな利点があり、SQL生成、プログラミング、命令実行などのエンタープライズタスクの実行に特に適しています。ArcticはApache 2.0ライセンスで提供されており、モデルの重みとコードへのオープンアクセスが可能で、データセットと研究成果もオープンソース化されています。
北極の主な特徴
- パラメータサイズArcticには480億個のパラメータがありますが、効率を向上させるために推論時には170億個のパラメータのみが有効になります。
- 技術アーキテクチャ本システムは、高密度トランスフォーマーと、それぞれ3億6600万個のパラメータを持つ128人の専門家によるMoEモデルを組み合わせたハイブリッドアーキテクチャを採用している。
- コンテキストウィンドウこのモデルは、トレーニング中に4Kのアテンションコンテキストウィンドウを使用しますが、より長いシーケンスの処理をサポートするために32Kに拡張する予定です。
- 研修費用Arcticのトレーニング計算予算は、最高レベルの大規模モデルの能力を実現するために、およそ200万ドル未満（つまり、3,000GPU週未満）に抑えられています。
- モデルライセンスArcticは、自由な利用と改変が可能なオープンなApache 2.0ライセンスの下でリリースされています。
- 主な用途企業向けに特化して設計されたこのソフトウェアは、SQL生成、プログラミング、命令準拠といったタスクの実行に優れており、カスタムエンタープライズモデルの作成に適しています。
北極圏のモデルアーキテクチャ
- 建築構成Arcticは、高密度トランスフォーマーとハイブリッドエキスパートモデル（MoE）の機能を組み合わせた、高密度MoEハイブリッドトランスフォーマーアーキテクチャを採用しています。
- 高密度コンバータースケールこのモデルには、100億個のパラメータを持つ高密度トランスフォーマーモデルが含まれています。
- 教育部建築規模MoE部分では、Arctic社は128人のきめ細かいエキスパートを設計し、それぞれが36.6億（36億6000万）個のパラメータを持っています。したがって、MoE部分のパラメータの総数は128×36億6000万、つまり約4700億（4700億）個になります。
- パラメータの総数高密度トランスフォーマーとMoE部分を組み合わせることで、Arcticのパラメータの総数は4800億（4800億、または4.8兆）に達します。
- アクティブなパラメータ選択推論プロセスにおいて、Arcticはトップ2ゲーティングメカニズムを使用して128人の専門家の中から最も適切な2人の専門家を選択します。つまり、常に約170億個のパラメータが有効になっていることになります。
- コミュニケーションとコンピューティングは重なり合うトレーニング効率を向上させるため、Arcticのアーキテクチャでは、トレーニング中に専門家間の通信オーバーヘッドを計算タスクと重複させることで、通信オーバーヘッドを隠蔽しています。
- 推論効率小さなバッチ（例えば、バッチサイズが1）を用いた対話型推論において、ArcticモデルはCode-Llama 70Bよりも4分の1、Mixtral 8x22Bよりも2.5分の1少ないメモリ読み出し回数で済むため、推論パフォーマンスの向上に貢献します。
- システム最適化ArcticはNVIDIAと協力し、TensorRT-LLMおよびvLLMチームの技術を活用してArcticの初期推論実装を提供し、FP8量子化技術を通じてArcticを単一のGPUノードで実行できるようにしました。
- 注意コンテキストウィンドウArcticはトレーニング中に4Kのアテンションコンテキストウィンドウを使用します。開発チームは、無限シーケンスの生成をサポートするためにアテンションシンクに基づいたスライディングウィンドウの実装を開発しており、将来的には32Kのアテンションウィンドウに拡張する予定です。
アークティックのパフォーマンス
Snowflakeは、ArcticをDBRX、Llama、Mixtralなどのモデルと、企業向けおよび学術向けのベンチマークで比較しました。Arcticは企業向けインテリジェンス指標で優れたパフォーマンスを示し、MMLUなどの一般知識ベンチマークでは最新モデルの一部より若干劣るものの、これらのベンチマークにおいても依然として競争力を維持しています。
企業指標Arcticは、以下のタスクにおいて、他のすべてのオープンソースモデルと比較して最高レベルのパフォーマンスを発揮します。
- コーディングコードの性能は、HumanEval+およびMBPP+ベンチマークを使用してテストされました。
- SQL生成Spiderを使用して、SQLクエリ生成能力のベンチマークテストを実施してください。
- 指示に従うIFEvalベンチマークは、複雑な指示に従う能力をテストする。
Arcticの使い方
Snowflake Arcticは現在、Hugging FaceやReplicateなどのプラットフォームで利用可能であり、今後、Snowflake Cortex、Amazon Web Services（AWS）、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity、Togetherなどのプラットフォームにも展開される予定です。