Ling-V2 - Ant Financialが発表した大規模言語モデルシリーズ。 - AiBoss

Ling-V2とは何ですか？

Ling-V2は、Ant Financialチームが開発したMoEアーキテクチャに基づく大規模言語モデル群です。最初のバージョンであるLing-mini-2.0は、合計160億個のパラメータを持ち、入力タグごとに14億個のパラメータのみが有効化されています。このモデルは、20兆個の高品質データタグで学習され、多段階の教師ありファインチューニングと強化学習によって強化されており、複雑な推論と指示追従において優れた性能を発揮します。Ling-mini-2.0は、1/32の活性化率を持つMoEアーキテクチャを使用して、7倍相当の高密度パフォーマンスを実現し、高速な生成速度、高い学習および推論効率、そしてオープンソースのFP8効率の高い学習ソリューションを誇ります。継続的な学習をサポートするために複数の事前学習チェックポイントを提供しており、MoE研究の理想的な出発点となっています。

Ling-V2の主な機能

優れた推論能力コーディング、数学、および分野横断的な知識集約型推論タスクにおいて非常に優れた性能を発揮し、10億未満のデータポイントを持つ高密度モデルや、より大規模なMoEモデルと比較して、優れた推論能力を示しています。
高効率MoEアーキテクチャは、活性化率1/32で、密モードにおいて7倍相当のパフォーマンス向上を実現します。14億個のパラメータを活性化することで、7億～8億個の密モデルと同等のパフォーマンスが得られます。単純な質問応答シナリオでは、生成速度は300トークン/秒以上に達し、128Kのコンテキスト長を処理する場合、相対的な速度向上は7倍以上になります。
非常に効率的なトレーニングソリューショントレーニングプロセス全体では、FP8混合精度トレーニングを使用します。タイル/ブロック単位のFP8スケーリングに基づいたオープンソースのFP8トレーニングソリューションが提供され、さらにFP8オプティマイザを導入することで、極めて高いメモリ最適化を実現しています。8/16/32個の80G GPUでは、LLaMA 3.1 8BおよびQwen3 8Bと比較して、トレーニングスループットが大幅に向上しています。
オープンソース戦略学習済みバージョンの公開に加え、より詳細な研究や幅広い応用を支援するため、事前学習済みのチェックポイント5つがオープンソースとして公開されました。

Ling-V2の技術原理

教育省建築ハイブリッドエキスパート（MoE）アーキテクチャに基づき、モデルは複数のエキスパートネットワークに分解され、各入力ラベルに対して一部のエキスパートのみが活性化されることでモデルのスパース性を実現し、高いパフォーマンスを維持しながら計算効率を向上させます。
最適化された設計モデルのパフォーマンスと効率をさらに向上させるために、専門家の粒度、共有専門家比率、アテンション比率、非支援損失＋シグモイドルーティング戦略、MTP損失、QKノルム、セミRoPEなどの側面で経験的な最適化が行われました。
FP8 混合精密訓練トレーニング中は、FP8混合精度が使用されます。1兆個以上のトレーニングラベルを用いた実験では、BF16と比較して損失曲線と下流ベンチマーク性能はほぼ同一でした。同時に、FP8トレーニングソリューションはオープンソースであるため、限られた計算リソースでも効率的な継続的事前トレーニングとファインチューニングをコミュニティが実行できます。
多段階トレーニングこのモデルは、20兆個を超える高品質なラベル付きデータポイントで学習され、多段階の教師ありファインチューニングと強化学習によって強化されており、複雑な推論と指示に従う能力において大幅な改善を実現しています。

Ling-V2プロジェクトのアドレス

GitHubリポジトリ：https://github.com/inclusionAI/Ling-V2
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/inclusionAI/ling-v2-68bf1dd2fc34c306c1fa6f86

Ling-V2の応用シナリオ

自然言語処理（NLP）タスクテキスト分類、感情分析、機械翻訳など、さまざまな自然言語処理タスクを効率的に処理し、正確かつ効率的なソリューションを提供します。
インテリジェントな顧客サービスインテリジェントな顧客サービスのコアエンジンとして、ユーザーからの質問に迅速に対応し、正確な回答を提供することで、ユーザーエクスペリエンスと顧客サービスの効率性を向上させます。
コンテンツ作成コンテンツ制作を支援し、ニュース記事、創作文、広告コピーなどの高品質なテキストコンテンツを生成することで、クリエイターの効率と品質向上に貢献します。
教育教育分野では、インテリジェントチュータリング、宿題の自動採点、個別学習プランなど、様々な用途で活用されており、生徒と教師に個別の教育支援を提供する。
健康管理Ling-V2は医療テキストデータを処理する能力があり、医師の症例分析や医学文献の検索などを支援し、医療意思決定の精度と効率性を向上させます。