Ling-1T - Ant Groupがオープンソース化した大規模言語モデル

Ling-1Tとは何ですか？

Ling-1Tは、Ant Groupがオープンソース化した1兆パラメータ規模の言語モデルで、「非思考型フラッグシップモデル」として位置づけられています。MoE（Mixture of Experts）アーキテクチャをベースとし、1兆パラメータを誇り、推論イテレーションごとに約510億パラメータをアクティブ化し、128Kのコンテキスト長をサポートすることで、長文ドキュメントの処理に適しています。Ling-1Tは、限られた数の出力トークンで高品質な推論結果を直接提供することに重点を置いており、極めて高い推論効率を実現しています。プログラミング、数学的推論、知識理解、クリエイティブライティングなどのタスクにおいて卓越した性能を発揮し、オープンソースモデルの中でもトップクラスに位置づけられています。

Ling-1Tの主な機能

• 効率的な推論限られた数の出力トークンで高品質な推論結果を直接提供できるため、非常に高い推論効率を実現し、迅速な問題解決に適しています。
• 長文処理128Kのコンテキスト長をサポートし、長文ドキュメントの処理が可能で、法律、金融、科学研究などの分野における複雑な推論に適しています。
• クリエイティブライティングこのモデルは、コンテンツマーケティング、広告コピーライティング、その他のクリエイティブな業務のニーズを満たすために、クリエイティブなコピー、脚本、詩などを生成できます。
• 多言語対応英語をはじめとする様々な言語を処理するタスクをサポートしており、一定レベルの多言語対応能力を備えている。
• マルチタスク機能プログラミング支援、数学的問題解決、知識クイズ、複数ターン対話などのタスクにおいて優れた性能を発揮し、高品質なコードや設計を生成することができる。
• アプリケーション統合決済ソフトウェア、財務管理アシスタント、健康アシスタントなど、さまざまなツールとの統合をサポートし、インテリジェンスレベルを向上させます。

Ling-1Tの技術原理

• 教育省建築エキスパート混合モデル（MoE）アーキテクチャに基づき、合計1兆個のパラメータと256個のエキスパートで構成されています。推論ごとにアクティブ化されるパラメータは約510億個に過ぎず、高いパフォーマンスを維持しながら推論コストを大幅に削減します。最初の数層は密な構造を使用し、その後MoEに切り替えることで、より浅いネットワークにおける負荷の不均衡を軽減します。
• 高推論密度コーパス事前学習は、モデルが強力な論理密度と深い思考力を備えていることを確認するために、20兆トークンを超える高品質で推論密度の高いコーパスを使用して実施されました。事前学習は3つの段階で構成されています。
  • Pretrain Stage 110テラバイトの高知識密度コーパス。
  • Pretrain Stage 210Tの高推論密度コーパス。
  • Mid-trainingコンテキストを128Kに拡張し、思考連鎖コーパスを追加します。
• 高効率トレーニングトレーニングプロセス全体でFP8精度を使用します。BF16と比較して、FP8はGPUメモリを大幅に節約し、トレーニング速度を向上させることができます。1Tトークンを用いた比較実験では、損失バイアスはわずか0.1%でした。
• LPO最適化言語単位ポリシー最適化（LPO）手法では、文を最適化単位として使用することで、意味論的論理により合致し、モデルの推論能力と生成品質を向上させます。

Ling-1Tプロジェクトの住所

• ハギングフェイスモデルライブラリ：https://huggingface.co/inclusionAI/Ling-1T

Ling-1Tの応用事例

• プログラミング支援ツールこのモデルは高品質なコードスニペットを生成できるため、開発者は機能を迅速に実装し、プログラミング効率を向上させることができます。
• 数学的問題解決数学的推論と問題解決能力に優れており、競技問題のような複雑な数学的問題の解決において支援と援助を提供します。
• 知識に関するQ&Aこのモデルは高度な知識理解能力を備えており、様々な知識ベースの質問に正確に答えることができ、信頼できる情報を提供することができる。
• クリエイティブライティングこのモデルは、コンテンツ制作や広告コピーライティングのニーズを満たすために、クリエイティブなコピー、脚本、詩などを生成できます。