LLaDA - 人民大学ヒルハウスAIとアント・フィナンシャルが共同で開発した、拡散ベースの大規模言語モデル。

LLaDAとは何ですか？

LLaDA（Large Language Diffusion with mAsking）は、中国人民大学高陵人工知能学院の李崇軒教授と温継栄教授のチームとAnt Groupが共同開発した、斬新な大規模言語モデルです。従来の自己回帰モデル（ARM）ではなく、拡散モデルフレームワークに基づいています。LLaDAは、前方マスキングと後方推論プロセスに基づいてテキスト分布をモデル化し、マスキング予測器としてTransformerを使用し、尤度下限を最適化することで生成タスクを実現します。LLaDAは、事前学習中に2.3兆個のラベル付きデータポイントを使用し、教師ありファインチューニング（SFT）によって指示への適合性を向上させます。LLaDAは、スケーラビリティ、コンテキスト学習、指示への適合性に優れ、逆推論タスクにおける従来のARMの「逆の呪い」問題を解決します。8パラメータ版は、複数のベンチマークテストでLLaMA3などの強力なモデルに匹敵し、拡散モデルが自己回帰モデルの代替として大きな可能性を秘めていることを示しています。

LLaDAの主な機能

• 効率的なテキスト生成高品質で一貫性のあるテキストコンテンツを生成でき、執筆、対話、コンテンツ作成などの場面に適しています。
• 強力なコンテキスト学習機能状況に応じて新しいタスクに迅速に適応する。
• 指示遵守機能人間の指示をより正確に理解し実行することができ、複数ターンの対話、質疑応答、タスク実行などのシナリオに適している。
• 双方向推論能力これは、従来の自己回帰モデルが抱える「逆転の呪い」を解決し、詩の完成問題のような順方向推論と逆方向推論の両方のタスクで優れた性能を発揮します。
• マルチドメイン適応性言語理解、数学、プログラミング、中国語理解など、複数の分野で非常に優れた性能を発揮し、幅広い応用性を持つ。

LLaDAの技術原理

• 拡散モデルフレームワークこのモデルは、前方マスキング処理（テキスト内のマーカーを段階的にマスキングする）と後方回復処理（マスキングされたマーカーを段階的に復元する）に基づいてテキストの分布をモデル化します。これにより、従来の自己回帰モデルの逐次生成の制約を回避し、非自己回帰的な方法でテキストを生成することが可能になります。
• マスキング予測器マスク予測器として標準的なTransformerアーキテクチャを使用することで、このモデルは部分的にマスクされたテキストシーケンスを入力として受け取り、すべてのマスキングマーカーを予測します。これにより、モデルは単なる左から右への一方向の生成ではなく、双方向の依存関係を捉えることができます。
• 尤度下限を最適化する最適化された尤度下限に基づいてモデルを訓練することは、生成モデリングにおける基本的な原則であり、大規模なデータとモデルパラメータの下でモデルのスケーラビリティと生成能力を保証する。
• 事前トレーニングと監督下での微調整LLaDAは、事前学習と教師ありファインチューニング（SFT）を組み合わせた手法に基づいています。事前学習段階では、大規模なテキストデータを用いて教師なし学習を行い、SFT段階では、ラベル付きデータを用いてモデルの指示に従う能力を向上させます。
• 柔軟なサンプリング戦略生成プロセスにおいて、LLaDAは生成品質と効率のバランスを取るために、さまざまなサンプリング戦略（ランダムマスキング、低信頼度マスキング、半自己回帰マスキングなど）をサポートしています。

LLaDAのプロジェクトアドレス

• プロジェクト公式サイト：https://ml-gsai.github.io/LLaDA
• GitHubリポジトリ：https://github.com/ML-GSAI/LLaDA
• arXiv技術論文：https://arxiv.org/pdf/2502.09992

LLaDAの応用シナリオ

• 複数回の対話インテリジェントな顧客サービス、チャットボットなどに使用され、スムーズな複数ターンのコミュニケーションをサポートします。
• テキスト生成文章作成支援、クリエイティブなコピーライティングなどに適しており、高品質なテキストを生成できます。
• コード生成これは、開発者がコードスニペットを生成したり、エラーを修正したりするのに役立ち、プログラミング効率を向上させます。
• 数学的推論これは数学の問題を解き、解法の手順を示し、教育分野でも活用できる。
• 言語翻訳多言語翻訳を実現し、異文化間コミュニケーションを促進する。