project
Wenxin 5.1 - Baiduの主力大規模言語モデル
ERNIE 5.1は、Baiduの主力大規模言語モデルであり、ERNIE 5.0の知識蒸留とOnce-for-Allの弾力的なトレーニングフレームワークに基づいており、事前トレーニングコストを類似モデルの業界平均の6%にまで削減しています。
Wenxin 5.1とは何ですか?
ERNIE 5.1は、Baiduの主力大規模言語モデルです。ERNIE 5.0の知識蒸留とOnce-for-Allの弾力的なトレーニングフレームワークをベースに、事前学習コストを同規模の業界標準モデルの6%に削減しています。エージェントベースのタスク、深層検索、数学的推論、クリエイティブライティングにおいて優れた性能を発揮し、Arena検索ランキングでは中国国内で1位、世界で4位にランクインしています。独立した完全非同期の強化学習と多段階オンラインポリシー蒸留技術を採用し、ERNIE公式サイト、Qianfan API、Xingheコミュニティを通じてアクセス可能で、国内大規模言語モデルにおけるコスト効率のベンチマークとなっています。
Wenxin 5.1の主な機能
-
エージェントの卓越した能力τ3-benchおよびSpreadsheetBench-Verifiedベンチマークにおいて、その性能はDeepSeek-V4-Proを上回り、トップクラスのクローズドソースモデルのレベルに迫ります。
-
徹底的な調査をリードする1223点というスコアを獲得したこの検索エンジンは、Arenaの検索ランキングで世界第4位、中国国内では第1位にランクインし、複雑な情報を検索し、知識について推論する能力を示した。
-
世界に関する知識と論理的思考力の卓越性そのGPQAおよびMMLU-Proベンチマークは、トップクラスのクローズドソースモデルに匹敵するものであり、AIME26数学競技スコア99.6は、Gemini-3.1 Proに次ぐ2位である。
-
卓越したクリエイティブライティングスキル社内レビューによると、Gemini 3.1 Proに匹敵する性能を持ち、中国のテキスト分野では1位を獲得しており、プロのライターやコンテンツプラットフォームから広く認知されている。
-
究極のコスト効率多次元弾性事前学習技術に基づき、事前学習コストは業界の同規模モデルのわずか6%に抑えられ、同等の性能レベルにおいて最小の学習オーバーヘッドを実現しています。
文心技術原理 5.1
-
一度限りの柔軟なトレーニングフレームワーク従来の手法では、異なるスケールのモデルを個別に事前学習させる必要がありました。Wenxin 5.0は、動的サンプリング機構を用いて、単一の事前学習プロセスで異なるパラメータを持つ多数のサブモデルを同時に最適化し、複数のパラメータスケールと計算コストを網羅するサブモデル行列を構築します。そして、Wenxin 5.1は、そこから最適なサブ構造を抽出し、その知識を継承します。
-
多次元弾性圧縮弾性深度に関しては、異なる深度のサブモデルが重みを共有できるように、一部のTransformerレイヤーがランダムにスキップされます。弾性幅に関しては、MoEエキスパートが動的にマスクされ、残りのエキスパートがより多様なタスクを実行するように強制されます。弾性スパース性に関しては、推論オーバーヘッドとパフォーマンスの動的なトレードオフを実現するために、可変Top-kルーティングによってアクティブ化されたエキスパートの数が柔軟に調整されます。
-
完全に非同期な強化学習を分離するRLコントローラを中核とするこのシステムでは、トレーニング、推論、報酬、エージェントループという4つのサブシステムの制御プレーンが完全に分離されています。各サブシステムは独立して展開され、スケールアップまたはスケールダウンが可能です。推論とトレーニングは自然なパイプラインを形成し、互いに完全にオーバーラップおよびマスキングできるため、長期的な非同期トレーニングのための高度にスケーラブルな基盤が構築されます。
-
FP8トレーニングプッシュの一貫性最適化PaddlePaddleのトレーニングと推進を統合したフレームワークに基づき、強化学習におけるトレーニングと推進の精度偏差を最小限に抑えるために、統一されたFP8低精度演算子ライブラリが実装されています。また、MoEモデル向けにRollout Router Replayテクノロジーが最適化され、2段階の計算と通信マスキングおよび動的ビット圧縮により、K3 KLダイバージェンスが50%削減されています。
-
多段階のOPD研修パイプライン統一されたSFT初期化を採用した後、コード、推論、エージェントの分野の専門家モデルを並行してトレーニングし、相互干渉を回避します。次に、トークンレベルの逆KLのオンラインポリシー蒸留を通じて、複数の専門家の能力を統一されたパラメータ空間に統合します。最後に、一般的なオンラインRLを通じて、オープンチャットやクリエイティブライティングなどの一般的な能力を向上させます。
Wenxin 5.1の使い方
- 公式サイトのチャット体験文欣一燕の公式サイトにアクセスして、モデル本人と直接交流しましょう。
- API呼び出しサービスQianfan大型モデルプラットフォーム(https://console.bce.baidu.com/qianfan/)を使用し、model_nameをernie-5.1に変更して呼び出します。
- 遊び場体験星河コミュニティ(https://aistudio.baidu.com/playground)にログインして、Wenxin 5.1のオンライン体験を開始してください。
Wenxin 5.1の主な利点
-
究極のコスト効率事前学習コストは、業界の同規模モデルのわずか6%であり、総パラメータ数は1/3に、活性化パラメータ数は1/2に圧縮され、同等の性能レベルで最小の学習コストを実現しています。
-
検索機能が中国で1位にランクインArena Searchは、1223点のスコアで世界第4位、中国国内では第1位となり、GPT-5.5 Searchなどのモデルを凌駕した。
-
エージェントとしての能力と推論能力は非常に優れている。τ3-benchはDeepSeek-V4-Proを上回り、AIME26スコア99.6はGemini-3.1 Proに近く、複雑なタスクを分解してツールを呼び出す能力を備えています。
-
業界で認められた創造力テキストアリーナで13位(中国国内1位)にランクインしており、Phoenix Smart MediaやOrigin Conceptといったプロのコンテンツプラットフォームやライターから高い評価を受けており、脚本の構成力と感情表現力に優れている。
-
高度なトレーニングアーキテクチャ独立した完全非同期型の強化学習インフラストラクチャは、独立したスケーリングと異種リソースのスケジューリングをサポートし、FP8トレーニングプッシュの一貫性により、長期トレーニングの安定性が保証されます。
Wenxin 5.1 のプロジェクトアドレス
- プロジェクト公式サイト:https://yiyan.baidu.com/blog/posts/ernie-5.1-0508-release/
Wenxin 5.1と類似の競合製品との比較
| 比較対象寸法 | ウェンシン 5.1 | DeepSeek-V4-Pro | Gemini-3.1 Pro |
|---|---|---|---|
| 開発チーム | 百度 | DeepSeek | |
| 事前研修費用 | 業界の同規模企業の6% | 正常レベル | 正常レベル |
| エージェントの能力(τ3-ベンチ) | 67.9 | 67.5 | 67.1 |
| AIME26 w/tools | 99.6 | 92.6 | 99.9 |
| GPQAスコア | 91.0 | 90.1 | 94.1 |
| 検索ランキング | アリーナは世界第4位、中国では第1位です。 | トップクラスではない | 不明 |
| テキストランキング | Text Arena #13 | 不明 | #5 |
| オープンソースの状況 | クローズドソースAPI | オープンソース/クローズドソース | 非公開ソース |
Wenxin 5.1の応用シナリオ
-
ディープサーチと知識研究複雑な情報検索、学術文献レビュー、学際的な知識整理など、高い精度が求められるシナリオに適しています。
-
エージェントの自動化タスクコード生成、テーブル処理、多段階ワークフロー設計、要件分析といった技術ソリューションの自動実行をサポートします。
-
クリエイティブコンテンツ制作脚本執筆、小説執筆、プロのコピーライティング、広告制作など、物語の論理展開とスタイルの一致が求められるコンテンツ業界にサービスを提供しています。
-
数学的および論理的推論競技レベルの数学問題、技術的な解決策の導出、論理検証といった、高度な推論を必要とするシナリオにも対応できます。
-
エンタープライズレベルのAI統合QianfanプラットフォームのAPIを介して企業ビジネスシステムに接続することで、顧客サービス、ナレッジベース、スマートオフィスなどのBエンドアプリケーションを構築できます。