AB
AB
AiBoss

すべてのカテゴリ

project

ERNIE-4.5-21B-A3B-Thinking - Baiduが発表した思考モデル

ERNIE-4.5-21B-A3B-Thinkingは、Baiduが開発した推論タスクに特化した大規模言語モデルです。ハイブリッドエキスパート（MoE）アーキテクチャを採用し、合計210億個のパラメータを持ち、各トークンが30億個のパラメータをアクティブ化し、最大128Kの長い文字列をサポートしています。

ERNIE-4.5-21B-A3B-Thinkingとは？

ERNIE-4.5-21B-A3B-Thinkingは、Baiduが開発した推論タスクに特化した大規模言語モデルです。合計210億個のパラメータを持つハイブリッドエキスパート（MoE）アーキテクチャを採用し、各トークンが30億個のパラメータをアクティブ化し、128Kの長いコンテキストウィンドウをサポートすることで、複雑な推論タスクに適しています。このモデルは、テキストによる事前学習を通じてコアとなる言語バックボーンを構築します。推論機能強化後の事後学習フェーズでは、教師ありファインチューニング（SFT）や漸進的強化学習（PRL）などの手法を用いて、論理的推論、数学的計算、科学的問題解決能力を大幅に向上させています。効率的なツール呼び出しをサポートし、vLLM、Transformers 4.54+、FastDeployと統合できるため、プログラム合成、記号推論、マルチエージェントワークフローなどのシナリオに適しています。

ERNIE-4.5-21B-A3B-Thinkingの主な機能

  • 優れた推論能力ERNIE-4.5-21B-A3B-Thinkingは、論理的推論、数学的計算、科学的問題解決など、推論能力を必要とする分野で優れた性能を発揮します。複雑な推論タスクを処理し、ユーザーに正確な回答を提供できます。
  • 効率的なツール呼び出しこのモデルは構造化ツールと関数呼び出しをサポートしており、vLLM、Transformers 4.54以降、およびFastDeployと統合することで、より効率的なタスク実行と機能拡張を実現できます。
  • 長文の文脈理解128Kのコンテキストウィンドウを備えているため、長文のテキスト情報を理解・処理できます。長文の文書分析や多段階推論など、長いコンテキストを必要とする複雑な推論タスクに適しています。
  • マルチドメインアプリケーションプログラム合成、記号推論、マルチエージェントワークフローなどのシナリオで幅広く利用されており、さまざまな分野における複雑なタスクに対するソリューションを提供し、多様なビジネスニーズに対応しています。
  • オープンソースで使いやすいこれはApache-2.0ライセンスの下でオープンソースとして公開されており、Hugging Faceなどのプラットフォームで使用できるため、開発者が研究や商用展開を行いやすく、参入障壁が低くなります。

ERNIE-4.5-21B-A3B-Thinkingの技術的原則

  • ハイブリッドエキスパートアーキテクチャERNIE-4.5-21B-A3B-Thinkingは、モデルパラメータを複数のエキスパートモジュールに分割するハイブリッドエキスパート（MoE）アーキテクチャを採用しています。各入力トークンはエキスパートモジュールの一部のみをアクティブ化するため、モデル性能を維持しながら計算効率を大幅に向上させることができます。
  • 長いコンテキストウィンドウこのモデルは128Kのコンテキストウィンドウをサポートし、長いテキスト入力を処理できるため、複雑な推論や長文文書の分析など、長いコンテキストの理解を必要とするタスクにとって非常に重要です。
  • 推論能力向上トレーニング教師ありファインチューニング（SFT）や漸進的強化学習（PRL）などの手法を用いることで、モデルは特殊な推論能力を身につけ、論理的推論、数学的計算、科学的問題解決といったタスクにおいて優れた性能を発揮できるようになる。
  • 活性化メカニズムこのモデルは効率的なアクティベーションメカニズムを備えており、各トークンが3B個のパラメータをアクティブ化することで、大規模なパラメータの場合でも効率的な動作を保証しつつ、モデルの柔軟性と適応性を維持します。

ERNIE-4.5-21B-A3B-Thinking のプロジェクトアドレス

  • ハギングフェイスモデルライブラリ：https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking

ERNIE-4.5-21B-A3B-Thinkingの応用シナリオ

  • 複雑な推論タスク論理的推論、数学的計算、科学的問題解決など、深い思考力と推論力を必要とする場面に適しており、正確な分析と解決策を提供します。
  • コード生成と最適化コードを生成・最適化できるため、開発者のプログラミング効率向上に役立ち、プログラム合成や記号推論などのタスクにも適している。
  • マルチエージェントワークフローマルチエージェント連携をサポートしており、複雑な自動化ワークフローを構築してタスク実行効率を向上させるために使用できます。
  • 長文分析広いコンテキストウィンドウを備えているため、長文文書の分析や複雑なテキスト推論といったタスクを処理でき、学術研究やビジネスレポート分析などのシナリオに適しています。
  • ツールの呼び出しと統合構造化されたツールおよび関数呼び出しをサポートし、複数のプラットフォームやツールとの統合が可能で、アプリケーションシナリオを拡張し、多様なビジネスニーズに対応します。
戻る