Dream-7B - 香港大学とファーウェイ・ノアズアークがオープンソース化した拡散推論モデル。 - AiBoss

Dream-7Bとは何ですか？

Dream-7Bは、香港大学とファーウェイ・ノアズアーク・ラボが共同開発した拡散ベースの推論モデルです。現在、オープンソースの拡散ベースの大規模言語モデルとしては最も強力なモデルです。Dream-7Bの学習データは、テキスト、数学、コードを網羅しており、事前学習には5800億個のタグを使用し、256時間を要しました。Dream-7Bは、一般的なタスク、数学的タスク、プログラミングタスクにおいて優れた性能を発揮し、同規模の自己回帰モデル（Qwen2.5 7B、LLaMA3 8B）に匹敵するだけでなく、最新のDeepseek V3 671Bを凌駕する場合もあります。このモデルは、双方向の文脈モデリングと柔軟で制御可能な生成機能に基づくマスク拡散パラダイムを採用しており、生成されるテキストの全体的な一貫性を大幅に向上させています。

Dream-7Bの主な機能

強力なテキスト生成機能一般的なテキスト処理、数式処理、プログラミング処理において、同規模の自己回帰モデルよりも優れた性能を発揮する。
柔軟な発電方法テキスト生成順序は任意に設定できるため、ユーザーはニーズに応じて生成順序を指定できます。
非常に効率的な計画能力カウントダウンや数独など、複数の手順を必要とする計画作業において、非常に優れた性能を発揮します。
調整可能な生産品質ユーザーが拡散ステップ数を調整して、生成速度と品質のバランスを取ることをサポートします。

Dream-7Bの技術原理

拡散モデルアーキテクチャ離散拡散モデル（DM）に基づく拡散モデルは、従来の自己回帰モデルとは異なり、完全にノイズの多い状態から始まり、徐々にノイズを除去してテキストを生成します。拡散モデルのアーキテクチャは双方向のコンテキストモデリングをサポートし、順方向と逆方向の情報を統合することで、生成されるテキストの全体的な一貫性を大幅に向上させます。
マスク拡散パラダイムこのモデルは、マスク拡散パラダイムを用いて、すべてのマスクされたラベルのノイズを段階的に除去します。これにより、トレーニング中の自己回帰モデルの重みの整合性が向上し、トレーニングプロセスが高速化されます。
自己回帰モデルの初期化自己回帰モデル（Qwen2.5など）の重みを初期化に使用することは、拡散モデルをゼロから学習させるよりも効果的であり、拡散モデルの学習を加速させる。
状況適応型ノイズ再スケジュール各ラベルのコンテキスト情報に基づいてノイズレベルを動的に調整する、コンテキスト適応型ノイズ再スケジューリング機構を導入しました。これにより、モデルは各ラベルの学習プロセスをより細かく制御できるようになり、トレーニング効率が向上します。
柔軟なデコード戦略推論フェーズでは、拡散モデルは生成順序と拡散ステップ数を柔軟に調整し、速度と品質の動的なバランスを実現します。

Dream-7Bのプロジェクト住所

プロジェクト公式サイト：https://hkunlp.github.io/blog/2025/dream/
GitHubリポジトリ：https://github.com/HKUNLP/Dream
ハギングフェイスモデルライブラリ：https://huggingface.co/Dream-org
オンラインでデモを体験してください：https://huggingface.co/spaces/multimodalart/Dream

Dream-7Bの応用事例

テキスト生成と作成ニュース記事、ストーリー、コピーライティングなど、質の高い一般文書を作成し、豊かで一貫性のあるテキストコンテンツを提供する。
数学の問題を解く数学的問題の導出や数式の生成など、複雑な数学的問題を効率的に解決し、教育や科学研究のための補助ツールを提供する。
プログラミング支援ツール開発者がコードフレームワークを迅速に構築し、プログラミング上の問題を解決し、プログラミング効率を向上させるのに役立つプログラミングコードを生成します。
複雑なタスク計画これは、タスクスケジューリングや経路計画など、複数の制約と複数段階の推論を必要とするシナリオで使用されます。
柔軟なテキスト処理必要に応じて生成速度と品質を調整できるため、柔軟なテキスト処理を必要とする様々なアプリケーションに適しています。