HiDream-O1-World - Zhixiang Futureが発表したマルチモーダルなインタラクティブワールドモデル

HiDream-O1-Worldとは何ですか？

HiDream-O1-Worldは、HiDream.aiが独自開発したUiTアーキテクチャを基盤とする、ネイティブなマルチモーダルなインタラクティブワールドモデルです。テキスト、画像、インタラクティブコントロールなど、マルチモーダルな入力をサポートし、ローミング、編集、インタラクションという3つの主要機能を備えています。ワンクリックで、時空間的に一貫性があり、物理的に正確で、長期シミュレーションが可能な完全なワールドを生成できます。その核心的なブレークスルーは、「3D事前情報をメモリコンテキストに注入＋テスト時トレーニングによるオンライン適応」という共同設計にあり、長期インタラクション中のオブジェクトドリフト、シーン記憶喪失、物理的歪みといった問題を効果的に解決します。

HiDream-O1-Worldの主な機能

• マルチモーダル入力生成テキストによる説明、画像アップロード、インタラクティブな制御など、複数の入力方法に対応しており、ワンクリックで完全かつ質感豊かなインタラクティブな世界を生成できます。例えば、室内写真をアップロードするだけで、パノラマ画像を自動的に作成し、高精度のデジタルツイン空間を構築できます。
• 没入型ローミング本作は一人称視点と三人称視点の両方に対応しており、ユーザーはキャラクターを自由に操作し、カメラアングルを自在に調整できる。カメラの動きは終始安定しており、ドリフトもなく、照明や細部の変化も同期している。
• リアルタイム編集インタラクションキャラクターに掴む、走る、しゃがむ、ジャンプするなどの動作を実行させたり、環境の変化（雨や落下物などの動的なイベントの発生など）をスケジュールしたりすることができ、変更のたびに形状、照明、マテリアル、物理ロジックの全体的な一貫性を維持します。
• 多目的建築人間、動物、架空のキャラクターなど、様々なキャラクタータイプに対応し、それぞれの形態や動きのパターンに正確に適応します。
• 豊かな情景描写と様式化された創作都市の街並み、自然の風景、屋内空間といった現実のシーンを高精度で再現できるだけでなく、ファンタジー世界、アニメ、3Aゲームのレンダリングなど、多様なアートスタイルも生成できる。
• 長期的な時空間的一貫性「3D事前注入メモリ＋テスト時トレーニング」のメカニズムに基づき、視点切り替えを複数回繰り返しても、オブジェクトが消えたり、ずれたり、「忘れたり」することはありません。
• 物理的一貫性の保証衝突、遮蔽、重力、流体といった物理的な反応は、現実世界の因果関係の論理と一致しており、視覚的な物理法則の合理性は業界平均よりも13.6%高い。

HiDream-O1-Worldの使い方

• 入力方法を選択してください テキストによる説明（シーン設定など）の入力、参照画像（室内写真など）のアップロード、または対話型操作による直接開始という、3種類のマルチモーダル入力をサポートしています。
• ワンクリックで世界を生成 このモデルは、入力に基づいて空間構造、マテリアル照明、物理法則などを含む完全なインタラクティブな世界を自動的に構築します。画像をアップロードすると、パノラマ画像を自動的に作成し、デジタルツイン空間を生成することもできます。
• 散策と探検 一人称視点または三人称視点を選択して、キャラクターを自由に操作し、世界を歩き回らせ、視点の方向を自由に調整（プッシュ、プル、パン）し、環境の詳細や光と影の変化を観察できます。
• リアルタイムのインタラクティブ編集このモデルは、キャラクターに掴む、走る、しゃがむ、ジャンプするなどの動作を実行させたり、雨や落下物などの環境イベントをスケジュールしたりすることで、形状と物理法則における全体的な自己整合性を維持します。
• 長期シミュレーションと継続的な創造：このモデルは「メモリ＋TTT」メカニズムを利用することで、探索した空間構造を記憶し、世界状態を失うことなく複数回の相互作用と長期的な連続推論をサポートすることができます。

HiDream-O1-Worldのコアバリュー

• ネイティブなフルモーダルUiTアーキテクチャ独自開発のネイティブなフルモーダルアーキテクチャに基づき、単にマルチモーダルデータを繋ぎ合わせるのではなく、テキスト、画像、インタラクションを統一的に理解し生成することを実現します。
• 時空の一貫性における画期的な進歩同社は「3D事前情報をメモリコンテキストに注入＋テスト時トレーニングのオンラインメンテナンス」という協調的なメカニズムを先駆的に導入し、長期的な相互作用中にオブジェクトがずれたり、消えたり、変形したりしないようにした。
• 身体の一貫性における画期的な進歩トレーニング段階では、物理シミュレーションデータに基づいて帰納的バイアス学習が行われます。推論段階では、シーンの物理的属性に対するTTTのオンライン適応により、視覚的な合理性が業界平均を13.6%上回ります。
• 最高レベルの評価結果初のWBench評価において、Naviのスコアチャートでトップに立ち、総合スコアは80.9点を獲得。物理特性（73.3点）と一貫性（88.0点）の両方で1位にランクインした。
• 柔軟なマルチモーダル入力テキストによる説明、画像のアップロード、インタラクティブな操作など、さまざまな入力方法に対応しており、ワンクリックでデュアルビューのローミングとリアルタイム編集を備えた完全な世界を生成できます。
• 性格とスタイルの一般化人間、動物、架空のキャラクターの形状や動きのリズムに正確に適応すると同時に、リアルなシーン再現や、アニメやAAAゲームなどの多様なアートスタイルにも対応します。

HiDream-O1-Worldプロジェクトの住所

• プロジェクト公式サイト：https://yanghb22-fdu.github.io/DreamWorld/
• 技術論文：https://yanghb22-fdu.github.io/DreamWorld/asserts/DreamWorld.pdf

HiDream-O1-Worldと類似の競合製品との比較

HiDream-O1-Worldの応用事例

• AIインタラクティブ映画とゲームユーザーは受動的な視聴者から物語の能動的な参加者へと変貌し、探索を進めるにつれて世界がリアルタイムで進化し、ストーリーが分岐していく。映画のような映像美の中で、複数のエンディングが用意された没入感のある体験を楽しむことができる。
• エンボス加工されたインテリジェントシミュレーション物理法則に従う高精度な都市、工場、屋内シミュレーション空間を構築し、高リスクな実世界でのテストに代わる、低コストで安全性の高い仮想テスト拠点をインテリジェントロボットのトレーニングに提供する。
• 3Dデジタルコンテンツ制作これにより、デザイナーやクリエイターは、3Dフィギュア、ホームシーン、アートスペースなどを迅速に生成でき、構造の微調整、瞬時のスタイル切り替え、インテリジェントな完成をサポートすることで、創造的なアイデアから完成品までの反復プロセスを大幅に短縮できます。
• 自動運転の仮想テストその目的は、実際の交通規則や物理法則を高度に再現した道路環境を構築し、異常気象や複雑な道路状況といった稀なシナリオをシミュレートし、自動運転アルゴリズムのトレーニングと検証を加速することである。
• 微視的な世界の生命シミュレーション微視的なスケールまで拡張することで、細胞の挙動やタンパク質の相互作用といった生命過程を正確にシミュレートし、創薬、疾患メカニズムの研究、生物学的実験のための全く新しいデジタルシミュレーションの道筋を提供する。