Yume 1.5 - 上海AI研究所と復旦大学が共同開発した、インタラクティブな世界生成モデル。

Yume 1.5とは何ですか？

上海人工知能研究所と復旦大学が開発したYume 1.5は、単一の画像またはテキストプロンプトから、リアルで連続的かつ探索可能な仮想世界を生成できるインタラクティブな世界生成モデルです。このモデルは、空間時間チャネルモデリング（TSCM）とリアルタイムアクセラレーション戦略を組み合わせることで、汎用性、レイテンシ、テキスト制御機能といった既存モデルの限界を克服しています。Yume 1.5は、テキストから世界へ、画像から世界へ、テキストベースのイベント編集の3つのモードをサポートしており、ユーザーはキーボードを使ってキャラクターやカメラの動きを制御できます。単一のGPUで12 FPSのリアルタイムレンダリングを実現したYume 1.5は、インタラクティブなパフォーマンスを大幅に向上させ、仮想環境やシミュレーションシステムに新たな可能性をもたらします。

Yume 1.5の主な特徴

• テキスト・トゥ・ワールドテキストによる説明を入力することで、ユーザーが対応する仮想世界を生成することをサポートします。
• 画像から世界へ単一の静止画像に基づいて、動的で探索可能な仮想世界を生成します。
• テキストベースのイベント編集ユーザーは、「幽霊が突然現れる」や「嵐が始まる」といったテキストコマンドを通して特定のイベントを発生させ、仮想世界でリアルタイムに展開されるイベントを観察することができる。
• リアルタイムのインタラクションと制御キーボード入力による仮想世界のリアルタイム探索に対応しており（例えば、WASDキーでキャラクターの移動を、矢印キーでカメラの方向を制御）、ユーザーは生成された世界を自由に移動し、さまざまな視点からシーンの変化を観察し、没入感のある体験を実現できます。
• 長時間のビデオ生成と一貫性このモデルは、時間的および視覚的な一貫性を維持しながら、無限に長いビデオコンテンツの生成をサポートします。時空間チャネルモデリング（TSCM）と自己強制技術を組み合わせることで、長尺シーケンス生成における一般的な品質劣化の問題に対処し、ビデオが長期間にわたって安定した状態を保つことを保証します。

Yume 1.5の技術的原理

• 統合型時空間チャネルモデリング（TSCM）Yume 1.5は、時空間チャネルモデリング技術を統合的に採用し、時空間圧縮とチャネル圧縮によって履歴フレームのGPUメモリ使用量を削減します。このモデルは、履歴フレームを時間方向と空間方向の両方でダウンサンプリングし、チャネル方向を圧縮した後、線形アテンションを用いて特徴を融合します。このアプローチにより、生成品質を維持しながら計算コストを大幅に削減できるため、長時間の動画生成がより効率的になります。
• リアルタイム高速化戦略Yume 1.5は、自己強制と強化されたテキスト埋め込みを組み合わせることで、推論中のエラー蓄積を低減します。モデルは、自身が生成した過去のフレームを予測条件として使用することで、エラーに対する堅牢性を向上させています。トレーニングプロセスを最適化することで、高速な推論を実現し、リアルタイムのインタラクティブなパフォーマンスを大幅に向上させています。
• テキスト制御イベント生成Yume 1.5は、テキストプロンプトを「イベント記述」と「アクション記述」に分解し、それぞれを個別に処理することで計算負荷を軽減します。混合データセットを用いた学習戦略により、テキストコマンドに基づいて特定のイベントをトリガーすることが可能になり、テキストベースのイベント生成機能を実現し、仮想世界のインタラクティブ性とダイナミズムを向上させます。
• システム最適化と交互トレーニングパラダイムYume 1.5は、ハイブリッドデータセットを用いた学習戦略を採用しており、交互に学習を行うパラダイムを組み合わせることで、世界生成と編集機能を同時に実現しています。学習中、モデルはテキストから動画への変換と画像から動画への変換を交互に行うことで、様々なタスクにおける全体的なパフォーマンスを向上させ、複雑な現実世界のシーン生成をより強力にサポートします。

Yume 1.5プロジェクトのアドレス

• プロジェクト公式サイト：https://stdstu12.github.io/YUME-Project/
• GitHubリポジトリ：https://github.com/stdstu12/YUME
• ハギングフェイスモデルライブラリ：https://huggingface.co/stdstu123/Yume-5B-720P
• arXiv技術論文：https://arxiv.org/pdf/2512.22096

Yume 1.5の応用事例

• 仮想現実と拡張現実（VR/AR）Yume 1.5は没入感のある仮想世界を生成し、ユーザーがVR/ARデバイスを通して自由に探索したり操作したりすることを可能にするため、仮想観光、教育、エンターテイメント体験に適しています。
• ゲーム開発Yume 1.5では、ゲーム開発者が動的なゲームシーンをリアルタイムで生成および編集できるようになり、テキストコマンドを使用して特定のイベントをトリガーする機能をサポートし、ゲームの多様性とプレイアビリティが向上します。
• 映画およびテレビ制作このモデルは、映画やテレビのポストプロダクションにおいて、仮想シーンや特殊効果を迅速に生成するために使用できます。テキストによる説明に基づいて特定の環境を生成することで、制作コストと時間を削減できます。
• 建築設計と都市計画Yume 1.5は、設計図やテキストによる説明に基づいて動的な都市環境を生成することができ、建築家や都市計画家がバーチャルツアーを実施したり、解決策を評価したりするのに役立ちます。
• 教育するYume 1.5は、歴史的な場面や科学実験環境などの仮想コンテンツを生成でき、学生に没入型の学習体験を提供する。