RTFM - フェイフェイ・リーのチームによって開発されたリアルタイム生成型世界モデル。

RTFMとは何ですか？

RTFM（Real-Time Frame Model）は、Fei-Fei Li氏のチームが開発したリアルタイム生成型ワールドモデルです。このモデルは単一のH100 GPU上で動作し、リアルタイムで3Dシーンを生成し、持続的なインタラクションをサポートします。RTFMは大量のビデオデータを視聴することで、照明、マテリアル、空間関係を学習し、物理ベースレンダリングの複雑な問題をデータ駆動型の知覚問題へと変換します。RTFMは各フレームに空間座標を割り当て、「コンテキスト操作」技術を用いて近傍のフレームのみに焦点を当てて新しい画像を生成することで、効率的かつ持続的なワールド構築を実現します。RTFMは未来のワールドモデルの可能性を示し、リアルタイムで持続的かつインタラクティブな仮想世界のための新たな技術的道筋を提供します。

RTFMの主な機能

• 3Dシーンのリアルタイムレンダリング単一の画像または少数の入力ビューから、反射、影、光沢などのさまざまな視覚効果をサポートした高品質な3Dシーンを生成します。
• 持続的な相互作用ユーザーは生成された世界と無期限にインタラクトできます。世界は視界から消えても消滅したり忘れ去られたりすることはありません。
• 高効率運転インタラクティブなフレームレートを実現するには、H100 GPUが1基あれば十分であり、これは現在のハードウェア環境に適している。
• 複数のシナリオに対応このモデルは、自然の風景から複雑な屋内環境まで、さまざまなシーンタイプに対応できます。

RTFMの技術原則

• エンドツーエンドの学習RTFMは、ニューラルネットワークに基づいた自己回帰拡散変換器です。大規模なビデオデータを用いてエンドツーエンドで学習され、明示的な3Dモデリングを行うことなく、入力フレームから新しい視点を持つ出力フレームを直接生成します。
• 空間記憶と状況に応じた操縦各フレームには空間座標（位置と向き）が割り当てられ、空間メモリが形成されます。新しいフレームを生成する際には、近傍のフレームのみがコンテキストとして取得されるため、メモリセット全体を処理する必要がなくなり、効率的な永続化が実現されます。
• データ駆動型レンダリングRTFMは、大量のビデオデータに含まれる光、影、素材、空間の関係性を学習することで、複雑な物理レンダリング問題をデータ駆動型の知覚問題に変換し、複雑な視覚効果を効率的に生成します。
• 動的拡張RTFMは、データ量とコンピューティングリソースの増加に合わせて継続的に拡張できるように設計されており、将来的に大規模なモデルやより高いパフォーマンスを実現するための基盤を提供します。

RTFMプロジェクトの住所

• プロジェクト公式サイト：https://www.worldlabs.ai/blog/rtfm
• オンラインでデモを体験してください：https://rtfm.worldlabs.ai/

RTFMの応用シナリオ

• ゲーム開発開発者は、豊かで多様なゲーム世界を迅速に作成し、プレイヤーに没入感のある体験を提供することができます。
• 仮想現実（VR）と拡張現実（AR）VR（仮想現実）やAR（拡張現実）アプリケーションでは、仮想環境や拡張現実内の仮想オブジェクトがリアルタイムで生成されるため、ユーザーは仮想コンテンツとより自然でスムーズなインタラクションを行うことができます。
• 映画およびテレビ制作RTFMは、高品質な仮想シーンや特殊効果を迅速に生成できるため、映画やテレビ制作におけるシーン構築や特殊効果合成を支援し、時間とコストを節約できます。
• 建築設計とビジュアライゼーションデザイナーは建築モデルの3Dビューをリアルタイムで生成できるため、デザインソリューションを迅速に提示し、クライアントがデザインの効果をよりよく理解するのに役立ちます。
• 教育する教育分野では、学生に没入型の学習体験を提供するために、仮想的な実験環境や歴史的シナリオが作成される。