project
Kairos-HomeWorld - Daxiao Roboticsが発表した、家全体を網羅する3Dインタラクティブワールドモデル
Kairos-HomeWorldは、Daxiao Roboticsが香港中文大学および深セン河楷学院と共同開発した、世界初の完全インタラクティブな3D住宅モデルです。このモデルは、テキストから構造へのシームレスな移行を実現するために、4段階の階層的生成アーキテクチャを採用しています。
カイロス・ホームワールドとは何ですか?
Kairos-HomeWorldは、Daxiao Robotics、香港中文大学、深セン河濤学院が共同開発した、世界初の完全インタラクティブな3D住宅モデルです。このモデルは、4段階の階層型生成アーキテクチャを採用し、テキストから構造まで、完全な3D住宅シーンをエンドツーエンドで生成することで、物理的な整合性を確保し、インタラクティブなオブジェクトを実現します。また、30万件の実際の中国の住宅間取り図と5,000件の住宅全体シミュレーションシーンのオープンソースデータセットを同時に公開し、身体化された知能のための地域に特化したトレーニング基盤を提供します。
カイロス・ホームワールドの主な機能
- フルハウス3Dシーン生成ワンクリックで、家全体の整合性があり、物理的に妥当で、完全に機能する3Dシーンを生成でき、複数の部屋を持つ複雑な間取りにも対応し、30㎡のワンルームマンションから200㎡を超える大型マンションまで、あらゆるサイズをサポートします。
- オブジェクトレベルでの完全なインタラクティブ性各シーンには、平均して15個以上の物理的特性(密度、ヒンジ構造、材質など)を持つインタラクティブなオブジェクトが含まれており、これらはシミュレーションエンジンに直接インポートして、掴む、移動させる、積み重ねる、開閉するなどの操作を行うことができます。
- 中国人家族専用のデータセットこのオープンソースプロジェクトには、構造化され注釈が付けられた30万点の実際の住宅間取り図と、5,000点の住宅全体のシミュレーションシーンが収録されており、南北換気、独立したキッチン、独立したバルコニーなど、伝統的な中国の住宅の特徴を完全に再現しています。
- ロボットシミュレーション訓練このシステムは、ロボットが部屋間の移動や複数部屋での物品整理といった複雑で長時間を要する家事を完了するための、全工程シミュレーション訓練をサポートし、仮想環境から現実世界への移行サイクルを大幅に短縮します。
カイロス・ホームワールドの技術的原理
- 4段階階層型生成アーキテクチャこのフレームワークは、家全体の生成という複雑なタスクを、4 つの段階に分割します。第 1 段階では、K-D ツリー構造表現方法に基づいて、実際の住宅のフロア プランを、大規模な言語モデルで効率的に学習できる階層的なテキスト構造に変換し、部屋の重なりやトポロジーの破綻を回避します。第 2 段階では、「トップ ビューのグローバル初期化 + 一人称視点の詳細ウォークスルー」という階層的な戦略を採用し、生成プロセスを 3D 建物のシェルに固定し、2D から 3D へのアップグレードにおける幾何学的ドリフト問題を解決します。第 3 段階では、視覚言語モデルを微調整して再帰的な閉ループ検証メカニズムを構築し、「ソファがドアを塞いでいる」や「オブジェクトが壁を通り抜けている」などの物理的な違反を自動的に検出して修正します。第 4 段階では、表面中心オブジェクト配置アルゴリズムによって、デスクトップとテーブルトップ用の完全な物理的特性を持つインタラクティブなオブジェクトを生成します。
- 物理的適合性と閉ループ検証メカニズムこのシステムは、高度に調整されたVLMを使用して生成されたシーンの視覚分析を行い、レイアウトの競合や物理的なエラーを特定し、リフレクションループを通じて修正措置を提案することで、家具のレイアウトの衝突率を業界最高レベルに制御し、シーンが実際の物理法則に準拠することを保証します。
- インタラクティブなオブジェクトアセット生成Physx-Omniモデルを活用することで、システムはオブジェクトに材質、密度、ヒンジ、多様体などの物理特性を自動的に割り当て、平均15個以上の操作可能なオブジェクトを生成します。すべてのアセットはシミュレーションエンジンに直接インスタンス化でき、衝突、重力、摩擦、流体といったリアルな物理シミュレーションをサポートします。
Kairos-HomeWorldの使い方
- 資源獲得オープンソースのデータセット、モデルの重み、および技術文書をダウンロードするには、Kairos-HomeWorldプロジェクトのホームページ(https://kairos-homeworld.github.io/)をご覧ください。
- 環境設定Physx-Omniをサポートするシミュレーションプラットフォームをデプロイし、GPUコンピューティングリソースを設定します。
- シーン生成自然言語によるコマンドを入力すると、4段階の階層型生成プロセスが開始され、アパートの間取り図からインタラクティブな3Dシーンまで、建築の全工程が自動的に完了します。
- シミュレーション展開生成された完全なシーンをシミュレーションエンジンにインポートし、物理特性を持つインタラクティブなオブジェクトアセットをインスタンス化します。
- 研修実施ロボットモデルに接続し、家事の指示を出し、仮想環境で部屋間の移動や物体操作のトレーニングを行います。
- 移住と着地トレーニング戦略が抽出され、実際のロボットハードウェアに移植され、実際の家庭環境で検証および微調整された。
カイロス・ホームワールドの主要利点
-
ローカライズされたデータ基盤: 世界初となる中国の家庭向けに特別に設計されたデータセットは、南北方向の換気、湿ったものと乾いたものを分ける構造、長方形ではないキッチンなど、中国の家庭特有の特性を網羅しており、欧米のデータセットが中国の家庭に適さないという問題を解決している。
-
規模とコスト面でのリーダーシップ: 30万件の実際の間取り図を収録したこのデータセットは、世界最大規模です。仮想生成は限界費用がほぼゼロで、実際の住宅戸数に制約されることもなく、その拡張性は現地収集をはるかに凌駕します。
-
世界的な一貫性の突破口: 同社は、家全体を対象とした統一的な発電フレームワークを先駆的に導入し、従来の方式では一部屋しかカバーできず、全体的な一貫性や操作性に欠けるという業界のボトルネックを解消した。
-
エンドツーエンドのインタラクティブ性: 見ることはできても使うことはできないという制約を打ち破り、テキストから学習可能なシナリオまで、完全な連携による自動化を実現することで、具現化された知能の研究開発におけるハードルを大幅に下げます。
カイロス・ホームワールド・プロジェクトの住所
- プロジェクト公式サイト:https://kairos-homeworld.github.io/
- GitHubリポジトリ:https://github.com/Kairos-HomeWorld/HomeWorld
- arXiv技術論文:https://arxiv.org/pdf/2606.06390
カイロス・ホームワールドの競合製品比較
| 比較対象寸法 | Kairos-HomeWorld | ProcTHOR |
|---|---|---|
| シーン範囲 | 複数の部屋からなる家全体が統一された方法で生成され、全体構造は一貫している。 | 主に単部屋または簡素な住居で、家全体を通して統一性は限られている。 |
| データセットのサイズ | 30万点の実際のフロアプランと5,000点の住宅全体のシーン | 約10,000のプロシージャル生成シーン |
| 地域特性 | 中国の家族向けに特別に設計され、地元の生活空間の特徴を再現しています。 | 欧米の生活習慣に基づくと、中国の状況に適した住宅タイプが不足している。 |
| オブジェクトとのインタラクション | 物理的特性を持つインタラクティブなオブジェクトが平均15個以上 | インタラクティブなオブジェクトの数は少なく、物理的特性の網羅範囲も限られている。 |
| 生成方法 | 実世界のマンション間取りデータ駆動型+生成モデル | ルールベースのプログラム生成に基づく |
| シミュレーション準備 | 完全な3Dシーンをシミュレーションエンジンに直接インポートして、インタラクティブなトレーニングを行うことができます。 | シミュレーション機能はサポートされているが、シーンの複雑さやリアリティは比較的低い。 |
Kairos-HomeWorldの応用シナリオ
-
家庭用サービスロボットのトレーニング: このシステムは、掃除、片付け、およびコンパニオンロボット向けに、中国の家庭環境を忠実に再現したシミュレーション環境を提供し、部屋をまたいだ長距離のタスクトレーニングをサポートします。
-
身体化された知能研究開発プラットフォーム: 仮想トレーニング場として、具現化されたAIアルゴリズムの反復開発を加速させ、シミュレーションから実機への移行コストと研究開発のハードルを低減する。
-
スマートホームの事前デモンストレーション検証: 仮想環境で家具の配置や機器の移動をシミュレーションすることで、室内空間のプランニングやスマートホームソリューションの設計を最適化します。
-
学術研究とベンチマーク: これは、屋内シーン理解、ロボット経路計画、および物体操作に関する研究のための、大規模な標準化されたデータセットと評価ベンチマークを提供する。
-
不動産および住宅リフォームのプレビュー: 実際の住宅間取り図に基づいて、インタラクティブな3D住宅ビューモデルを迅速に生成し、内装プランのプレビューや空間機能の検証をサポートします。