NavFoM - ギャラクシーユニバーサルが打ち上げた、周囲視界ナビゲーション基地の大型模型。

NavFoMとは何ですか？

NavFoM（Navigation Foundation Model）は、Galaxy Generalと北京大学、アデレード大学、浙江大学のチームが共同で発表した、世界初のクロスエンティティ、オールドメインのサラウンドビューナビゲーション基盤モデルです。屋内・屋外環境両方に対応し、シーン全体をサポートできる機能を備え、未知のシナリオでもゼロショット操作が可能です。NavFoMは、自然言語コマンドによるターゲット追従や自律航法など、さまざまなナビゲーションタスクをサポートし、ロボット犬、車輪型ヒューマノイドロボット、ドローン、自動車など、さまざまなエンティティに迅速に対応できます。コア技術にはTVIトークンとBATS戦略が含まれており、「ビデオストリーム＋テキストコマンド→モーション軌跡」という新しい普遍的なパラダイムを確立し、ナビゲーションプロセス全体をエンドツーエンドで完了します。

NavFoMの主な機能

• フルシナリオ対応NavFoMは屋内と屋外の両方のシーンに対応でき、追加のマッピングやデータ収集を必要とせずに、未知の環境でもゼロサンプル動作を実現できるため、さまざまな環境に高度に適応できます。
• マルチタスク対応このモデルは、目標追跡や自然言語コマンドによる自律航行など、さまざまなサブナビゲーションタスクをサポートしており、異なるコマンドに応じて対応するナビゲーション動作を完了することができます。
• クロスボディ適応NavFoMは、ロボット犬、車輪型ヒューマノイド、脚式ヒューマノイド、ドローン、自動車など、さまざまなサイズの異種物体に迅速かつ費用対効果の高い方法で適応できるため、幅広い用途に適用可能です。
• 技術革新NavFoMは、TVIトークン（時間的視点インデックス付きトークン）を使用してモデルが時間と方向を理解できるようにし、BATS戦略（予算を考慮したトークンサンプリング）を使用して、限られた計算能力でもモデルの知能を維持します。これらの技術革新により、モデルのパフォーマンスが向上します。
• 統一パラダイムNavFoMは、「ビデオストリーム＋テキストコマンド→アクション軌跡」という全く新しい普遍的なパラダイムを確立します。モジュール式の合成に頼るのではなく、「見る－理解する－行動する」というプロセス全体をエンドツーエンドで完結させ、ナビゲーションプロセスを簡素化します。
• データセットの構築NavFoMは、約800万件のタスク間およびオントロジー間のナビゲーションデータポイントと、400万件のオープンな質問応答データポイントを含む大規模なタスク間データセットを構築しており、モデルトレーニングのための豊富なデータサポートを提供しています。

NavFoMの技術原則

• TVI Tokens（Temporal-Viewpoint-Indexed Tokens）時間と視点の指標を用いることで、モデルは時間と方向を理解することができ、動的な環境におけるナビゲーションタスクをより適切に処理できるようになる。
• BATS戦略（予算を考慮したトークンサンプリング）計算能力が限られている状況下では、予算を考慮したラベリングおよびサンプリング戦略を用いることで、モデルが効率的に動作することを保証し、実用化における実現可能性を高めることができる。
• エンドツーエンドの一般的なパラダイム本システムは、「ビデオストリーム＋テキストコマンド→アクション軌跡」というパラダイムを採用し、視覚入力、言語コマンド、アクション出力を統一されたフレームワークに統合することで、知覚からアクションへの直接的なマッピングを実現します。
• タスク間データセット約800万のナビゲーションデータポイントと400万の自由回答形式の質問応答データポイントを含む大規模なクロスタスクデータセットが構築され、モデルのトレーニングのための豊富なマルチシナリオおよびマルチタスクデータサポートを提供し、モデルの汎化能力を向上させた。

NavFoMのプロジェクトアドレス

該当する住所はまだ発表されていません。

NavFoMの応用シナリオ

• ロボットナビゲーションショッピングモールや空港のような複雑な環境では、ロボットは自然言語による指示に基づいて自律的に移動し、目標物を追跡できるため、効率的なサービスや誘導機能を実現できる。
• 自動運転自動車の自動運転システムに適用することで、複雑な道路状況下における車両の自律的な意思決定能力とナビゲーション能力を向上させ、自動運転の安全性と信頼性を高める。
• ドローンナビゲーションドローンに自律航行機能を搭載することで、ドローンが自律飛行し、物流配送や環境モニタリングといった複雑な地形や環境下での任務を遂行できるようにする。
• 人型ロボットこのシステムは、車輪型や脚式など、さまざまな形態のヒューマノイドロボットをサポートし、多様な環境への適応性を高め、複雑なナビゲーションやインタラクションタスクの遂行を可能にする。
• 開発アプリケーションモデル開発者はNavFoMを基盤として、事後学習を通じて特定のナビゲーション要件を満たすアプリケーションモデルをさらに開発することができ、それによってさまざまな分野における応用範囲を拡大できる。