LingBot-Map - LingBotによるオープンソースのストリーミング3D再構築モデル。 - AiBoss

LingBot地図とは何か？

LingBot-Mapは、Ant Financialが開発したオープンソースのストリーミング3D再構築モデルです。通常のRGBカメラを使用し、ビデオ撮影中にリアルタイムでカメラ姿勢推定とシーンの3D構造再構築を可能にします。このモデルは、純粋な自己回帰モデリングと幾何学的コンテキストTransformerアーキテクチャに基づいています。Oxford Spiresなどの権威あるベンチマークにおいて、従来の最良のストリーミング手法と比較して約2.8倍高い軌道精度を実現し、リアルタイム空間認識分野における重要な技術的ギャップを埋めています。

LingBot-マップの主な機能

リアルタイムストリーミング再構築視聴しながら理解し、現在および過去の画像をフレームごとに処理し、カメラの姿勢と深度情報を継続的に出力することができる。
長シーケンスの安定動作10,000フレーム以上の長尺ビデオフレームの連続推論をサポートし、長時間のシーケンス実行中も精度低下はほとんどありません。
純粋な視覚空間知覚複雑なハードウェアは不要で、一般的なカメラ1台でリアルタイム3Dマッピングを実現できます。
カメラ軌道推定3次元空間におけるカメラの動きの軌跡を正確に推定する（姿勢推定）ことをサポートします。

LingBotの使い方-Map

環境準備ローカル環境にNVIDIA GPU（推奨VRAM容量12GB以上）が搭載されていること、およびPython 3.8以降、PyTorch 2.0以降、CUDAツールチェーンがインストールされていることを確認してください。依存ライブラリのコンパイルとの互換性を確保するため、システムはLinuxまたはWindows WSL2をサポートしている必要があります。
インストールと展開GitHubリポジトリにアクセスする https://github.com/Robbyant/lingbot-map コードをクローンしてプロジェクトディレクトリに移動したら、pipを使用して依存関係をインストールします。pip install -r requirements.txtこの環境は、3D可視化に必要なDINOバックボーン、Transformerアーキテクチャ、およびOpen3Dライブラリを自動的にインストールします。
モデル取得HuggingFaceより（robbyant/lingbot-mapあるいは、ModelScopeから事前学習済みの重みをダウンロードして、プロジェクトに配置することもできます。 checkpoints/ 目次。このモデルには、幾何学的コンテキストアテンション（GCA）コアネットワークとカメラ/深度予測ヘッドが含まれています。
推論を実行中:
- オフラインビデオモード入力は単眼RGBビデオファイルです。モデルはフレームごとにDINOの特徴を抽出し、フレームアテンション層とGCA層を通して処理し、カメラ姿勢軌跡と深度マップを出力します。最後に、これらを統合して3D点群マップを作成します。
- ライブカメラモード通常のUSBカメラを接続し、入力ストリームの解像度を640×480または1280×720に設定し、モデルのリアルタイム推論に約20FPSを使用し、現在のカメラ姿勢を継続的に出力して、シーンの3D構造を段階的に更新します。
出力結果再構成結果には、カメラ軌跡ファイル（標準座標形式）とスケーリングされた高密度点群が含まれ、3D再構成効果は可視化スクリプトを通して確認できます。長時間のシーケンス推論中、GCAメカニズムはメモリを自動的に管理し、再起動することなく10,000フレーム以上の連続処理をサポートします。
詳細設定：調整 config.yaml で anchor_context そして trajectory_memory これらのパラメータは、精度と計算コストのバランスを取ることができます。大規模なシナリオでは、長距離軌道の安定性を向上させるために、ローカルウィンドウ最適化（ローカル姿勢参照ウィンドウ）を有効にすることができます。具体的なAPI呼び出し例とパラメータの説明については、GitHubリポジトリを参照してください。 README.md そして demo.py。

LingBot-地図の主要情報と使用要件

開発チームロビーアントテクノロジー
オープンソースライセンスモデルの重みとコードはオープンソースです（GitHub、HuggingFace、ModelScope）。
ハードウェア要件GPUサポートが必要です（十分なビデオメモリを備えた環境での使用を推奨します）。
推論速度リアルタイム推論で約20FPS

LingBot-マップの主な利点

精密技術のリーディングカンパニーオックスフォード・スパイアーズ・データセットにおける絶対軌道誤差（ATE）はわずか6.42メートルで、オフライン手法のDA3（12.87メートル）やVIPE（10.52メートル）よりも大幅に優れています。ETH3Dベンチマーク再構成のF1スコアは85.70に達し、2位よりも8%以上優れています。
リアルタイムかつ効率的20 FPSはロボットの動作を安定してサポートし、長時間のシーケンスでも計算およびストレージのオーバーヘッドはほぼ一定です。
ハードウェアの敷居が低い深度カメラやLiDARは不要です。通常のRGBカメラで動作します。
エンドツーエンドの学習手動設計と複雑な最適化に依存する従来のSLAMの限界から脱却し、コアロジックはモデルによって一律に学習される。

LingBot-マップのプロジェクトアドレス

プロジェクト公式サイト：https://technology.robbyant.com/lingbot-map
GitHubリポジトリ：https://github.com/Robbyant/lingbot-map
ハギングフェイスモデルライブラリ：https://huggingface.co/robbyant/lingbot-map
arXiv技術論文：https://arxiv.org/pdf/2604.14141

LingBot- Mapの類似競合製品との比較

比較対象寸法	LingBot-Map	TTT3R / WinT3R	従来型のオフライン方式（DA3/VIPE）
テクニカルルート	自己回帰型GCAトランスフォーマー	ストリーミング再構成方法	まず収集し、それから処理する。
推論パターン	リアルタイムストリーミング（視聴しながら構築）	フロー再構築	オフライン処理
Oxford Spires ATE	6.42メートル（リード）	約18メートル	10～13メートル
ETH3D F1スコア	85.70%（リード）	約77％	–
ハードウェア要件	標準RGBウェブカメラ	通常、深度センサーが必要です。	マルチセンサー融合
配列長サポート	毎秒10,000フレーム以上で安定動作	短い配列ほどドリフトが発生しやすい。	メモリ容量に制限される
オープンソースの状況	完全オープンソース（コード＋重み付けデータ＋論文）	部分的にオープンソース／クローズドソース	部分的にオープンソース

LingBot-マップの応用シナリオ

ロボットのナビゲーションと障害物回避これは、移動ロボットにリアルタイムの空間認識機能を提供し、継続的なオンライン処理をサポートします。
自動運転車両が物理的な空間構造を理解するのに役立つよう、環境のリアルタイム3Dマップを作成することができる。
具現化された知能LingBotシリーズ（Depth、VLA、World、VAなどのモデルを含む）の空間認識基盤として機能し、ロボットの操作とインタラクションをサポートします。
AR/VR空間コンピューティング物理環境をリアルタイムで再構築することで、仮想世界と現実世界を正確に整合させることが可能となる。