DrivingDojo - 中国科学院と美団が共同で立ち上げた、インタラクティブな運転世界モデルデータセット。 - AiBoss

DrivingDojoとは何ですか？

DrivingDojoは、中国科学院自動化研究所とMeituanの自動運転車チームが共同開発したデータセットです。自動運転のための複雑なインタラクティブワールドモデルのトレーニングと研究に使用されます。このデータセットには、完全な運転操作、マルチエージェントの相互作用、豊富なオープンワールド運転知識を網羅した18,000本のビデオクリップが含まれており、次世代自動運転モデルの開発のための強固な基盤を提供します。DrivingDojoは、アクション制御の実行におけるワールドモデルの将来予測能力を評価するためのアクション指示追従（AIF）ベンチマークを定義しています。

DrivingDojoの主な機能

インタラクティブな世界モデルトレーニングDrivingDojoは、複雑な運転力学を理解しシミュレーションするインタラクティブな世界モデルをトレーニングするためのプラットフォームを提供します。
アクション指示に従う（AIF）このデータセットは、行動指示に従って将来予測を生成する世界モデルの能力を評価するためのAIFベンチマークを定義しています。
多様な運転業務DrivingDojo-Actionサブセットに基づいて、このモデルは加速、減速、緊急ブレーキ、車線変更など、多様な運転操作を学習します。
マルチエージェント間の相互作用DrivingDojo-Interplayサブセットを使用することで、このモデルは車両と他の道路利用者との間の複雑な相互作用を理解し、予測することができる。
オープンワールドナレッジDrivingDojo-Openのサブセットを使用することで、このモデルはオープンワールドにおける稀なイベントやロングテールシーンを処理することを学習します。
動画生成と予測このモデルは、初期フレームとアクションコマンドに基づいて将来の動画を生成し、運転シナリオをシミュレートおよび予測します。

DrivingDojoの技術原則

データ収集Meituanの自動運転車チームが開発した自動運転車プラットフォームを使用して、ビデオデータを収集する。
データ計画収集した大量のデータの中から、高度な運転操作、マルチエージェント間の相互作用、およびオープンワールドの知識を含むビデオクリップが選択された。
アクションコーディング運転動作（加速、ブレーキ、ステアリングなど）をモデルが理解できる形式にエンコードすることで、動画生成に容易に利用できるようにします。
ビデオ生成モデル安定ビデオ拡散などの技術に基づき、初期フレームと動作指示からビデオを生成するモデルを開発しています。
アクション指示に従う（AIF）モデルの予測精度は、生成された動画と入力されたアクションコマンドとの一貫性を比較することによって評価されます。
評価指標生成されたビデオの視覚的な品質は、FID（フレシェ開始距離）やFVD（フレシェビデオ距離）などの指標を用いて評価され、動作指示に従う能力はAIFエラーを用いて評価される。

DrivingDojoのプロジェクトアドレス

プロジェクト公式サイト：drivingdojo.github.io
GitHubリポジトリ：https://github.com/Robertwyq/Drivingdojo
ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/Yuqi1997/DrivingDojo
arXiv技術論文：https://arxiv.org/pdf/2410.10738

DrivingDojoの応用事例

自動運転アルゴリズムの開発研究者たちは、自動運転車のための知覚、予測、意思決定アルゴリズムの開発とテストを行っている。
ワールドモデルトレーニングこのデータセットは、現実世界の運転環境をシミュレートするインタラクティブな世界モデルの学習に使用されます。このモデルは、将来の状態や起こりうる事象を予測することができます。
マルチエージェント相互作用シミュレーション車両と他の道路利用者（歩行者、自転車、その他の車両など）との相互作用をシミュレーションし、自動運転車の相互作用戦略を最適化する。
稀な事象とロングテールシナリオの処理動物が突然道路を横断したり、道路上に障害物があったりといった稀な事象を認識して対応できるようにモデルを訓練することで、自動運転システムの安全性が向上する。
仮想テストと検証仮想環境で自動運転システムをテストすることで、実車テストのコストとリスクが軽減され、開発プロセスが加速される。