Optimus-1 - ハルビン工業大学と鵬城実験室が共同開発したインテリジェントエージェントフレームワーク - AiBoss

オプティマス1とは何ですか？

Optimus-1は、ハルビン工業大学（深圳）と鵬城研究所が共同開発したインテリジェントエージェントフレームワークで、オープンワールド環境における長期タスクの遂行という課題に対処するために設計されています。このフレームワークは、構造化された知識とマルチモーダルな経験を組み合わせることで、エージェントが複雑なタスクをより効率的に実行できるようにします。Optimus-1には、階層型有向知識グラフ（HDKG）と抽象型マルチモーダル経験プール（AMEP）で構成されるハイブリッドマルチモーダルメモリモジュールに加え、知識誘導型プランナーと経験駆動型リフレクターが搭載されており、Minecraftなどの環境における長期タスクのパフォーマンスを大幅に向上させ、人間レベルのパフォーマンスに迫ります。

Optimus-1の主な機能

知識主導型プランナー構造化知識（HDKG）に基づいて実行可能なサブ目標シーケンスを生成し、長期的なタスクの計画と実行を行います。
経験に基づく考察者過去の経験（AMEP）に基づいて現在の任務状況を評価し、必要に応じて行動計画を調整する。
アクションコントローラープランナーによって生成されたサブゴールを実行し、環境と対話してタスクを完了します。
ハイブリッドマルチモーダルメモリHDKGとAMEPを組み合わせることで、世界の知識と歴史的経験を蓄積・活用し、複雑な意思決定と適応型学習を支援する。
自己進化「自由探索・教師指導」方式に基づき、パラメータの更新なしに、メモリ容量とタスク実行能力を段階的に向上させることができる。

Optimus-1の技術原理

階層型有向知識グラフ（HDKG）：
- アイテム作成ルールなどの世界知識をグラフ構造に変換する。グラフ構造では、ノードはオブジェクトを表し、エッジはオブジェクト間の関係（作成関係など）を表す。
- グラフ検索とトポロジカルソートに基づいて、エージェントにタスクを完了するために必要な材料とツールの知識を提供する。
抽象的マルチモーダル体験プール（AMEP）：
- タスク実行中に、環境、状態、計画、視覚フレームなどのマルチモーダル情報を動的に要約して保存する。
- MineCLIPモデルは、視覚オブジェクトとサブオブジェクト間の類似性を計算し、関連性の高い視覚的記憶を保存して、振り返りのための参照情報を提供するために使用されます。
知識主導型プランナー視覚的な観察とHDKGからの知識を組み合わせることで、アクションコントローラの動作を導くための適切なサブターゲットのシーケンスが生成される。
経験に基づいた考察者定期的にシステムをアクティブ化して、AMEPから現在のサブゴールに関連するマルチモーダルな体験を取得し、現在のタスクの状態を評価し、実行を継続するか、タスクを完了するか、またはタスクを再計画するかを決定します。
アクションコントローラーサブゴールと現在の観測結果に基づいて、マウスやキーボード操作など、環境と対話するために必要な低レベルのアクションを生成する。

Optimus-1のプロジェクトアドレス

プロジェクト公式サイト：cybertronagent.github.io/Optimus-1
GitHubリポジトリ：https://github.com/JiuTian-VL/Optimus-1
arXiv技術論文：https://arxiv.org/pdf/2408.03615

Optimus-1の応用シナリオ

ゲーム環境の自動化マインクラフトのような複雑なゲーム環境において、Optimus-1は資源収集、建築、探索といったタスクを自動化し、没入感のあるゲーム体験を提供します。
バーチャルパーソナルアシスタント仮想現実や拡張現実のアプリケーションでは、ユーザーのパーソナルアシスタントとして機能し、スケジュールの管理、情報検索サービスの提供、日常業務の自動化などを支援することができる。
ホームロボットアシスタントスマートホームシステムにおいては、これは家庭用サービスロボットを誘導して、清掃、セキュリティ監視、定期メンテナンスなどの長期的なタスクを実行させることで、ホームオートメーションのレベルを向上させることを意味します。
産業オートメーションと最適化工業製造業においては、生産工程を最適化し、ロボットを誘導して複雑な組立ライン作業を自動的に完了させることで、生産効率と安全性が向上する。
シミュレーション訓練と教育軍事訓練や医学教育においては、訓練生がシミュレーション演習を通して意思決定能力や作戦遂行能力を習得できるよう、複雑なシミュレーション環境を構築する。