Thinker - UBTECHのオープンソースの具現化されたインテリジェントな視覚言語モデル

思想家とは何か？

Thinkerは、UBTECHが開発したオープンソースの具現化されたインテリジェントな視覚言語モデルで、ロボットアプリケーション向けに特別に設計されています。その4Bパラメータは、9つの権威あるベンチマークテストで世界トップクラスの評価を獲得しました。このモデルのコア機能は、タスクプランニング、空間理解、時間推論、視覚的位置特定を網羅しており、ロボットが「思考はできるが、情報を理解できない」という課題に効果的に対処します。このモデルは、20億のオリジナルデータセットから精緻化された1,000万の高品質データポイントでトレーニングされ、自動アノテーションシステムを採用することで、人間の介入を1%未満に抑えています。このモデルにより、Walker S2は既に産業現場で99.99%の動作精度を達成しており、具現化された知能技術の普及を促進しています。

思想家の主な機能

• タスク計画Thinkerは、複雑な人間の命令を理解し、過去の状態記憶を組み合わせ、ロボットの将来の状態変化を予測し、長期的なタスクを実行可能なサブタスクのシーケンスに分解することができる。
• 空間認識Thinkerは、カメラを原点としてすべての空間関係を定義する自己中心座標系を確立しており、これによりロボットは三次元空間における物体の位置と向きを正確に認識することができる。
• 時間理解Thinkerは、ビデオ履歴から重要な情報を抽出し、過去の出来事と現在の指示を組み合わせ、現状を正確に評価し、適切なタイミングの判断を下すことができます。
• 視覚的な位置決めThinkerは、境界ボックスと正確な点座標を用いて物体の位置を記述することができ、ロボットの把持動作や相互作用のための正確な空間ガイダンスを提供する。

思想家の技術的原則

• データ構築Thinkerは、生データから高品質なトレーニングデータまでを網羅する完全なパイプラインを構築しました。ノイズが多く、整列も不十分な20億個の生データに対し、カスタマイズされたルールによる広範なフィルタリングと大規模モデルによる多次元品質スコアリングを用いて、1,000万個の高品質なデータポイントを精緻化しました。同時に、「大規模モデル支援アノテーション＋マルチモデル交差検証」という自動アノテーションシステムを採用することで、手動による作業率を1%未満に抑え、アノテーションコストを99%削減し、効率を100倍以上向上させました。
• モデルアーキテクチャ設計Thinkerは、テキストセグメンテーション、ビジュアルエンコーダー、多層パーセプトロンアライメント層、言語モデルバックボーンという4つのコアモジュールからなる、古典的なビジュアル言語モデルアーキテクチャを採用しています。これにより、視覚、言語、時間の統一的な表現が可能になり、モデルは視覚的な詳細を正確に捉え、タスク指示を理解し、クロスモーダル推論を実行できます。
• トレーニング戦略Thinkerは2段階のトレーニングアプローチを採用しています。第1段階では、一般的なデータセット、空間理解データセット、大規模プランニングデータセットを用いて微調整を行い、基本的な知覚能力と推論能力を確立します。同時に、ビデオの最後のフレームを補助入力として組み込み、ビデオ理解能力を向上させます。第2段階では、産業タスクデータセットを用いて教師あり微調整を行い、モデルをシーケンス依存性、多様なオブジェクト配置、フィードバック補正に適応させ、最終的に実際の産業シナリオで実行可能なプランニングスキームを生成します。
• 主要なイノベーションThinkerは、ロボットにおける視点の混乱や映像情報の欠落といった課題に対し、動画理解トレーニング中にキーフレームと完成動画を同時に入力するシンプルかつ効果的な手法を提案することで、モデルの時間的理解能力を大幅に向上させています。さらに、高品質なデータフィルタリングとタスク指向のサンプリングにより、パラメータ数をわずか4バイトに抑えながら、10バイト以上のパラメータを持つモデルを凌駕する性能を実現しています。

思想家のプロジェクト住所

• GitHubリポジトリ：https://github.com/UBTECH-Robot/Thinker
• ハギングフェイスモデルライブラリ：https://huggingface.co/UBTECH-Robotics/Thinker-4B
• arXiv技術論文：https://arxiv.org/pdf/2601.21199

思考力活用シナリオ

• 産業用インテリジェント製造Thinkerは、工場生産ラインにおける箱の取り扱いやワークピースの仕分けといった作業を、人型ロボットに実行させることができます。Walker S2は99.99%の精度を達成し、従来の自動化機器の柔軟性不足という問題を効果的に解決しました。
• 倉庫保管および物流業務Thinkerは、動的な倉庫環境において、ロボットが貨物の識別、経路計画、精密な把持を行うことを可能にし、SKUの多様かつ頻繁に変化する物流ニーズに適応します。
• 商用サービスシナリオThinkerは、ショッピングモールや展示ホールなどの公共の場所で、ロボットが案内、説明、対話型サービスを提供できるようにすることで、視覚言語理解を通じて自然な人間とコンピュータのインタラクションを実現します。
• 複雑な運用タスクThinkerは、機器の検査、部品の組み立て、複数段階の実験プロセスなど、長期的な計画と高度な空間認識を必要とする作業をロボットが実行できるようにする。
• 群知能によるコラボレーションThinkerは、UBTECHの群知能ネットワークと協調型インテリジェントエージェントであるCo-Agentを支える認知基盤として機能し、複数のロボット間でのタスク割り当て、協調的な意思決定、および自律的な進化を可能にする。