Oryx - テンセント、清華大学、南洋理工大学が共同開発したマルチモーダル大規模言語モデル - AiBoss

オリックスとは何ですか？

Oryxは、清華大学、テンセント、南洋理工大学が共同開発したマルチモーダル大規模言語モデル（MLLM）です。視覚データの処理には、事前学習済みのOryxViTモデルと動的圧縮モジュールという2つのコア技術が用いられています。OryxViTは、任意の解像度の画像をLLMに適した視覚表現にエンコードし、動的圧縮モジュールは必要に応じて視覚タグを1～16倍に圧縮します。これにより、Oryxは高解像度画像から超長時間の動画まで、解像度や長さが異なる様々な視覚入力を柔軟に処理できます。Oryxは、特に空間的・時間的理解において、複数の視覚言語ベンチマークで優れた性能を発揮します。

オリックスの主な機能

ネイティブ解像度処理Oryxはあらゆる解像度の視覚入力を処理でき、画像のすべての詳細を保持するため、高精度の視覚情報を必要とするタスクに適しています。
ダイナミックコンプレッションOryxは、タスクの要件に応じて、視覚データを1～16倍に動的に圧縮することができ、長時間の動画などの大規模データを処理し、計算効率を向上させます。
マルチモーダルな理解画像、動画、3Dデータを理解・分析し、豊富な空間的・時間的理解能力を提供するため、様々な視覚言語タスクに適している。
コンテキスト検索動画コンテンツの文脈理解を深め、広範な文脈から特定の情報を抽出する。
空間認識Oryxは3次元空間における物体の位置と関係性を正確に把握することができ、3次元空間の理解を深める。

Oryxの技術原則

OryxViTモデル異なる解像度の画像を、大規模言語モデルによる処理に適した視覚表現に変換する、事前学習済みのビジュアルエンコーダー。
適応型位置埋め込みOryxViTは適応型位置埋め込み層を使用しているため、モデルは固定解像度に調整することなく、さまざまなサイズの画像を処理できます。
可変長自己注意機構これにより、モデルはサイズの異なる視覚データを並列処理できるようになり、処理効率と柔軟性が向上します。
地域的注意作戦動的圧縮モジュールでは、領域アテンションを使用して、インタラクティブな高解像度および低解像度の特徴マップを操作し、ダウンサンプリングの影響を軽減します。
混合データトレーニング画像、動画、3Dデータを含む混合データセットでモデルをトレーニングし、マルチモーダルタスクにおけるパフォーマンスを向上させます。

Oryxのプロジェクトアドレス

プロジェクト公式サイト：oryx-mllm.github.io
GitHubリポジトリ：https://github.com/Oryx-mllm/Oryx
ハギングフェイスモデルライブラリ：https://huggingface.co/spaces/THUdyh/Oryx
arXiv技術論文：https://arxiv.org/pdf/2409.12961

Oryxのアプリケーションシナリオ

インテリジェントモニタリングOryxの映像理解機能に基づき、監視ビデオ内の出来事や活動をリアルタイムで監視・分析することが可能です。
自動運転自動運転システムにおいて、Oryxは車両周辺の環境を分析・理解するのに役立ち、より正確な視覚認識を実現します。
人間とコンピュータの相互作用Oryxは画像や動画コンテンツを理解できるため、人間とコンピュータのインタラクションがより自然で効率的になります。
コンテンツモデレーションOryxは、ソーシャルメディアやオンラインプラットフォーム上で、不適切なコンテンツを自動的に識別し、フィルタリングするのに役立ちます。
動画編集と補正Oryxは、動画の要約やハイライト生成など、動画の自動編集が可能です。
教育と訓練教育分野において、Oryxは画像や動画コンテンツのインテリジェントな分析を提供し、教育と学習を支援します。