LOKI - 中山大学と上海AI研究所が共同で立ち上げた合成データ検出ベンチマーク - AiBoss

ロキとは何ですか？

LOKIは、中山大学と上海AIラボが共同で提案した合成データ検出ベンチマークであり、ビデオ、画像、3D、テキスト、音声など、複数のモダリティにわたる合成データの認識における大規模マルチモーダルモデル（LMM）の能力を包括的に評価することを目的としています。LOKIには26のサブカテゴリを網羅する18,000以上の質問が含まれており、マルチレベルのアノテーションを採用し、きめ細かな異常アノテーションをサポートしています。LOKIはモデルの知覚能力と推論能力をテストし、自然言語による説明を通じて解釈性を向上させます。22のオープンソースLMMと6つのクローズドソースLMMを評価することで、LOKIは合成データ検出タスクにおけるこれらのモデルの可能性と限界を明らかにします。

LOKIの主な機能

マルチモーダルデータ検出LMMが合成ビデオ、画像、3Dモデル、テキスト、音声データを識別する能力を評価する。
きめ細かな異常注釈合成データの詳細な分析と理解を支援するために、異常に関する詳細な注釈を提供します。
多段階注釈基本的な問題設定に適した基本的な「合成または実在」タグに加え、より複雑な異常の詳細選択および解釈タスクにも対応します。
包括的な評価フレームワーク動画、画像、テキスト、音声、点群など、複数のデータ形式の入力をサポートし、25種類以上の主要なLMM（線形混合モデル）のAPIを統合します。
パフォーマンス比較オープンソースモデルやクローズドソースモデル、専門家が作成した検出モデルなど、さまざまなLMMの比較をサポートします。
説明可能性テスト合成データ検出タスクにおけるLMMの解釈可能性は、モデルに自然言語による説明を提供するよう要求することによって検証される。
データ多様性このシステムは、衛星画像や医療画像といった専門分野のデータ、環境音や音楽などの音声データを含む、さまざまな種類の合成データを収集した。
問題の難易度この問題は人間の評価基準に基づいて等級分けされ、LMMの性能はさまざまな難易度レベルでテストされます。
モデルバイアス分析モデルのバイアス指標を計算することで、合成データ検出タスクにおけるモデルのバイアスと傾向を分析することができます。
AI開発を促進するAI合成技術がもたらす課題に対処するため、より強力で解釈可能な合成データ検出手法の開発を推進する。

LOKIの技術原理

データ収集と統合LOKIは、動画、画像、3Dモデル、テキスト、音声など、複数のモダリティからデータを収集します。これらのデータの一部は公開データセットから取得され、一部は最先端の合成モデルを使用して生成されます。
マルチモーダル評価フレームワークLOKIは、さまざまなデータ形式の入力をサポートし、さまざまな主流のLMMのAPIを統一し、統一された基準の下で異なるモデルのパフォーマンスを評価する、包括的なマルチモーダル評価フレームワークを提案した。
モデルの評価と比較LOKIベンチマークには、複数のオープンソースおよびクローズドソースのLMM（線形混合モデル）の評価が含まれています。これらのモデルを合成データ検出タスクで比較することで、その性能と限界を分析できます。
自然言語解釈LOKIは、モデルが自然言語による説明を提供することを要求し、それによって解釈可能性を高めます。LOKIは、モデルの検出能力をテストし、その判断の根拠を評価します。

LOKIのプロジェクトアドレス

プロジェクト公式サイト：opendatalab.github.io/LOKI
GitHubリポジトリ：https://github.com/opendatalab/LOKI
arXiv技術論文：https://arxiv.org/pdf/2410.09732

LOKIの応用シナリオ

人工知能のセキュリティ評価LOKIは、合成データを処理する際のAIシステムのセキュリティと堅牢性を評価・向上させるために使用でき、AIシステムが潜在的な合成データ攻撃を正確に識別し、適切に対応できるようにします。
コンテンツモデレーションLOKIは、ソーシャルメディア、ニュースサイト、その他のコンテンツプラットフォーム上で、AIが生成した偽ニュース、ディープフェイク動画、または音声を検出・フィルタリングし、ユーザーが誤った情報に惑わされるのを防ぐのに役立ちます。
データセットの検証機械学習モデルのトレーニング中に、LOKIを使用してデータセットの品質と信頼性を検証し、トレーニングデータに合成データが過剰に含まれていないことを確認し、モデルの汎化能力を向上させることができます。
法律およびコンプライアンス法律分野において、LOKIは、合成データに関連する著作権、プライバシー、コンプライアンスの問題を特定し、対処するのに役立ちます。例えば、不正なコンテンツの生成や配布を検出し、防止するといったことが可能です。
メディアとエンターテインメント映画、ゲーム、バーチャルリアリティの制作において、LOKIは合成メディアコンテンツの品質を評価・向上させるために使用でき、生成されたコンテンツが現実的であると同時に制作者の意図に沿ったものであることを保証します。