X-Fusion - カリフォルニア大学がAdobe社およびその他の機関と共同で開発した、マルチモーダル融合フレームワーク。 - AiBoss

X-Fusionとは何ですか？

X-Fusionは、UCLA、UCウィスコンシン・マディソン校、およびAdobe Researchが共同で提案したマルチモーダル融合フレームワークです。これは、事前学習済みの大規模言語モデル（LLM）をマルチモーダルタスクに拡張しつつ、言語処理能力を維持します。このフレームワークはデュアルタワーアーキテクチャを採用し、言語モデルのパラメータを固定したまま、視覚情報を処理する視覚モダリティに独立した重みを導入します。入力レベル、出力レベル、および中間処理レベルでテキストと視覚の特徴を整合させることで、効率的なマルチモーダル融合を実現します。

X-Fusionの主な機能

マルチモーダルタスク拡張画像からテキストへの変換（例：画像の説明）やテキストから画像への変換（例：画像の生成）など、さまざまなマルチモーダルタスクを処理できます。
パフォーマンス最適化画像データのノイズを低減することで、全体的なパフォーマンスを向上させることができます。同時に、タスクのデータを理解することで、生成されるタスクの品質を大幅に向上させることができます。
マルチタスクトレーニング各タスクごとに個別の重みを作成する必要なく、複数の視覚言語タスク（画像編集、位置特定、視覚的質問応答など）を同時に学習できます。
事前学習済みモデルの転送事前学習済みの拡散モデルの機能をビジュアルタワーに移植することで、画像生成能力をさらに向上させることができる。

X-Fusionの技術原理

二層構造の建築デザインX-Fusionはデュアルタワーアーキテクチャを採用しており、言語モデルのパラメータを固定しつつ、視覚モダリティに独立した重みを導入しています。これにより、マルチモーダルタスクを処理する際に、モデルは言語情報と視覚情報を別々に処理することができ、中間レベルで両モダリティの特徴を整合させることで、効率的なマルチモーダル理解と生成を実現します。
モダリティ固有の重みデュアルタワーアーキテクチャでは、言語タワーと視覚タワーがそれぞれテキスト入力と画像入力を処理します。言語タワーは事前学習済みのパラメータを保持し、視覚タワーは画像情報を処理するために新しい重みを導入します。この分離処理方式により、言語機能を維持しつつ、視覚理解力を向上させることができます。
特徴の整列と融合X-Fusionは、入力、中間処理、出力の各レベルで特徴を整合させ、融合します。この多層的な整合により、モデルは言語情報と視覚情報をより効果的に統合し、マルチモーダルタスクのパフォーマンスを向上させることができます。
トレーニング戦略の最適化X-Fusionは、トレーニング中のノイズレベルとデータ比率がパフォーマンスに与える影響を調査しました。実験の結果、画像データのノイズを低減することで全体的なパフォーマンスが大幅に向上することが示され、タスクに必要なデータを理解することも生成タスクにプラスの影響を与えることが分かりました。

X-Fusionのプロジェクトアドレス

プロジェクト公式サイト：https://sichengmo.github.io/XFusion/
arXiv技術論文：https://arxiv.org/pdf/2504.20996

X-Fusionの応用事例

自動運転X-Fusionは、カメラやレーダーなどの複数のセンサーからのデータを統合することで、より包括的な環境認識能力を提供し、自動運転の安全性と信頼性を向上させることができる。
ロボットナビゲーションこれは、ロボットが複雑な環境下で正確な位置決めと経路計画を実行するのに役立ち、自律航行能力を向上させます。
人間とコンピュータの相互作用X-Fusionは、音声、ジェスチャー、表情といった複数の入力要素を組み合わせることで、より自然でインテリジェントな人間とコンピュータのインタラクションを実現します。例えば、スマートホームのシナリオでは、音声アシスタントが視覚データを用いてユーザーのジェスチャーや表情を認識し、より精度の高いサービスを提供できます。
感情分析感情分析において、X-Fusionは音声データと画像データを組み合わせることで、ユーザーの感情状態をより正確に特定することができます。
医用画像解析X-Fusionは、MRIやCTなどの異なる種類の医用画像を融合することで、医師が患者の状態をより包括的に理解するのに役立ち、疾患診断の精度向上や早期発見能力の向上につながります。