SmartMore社および複数の大学との共同開発により誕生したLyraは、マルチモーダルなインタラクション機能を強化する。

ライラとは何ですか？

Lyraは、香港中文大学、SmartMore、香港科技大学が共同開発した、高性能なマルチモーダル大規模言語モデル（MLLM）です。音声、視覚、言語という3つのモダリティ間の対話機能を強化することに重点を置いています。オープンソースの大規模モデル、マルチモーダルLoRAモジュール、そして潜在的なマルチモーダル正則化器を基盤とするLyraは、学習コストとデータ要件を削減します。長文音声サンプルを含む大規模なマルチモーダルデータセットを構築することで、複雑な長文音声入力を処理し、強力なフルモーダル認知能力を実現します。Lyraは、さまざまなモダリティ理解および推論タスクにおいて最先端の性能を発揮すると同時に、計算リソースと学習データの使用効率にも優れています。

ライラの主な機能

マルチモーダルな理解と推論Lyraは、画像、動画、音声、テキストなど、複数の形式のデータを理解・処理することができ、複雑な理解や推論タスクを実行できる。
音声センター機能このモデルは、特に音声理解能力に優れており、長文の音声認識や処理にも長け、音声対話において優れた性能を発揮します。
高効率処理Lyraは、データ量と計算リソースの使用量を削減することで、トレーニングと推論においてより効率的な処理を実現しており、リアルタイムかつ長期にわたるマルチモーダルアプリケーションに適しています。
ストリーミング世代テキストと音声出力の同時生成をサポートし、対話ややり取りの際にリアルタイムの応答を提供します。
異種感覚間の相互作用潜在的なマルチモーダル正則化器と抽出器に基づいて、異なるモダリティ間の情報相互作用を強化し、モデルのパフォーマンスを向上させます。

Lyraの技術原理

マルチモーダルLoRA（低ランク適応）LoRA技術をベースとしたこのモデルは、マルチモーダル入力に適応し、元の視覚機能を維持しつつ音声機能を向上させることで、トレーニングデータの必要性を低減します。
潜在的なクロスモーダル正則化因子動的時間伸縮（DTW）アルゴリズムに基づき、音声トークンは対応するテキストトークンと位置合わせされるため、音声入力はテキスト入力と意味的に一貫性を持つ。
潜在的なマルチモーダル抽出器テキストクエリに対する様々なモーダルトークンの関連性を評価することに基づいて、システムはタスクに最も関連性の高いトークンを動的に選択して保持し、それによってトレーニングと推論の効率を向上させます。
長文音声機能の統合我々は専用の長音声SFTデータセットを構築し、圧縮技術を用いて長音声トークンを処理することで、モデルが数時間にわたる音声入力を処理できるようにした。
ストリーミングによるテキスト音声生成本モデルはストリーミング生成メカニズムを統合しており、テキスト生成と同時に対応する音声を出力することで、シームレスなマルチモーダルなインタラクティブ体験を実現します。
データセットの構築Lyraのトレーニングと最適化のために、研究者たちは、幅広いシナリオとドメインを網羅する、150万件以上のマルチモーダルサンプルと1万2000件以上の長文音声サンプルを含む高品質のデータセットを構築した。

ライラのプロジェクトアドレス

プロジェクト公式サイト：lyra-omni
GitHubリポジトリ：https://github.com/dvlab-research/Lyra
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/zszhong/lyra-data
arXiv技術論文：https://arxiv.org/pdf/2412.09501

Lyraのアプリケーションシナリオ

スマートアシスタントスマートアシスタントとして、ユーザーの音声コマンドを理解して応答し、情報検索、スケジュール管理、リマインダー設定などのサービスを提供します。
顧客サービス顧客サービス分野では、音声とテキストによるやり取りを用いて、顧客からの問い合わせ、苦情、技術サポートに対応する。
教育と訓練教育補助ツールとして、音声解説、コース内容の理解度確認と質疑応答、そして言語学習における発音とリスニングのトレーニングを提供します。
健康と医療医療分野では、患者が音声を通じて健康上の問題について相談したり、医師が患者の医療記録を理解し要約するための補助ツールとして利用されたりします。
コンテンツモデレーション画像、動画、テキストコンテンツを分析してコンテンツのモデレーションを行い、不適切なコンテンツを特定してフィルタリングする。