SenseTime社は、マルチモーダルモデルの性能限界を再定義するNEOアーキテクチャを発表しました。

SenseTimeは、南洋理工大学との共同研究により、世界初のネイティブマルチモーダルアーキテクチャであるNEOを発表しました。これは、「ビジュアルエンコーダー＋プロジェクター＋言語モデル」という従来のパッチワーク型パラダイムを打破するものです。このアーキテクチャは、ネイティブタイル埋め込み、3D回転位置エンコーディング、ネイティブマルチヘッドアテンションという3つの主要なイノベーションを通じて、視覚と言語の深い統合を実現しています。