StarVectorは、画像とテキストからSVGを生成する機能をサポートする、オープンソースのマルチモーダル視覚言語モデルです。

StarVectorとは何ですか？

StarVectorは、ServiceNow Research、Mila-Quebec AI Institute、およびETS Montrealが共同開発したオープンソースのマルチモーダル視覚言語モデルです。画像とテキストをスケーラブルベクターグラフィックス（SVG）コードに変換することに重点を置いています。このモデルはマルチモーダルアーキテクチャを採用しており、画像とテキスト情報を同時に処理し、SVGコード空間内で直接操作することで、標準的で編集可能なSVGファイルを生成します。StarVectorは、200万を超えるSVGサンプルを含むSVG-Stackデータセットでトレーニングされており、さまざまなニーズに対応できるよう、StarVector-1BとStarVector-8Bの2つのサイズが用意されています。

StarVectorの主な機能

画像からSVGへの変換画像を直接SVGコードに変換できるため、画像のベクトル化を実現できます。
テキストからSVGへの変換テキストによる指示に基づいて、対応するSVGグラフィックを生成できます。

StarVectorの技術原則

マルチモーダル建築StarVectorは、視覚モデルと言語モデルをシームレスに統合するマルチモーダルアーキテクチャを採用しています。視覚エンコーダ（Vision TransformerやCLIP画像エンコーダなど）を使用して画像から視覚的特徴を抽出し、アダプタを介してこれらの特徴を言語モデルの埋め込み空間にマッピングすることで、視覚タグを生成します。これらの視覚タグは、テキスト埋め込みとともに言語モデルに入力され、画像とテキストの統合処理を可能にします。
画像エンコーディングとビジュアルタグ生成画像エンコーダ（Vision Transformerなど）は、入力画像を小さなパッチに分割し、それらを隠れ特徴量に変換します。これらの隠れ特徴量は、非線形アダプタを介して言語モデルの埋め込み空間に投影され、視覚タグが生成されます。このプロセスにより、形状、色分布、構造レイアウトなど、画像の主要な視覚的特徴が捉えられます。
言語モデルとSVGコード生成StarVectorはStarCoderベースの言語モデルを使用します。トレーニング中、モデルはSVGコードの次のラベルを予測するタスクを通して教師あり学習を行います。推論中、モデルは入力画像の視覚的なラベルに基づいてSVGコードを回帰的に予測します。
大規模データセットでのトレーニングStarVectorは、200万点以上のSVGサンプルを含むSVG-Stackデータセットで学習されています。このデータセットは、画像からSVG、テキストからSVGなど、さまざまなタスクをサポートする多様なSVGサンプルを網羅しています。StarVectorは、モデル性能を包括的に評価するためのSVG-Bench評価ベンチマークを導入しています。
パフォーマンス上の利点StarVectorは、画像からSVGへの変換とテキストからSVGへの変換において優れた性能を発揮します。生成されるSVGファイルは、よりコンパクトで意味的に豊かであり、SVGプリミティブを効果的に活用しています。SVG-Benchベンチマークにおいて、StarVectorは複数の指標で従来の手法やディープラーニングのベースラインモデルを上回る性能を示しました。

StarVectorのプロジェクトアドレス

プロジェクト公式サイト：https://starvector.github.io/
GitHubリポジトリ：https://github.com/joanrod/star-vector
arXiv技術論文：https://arxiv.org/pdf/2312.11556

StarVectorの応用事例

アイコン生成テキストの説明や画像入力から、Webナビゲーションバーやボタンなどに使用できるSVGアイコンをすばやく生成します。
芸術創作アーティストはStarVectorを使用して、創造的なスケッチやテキストによる説明をベクターアートワークに変換することができ、後々の編集や修正が容易になります。
アニメーション制作生成されたSVGグラフィックは、アニメーション制作の基本要素として使用でき、さらに発展させて動的な効果を生み出すことも可能です。
プログラミング教育学生はStarVectorを通してSVGコードの生成と編集を学ぶことができ、プログラミングとグラフィックデザインのスキルを向上させることができます。
テクニカルチャートの生成テキスト記述から、フローチャートや構造図などの技術図面を生成し、技術文書や技術仕様書で使用します。
データ可視化データをSVGグラフィックとして視覚化することで、ウェブページやレポートに簡単に表示できるだけでなく、グラフィックの編集性や拡張性も維持できます。