NeuralSVGは、テキストを階層的なベクターグラフィックスに変換する、テキスト駆動型のベクターグラフィックス生成技術です。

NeuralSVGとは何ですか？

NeuralSVGは、テキスト駆動型の革新的なベクターグラフィックス生成技術です。テキスト情報を、小型の多層パーセプトロンネットワークを用いて階層的なベクターグラフィックスに変換します。このネットワークは、形状インデックスを入力として受け取り、形状パラメータを出力します。出力された形状パラメータは、微分可能なレンダラーによって処理され、ピクセル出力が生成されます。分数蒸留サンプリングによってネットワークの重みが最適化され、グラフィックスの暗黙的なニューラル表現が形成されます。ランダムドロップアウトに基づく正則化により、生成されたグラフィックスは意味的に明確で、順序立てられ、編集可能になります。NeuralSVGは推論時の制御をサポートしており、背景色などのグラフィックス属性を動的に調整できます。構造化されたベクターグラフィックスの生成に優れており、グラフィックス生成に新たな知見をもたらします。

NeuralSVGの主な機能

テキストをベクターグラフィックに変換テキストプロンプトに基づいて、順序立てられた編集可能な形状のベクターグラフィックを生成できるため、従来の方法で生成されたベクターグラフィックは構造が複雑で編集が難しいという問題を解決します。
動的な条件をサポートするこれにより、ユーザーは生成プロセス中に必要に応じて生成されたSVGを動的に調整できます。例えば、背景色やアスペクト比などを変更できるため、複数の配色を素早く切り替えたり、さまざまなデザインレイアウトの要件に適応したりすることが可能になります。
スケッチを生成するフレームワークに一切変更を加えることなく、異なるストローク数のスケッチを生成できます。
階層構造生成ドロップアウトに基づく正則化を導入することで、生成されるSVGは階層構造を持つように促され、各形状がシーン全体の中で独立した意味を持つようになり、後の編集が容易になる。

NeuralSVGの技術的原理

隠れた神経表現NeuralSVGは暗黙的なニューラル表現を採用しており、ベクターグラフィックスシーン全体を小さな多層パーセプトロン（MLP）ネットワークの重みにエンコードします。この表現はニューラル放射場（NeRF）に似ており、ネットワークが個々の形状を出力し、それらが集約されて完全なSVGが形成されます。
分別蒸留サンプリングの最適化ネットワークの重みは、スコア蒸留サンプリング（SDS）法を用いて最適化されます。SDS法は、高品質なSVGファイルを保証すると同時に、グラフィックにおける階層構造の形成を促進し、各図形に全体画像における固有の意味と役割を与えます。
ドロップアウトに基づく正則化手法ドロップアウトに基づく正則化手法を導入することで、学習された各形状が全体の構成において意味のある秩序だった役割を果たすように促します。これにより、生成されるグラフィックの構造がより整然とし、後々の編集や修正が容易になります。
推論制御能力ニューラル表現の利点に基づき、NeuralSVGは推論時の制御をサポートしており、背景色やアスペクト比などの入力に応じて、生成されるSVGを動的に調整できます。

NeuralSVGプロジェクトのアドレス

プロジェクト公式サイト：https://sagipolaczek.github.io/NeuralSVG
GitHubリポジトリ：https://github.com/SagiPolaczek/NeuralSVG
arXiv技術論文：https://arxiv.org/pdf/2501.03992

NeuralSVGの応用シナリオ

芸術創作アーティストはNeuralSVGを使用して、クリエイティブなテキストからレイヤー構造で編集可能なベクターグラフィックを生成することができ、さらなる制作や修正を容易にします。
デザイン分野デザイナーは、WebデザインやUIデザインなど、ニーズに合ったベクターグラフィックを迅速に生成でき、さまざまなシナリオに応じてグラフィックの色、背景、その他の要素を動的に調整できます。
教育と研究教育分野では、授業に必要なベクターグラフィックの例を生成するために使用できます。学術研究においては、研究者がテキストとベクターグラフィック生成の関係を探求するのに役立ちます。