Paper2Video - 国立大学が立ち上げた、学術論文作成のためのデモンストレーションビデオプロジェクト。 - AiBoss

Paper2Videoとは何ですか？

シンガポール国立大学のShow Labが開発したPaper2Videoは、学術論文からプレゼンテーション動画を自動的に生成します。PaperTalkerマルチエージェントフレームワークを使用し、スライド、キャプション、音声、スピーカーアバターを含む完全なプレゼンテーション動画に論文を変換します。このフレームワークは、スライド生成、キャプション生成、カーソル配置、スピーカー動画生成をそれぞれ担当する、スライドビルダー、キャプションビルダー、カーソルビルダー、スピーカービルダーの4つのモジュールで構成されています。Paper2Videoは、101本の論文とその著者プレゼンテーション動画、スライド、その他のデータを含む、初の高品質な学術プレゼンテーション動画ベンチマークを提供します。このベンチマークには、メタ類似性、PresentArena、PresentQuiz、IPメモリの4つの評価指標も含まれており、動画が論文の核心的なアイデアを正確に伝えているか、理解しやすいか、著者の貢献を強調しているか、研究のインパクトを高めているかを測定します。

Paper2Videoの主な機能

自動ビデオ生成学術論文からプレゼンテーション動画を自動的に生成し、複雑な学術内容を分かりやすい視覚的・聴覚的な形式に変換する。
マルチエージェントフレームワークPaperTalkerフレームワークを通して、スライド生成、字幕生成、カーソル位置決め、音声合成、話者アバターレンダリングといった複数のモジュールを統合することで、効率的かつ高品質なビデオ制作を実現できます。
高品質なベンチマークデータセットこれは、101本の論文とその著者によるプレゼンテーション動画、スライドなどのデータを含むベンチマークを提供し、学術プレゼンテーション動画の研究と評価のための基準となるものです。
カスタマイズされた評価指標メタ類似性、PresentArena、PresentQuiz、IPメモリなどの評価指標は、デモ動画の品質と有効性をさまざまな観点から測定するために設計されました。
使いやすいツールこのツールは完全なコードと詳細な使用ガイドラインを提供するため、研究者や開発者は簡単にこのツールを使って独自のデモビデオを作成できます。

Paper2Videoの技術原則

スライドの生成と最適化論文のLaTeXソースファイルからコンテンツを抽出し、Beamer形式のスライドドラフトを生成します。ツリーサーチによる視覚的選択方法を用いてレイアウトを最適化します。システムは複数のレイアウト候補を生成し、その後、ビジュアル言語モデル（VLM）が最適なバージョンを評価します。
字幕とカーソルの生成このツールは、スライドに対応するスクリプト（字幕）を生成し、発表者のプレゼンテーションに合わせてマウスカーソルの軌跡を計画します。カーソルの動きと音声は、時間と空間において正確に同期され、聴衆の注意を誘導します。
スピーカー生成著者の肖像写真と短い音声サンプルを用いて、テキスト読み上げ（TTS）技術と話者顔生成技術により、著者の身体的特徴を備え、口の動きと発話が同期した仮想アバターが合成される。
並列化動画生成タスクをスライドごとに分割し、並列処理することで、全体の生成時間を大幅に短縮した。

Paper2Videoのプロジェクトアドレス

プロジェクト公式サイト：https://showlab.github.io/Paper2Video/
GitHubリポジトリ：https://github.com/showlab/Paper2Video
arXiv技術論文：https://arxiv.org/pdf/2510.05096

Paper2Videoの応用事例

学会このツールは、研究者が高品質なプレゼンテーション動画を迅速に作成できるようにすることで、準備時間を節約し、プレゼンテーションの効果を高めます。
オンラインコースこれは、教育者が学術論文の内容を魅力的なビデオコースに変換するのに役立ち、授業のインタラクティブ性と魅力を高めます。
ソーシャルメディアによる情報発信これにより、学術的な研究成果をよりアクセスしやすく理解しやすい動画形式でソーシャルメディア上で共有することが可能になり、研究の影響力を拡大することができる。
学術レポートこれにより、研究者は社内プレゼンテーションや公開講演用の学術レポート動画を迅速に作成できるようになります。
研究とプロモーションこれは、研究機関や研究者が研究成果を発表する新たな方法を提供し、それによって研究の認知度と一般の人々の理解度を高める。