CoF - DeepMindのビジュアルモデリング思考

CoFとは何ですか？

チェーン・オブ・フレーム（CoF）は、DeepMindが提唱した新しい概念で、言語モデルにおけるチェーン・オブ・ソート（CoT）に相当します。CoFを用いることで、ビデオモデルは時間と空間の両方において推論を行うことが可能になり、ビデオをフレームごとに生成することで複雑な視覚タスクを解決できます。例えば、Veo 3モデルはCoFを用いて迷路問題の解決、対称性タスクの完了、あるいは単純な視覚的類推推論を行います。言語モデルが記号推論によって問題を解決するのと同様に、CoFは一貫性のあるビデオフレームを生成することで視覚的推論を実現し、一般的な視覚理解におけるビデオモデルの可能性を示しています。

CoFの主な機能

• 視覚的推論CoFは、動画をフレームごとに生成することで、迷路の経路を見つけたり、対称性に関する課題を完了したり、視覚的な類推推論を実行したりするなど、問題を段階的に解決することができる。
• 空間横断作戦: ビデオ内のオブジェクトを操作します。例えば、オブジェクトの移動、変形、プロパティの変更などを行いながら、ビデオの連続性を維持します。
• 一般的な視覚理解CoFは、ビデオモデルが視覚世界の物理的なルール、抽象的な関係、および動的な変化を理解するのに役立ち、一般的な視覚タスクのためのゼロショット学習を可能にします。
• 一貫性のあるビデオを生成するCoFは、生成されるビデオが時間的にも空間的にも一貫性を持つことを保証し、モデルが論理的および物理的な規則に準拠したビデオコンテンツを生成できるようにします。

CoFの技術原理

• 生成モデルCoFは、膨大なデータを用いて訓練された大規模な生成モデルに依存しており、動画の時空間構造と動的な変化を学習します。
• プロンプトドライバーこのモデルは、自然言語による指示と初期画像を用いて、タスク要件を満たす動画を生成するように誘導されます。指示はモデルがタスクの目的を理解するのに役立ち、初期画像は動画の最初のフレームを提供します。
• フレームごとの推論このモデルは、前のフレームの状態と手がかりに基づいて推論を行いながら、動画をフレームごとに生成します。このフレームごとの生成方法は、言語モデルにおける連鎖思考（CoT）に似ています。
• 物理的および論理的な制約CoFを使用して生成された動画は、物理法則と論理的一貫性に準拠する必要があります。例えば、物体の動きは物理法則に従う必要があり、動画内の物体は現実世界の制約に違反してはなりません。
• 最適化とフィードバック試行錯誤と最適化を繰り返すことで、モデルはより精度の高い動画を生成できるようになります。例えば、複数の動画を生成し、最適な結果を選択することで、タスクの成功率を向上させることができます。

CoFのプロジェクト住所

• 技術論文：https://papers-pdfs.assets.alphaxiv.org/2509.20328v1.pdf

CoFの応用シナリオ

• 迷路を解くCoFは、物体が迷路の始点から終点までどのように移動するかを示す動画を生成でき、最適な経路をフレームごとに計画します。
• 視覚的対称性課題CoFは対称的なパターンや画像を生成し、フレームごとに空白部分を埋めることで対称的なグラフィックの描画を完成させることができます。
• 物理シミュレーション物体の動き、衝突、浮力といった物理現象をシミュレートし、物理法則に合致した動画を生成する。
• 画像編集背景除去、スタイル変換、カラー化などの画像編集作業に使用され、動画をフレームごとに生成することで、編集作業を段階的に完了させます。
• 視覚的類推視覚的な類推問題（例えば、視覚的な類推を完成させるために欠けている部分を生成したり、フレームごとの推論を通して正しい解答を見つけたりする問題）を解く。