Wanxiang 2.1 - Tongyi Wanxiang の最新ビデオ生成モデル

Wanxiang 2.1とは何ですか？

Wanxiang 2.1 は、アリババがリリースした Tongyi Wanxiang のアップグレード版です。自社開発の高効率 VAE および DiT アーキテクチャに基づいて、時空間コンテキストモデリング機能を強化し、無制限の長さの 1080P ビデオの効率的なエンコードとデコードをサポートし、中国語のテキストからビデオへの生成機能を初めて実現しました。アップグレードされた Tongyi Wanxiang は VBench リーダーボードでトップになりました。Wanxiang 2.1 は、複雑な人間の動きを安定して表示し、現実世界の物理法則をリアルに再現し、ワンクリックで中国語と英語のビデオ効果を生成し、映画品質のビジュアルと芸術的なスタイルの変換のための強力な機能を備えています。Wanxiang 2.1 はテキストから画像への合成をサポートし、IC-LoRA 画像生成トレーニング方法を使用してテキストから画像へのコンテキスト機能を強化し、関連画像の結合生成を容易に実現します。

Wanxiang 2.1の主な機能

• ビデオ生成
  • 複雑な動作表示回転、ジャンプ、旋回、転がりなど、さまざまな複雑な人体の動きやカメラの動きを安定して表示できるため、映像コンテンツをより鮮やかでリアルなものにすることができます。
  • 物理法則の還元衝突、跳ね返り、切断、圧縮など、現実世界の物理法則をリアルに再現します。例えば、傘に雨粒が跳ね返るシーンを生成し、よりリアルな映像を作り出すことができます。
  • 中国語と英語のビデオエフェクト生成トランジション、パーティクルエフェクト、シミュレーションなど、さまざまなビデオエフェクトオプションを提供し、ワンクリックで中国語と英語のビデオエフェクトを生成できるため、ビデオの視覚的な表現力を高めることができます。
  • 芸術スタイルの変遷強力な芸術的表現能力を備えており、フィルムの色調、印象派的な筆致、抽象的な表現など、映画的な質感や芸術的なスタイルをワンクリックで変換し、さまざまなスタイルの動画を生成できます。
• グラフ生成
  • ストーリーボード効果の復元この映画は、映画的なクオリティのシーン構成を再現し、キャラクター、外見、アクション、環境、照明などの要素をシームレスに統合することで、ストーリー、視覚効果、雰囲気を完璧に融合させている。
  • 4コマ漫画の制作ユーザーが説明した漫画の筋書きとスタイルに基づいて、短い物語を素早く伝える4コマ漫画を生成します。
  • クリエイティブなアバターカスタマイズユーザーの好み、スタイル、特徴に基づいて、カップル用アバター、個人用アバターなど、カスタマイズ可能なアバターを提供しています。多様なユーザーニーズにお応えするため、漫画風、リアル風、クリエイティブ風など、様々なスタイルをご用意しています。

万祥の技術原理 2.1

• VAEアーキテクチャ変分オートエンコーダー（VAE）は、エンコーダーを使用して入力データを潜在空間にマッピングし、デコーダーを使用して潜在空間の表現をデータ空間にマッピングすることで、データを生成および再構築する生成モデルです。
• DiTアーキテクチャDiT（Diffusion in Time）アーキテクチャは、拡散モデルに基づいた生成モデルです。時間軸に沿って徐々にノイズを導入し、徐々にノイズを除去することでデータを生成します。DiTはビデオの時空間構造を効果的に捉え、効率的なエンコードとデコードをサポートし、高品質なビデオを生成できます。
• IC-LoRAIC-LoRAは、画像コンテンツとテキスト説明を組み合わせることで、テキストから画像への文脈適合性を向上させ、生成される画像をユーザーのテキスト説明や期待により合致させる画像生成トレーニング手法です。
• コンテキストモデリング強化された時空間コンテキストモデリング機能に基づき、より一貫性と整合性のあるビデオコンテンツを理解・生成することができ、ビデオ内のアクション、シーン、スタイルなどの要素をより自然で調和のとれたものにすることができる。

万郷2.1のプロジェクト住所

• プロジェクト公式サイト動画制作を始めるには、パソコンで同義万祥AI動画ウェブサイトにアクセスしてください。
• オープンソースアドレス：Wan2.1

万向2.1ビデオ事例研究

テキストエフェクト

• プロンプト1：赤い正月用の和紙を背景に、一滴の墨が現れ、ゆっくりと広がり、ぼやけていく。文字の輪郭はぼやけていて自然だ。墨が広がるにつれて、「福」（幸運／祝福）の文字が紙の上に現れ、墨の濃淡が変化し、独特の東洋的な魅力を醸し出す。背景は洗練されていながらもシンプルで、雑誌の写真を思わせる。

• ヒント2：セーヌ川の岸辺を広角で撮影し、空にきらびやかな花火が打ち上がる様子を捉えます。花火がピンク色の数字「2025」の形を描き出すと、カメラはズームインしてクローズアップし、その後徐々にフェードアウトしていきます。

スポーツ

• 手がかり１：車が雪に覆われた高速道路を疾走する。カメラは上空から撮影し、道路沿いの木々や遠くの山々を映し出す。車はまっすぐな道を走り、周囲の雪と木々の鮮やかなコントラストを生み出す。自然光の中で、映像全体が非常に鮮明に映し出され、ドキュメンタリーのようなリアリティを帯びている。

• 手がかり２：巨大な大波の頂上からサーファーが飛び上がり、宙返りを決める。カメラは波の中から現れ、水を通して差し込む太陽の光を捉える。水しぶきは完璧な弧を描き、サーフボードは水面を切り裂きながら軌跡を残す。最後のショットは、サーファーが水のカーテンを通り抜ける完璧な瞬間で静止する。

特撮

• 手がかり１：巨大な竜が燃え盛る都市の上空に浮かび、炎の残光がその鱗に反射している。カメラは下から見上げ、炎と煙の中に現れたり消えたりする竜のシルエットを捉えている。翼が空中で羽ばたき、突風が巻き起こり、炎が四方八方に吹き飛ばされる。

リアリズム

• 手がかり１：クローズアップショットでは、木を丹念に彫る、たこのできた両手が映し出される。両手は彫刻刀を握り、飛び散る木屑の中で刃が輝き、木目がはっきりと見える。指先が刃の上を軽やかに動き、繊細な模様やデザインを描き出す。背景はぼかされており、作業台と散らばった木工道具だけが映っている。これは、手の精緻な動きと職人技の本質を強調するためである。

• 手がかり２：45度の角度から下向きに固定したミディアムショット、被写界深度は浅く、プラタナスの木々の間から朝の光がまだらに差し込んでいる。画面中央には、エプロンを着たオレンジ色の猫がキュウリを静かにスライスしており、その尻尾は切るリズムに合わせて優しく揺れている。背景には、ストーブから煙が立ち上り、日光が木製のカウンターと古い鉄鍋に温かい光を投げかけている。

キャラクターのクローズアップ

• 手がかり１：女性のクローズアップ映像。最初は笑っているが、次に悲しくなり、泣き始め、最後に両手で顔を覆う。

複数人シーン／大規模シーン／マルチカメラ撮影

• 手がかり１：夜明け、中世風の光景の中、二つの軍隊が激しい戦闘を繰り広げている。

Wanxiang 2.1の応用シナリオ

• 映画およびテレビ制作時代劇向けに、数千の兵士が突撃したり、矢が降り注いだりするなど、古代の戦争の特殊効果を生成し、視覚効果を高めます。
• 広告ビデオ制作スポーツドリンクの広告を作成する。若者が運動後に爽やかなドリンクを楽しむ場面を描き、製品の特徴を強調する。
• 教材教室では、歴史の授業中に赤壁の戦いのビデオを作成し、生徒たちがその歴史的出来事を理解するのに役立てている。
• 文化創造書道芸術に関するドキュメンタリーを制作し、書道家の創作過程を記録した動画を作成し、書道の技法を紹介する。
• ニュース報道交通事故を報告し、事故の経過を明確に示すために、事故現場のシミュレーション動画を生成します。