HY-WU - テンセントのオープンソース機能的ニューラルメモリフレームワークであるHunyuan

HY-WUとは何ですか？

HY-WU（Hunyuan Wuxiang）は、テンセント洛源が開発した機能的なニューラルメモリフレームワークで、AIが推論中にリアルタイムでパーソナライズされたパラメータを生成することを可能にします。このフレームワークは、Transformerパラメータジェネレータを使用して、推論中の入力に基づいてパーソナライズされたLoRA重みをリアルタイムで合成し、固定スキーマを動的に注入することで、微調整なしでインスタンスレベルの適応を実現します。このフレームワークは、画像編集を含む60以上のタスクにおいてオープンソースモデルの中でトップレベルの性能を達成しており、汎用AIにおけるパーソナライズされた継続的学習の新たな道を切り開いています。

HY-WUの主な機能

• リアルタイムパラメータ生成HY-WUは、事前学習や多数の固定重みの保存を必要とせず、モデル推論プロセス中に、現在入力されている画像と編集指示に基づいて、一連の独自のLoRA適応パラメータをリアルタイムで合成できます。
• インスタンスレベルのパーソナライゼーションこのシステムは、個々のサンプルやタスクごとにカスタマイズされたオペレーターパラメータを動的に生成し、真の「個人に合わせた個別適応」を実現します。
• ゼロ・フォーゴットン アニメ化HY-WUは、生成されたパラメータを固定されたベースモデルに動的に注入することで、共有重みの直接的な変更を回避し、従来の微調整によって引き起こされる「新しいことを学習して古いことを忘れる」という壊滅的な忘却問題を完全に解決します。
• 機能的分離相反するタスク目標に直面した場合、HY-WUは、異なる要件をパラメータ更新ファミリーの異なる領域にルーティングすることで、従来モデルのパフォーマンスのシーソー効果を排除し、ある側面を犠牲にして別の側面を優先するような妥協を回避します。
• エンドツーエンドのトレーニング従来のハイパーネットワークは多数の事前学習済みチェックポイントに依存しているのに対し、HY-WUはエンドツーエンドのトレーニングアプローチを採用し、微調整された大量の重みを収集・保存することなく、パラメータ生成器を直接最適化します。
• 大規模互換性HY-WUは、構造化されたパラメータ分割と因子化自己注意最適化により、80B個のパラメータを持つ台座モデルを効率的にサポートでき、推論生成プロセスをわずか数秒で完了できます。

HY-WUの技術原理

• 機能的神経記憶パラダイムHY-WUは、モデル適応の「メモリインターフェース」を再定義します。従来の手法では、適応を静的なパラメータ空間における固定点の探索と捉えていましたが、HY-WUはそれをパラメータ生成関数の学習、すなわち入力条件に基づいて特定の演算子のマッピング関係をリアルタイムで合成することへと変換します。「メモリをニューラルネットワークとして捉える」というパラダイムを採用することで、モデルは異なるインスタンスに基づいて重み空間内で動的にルーティングすることができ、共有パラメータにおける繰り返し消去や競合を根本的に回避し、非孤立演算子を用いた条件付きパラメータ更新を実現します。
• ハイブリッド条件付きコーディングこのシステムはまず、マルチモーダルエンコーダーを用いて、現在の入力画像と編集指示の複合的な条件付き特徴を抽出し、視覚コンテンツと言語指示を統合した意味表現を作成します。この条件付きエンコーディングは、「何をすべきか」というタスクの意図を捉え、「誰に対して行うべきか」というインスタンス特性を認識することで、後続のパラメータ生成のためのきめ細かな文脈的基盤を提供し、生成されたパラメータが現在のサンプルの固有のニーズに正確に適合することを保証します。
• 変圧器パラメータ発生器HY-WUは、Transformerアーキテクチャに基づいたパラメータ生成ネットワーク（80億パラメータ）を導入しています。このネットワークは、混合条件特徴を入力として受け取り、自己注意機構を通じて条件間の複雑な相互作用をモデル化し、構造化されたLoRA重みパラメータを出力します。大規模なパラメータ生成における計算上の課題に対処するため、チームは因子化自己注意機構を設計しました。この機構は、注意計算を分解することで時間計算量を大幅に削減し、数十億のプリミティブモデル（ランク16、約7億2000万パラメータ）でリアルタイムにパラメータを生成することを可能にします。
• 動的パラメータ注入と凍結モデル調整生成されたLoRAパラメータは、凍結されたベースモデルの線形モジュール（80Bパラメータ、13Bアクティベーション）に即座に注入され、インスタンス固有の一時的な計算パスを形成します。ベースモデルは、元の機能を完全に保持するために凍結されたままとなり、動的にマウントされたパーソナライズされたパラメータが特定の編集変換を実行します。この「バックボーン＋プラグイン」アーキテクチャは、汎用性と適応性を分離し、モデルが堅牢な基本機能を維持しながら、多様な下流タスクを柔軟に処理できるようにします。
• 構造化されたパラメトリック多様体と意味ルーティングトレーニング中、HY-WUは幾何学的構造を持つパラメトリック多様体を生成し、その中で機能的に類似した編集操作（動物の変形やスタイル変換など）は重み空間内で自動的にクラスタリングされます。重み空間の意味的一貫性は、機能的記憶がタスクの背後にある変換ルールをうまく捉えていることを示しています。相反する目標に直面した場合、システムは多様体の異なる領域にルーティングすることで干渉を解消し、単一のパラメータポイントでの強制的なパフォーマンスの妥協を回避し、真の機能的モジュール性と分離を実現します。

HY-WUプロジェクトの住所

• プロジェクト公式サイト：https://tencent-hy-wu.github.io/
• GitHubリポジトリ：https://github.com/Tencent-Hunyuan/HY-WU
• ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/HY-WU
• 技術論文：https://github.com/Tencent-Hunyuan/HY-WU/blob/main/assets/report.pdf

HY-WUの応用シナリオ

• 画像編集HY-WUは、複雑な指示を正確に理解し、キャラクターの個性、姿勢、背景を維持しながら高品質なパーソナライズされた生成を実現できるため、ソーシャルシェアリングや広告制作など、多様なビジュアルコンテンツ制作ニーズに対応できます。
• ゲームキャラクターのカスタマイズゲームおよびデジタルエンターテインメント分野において、HY-WUは高精度な顔認証転送と異分野間の服装統合を可能にし、プレイヤーがワンクリックで実写写真をゲームキャラクター画像に変換できるようにすることで、仮想ロールプレイングやクリエイティブなコスプレの没入感を大幅に向上させるとともに、UGCコンテンツ作成の効率化を実現します。
• eコマースのバーチャル試着ファッション小売のシナリオにおいて、HY-WUは、さまざまな体型や姿勢のマネキンにターゲットとなる衣服を自然かつシームレスに転送し、質感のディテールや照明の一貫性を維持することで、オンライン製品ディスプレイのための低コストかつ高効率な視覚化ソリューションを提供し、デザインから店頭販売までの全プロセスを加速します。
• 映画およびテレビ広告制作プロフェッショナルなコンテンツ制作プロセスにおいて、HY-WUはビジュアルソリューションの複数のバージョンを迅速に反復することをサポートし、デザイナーが高品質なテクスチャ合成とシーン統合効果を実現できるよう支援します。これにより、ポストプロダクションの技術的なハードルが大幅に下がり、コンセプトから完成品までの変換サイクルが短縮されます。