AB
AB
AiBoss

すべてのカテゴリ

project

Heygem - Silicon Intelligenceが開発したオープンソースのデジタル人体モデル

Heygemは、Silicon Intelligence社が開発したオープンソースのデジタルヒューマンモデルで、Windowsシステム向けに特化して設計されています。高度なAI技術に基づいており、わずか1秒の動画または1枚の写真から、30秒以内にデジタルヒューマンの画像と音声を複製できます。

Heygemとは何ですか？

Heygemは、Silicon Intelligence社が開発したオープンソースのデジタルヒューマンモデルで、Windowsシステム向けに特化して設計されています。高度なAI技術に基づき、わずか1秒の動画または1枚の写真から30秒以内にデジタルヒューマンの画像と音声を複製し、60秒以内に4K超高精細動画を合成できます。Heygemは多言語出力、多様な表情や動きに対応し、100%のリップシンク機能を備えているため、複雑な照明条件や遮蔽されたシーンでも非常にリアルな効果を維持します。Heygemは完全にオフラインで動作するため、ユーザーのプライバシーを保護し、低スペックのハードウェアへの展開にも対応しているため、参入障壁を大幅に下げ、コンテンツ制作、ライブストリーミング、教育など、さまざまな用途で効率的かつ低コストなデジタルヒューマンソリューションを提供します。

ヘイゲムの主な機能

  • 第二段階のクローニングわずか1秒の動画または1枚の写真だけで、デジタル人間の画像と音声を複製でき、複製作業は30秒以内に完了し、4K超高精細のデジタル人間動画を60秒以内に合成できる。
  • 効率的な推論推論速度は1:0.5、ビデオレンダリングおよび合成速度は1:2に達する。
  • 高品質な出力毎秒32フレームの4K超高精細ビデオ出力に対応しており、ハリウッド映画の標準である毎秒24フレームを上回っています。
  • 多言語対応このクローン化されたデジタル人間は8言語での出力に対応しており、グローバル市場のニーズを満たしている。
  • 無制限のクローン作成デジタル人間の画像と音声の無制限のクローン作成、および無制限のビデオ合成をサポートします。
  • 100％口パク複雑な照明条件、遮蔽物、横からの角度といった状況下でも、非常にリアルなリップシンクを実現します。
  • ローエンド構成では、ワンクリックでDockerをデプロイできます。動作に必要なグラフィックカードはNVIDIA 1080Tiのみです。

ヘイゲムの技術原理

  • 音声クローン技術AIなどの先進技術に基づき、この技術は与えられた音声サンプルから、文脈、イントネーション、発話速度などを考慮に入れながら、類似または同一の音声を生成します。
  • 自動音声認識これは人間の話し言葉の語彙をコンピュータが読み取れる入力形式に変換し、コンピュータが人々の発言内容を「理解」できるようにするものです。
  • コンピュータビジョン技術顔認識やリップシンク分析など、ビデオ合成で使用される画像処理技術は、仮想アバターの口の動きが音声やテキストの内容と一致することを保証する。

ヘイゲムのプロジェクトアドレス

Heygemの使い方

  • インストール要件：
    • システム要件Windows 10 バージョン 19042.1526 以降に対応しています。
    • ハードウェアに関する推奨事項：
      • CPU第13世代インテル Core i5-13400F。
      • メモリ：32GB。
      • グラフィックカード：RTX 4070。
    • 収納スペース：
      • Dドライブデジタル上の人物データやプロジェクトデータを保存するのに使用され、30GB以上の容量が必要です。
      • Cドライブストレージサービスイメージファイルの保存に使用され、100GB以上の容量が必要です。
    • 依存関係：
      • Node.js 18。
      • Dockerイメージ：
        • docker pull guiji2025/fun-asr:1.0.2。
        • docker pull guiji2025/fish-speech-ziming:1.0.39。
        • docker pull guiji2025/heygem.ai:0.0.7_sdk_slim。
  • インストール手順：
    • DockerをインストールするWSL（Windows Subsystem for Linux）がインストールされているかどうかを確認してください。インストールされていない場合は、`wsl --install`を実行してください。WSLを更新してください。Windows版Dockerをダウンロードしてインストールしてください。
    • サーバーのインストールDockerとdocker-composeを使用してサーバーをインストールします。`/deploy`ディレクトリで`docker-compose up -d`を実行してください。
    • クライアントをインストールインストーラー「HeyGem-1.0.0-setup.exe」を生成するには、「npm run build:win」を実行してください。インストーラーをダブルクリックしてインストールします。

Heygemの応用シナリオ

  • コンテンツ作成アニメーションや教育ビデオなどを迅速に生成できるため、制作コストを削減できます。
  • オンライン教育仮想教師を育成し、多言語教育を支援し、学習体験を向上させる。
  • ライブストリーミングマーケティングバーチャルライブ配信や製品プロモーションにおいて、人件費削減のために利用される。
  • 映画やテレビの特殊効果制作プロセスを簡素化するために、仮想キャラクターや特殊効果ショットを生成する。
  • インテリジェントな顧客サービス自然な人間とコンピューターの対話体験を提供するために、仮想のカスタマーサービス担当者を作成する。
戻る