AIニュース

ReSyncerは、清華大学と百度が共同開発したAI動画編集ツールです。音声処理によって、音声と同期した高品質なリップモーション動画を生成します。ReSyncerはStyle-SyncFormerを用いて音声を分析し、3D顔モデルを作成します。

MotionCloneは、テキスト駆動型のAIビデオモーションクローニングフレームワークです。時間的注意機構を用いて参照ビデオから動作をクローンし、テキストキューを組み合わせることで新しいビデオを生成します。複雑な全体的なカメラの動きと、きめ細かな局所的な手足の動きの両方に対応できます。

Mini-Monkeyは、華中科技大学と華南理工大学が共同開発した軽量マルチモーダルAIモデルです。マルチスケール適応型セグメンテーション戦略（MSAC）とスケール圧縮メカニズム（SCM）を採用することで、従来の画像セグメンテーションにおける問題を効果的に解決します。

MDT-A2Gは、復旦大学とテンセントユーチューが共同開発したAIモデルで、音声コンテンツに基づいて対応するジェスチャーを同期的に生成するように特別に設計されています。MDT-A2Gは、人間がコミュニケーション中に行う自然なジェスチャーを模倣し、コンピュータがより生き生きとしたジェスチャーを生成できるようにします。

ASAM（Adversarial Adjustment of Segment Anything Model）は、vivoが開発したAI画像セグメンテーションモデルです。敵対的調整によって、元のSAMモデルの性能を向上させています。ASAMは自然な敵対的サンプルを使用します...

Falcon Mamba 7Bは、アラブ首長国連邦の技術革新研究所（TII）が開発したオープンソースのAIモデルで、MetaのLlama 3.1-8Bなどのモデルを凌駕する性能を発揮します。Falcon Mamba 7Bはエンコーダー・デコーダーアーキテクチャとマルチヘッドアテンションを採用しています。

Clapperは、HuggingFaceのAIフロントエンドエンジニアであるJulian Bilcke氏によって開発された、無料のオープンソースのビジュアルAIビデオ編集ツールです。様々な生成AI技術を統合し、ユーザーが反復的かつ直感的に操作できるように設計されています。

UniTalkerは、入力音声に基づいてリアルな顔の動きを生成できる、音声駆動型の3D顔アニメーション生成モデルです。統一されたマルチヘッドアーキテクチャモデルを採用し、異なるアノテーションを持つデータセットを使用し、複数の言語と音声フォーマットをサポートしています。

Grok-2は、xAIが開発した次世代AIモデルで、優れたチャット、プログラミング、推論機能を提供します。学術ベンチマークテストにおいて、Grok-2はGPQA、MMLU、MMLU-Pro、MATHなどの分野で前モデルのGrok-1を上回る性能を発揮します。

MagicPoseは、南カリフォルニア大学とByteDanceが共同開発したAI動画生成モデルです。微調整なしで、人間の動きや表情をリアルに再現した動画を生成します。MagicPoseは、斬新な2段階の学習戦略を採用しています。

Agent Qは、MultiOnがスタンフォード大学と共同で開発した、自己教師ありエージェント推論および探索フレームワークです。Agent Qは、ガイド付きモンテカルロ木探索（MCTS）、AI自己批判、直接選好最適化（DPO）などの技術を統合しています。

アリババが開発したUniPortraitは、AIを活用した画像パーソナライズ編集ツールで、写真をアニメ風に変換したり、集合写真や顔交換技術をサポートしたりすることができます。UniPortraitは、高度な「ID埋め込み」および「IDルーティング」技術を利用して、

LabelUは、画像、動画、音声の注釈をサポートするオープンソースのマルチモーダルデータ注釈ツールです。境界ボックス注釈、ポリゴン注釈、句読点、線注釈、分類、説明注釈などの機能を備えており、物体検出や画像分類などのニーズに対応できます。

Buzzは、OpenAI Whisperモデルをベースにしたオフライン音声認識ツールで、Windows、macOS、Linuxシステムで利用可能です。Buzzは、マイク入力やオーディオ/ビデオファイルをリアルタイムでテキストに変換でき、複数の言語に対応しています。

HoloDreamerは、北京大学が鵬城研究所と共同開発した、AIによるテキスト駆動型3Dシーン生成フレームワークです。様式化されたパノラマ画像生成と強化された2段階パノラマ画像再構成という2つのコアモジュールを通して、テキスト記述からパノラマ画像を迅速に生成します。

HumanVidは、香港中文大学と上海人工知能研究所が共同開発した高品質データセットで、特に人物画像アニメーションの学習用に設計されています。実世界の動画と合成データを組み合わせ、綿密に設計されたルールを用いて高品質データをフィルタリングしています。

ORMBGは、開発者schirrmacher氏がGitHubで開発を開始したオープンソースのAI画像セグメンテーションツールです。ORMBGは、高度な画像処理技術を用いて前景と背景を正確に分離することで、画像から背景を正確に除去することに重点を置いています。

Cradleは、汎用コンピュータ制御（GCC）向けのマルチモーダルAIエージェントフレームワークであり、Kunlun Techが北京人工知能研究院、南洋理工大学（シンガポール）、北京大学などと共同で開発しました。

Linly-Dubbingは、AIを搭載したオープンソースの動画吹き替え・翻訳ツールで、動画コンテンツを複数の言語に自動的に翻訳し、字幕を生成します。WhisperXとFunASRを使用して正確な音声認識を実現し、Edgeベースの技術を採用しています。

VITAは、Tencent YouTu Labが開発した世界初のオープンソースのマルチモーダル大規模言語モデル（MLLM）です。動画、画像、テキスト、音声の理解と処理が可能です。Mixtral 8×7Bモデルをベースに、中国語の語彙を拡張し、…

AI Scientistは、Sakana AIが開発した初の完全自動化された科学的発見のためのAIシステムです。アイデア創出、コーディング、実験実行から論文執筆まで、研究プロセス全体を自律的に完了できます。

ControlNeXtは、香港中文大学とSenseTimeが共同開発した、制御可能な画像および動画生成のための革新的なAIフレームワークです。軽量な制御モジュールと革新的なクロス正規化技術を採用することで、計算リソースと学習時間を大幅に削減します。

FancyVideoは、360が中山大学と共同開発した、AIを活用したテキストベースのビデオモデルです。革新的なクロスフレームテキストガイダンスモジュール（CTGM）に基づき、テキストプロンプトに基づいて動的でリッチなビデオコンテンツを生成できます。

MovieDreamerは、浙江大学がアリババと共同開発した、長尺動画に特化したAI動画生成フレームワークです。自己回帰モデルと拡散レンダリング技術を組み合わせることで、複雑なストーリー展開と高い映像品質を備えた長尺動画を生成できます。