AIニュース

CogVideoX-Flashは、Zhipuが初めてリリースした無料のAI動画生成モデルです。CogVideoXの独自開発エンドツーエンド動画理解モデルを継承し、強力な動画生成機能を備えています。CogVideoX-Flashはテキストベースの動画などをサポートしています。

Mini-InternVLは、大規模モデルであるShusheng·Wanxiangの「ミニ」バージョンです。上海AI研究所、清華大学、南京大学などが共同で開発した、軽量でマルチモーダルな大規模言語モデルシリーズです。1B、2B、4Bの3つのパラメータバージョンがあります。

Weeboは、Whisper Small、Llama 3.2、Kokoro-82Mの技術を搭載したリアルタイム音声チャットボットです。音声認識および音声生成技術を用いて、ユーザーと自然で流暢な会話を行い、リアルタイムの音声インタラクションを提供します。

ParGoは、ByteDanceが中山大学と共同で提案した革新的なマルチモーダル大規模言語モデルコネクタです。これは、マルチモーダル大規模言語モデル（MLLM）における視覚モダリティと言語モダリティの整合性を向上させます。これは、ローカルトークンとグローバルトークンを組み合わせることによって実現されます。

MatterGenは、マイクロソフトが開発した革新的な生成モデルで、特に無機材料向けに設計されています。独自の拡散プロセスに基づき、原子の種類、座標、周期格子を段階的に洗練させることで、周期表全体にわたる安定かつ多様な無機材料を生成します。

XMusicは、テンセントマルチメディアラボが独自開発したAI搭載の汎用音楽フレームワークです。ユーザーは動画、画像、テキスト、タグ、ハミングなど、あらゆるコンテンツをアップロードするだけで、XMusicは感情、スタイル、リズムを自在にコントロールできる高品質な音楽を生成できます。

Seaweed APTは、ByteDanceが開発した敵対的学習後モデルであり、画像と動画をワンストップで生成できる。Seaweed APTは、事前学習済みの拡散モデルをベースとしており、それを実世界のデータに直接適用する。

OmAgentは、Om AIと浙江大学濱江研究所が共同でオープンソース化したマルチモーダル言語プロキシフレームワークです。デバイス側でのインテリジェントエージェントの開発を簡素化します。OmAgentは再利用可能なプロキシコンポーネントをサポートしており、開発者が複雑なマルチモーダルシステムを構築するのに役立ちます。

T2A-01-HDは、Conch AIの海外版が発表した新しい音声モデルです。音声クローニングに対応しており、わずか10秒の音声データで、感情のニュアンスを保持しながら正確に音声を複製できます。このモデルは、音声の微妙な感情の違いを捉えることができるインテリジェントな感情システムを搭載しています。

Uni-AdaFocusは、清華大学自動化系の研究チームが開発した、汎用性の高い高効率な動画理解フレームワークです。このフレームワークは、適応型フォーカス機構を用いて計算リソースの割り当てを動的に調整することで、動画コンテンツの効率的な処理を可能にします。

AnyStoryは、アリババ傘下のTongyi Labが開発した革新的なテキスト画像生成フレームワークであり、単一または複数の被写体に対して高精度なパーソナライズ画像生成を可能にします。被写体のパーソナライズは、「エンコーディング・ルーティング」方式を用いてモデル化されています。

SHMT（Self-supervised Hierarchical Makeup Transfer）は、アリババDAMOアカデミーと武漢理工大学などが共同開発した高度な自己教師ありメイクアップ転送技術です。この技術は潜在拡散モデルを利用して、...

SmartEraserは、中国科学技術大学とマイクロソフトリサーチアジアが共同開発した画像編集技術で、画像からユーザーが指定したオブジェクトを削除するために特化して設計されています。SmartEraserは、革新的な「マスク領域誘導」に基づいています。

Zeroxは、GPT-4o-miniモデルに基づいたオープンソースのローカライズされた高精度OCRツールで、事前のトレーニングなしでゼロショット認識を実現します。ZeroxはPDF、DOCX、画像など様々なファイル形式をサポートし、スキャンされた文書や複雑な文書の処理に優れています。

Video Alchemistは、Snapなどの企業が開発した新しい動画生成モデルです。マルチ被写体、オープンセットのパーソナライゼーション機能を備え、テスト中に最適化を必要とせずに、テキストプロンプトと参照画像に基づいて動画を生成できます。このモデルは…

PSHumanは、高度な単一画像3Dポートレート再構築技術です。クロススケールマルチビュー拡散モデルに基づいて、1枚の写真から、詳細な表情や全身のポーズを含む、非常にリアルな3Dポートレートモデルを生成できます。その最大の強みは…

Wear-Any-Wayは、アリババの淘宝画像検索チームが開発した革新的な仮想試着フレームワークです。疎な対応関係アライメントメカニズムにより、高精細でカスタマイズ可能な仮想試着効果を実現します。ユーザーはリアルな試着画像を生成できます。

GameFactoryは、香港大学とKuaishou Technologyが共同で提案した革新的なフレームワークで、ゲームビデオ生成におけるシーン一般化の問題を解決します。このフレームワークは、事前学習済みのビデオ拡散モデルをベースに、オープンドメインのビデオデータと小規模で高品質な画像を組み合わせています。

Step-2 miniは、Step-Starが発売した軽量・高速大型モデルで、次世代の自社開発アテンションアーキテクチャMFAをベースに開発されました。Step-2の80%以上の性能を維持しながら、パラメータはわずか3%に削減されており、性能が大幅に向上しています。

FramePainterは、AIベースのインタラクティブな画像編集ツールで、ビデオ拡散モデルと直感的なスケッチ操作を組み合わせることで、ユーザーは簡単な描画、クリック、ドラッグ操作によって編集意図を示すことができ、画像を自在に操作できます。

Bailingは、自動音声認識（ASR）、音声活動検出（VAD）、大規模言語モデル（LLM）、テキスト音声合成（TTS）技術を使用して、ユーザーとの自然な音声対話を実現し、ほぼ普遍的な音声対話を実現するオープンソースの音声対話アシスタントです。

LineArtは、吉林大学、スウェーデン王立工科大学、東京工業大学が共同開発した、トレーニング不要の高品質なデザイン図面外観転送フレームワークです。複雑な外観特性を詳細なデザイン図面に転送できるため、デザイナーの作業を支援します。

SynthLightは、イェール大学とAdobe Researchが共同開発したポートレート写真のライティング技術です。拡散モデルに基づいており、さまざまな照明条件下でシミュレートされた合成データを使用してトレーニングされ、ポートレート写真を再レンダリングします。

X-Dynaは、拡散モデルに基づいたアニメーション生成フレームワークです。動画内の顔の表情や体の動きを制御することで、単一の人物画像をアニメーション化し、リアルで環境認識に優れたダイナミックな効果を生み出します。その中核となるのはDynam...