AIニュース

EchoMimicは、アリババ傘下のAnt Groupが立ち上げたオープンソースのAIデジタルヒューマンプロジェクトで、静止画に生き生きとした声と表情を与える。深層学習モデルと音声および顔の特徴点を組み合わせることで、非常にリアルな動的なポートレート動画を作成する。

MimicMotionは、テンセントが上海交通大学と共同開発したAI動画生成フレームワークです。ユーザーは画像と参照動画を提供するだけで、ワンクリックでリアルな人間の動きを再現した動画を生成できます。ダンスやスポーツなど、さまざまなジャンルに適しています。

FunAudioLLMは、アリババ同義研究所が立ち上げたオープンソースの音声モデルプロジェクトで、SenseVoiceとCosyVoiceの2つのモデルで構成されています。SenseVoiceは多言語音声認識と感情検出に優れており、50以上の言語をサポートしています。

Chameleonは、Meta（Facebookの親会社）の人工知能研究チームであるFAIR（Facebook AI Research）が発表したハイブリッドマルチモーダルモデルで、任意の画像とテキストのシーケンスを理解し、生成することができます。Chameleonは、...

Mem0は、大規模言語モデル向けのオープンソースのメモリ拡張ツールであり、AIが長期的かつ適応的なメモリを持つことを可能にします。その適応型メモリシステムにより、AIはアプリケーション間でユーザーの好みや操作を記憶し、一貫性のある継続的な処理を提供できます。

STORM AIは、スタンフォード大学が開発したオープンソースのAIライティングツールです。トピックを数秒で長文の記事や研究論文に変換でき、完全に無料で、Perplexity Pagesの代替ツールとして利用できます。STORM AIは…

DCLM-7Bは、Appleの研究チームとの共同開発により開発された、70億個のパラメータを持つ小型のオープンソースモデルです。その性能はMistral-7Bを凌駕し、Llama 3やGemmaに匹敵します。最近、AppleはDataComp-LM（DCLM）プロジェクトの研究機関として…

LivePortraitは、Kuaishouが開発したオープンソースのポートレートアニメーション生成フレームワークです。動画を動かす表情やポーズを、静止画または動画のポートレートに効率的かつ制御可能に転送し、表現力豊かな動画を作成することに重点を置いています。この技術は暗黙的な...

Llama 3.1はMetaの最新オープンソースAIモデルで、8B、70B、405Bの3つのバージョンがあります。4050億個のパラメータを持つバージョン405Bは、現在利用可能なオープンソースモデルの中で最大規模の一つです。Llama 3.1は128Kのコンテキスト長をサポートしています。

GPT-4o Long Outputモデルは、OpenAIの最新の超長文出力AIモデルで、最大64,000トークン（小説約200ページ分に相当）のテキスト出力をサポートしています。オリジナルのGPT-4oモデルと比較すると、出力能力は16倍向上していますが、…

MindSearchは、上海人工知能研究所の共同研究チームによって開発されたオープンソースのAI検索フレームワークです。大規模な情報収集と処理機能を兼ね備えています。InternLM2.5 7B対話モデルを利用することで、MindSearchは以下のようなデータを取得できます。

Diffreeは、OpenGVLabが開発したAIテクスチャマッピングフレームワークです。画像内の適切な位置を自動的に検出し、ユーザーのテキスト記述に基づいて新しいオブジェクトを追加します。インテリジェントなマスク予測により、手動で描画することなく新しいオブジェクトの位置を決定します。

FLUX.1は、Stable Diffusionの創設チームによって開発されたオープンソースのAI画像生成モデルです。120億個のパラメータを持つ、現在までに最大のテキストから画像への生成モデルです。FLUX.1には、最高性能のFLUX.1 [pro]、オープンソースの非商用版、そして...の3つのバリアントがあります。

Stable Fast 3D (SF3D) は、Stability AI が開発した革新的な 3D メッシュ再構築技術で、1 枚の画像から 0.5 秒で高品質の 3D モデルを生成できます。Stable Fast 3D は、高度な Transformer ネットワークを利用しています。

Toraは、アリババが開発したAIビデオ生成フレームワークです。軌道誘導拡散トランスフォーマー（DiT）技術に基づき、テキスト、視覚情報、軌道条件を融合して、物理世界のダイナミクスに適合する高品質なビデオコンテンツを生成します。Toraは軌道…

Whisper-Medusaは、aiOlaが開発したオープンソースのAI音声認識モデルです。OpenAIのWhisperテクノロジーとaiOlaのイノベーションを組み合わせたWhisper-Medusaは、マルチヘッドアテンションメカニズムを導入し、並列処理を可能にして、大幅な改善を実現しています。

FoleyCrafterは、上海人工知能研究所と香港中文大学深圳校が共同開発したAIビデオ吹き替えフレームワークです。FoleyCrafterは、ビデオ内の動作を自動的に検出し、適切な効果音を追加できます。

MinerUは、上海人工知能研究所のOpenDataLabチームが開発したオープンソースのインテリジェントデータ抽出ツールです。複雑なPDF文書の効率的な解析と抽出に特化しています。MinerUは、画像、数式、表、その他の要素を含むマルチモーダルPDF文書からデータを抽出できます。

CogVideoXは、Zhipu AIが開発した最新のオープンソースAI動画生成モデルで、Zhipu AIの商用製品「Qingying」と同じルーツを持っています。CogVideoXは英語のプロンプトに対応しており、720×480の解像度で毎秒8フレームの6秒間の動画を生成できます。

PhotoMaker V2は、テンセントが開発したAI画像生成フレームワークで、非常に短時間でリアルなポートレート写真を生成できます。初代モデルと比較して、バージョンV2ではキャラクターの一貫性と制御性が大幅に向上し、ユーザーは…

SEED-Storyは、テンセントが香港科技大学および香港中文大学と共同開発したマルチモーダルストーリー生成モデルです。マルチモーダル大規模言語モデル（MLLM）に基づいており、テキストトークンとビジュアルトークンを予測し、ビジュアルデトークナイザーを通してストーリーを生成します。

FlashFaceは、アリババが香港大学と共同開発した高精度AIポートレートツールです。ユーザーが提供した顔画像とテキスト入力に基づいて、パーソナライズされた高精度のポートレート写真を迅速に生成できます。FlashFaceは高精度の本人確認機能を備えています。

EasyAnimateは、アリババが開発したAI動画生成ツールで、テキストベースと画像ベースの両方の動画生成に対応しています。ユーザーは動画の開始フレームと終了フレームとして画像をアップロードできるため、より柔軟な動画編集が可能になります。EasyAnimateは…

EmoTalk3Dは、ファーウェイ・ノアズアーク研究所、南京大学、復旦大学が共同開発した3Dデジタルヒューマンフレームワークです。そのコア技術は、豊かな感情表現を持つ3D会話アバターを合成する能力にあります。EmoTalk3Dは、キャプチャと再現が可能で、…