AIニュース

VILA-Uは、動画、画像、言語の理解と生成を統合した統一的な基盤モデルです。単一の自己回帰型次ラベル予測フレームワークに基づいて理解と生成タスクを処理することで、モデル構造を簡素化し、視覚言語の理解と生成において優れた性能を発揮します。

Video-XLは、北京人工知能研究院、上海交通大学、中国人民大学、中国科学院、北京郵電大学、北京大学の研究者らが共同開発した、1時間にも及ぶ動画の理解に特化した超長時間視覚理解モデルです。

Cohere社が開発したEmbed3は、業界をリードするマルチモーダルAI検索モデルであり、テキストと画像から埋め込みベクトルを生成することで、企業が複雑なレポート、製品カタログ、設計文書など、マルチモーダルな資産を迅速かつ正確に検索できるよう支援します。

DriveDreamer4Dは、自動運転シナリオにおける4D再構成の品質を向上させるためのフレームワークです。これは、事前の世界モデルに基づいて4D運転シナリオの表現を強化します。このフレームワークは、明示的な構造を使用して、実世界の運転データに基づいて新しい軌跡ビデオを合成できます。

Animate-Xは、LDM（ローカルダイナミクスモデリング）に基づいた汎用アニメーションフレームワークで、静止画像を動的な動画に変換でき、特に擬人化キャラクターの処理に優れています。ポーズインジケーターを導入することで、暗黙的および明示的な動きを含むモーションパターンを捉える能力が向上しています。

MarDiniは、大規模ビデオ生成のためのマスク自己回帰（MAR）モデルと拡散（DM）モデルの利点を組み合わせた新しいビデオ拡散モデルです。このモデルは、マスクされたフレームの数と位置を任意に処理でき、ビデオ補間、画像...

SDXL-EcomIDは、Alimamaが立ち上げたオープンソースプロジェクトで、単一の参照画像からカスタマイズされたパーソナライズ画像を生成します。PuLIDとInstantIDの利点を組み合わせ、背景の一貫性、顔の特徴点制御、顔のリアリズムを最適化することで、...

DreamClearは、中国科学院自動化研究所とByteDanceが共同開発した高性能画像復元技術です。プライバシー保護を重視したデータセット管理に特化しており、低品質（LQ）画像を高品質（HQ）画像に復元することができます。

GitHub Sparkは、GitHubが提供するAIプログラミングツールで、GPT-4oやClaude Sonnet 3.5を含む4つのプログラミングモデルをサポートしています。ユーザーはコードやデプロイ環境を用意する必要はなく、自然言語でニーズを説明し、デスクトップやモバイルデバイスでプログラムを実行できます。

SimpleQAは、OpenAIが開発したベンチマークで、大規模な言語モデルが短い事実確認の質問に答える能力を評価するものです。SimpleQAには4326の質問が含まれており、各質問には正解が1つだけになるように設計されているため、採点が容易です。

VtripGPTは、Vistrip Technologyが開発した観光業界に特化したAIモデルです。深層合成サービスに基づき、観光に関する対話を生成するためのインテリジェントなサポートを提供します。このモデルはTransformerアーキテクチャに基づいており、観光業界のデータと一般的な知識を組み合わせています。

D-Editは、画像とテキストの両方に対応した多機能な画像編集フレームワークです。事前学習済みの拡散モデルと独自のプロンプトを活用することで、画像内の特定アイテムを正確に制御・編集できます。このフレームワークは、画像ベースのテキストを処理できます。

PromptFixは、Microsoftが開発したオープンソースのAI画像修復ツールです。拡散モデル技術に基づいており、ユーザーの指示に従って損傷した画像を処理し、不要な要素を除去できます。PromptFixは、カラー化を含むさまざまな画像処理タスクをサポートしています。

Show-oは、マルチモーダルな理解と生成を統合した統一型Transformerモデルです。自己回帰モデルと離散拡散モデルを組み合わせることで、視覚的な質問応答、テキストから画像への変換、テキスト誘導による修復と拡張など、さまざまなタスクを柔軟に処理できます。

浙江大学とByteDanceが共同開発したMimicTalkは、NeRF（ニューラル放射場）技術に基づいています。わずか15分で、パーソナライズされた表現力豊かな3D音声顔モデルを学習できます。MimicTalkは、音声認識技術と音声合成技術を組み合わせたものです。

Wonder Animationは、Autodeskの子会社であるWonder Dynamicsが開発した革新的なAI技術です。Wonder Animationのベータ版がWonder Studioで利用可能になりました。Wonder Animationは、ビデオから3Dへの変換をベースとしています。

TimeSuiteは、上海AIラボが開発した新しいフレームワークで、長尺動画理解タスクにおけるマルチモーダル大規模言語モデル（MLLM）の性能を向上させます。効率的な長尺動画処理フレームワークと高品質の動画データセットTimeSuiteを活用しています。

EMMAは、GeminiモデルをベースとしたWaymoのエンドツーエンドのマルチモーダル自動運転モデルです。生のカメラセンサーデータを、計画された軌道、認識された物体、道路地図要素などの運転固有の出力に直接マッピングします。EMMAは、従来とは異なる...

DreamVideo-2は、復旦大学、アリババグループ、その他の機関が共同開発した革新的なゼロサンプル動画カスタマイズフレームワークです。DreamVideo-2は、1枚の画像と一連のバウンディングボックスから、特定のテーマと正確なモーション軌跡を持つ動画を生成できます。

NotebookMLXはNotebookLMのオープンソース版で、NotebookLlamaの機能を統合しています。PDF文書を、理解しやすく共有しやすい音声ポッドキャスト形式に変換できます。このプロジェクトは、MLXテクノロジーに基づいた自然言語処理機能を実装しており、以下のような機能が含まれています。

HOVERはNVIDIAが発表した150万個のパラメータを持つ小型モデルです。正式名称は「Humanoid Versatile Controller」で、人型ロボット向けの多機能全身神経制御コントローラーを意味します。このモデルは150万個のパラメータを用いて複雑なロボット動作を実現します。

Voice Changerは、Cartesiaが開発した新モデルで、あらゆるオーディオクリップの音声を、元の音声の感情や表現を損なうことなく、別の音色に変換できます。ユーザーは、Cartesiaが提供する様々な高品質音声ライブラリから選択できます。

Oasisは、DecartとEtchedが共同開発した、世界初のリアルタイムAI生成ゲームです。このゲームは、ゲームエンジンを使用せずにAIモデルによって直接生成されたインタラクティブなビデオコンテンツを、毎秒20フレームでリアルタイムにレンダリングします。プレイヤーは…

Quark Intelligenceは、Quark Technologiesが開発した、博士号レベルの推論能力を備えた全く新しいインテリジェント学習モデルです。AI技術に基づき、問題の段階的な解説を提供し、いつでも質問に答えることができます。特に大学院入学試験の数学などの問題解決に役立ちます。