AIニュース

Mooncakeは、Dark Side of the MoonのKimi氏、清華大学、その他の機関が共同でオープンソース化した大規模モデル推論アーキテクチャです。KVCacheを中心とした分散アーキテクチャを採用し、プリフィル処理クラスタとデコード処理クラスタを分離することで、GPUクラスタの空き領域を最大限に活用しています。

QwQ-32B-Preview（QwQ-32B）は、アリババが発表したオープンソースのAI推論モデルで、数学とプログラミングにおいて優れた性能を発揮します。QwQ-32B-Previewは325億個のパラメータを持ち、最大32,000トークンのヒントを処理できます。複数の…

InfiMM-WebMath-40Bは、ByteDanceと中国科学院が共同でオープンソース化した大規模なマルチモーダルデータセットです。数学分野におけるマルチモーダルモデルのテキストと画像の混合推論能力の向上を目指しています。このデータセットはCommon Crawlから取得されています。

SAM 2.1（Segment Anything Model 2.1）は、Meta（Facebookの親会社）が画像および動画処理向けに開発した高度なビジュアルセグメンテーションモデルです。シンプルなTransformerアーキテクチャとストリーミングメモリ設計に基づいています。

Qwen2VL-Fluxは、Qwen2VLの視覚言語理解とFLUXフレームワークを組み合わせたマルチモーダル画像生成モデルで、テキストプロンプトと画像参照に基づいて高品質の画像を生成します。このモデルは、バリアント生成、...など、複数の生成モードをサポートしています。

ShowUIは、シンガポール国立大学のShow Labとマイクロソフトが共同開発した視覚言語アクションモデルであり、グラフィカルユーザーインターフェース（GUI）アシスタントの効率向上を目的としています。このモデルは、UI誘導型の視覚トークン選択に基づいて計算コストを削減します。

NVLMはNVIDIAが開発した最先端のマルチモーダル大規模言語モデル（LLM）であり、視覚言語タスクにおいて、トップクラスの独自モデル（GPT-4oなど）やオープンアクセスモデル（Llama 3-V 405BやInternVL 2など）に匹敵する性能を実現しています。

Promptrieverは、ジョンズ・ホプキンス大学とSamaya AIが共同開発した革新的な検索モデルです。言語モデルのように自然言語によるプロンプトを受け付け、ユーザーの検索ニーズに直感的に対応します。Promptrieverは…

LongLLaVAは、MambaモジュールとTransformerモジュールを組み合わせたハイブリッドアーキテクチャに基づくマルチモーダル大規模言語モデル（MLLM）です。大量の画像を効率的に処理でき、特に動画理解と高解像度画像解析に優れています。LongLLaVAは…

Devikaは、複雑な指示を理解し、分解できるオープンソースのAIプログラミングアシスタントです。統合されたAI検索機能とWebブラウジング機能を使用して情報を収集し、目標を達成するためのコードを作成します。Devikaは様々なAIモデルをサポートし、高度な計画能力と推論能力を備えています。

iDP3（Improved 3D Diffusion Policy）は、スタンフォード大学が他の複数の大学と共同で開発した3Dビジョンベースのモーション戦略です。多様な環境におけるヒューマノイドロボットの自律動作能力を向上させます。従来の3D戦略とは異なり、iDP3は…

Proactive Agentは、清華大学がFacewall Intelligenceなどのチームと共同で開発した次世代のプロアクティブエージェントインタラクションパラダイムです。主体性を持ち、ユーザーのニーズを予測し、直接的な指示なしにアクションを起こすことができます。Proactive Agentは…

EMOVA（Emotionally Omni-present Voice Assistant）は、香港科技大学、香港大学、ファーウェイ・ノアズアーク・ラボなどが共同開発した、マルチモーダルで包括的なモデルです。EMOVAは画像処理、音声認識、音声認識などを行うことができます。

OminiControlは、FLUX.1などの拡散変換モデル向けに設計された、非常に汎用性が高くパラメータ効率に優れた画像生成フレームワークであり、画像生成プロセスをきめ細かく制御できます。OminiControlは、被写体主導型制御と空間制御をサポートしています。

Talker-Reasonerは、Google DeepMindが開発したAIエージェントアーキテクチャです。人間の認知理論から着想を得て、エージェントをTalkerとReasonerの2つのモジュールに分割しています。Talkerは、迅速で直感的な人間の思考（システム1）をシミュレートし、...

拡散自己蒸留（DSD）は、事前学習済みのテキストから画像への拡散モデルを使用してデータセットを自動的に生成し、テキスト条件付き画像間処理を可能にするために微調整する、革新的なゼロショットのカスタマイズ画像生成技術です。

Open Materials 2024 (OMat24) は、MetaData が公開した大規模なオープンデータセットで、無機材料の構造的および組成的多様性に焦点を当てた 1億1000 万を超える構造に対する密度汎関数理論 (DFT) 計算が含まれています。これには、事前学習済みのデータが含まれています。

CodeDPOは、北京大学とByteDanceが共同開発したコード生成・最適化フレームワークです。コードモデルの正確性と効率性を向上させます。このフレームワークは、自己生成・検証メカニズムに基づいており、コードとそのテストを同時に構築・評価します。

Voice-Proは、音声認識（STT）、音声合成（TTS）、リアルタイム翻訳、YouTube動画ダウンロード、音声分離などの機能を統合した、オープンソースの多機能音声処理ツールです。100以上の言語に対応しています。

ジェネレーティブ・オムニマットは、Google DeepMindをはじめとする複数の組織が開発した動画編集技術です。動画を透明な背景を持つ複数のRGBAレイヤーにインテリジェントに分解し、各レイヤーはオブジェクトとその関連効果（影、残像など）に対応します。

GLM-PCは、Zhipuが開発したマルチモーダル大規模モデルCogAgentをベースにしたコンピュータインテリジェンスエージェントです。人間のようにコンピュータを「観察」し「操作」することができ、文書処理、ウェブ検索、情報処理など、さまざまなコンピュータタスクを効率的に完了できるようユーザーを支援します。

TryOffDiff (VTOFF) は、拡散モデルに基づいた新しい仮想試着技術です。高忠実度な衣服再構築を用いて仮想試着を実現し、着用者の1枚の写真から標準化された衣服画像を生成することに重点を置いています。従来の仮想試着と比較して…

GLM-Edgeは、Zhipu Open Sourceが提供する、エッジデプロイメントに最適化された大規模言語対話モデルおよびマルチモーダル理解モデルのシリーズで、GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B、GLM-Edge-V-5Bなどが含まれます。1.5...

FlagEvalMMは、北京人工知能研究院が開発したオープンソースのマルチモーダルモデル評価フレームワークです。テキスト、画像、動画など、複数のモダリティを扱うモデルを包括的に評価し、さまざまなタスクと指標をサポートしています。このフレームワークは、評価とモデルの組み合わせを採用しています。