AIニュース

AGUVISは、香港大学とSalesforceが共同開発した、統一された純粋なビジュアルフレームワークです。自律型GUIエージェント向けに設計されており、Web、デスクトップ、モバイルデバイスなど、さまざまなプラットフォームで動作します。AGUVISは画像観察に基づいており、...

Enhance-A-Videoは、シンガポール国立大学、上海人工知能研究所、テキサス大学オースティン校が共同開発した動画生成強化アルゴリズムです。このアルゴリズムは、AI生成動画の品質を大幅に向上させます。特に、

Valleyは、ByteDanceが開発したマルチモーダルな大規模モデルで、テキスト、画像、動画データを含む多様なタスクを処理します。Valleyは、社内eコマースおよびショートビデオベンチマーク、そしてOpenComベンチマークでトップクラスの結果を達成しました。

UniT2IXLは、中国聯通AIが開発した中国語ネイティブのテキスト画像変換モデルで、国内のAscend AIハードウェアおよびソフトウェアプラットフォーム上で完全に学習および推論が行われます。このモデルは、長い中国語テキストに最適化された複合言語エンコーディングモジュールを採用しています。

DiTCtrlは、香港中文大学、テンセント、その他の機関が共同開発した、マルチモーダル拡散トランスフォーマー（MM-DiT）アーキテクチャに基づくマルチキュービデオ生成手法です。DiTCtrlは、追加のトレーニングなしで複数のキューを生成できます。

MNN（Mobile Neural Network）は、アリババグループがオープンソース化した軽量な深層学習推論フレームワークであり、モバイルデバイス、サーバー、PC、組み込みデバイスなど、さまざまなデバイス向けに効率的なモデル展開機能を提供します。MNNは…

Qiyuan Critical Care Modelは、TencentとMindray Medicalが共同開発した世界初の大型集中治療医療モデルです。ICU病棟向けに特化して設計されており、集中治療における主要な課題を解決します。このモデルは数兆ものパラメータを誇り、広範な医学的テストを受けています。

Poetry2Imageは、ハルビン工業大学が提案した、中国古典詩の画像生成に特化した反復補正フレームワークです。このフレームワークは、自動フィードバックと補正ループを通じて詩と画像の整合性を効果的に高めます。

PeterCatは、オープンソースのインテリジェントなQ&Aチャットボットアシスタントです。PeterCatは、開発者やコミュニティメンテナーが技術的な問題をより効率的に解決し、コミュニティサポートの効率性を向上させるのに役立ちます。PeterCatは自動的に構築された知識ベースに基づいており、GitHubと統合できます。

PartGenは、オックスフォード大学のビジュアルジオメトリグループとMeta AIが共同開発した、高度な3Dオブジェクト生成・再構築フレームワークです。PartGenは、意味のあるパーツで構成された3Dオブジェクトを認識・生成することができ、これらの3Dオブジェクトはテキストプロンプトに基づいて生成できます。

Vision Parseは、Vision LLM（Vision Language Models）に基づいてPDFファイルをMarkdown形式に変換するオープンソースのPDF文書変換ツールです。Vision Parseは、PDFからテキストと表をインテリジェントに識別して抽出することができ、さらに…

「Language of Motion」は、スタンフォード大学のFei-Fei Li氏のチームが開発したマルチモーダル言語モデルです。人間の動作から得られる言語情報と非言語情報を統合します。このモデルは、テキスト、音声、モーションデータを処理して、対応するターゲットを生成できます。

GroqのMathtutorは、Groqアーキテクチャに基づいて構築されたAI搭載の数学個別指導ツールです。音声認識に基づいており、ユーザーは音声で数学の質問をすることができます。このツールには、リアルタイム計算やLaTeXの使用が可能な強力な数学エンジンが内蔵されています。

北京大学のMMCAL研究チームが最近発表したVE-Benchは、動画編集の品質評価のために特別に設計された初の指標です。VE-Benchは人間の知覚に非常に近いように設計されており、動画編集の効果をより正確に評価できます。

EDTalkは、上海交通大学とNetEaseが共同開発した音声駆動型リップシンクモデルで、唇の動き、頭の姿勢、感情表現を個別に制御できます。画像、音声クリップ、参考動画をアップロードするだけで、EDTalkが動作します。

Video-analyzerは、Llamaの11BビジョンモデルとOpenAIのWhisperモデルを組み合わせたオープンソースのビデオ分析ツールで、ビデオからキーフレームを抽出し、音声コンテンツを文字起こしし、詳細なビデオ説明を生成します。このツールは、完全な...

SPARは、Zhipuチームが開発した自己再生型フレームワークであり、大規模言語モデルが指示に従う能力を向上させます。このフレームワークは、内部ジェネレーターとパーフェクターという2つの役割の相互作用に基づいています。ジェネレーターは指示を実行して応答を生成し、パーフェクターは…

LowCodeEngineは、アリババが提供するオープンソースのローコード開発フレームワークです。シンプルなドラッグ＆ドロップと設定方法に基づいており、開発者は複雑なシステムページを迅速に構築できます。このフレームワークは、強力なカスタマイズ機能、洗練された開発体験、そして豊富な機能を誇ります。

Qwen-Agentは、Qwenモデルに基づいたオープンソースのエージェント開発フレームワークです。Qwenモデルの命令追従、ツール使用、プランニング、メモリ機能を活用して、インテリジェントなエージェントアプリケーションを構築する際に開発者をサポートします。Qwen-Agentは、以下の機能をサポートしています。

Mind GPT-3oは、Li Autoが開発したマルチモーダルなエンドツーエンドの大規模モデルであり、音声、画像、言語理解技術を統合して効率的なリアルタイム対話を実現します。Mind GPT-3oは、記憶力、計画力、ツール使用能力、表現力を備えており、…

Langyaは、中国科学院海洋研究所が独自に開発した次世代大規模海洋人工知能モデルのバージョン1.0であり、海洋状態変数の予測に重点を置いています。このモデルは、高度な人工知能アルゴリズムと専門的な海洋科学の知識を組み合わせることで、…

DynamicControlは、Tencent YouTuが南洋理工大学や浙江大学などの研究機関と共同で開発した新しいテキストから画像への変換（T2I）タスクフレームワークです。マルチモーダル大規模言語モデル（MLLM）推論機能を統合しています。DynamicControlは…

UCLAとGoogle Researchが共同開発したVideoPhyは、動画生成モデルの物理法則に基づく推論能力を評価する初のベンチマークです。これは、モデルによって生成された動画が現実世界の物理法則に準拠しているかどうかを測定します。VideoPhyベンチマークは…

Large Motion Model (LMM) は、シンガポールの南洋理工大学 S-Lab と SenseTime 研究チームが共同開発した、統合されたマルチモーダルモーション生成モデルです。LMM は、テキストからモーション、音楽からダンスなど、さまざまなモーション生成シナリオに対応できます。