AIニュース

RDT（Robotics Diffusion Transformer）は、清華大学AI研究所のTSAILチームによって開発された、双腕ロボットにおける拡散動作のための世界最大の基礎モデルです。RDTは10億個のパラメータを持ち、人間の介入なしに動作を実行できます。

Apolloは、Metaとスタンフォード大学が共同開発した大規模マルチモーダルモデル（LMM）であり、動画理解に焦点を当てています。体系的な研究に基づき、ApolloはLMMにおける動画理解の主要な推進要因を明らかにし、「スケーリング制約」を導入しています。

BrushEditは、テンセントと北京大学などが共同開発した高度な画像編集フレームワークです。BrushNetモデルの改良版であり、マルチモーダル大規模言語モデル（MLLM）と2分岐画像修復モデルを組み合わせています。

Bocha Semantic Rerankerは、Bocha AIが開発したセマンティックランキングモデルで、検索およびRAGアプリケーションにおける検索結果の精度を向上させます。Bocha Semantic Rerankerモデルはテキストセマンティクスに基づいており、初期ランキングを実行します...

Ruyiは、TuSimple Technology Co., Ltd.が開発した大規模ビデオモデルです。一般消費者向けグラフィックカードでの動作を想定して設計されており、マルチ解像度・マルチ期間のビデオ生成に対応し、ファーストフレーム制御、ファースト＆ラストフレーム制御、モーション制御、カメラ移動などの機能を備えています。

大規模アクションモデル（LAM）は、マイクロソフトが大規模アクションモデル向けに開発したフレームワークです。これらは、現実世界のアクションを実行できるインテリジェントシステムであり、従来の大規模言語モデル（LLM）を凌駕します。

Leffa（Learning Flow Fields in Attention）は、Meta AIが開発した、制御可能な人物画像を生成するためのフレームワークです。フローフィールド学習をアテンションメカニズムに組み込むことで、人物の外観と姿勢を正確に制御します。Leffaは…

LatentLMは、Microsoft Researchと清華大学が共同開発したマルチモーダル生成モデルです。テキストなどの離散データと画像や音声などの連続データを均一に処理できます。このモデルは、変分オートエンコーダー（VAE）を使用して連続データを処理します。

Lyraは、香港中文大学、SmartMore、香港科技大学が共同開発した、高性能なマルチモーダル大規模言語モデル（MLLM）です。音声、視覚、言語のモダリティにおける対話機能の強化に重点を置いています。Lyraは、オープンソースの大規模モデルとマルチモーダル技術に基づいています。

Manga Image Translatorは、ワンクリックで漫画や画像内のテキストを翻訳できるオープンソースの漫画画像テキスト翻訳ツールです。Manga Image TranslatorはOCR技術を使用してテキストを認識し、機械翻訳と組み合わせてテキストを変換します。

Ivy-VLは、AI Safeguardがカーネギーメロン大学およびスタンフォード大学と共同開発した軽量マルチモーダルAIモデルで、モバイルデバイスおよびエッジデバイス向けに特化して設計されています。このモデルは30億個のパラメータを持ち、他の大規模マルチモーダルモデルと比較してサイズを大幅に削減しています。

ColorFlowは、清華大学とテンセントARCラボが共同開発した画像シーケンスカラー化モデルです。シーケンス内の個々の人物のアイデンティティを高い精度で保持しながら、画像をカラー化することができます。検索強化、コンテキスト学習、超解像技術に基づいています。

NodeToolは、オープンソースのAIワークフロー可視化ツールです。NodeToolは幅広いAIツールとモデルを統合しており、シンプルで視覚的なインターフェースにより、コーディングなしで迅速なプロトタイプ作成とテストが可能です。NodeToolは…をサポートしています。

VMB（Visuals Music Bridge）は、中国科学院情報工学研究所、中国科学院大学サイバー空間セキュリティ学院、上海人工知能研究所、上海交通大学などの機関によって開発されたマルチモーダル音楽生成フレームワークです。

Doubaoのビジュアル理解モデルは、Doubaoが開発した高度なAIモデルであり、視覚認識と推論能力を備えています。強力な視覚位置特定機能を誇り、複数のターゲット、小さなターゲット、一般的なターゲットのバウンディングボックス位置特定をサポートしています。

Doubao 3D生成モデルは、Doubaoが開発した3D生成モデルであり、Doubao大規模モデルファミリーに属します。これらのモデルは3D-DiTアーキテクチャに基づいており、高品質な3Dモジュールを生成できます。Volcano EngineデジタルツインプラットフォームveOmniverseと組み合わせて使用すると、...

MV-Adapterは、北京航空航天大学、VAST、上海交通大学の研究チームによって開発された、マルチビューで一貫性のある画像生成モデルです。MV-Adapterは、事前学習済みのテキストから画像への拡散モデルを、マルチビューで一貫性のある画像生成モデルに変換することができます。

FACTS Groundingは、Google DeepMindが開発した、大規模言語モデル（LLM）の能力を評価するためのベンチマークです。これは、与えられた文脈に基づいて、捏造された情報を使用せずに事実に基づいた正確なテキストを生成するモデルの能力を測定します。FACTS Grounding...

MarkItDownは、Microsoftが提供する多機能なオープンソースの文書処理ツールです。PDF、PPT、Word、Excel、画像、音声、HTMLなど、さまざまなファイル形式をMarkdown形式に変換できます。OCRによるテキスト認識、音声認識などにも対応しています。

EMMA-Xは、シンガポール工科デザイン大学が開発した、70億個のパラメータを持つ身体化されたマルチモーダル行動モデルです。これは、証拠に基づいた思考連鎖（CoT）推論データに基づいてOpenVLAを微調整することによって作成されました。EMMA-Xは、階層的な身体化されたデータセットを組み込んでいます...

WeaveFoxは、Ant Groupが立ち上げたAI搭載のフロントエンドインテリジェント開発プラットフォームで、開発者やクリエイターに全く新しい生産性向上ツールを提供します。その中核機能は、デザイン案を高品質なフロントエンドコードに迅速に変換することであり、様々なデザインドキュメントに対応しています。

UniRealとは？ UniRealは、香港大学とAdobe Researchが共同開発したフレームワークで、様々な画像生成・編集タスクを可能にすることに重点を置いています。現実世界のダイナミクスをシミュレートすることで、単一のモデル内で画像処理を行うことができます。

X-AnyLabelingは、複数の深層学習アルゴリズムを統合した画像アノテーションソフトウェアで、アノテーションの効率と精度向上に重点を置いています。X-AnyLabelingは、画像や動画の多様なアノテーションスタイルをサポートし、さまざまなAIトレーニングシナリオに適応し、さらに…

Explorerは、Odysseyが開発したジェネレーティブワールドモデルで、あらゆる画像を詳細な3Dワールドに変換できます。Explorerモデルは、リアルなワールドの生成に優れ、ダイナミックなエフェクトにも対応しています。Explorerはガウススプラッシュに基づいています...