AIニュース

Cofounderは、オープンソースのフルスタックAI開発エージェントであり、単一のプロンプトに基づいて、バックエンド、フロントエンド、データベース、ステートフルWebアプリケーションを含む完全なアプリケーションを開発者が自動的に生成するのを支援します。Cofounderは生成AI技術に基づいています。

MagicTailorは、コンポーネントの制御可能なパーソナライゼーションのために特別に設計された新しいフレームワークであり、パーソナライゼーションプロセス中にT2Iモデルを正確に制御できます。MagicTailorは、ダイナミックマスク劣化（DM-Deg）とデュアルストリームバランシング（...

Claude Computer Useは、AnthropicがClaude 3.5 SonnetおよびClaude 3.5 Haikuモデル向けに導入した新機能で、Claude AIモデルが画面の閲覧や照明の操作など、人間のようなコンピュータ操作を実行できるようにします。

Doclingは、さまざまな形式（PDF、DOCX、PPTX、画像、HTMLなど）のドキュメントを効率的に解析し、MarkdownまたはJSON形式にエクスポートするオープンソースのドキュメント解析・変換ツールです。Doclingは高度なPDF処理をサポートしています。

Cerebellumは、Claude 3.5 SonnetとSelenium WebDriverをベースに構築されたブラウザベースのAIアシスタントです。タスクの意図を理解し、データスクレイピングやウェブサイトの自動テストなどのウェブページタスクを自動化できます。Cerebellumは…

WebRLは、清華大学とZhipu AIが共同で開発した、自己進化型のオンラインコース強化学習フレームワークです。オープンな大規模言語モデル（LLM）を用いて高性能なネットワークエージェントを訓練します。WebRLはタスクを動的に生成し、結果を監視し、報酬を提供します。

GameGen-Xは、香港科技大学や中国科学技術大学などの研究者によって開発された拡散変換器モデルです。オープンワールドゲームの動画を生成し、インタラクティブに制御するために使用されます。このモデルは、革新的なキャラクターの作成など、ゲームエンジンの機能をシミュレートできます。

OuteTTSは、純粋な言語モデリングに基づいて音声を生成するオープンソースのテキスト音声合成（TTS）プロジェクトです。OuteTTSプロジェクトはLLaMaアーキテクチャに基づいており、3億5000万個のパラメータを持つOute3-350M-DEVベースモデルを使用しています。OuteTTSの特徴は…

GTA（汎用ツールエージェントのベンチマーク）は、上海交通大学と上海AI研究所が共同で立ち上げたベンチマークであり、大規模言語モデル（LLM）が現実世界のシナリオでツールを呼び出す能力を評価することを目的としています。

VQAScoreは、カーネギーメロン大学（CMU）とMetaが共同開発した評価手法で、視覚的質問応答（VQA）モデルに基づいてテキストプロンプトから生成された画像の品質を測定します。VQAScoreは、例えば「この図は{text}を示していますか？」といったテキストプロンプトから生成された画像の品質を評価するために計算モデルを使用します。

AndroidLabは、Android自律エージェントのトレーニングと評価のためのフレームワークであり、テキストと画像のモーダル操作環境、統一されたアクション空間、再現可能なベンチマークを統合しています。AndroidLabは、大規模な言語モデルとマルチモーダルモデルをサポートしています。

Recraft V3は、Recraftが開発したAIテキスト画像生成モデルです。Hugging Faceのテキスト画像ランキングでELOスコア1172を獲得し、1位にランクインしました。このモデルは、高品質な画像生成と高度な機能を備えています。

Magnetic-Oneは、Microsoftが開発した汎用マルチエージェントシステムで、さまざまなドメインにわたる複雑なネットワークおよびファイルタスクを解決するように設計されています。このシステムは、WebSurfer、FileSurferなどを調整するOrchestratorエージェントをリーダーとするマルチエージェントアーキテクチャに基づいています。

X-Portrait 2は、ByteDanceのインテリジェントクリエーションチームが開発した、単一画像から動画を生成する技術です。1枚の静止画と動画クリップを基に、高品質で映画のような動画を生成します。X-Portrait 2は、元の画像のアイデンティティとなる特徴を保持し、正確に…

Ichigoは、オープンソースのマルチモーダルAI音声アシスタントであり、音声とテキストのインターリーブされたシーケンスをリアルタイムで処理するために、混合モーダルモデルを採用しています。音声を直接離散トークンに量子化し、統一されたトランスフォーマーアーキテクチャを使用して音声とテキストを同時に処理します。

Zhipu AIの最新サウンドエフェクトモデル「CogSound」は、無音動画に魅力的なサウンドエフェクトを追加します。GLM-4Vの動画理解機能に基づき、CogSoundは動画に込められた意味や感情を正確に識別・理解し、無音動画のサウンドを向上させます。

AgentSquareは、清華大学のチームが開発した、大規模言語モデル（LLM）システム向けエージェントの自動探索と最適化のためのフレームワークです。標準化されたモジュールインターフェースの抽象化に基づいており、AIエージェントの高速な自己進化と適応的進化を可能にします。このフレームワークには、以下の機能が含まれています。

Fashion-VDMは、Googleとワシントン大学が共同開発した仮想試着技術で、ビデオ拡散モデル（VDM）に基づいています。この技術は、特定の衣服の画像に人物が着用した高品質な仮想試着画像と、その人物の動画を生成することができます。

Olly.botは、iMessageとSMSに統合されたパーソナルAIアシスタントです。OpenAIの大規模モデルに基づいており、ウェブ検索、文書分析、画像生成などの機能を提供します。Olly.botはダウンロードや登録が不要で、ユーザーの個人情報を収集せず、プライバシーを保護します。

AdaCache（アダプティブキャッシング）は、Meta社が開発したオープンソース技術で、AIによる動画生成プロセスを高速化します。AdaCacheのアダプティブキャッシングメカニズムは、コンピューティングリソースの割り当てを最適化し、さまざまな動画コンテンツの複雑さに基づいて計算負荷を動的に調整します。

CogVideoX v1.5 は、Zhipu が開発した最新のオープンソース AI ビデオ生成モデルです。このモデルには、CogVideoX v1.5-5B と CogVideoX v1.5-5B-I2V の 2 つのバージョンがあります。5B シリーズモデルは、768P 解像度で 5 秒から 10 秒の長さのビデオを 16 ビットで生成できます。

MiLoRAは、大規模言語モデル（LLM）向けのパラメータ効率の高い微調整手法であり、重み行列の二次特異点を更新することで計算コストとメモリコストを削減します。この手法は、特異値分解（SVD）に基づいて重み行列を主成分と副成分に分割します。

OpenCoderは、メルボルン大学、復旦大学、その他の大学の研究者らがInfinite Lightyearと共同で開発したオープンソースの大規模言語モデル（LLM）です。オープンソースLLMの性能を独自開発モデルと同等のレベルまで向上させ、コードAIの研究を推進します。

Infinity-MMは、北京人工知能研究院（BAAI）が公開した、数千万サンプルを含むマルチモーダルな学習データセットです。4300万サンプル、10TBのデータが含まれています。このデータセットは、高品質と多様性を確保するために品質フィルタリングと重複排除処理が施されており、オープンソースの画像処理技術の向上に貢献します。