AIニュース

DUSt3Rは、フィンランドのアールト大学とNaver Europe Labsの研究者によって開発された3D再構成フレームワークです。カメラのキャリブレーションや視覚的特徴に関する事前知識がなくても、任意の画像セットから3Dシーンを再構成するプロセスを簡素化することを目的としています。

ScreenAIは、Googleの研究チームが開発した、読みやすい画面AIビジュアル言語モデルです。特にユーザーインターフェース（UI）やインフォグラフィックの理解と処理を目的として設計されています。このモデルは、ビジュアル処理と言語処理を組み合わせたPaLIアーキテクチャに基づいています。

ByteDanceの研究者によって開発されたResAdapterは、拡散モデル（安定拡散など）向けに設計された解像度アダプタであり、これらの画像生成モデルが任意の解像度とアスペクト比で画像を生成できるようにするものです。

AtomoVideoは、アリババの研究チームが提案した高忠実度画像-動画変換（I2V）フレームワークです。入力された静止画像から高品質の動画コンテンツを生成することを目的としています。このフレームワークは、元の画像を保持しながら、生成された動画の品質を維持します。

Moondreamは、無料のオープンソースAIビジュアル言語モデルです。パラメータ数は少ないものの、高性能な画像処理機能を備えており、ローカルコンピュータ、モバイルデバイス、さらにはRaspberry Piでも動作します。

PixArt-Σは、ファーウェイ・ノアズアーク研究所、大連理工大学、香港大学の研究者によって開発されたテキストベースのグラフモデルです。拡散変換アーキテクチャ（DiT）に基づいており、プロンプトからテキストを抽出するために特別に設計されています。

ELLA（Efficient Large Language Model Adapter）は、テンセントの研究者によって開発された新しい手法であり、複雑なテキストを処理する際のテキストから画像への生成モデルのパフォーマンスを向上させるように設計されています。

Transformer Debugger (TDB) は、OpenAI の Superalignment チームによって開発されたツールで、研究者や開発者が Transformer モデルの内部動作をより深く理解し、分析するのに役立ちます。

Pix2Gifは、Microsoft Researchの研究者によって提案されたモーション誘導拡散モデルで、静止画像を動的なGIFアニメーション/ビデオに変換するために特別に設計されています。このモデルは、画像...

Follow-Your-Clickは、テンセント（滬源チーム）、清華大学、香港科技大学の研究者らが共同開発した画像から動画への変換（I2V）モデルです。このモデルは、…

AutoDevは、Microsoftの研究者によって開発されたAIプログラミングおよびアプリケーション開発のためのインテリジェントエージェントフレームワークです。コード作成、デバッグ、テスト、バージョン管理などの複雑なソフトウェアエンジニアリングタスクを自律的に計画および実行するために特別に設計されています。

Grok-1は、イーロン・マスクが設立したAIスタートアップ企業xAIが開発した大規模言語モデルです。3140億個のパラメータを持つハイブリッドエキスパート（MoE）モデルであり、パラメータ数において最大のオープンソース言語モデルとなっています。

Open-Soraは、Colossal-AIチームが開発したオープンソースのビデオ生成モデルで、OpenAIのSoraビデオ生成製品を再現するように設計されています。Open-SoraもDiTアーキテクチャに基づいており、大規模画像事前学習、大規模画像...の3段階でトレーニングが行われます。

VLOGGER AIは、Googleの研究チームが開発したマルチモーダル拡散モデルで、単一の入力画像と音声サンプルから、リアルで一貫性のある人間の動きの動画を生成するように特別に設計されています。このモデルの主な機能は、人工知能を活用することです...

Stable Video 3D (SV3D) は、Stability AI が開発した高度な 3D テクノロジーで、1 枚の画像から高品質な新しいパースペクティブ ビューと 3D メッシュを生成できます。このモデルは、以前にリリースされた Stable Video をベースにしています。

ByteDanceの研究者によって最近発表された高品質ビデオ生成モデル「AnimateDiff-Lightning」は、プログレッシブ敵対的拡散蒸留技術を利用して高速ビデオ生成を実現します。このモデルは、既存のビデオ生成における課題に対処することを目的としています。

StreamMultiDiffusionは、拡散モデルの高品質な画像合成機能と領域制御の柔軟性を組み合わせた、リアルタイムのインタラクティブな画像生成フレームワークです。ユーザーが指定した領域のテキストプロンプトに基づいて、リアルタイムでインタラクティブな画像を生成できます。

Moraは、Microsoftとリーハイ大学の研究者によって開発されたマルチエージェント（AIエージェント）フレームワークで、一般的なビデオ生成タスク向けに特別に設計されています。その目標は、OpenAIのSoraビデオ生成モデルをシミュレートし、拡張することです。このフレームワークは…

LATTE3Dは、NVIDIAの研究者によって開発されたテキストから3Dオブジェクトを生成するモデルです。テキストプロンプトから高品質の3Dコンテンツを高速に生成できます（わずか400ミリ秒）。この技術の中核は、「...」と呼ばれる手法にあります。

BrushNetは、Tencent PCGのARC Labsと香港大学の研究者によって開発された、拡散モデルに基づくプラグアンドプレイ型の画像修復モデルです。分解型デュアルブランチアーキテクチャを効果的に活用しています。

SUPIRは、大規模生成モデルStableDiffusion-XL（SDXL）とモデル拡張技術を活用した画期的な画像修復・強調手法です。深層学習とマルチモーダル手法により、高品質な画像復元を実現します。

StreamingT2Vは、PicsArt AI研究チームが開発したテキストから動画を生成するモデルです。既存のモデルは、1秒あたり16フレームまたは24フレームの高品質な短い動画しか生成できず、より長い動画を生成する際に画質の問題が発生するなど、既存のモデルの限界を克服することを目的としています。

VoiceCraftは、テキサス大学オースティン校の研究チームが開発したオープンソースのニューラルコーデック言語モデルで、ゼロショット音声編集とテキスト音声合成（TTS）タスクに特化しています。このモデルはTransformerアーキテクチャを採用しています。

Champは、アリババ、復旦大学、南京大学の研究者らが提案した、人間の画像をビデオアニメーションに変換する3Dベースのモデルです。この手法は、3Dパラメトリックモデル（特にSMPLモデル）と潜在的...