AIニュース

ImageBindは、Metaが開発したオープンソースのマルチモーダルAIモデルで、テキスト、音声、画像、温度、モーションデータの6種類の情報を統合された埋め込み空間に統合します。このモデルは、画像モダリティを橋渡しとして利用し、

LlamaCoderは、Llama 3.1 405Bモデルを使用してフルスタックアプリケーションを迅速に生成するオープンソースのAIツールです。Claude Artifactsの代替となることを目指しています。Sandpack、Next.jsと統合されています。

XVERSE-MoE-A36Bは、Yuanxiangが開発した中国最大のオープンソースMoE（エキスパート混合モデル）です。このモデルは、総パラメータ数2550億、活性化パラメータ数360億を誇り、1000億を超えるモデルに匹敵する性能を有しています。

PyVideoTransは、動画コンテンツをある言語から別の言語に自動的に翻訳し、対応する字幕と吹き替えを追加するオープンソースの動画翻訳・吹き替えツールです。PyVideoTransは複数の言語をサポートし、効率的な音声認識機能を備えています。

ongCiteは、長文質問応答タスクにおける大規模言語モデル（LLM）の信頼性と検証可能性を向上させることを目的として、清華大学が立ち上げたプロジェクトです。このプロジェクトでは、ユーザーがきめ細かな文レベルの引用を生成することで、モデルの性能を検証することができます。

CSGO（Content-Style Composition in Text-to-Image Generation）は、南京理工大学、小紅樹、その他の機関が共同で開発した、画像スタイル変換とテキストから画像への生成に関する研究プロジェクトです。CSGOの…

GameGen-Oは、Tencentが開発したゲーム動画生成モデルで、Transformerアーキテクチャをベースに、オープンワールド型ビデオゲームの生成に特化して設計されています。このモデルは、ゲームキャラクターやアニメーションなどの生成を含む、ゲームエンジンの様々な機能をシミュレートできます。

mPLUG-DocOwl 2は、アリババ同義研究所のmPLUGチームが開発した、複数ページ文書理解のためのマルチモーダル大規模言語モデルです。光学文字認識（OCR）技術に頼ることなく、高解像度の文書理解を実現します。

SleepFMは、スタンフォード大学が開発したオープンソースのマルチモーダル睡眠分析モデルです。14,000人以上の参加者から得られた100,000時間分の睡眠データに基づいて、脳活動、心電図、呼吸信号を統合することで、包括的な睡眠健康評価を提供します。

QA-MDT（Quality-aware Masked Diffusion Transformer）は、中国科学技術大学とiFlytekが共同開発したオープンソースの音楽生成モデルです。このモデルは、テキストによる説明に基づいて、高品質で音楽的に豊かな音楽を生成します。

上海人工知能研究所が開発したVchitect 2.0は、中国文化と東洋の美意識に沿った動画コンテンツを生成するために設計された、アップグレードされたオープンソースの動画生成モデルです。このモデルは、最大20秒の動画をサポートしています。

AI YouTube Shorts Generatorは、GPT-4、FFmpeg、OpenCVなどの技術を用いて長尺動画を自動的に分析し、最も魅力的な部分を抽出して短い動画形式にトリミングするオープンソースのAI動画編集ツールです。

PhotoPrismは、Go言語で書かれたオープンソースのAI写真管理ツールで、ユーザーに分散型の写真ストレージおよび整理ソリューションを提供するように設計されています。ユーザーは自身のハードウェア上で実行できるため、完全な制御権を得ることができます。

Claude Devは、Visual Studio Codeに統合されたAIプログラミングアシスタントです。AnthropicのClaude 3.5 Sonnetモデルをベースに、開発者に自動化されたプログラミング支援を提供します。Claude Devは、以下の内容を自動的に処理します...

FaceSwapは、ディープフェイク動画や画像を作成するために使用されるオープンソースのAIソフトウェアです。ディープラーニング技術に基づいており、動画や画像内の人物の顔を別の人物の顔に置き換えます。FaceSwapは…をサポートしています。

Seed-Musicは、ByteDanceが開発したAI音楽生成モデルで、ユーザーが録音した10秒間の音声データを完全な楽曲に変換します。ユーザーのマルチモーダル入力（スタイルなど）に基づき、自己回帰言語モデルと拡散手法を活用しています。

ConFinerは、複数の大学や研究機関によって開発された革新的な動画生成フレームワークです。既存の拡散モデルに関する専門知識を複数組み合わせることで、追加のトレーニングなしに高品質で一貫性のある動画コンテンツを生成します。

M2UGenは、Tencent PCG ARC Labsとシンガポール国立大学が共同開発した、高度なマルチモーダル音楽理解・生成フレームワークです。大規模言語モデル（LLM）の機能を組み合わせて、テキスト、画像、動画などを処理し、音楽の理解と生成を可能にします。

Nemotron-Mini-4B-Instructは、NVIDIAが開発したオープンソースの小型言語モデルで、ロールプレイング、検索拡張生成（RAG）、関数呼び出しタスク向けに最適化されています。このモデルは、蒸留、枝刈り、量子化といった技術を用いて最適化されています。

PoseTalkは、テキストと音声に基づくジェスチャー制御およびモーション精緻化手法を用いて、一度の処理で話す顔の動画を生成するオープンソースプロジェクトです。画像、音声、ジェスチャーから話す顔の動画を合成し、ユーザーに…

Follow-Your-Canvasは、テンセントのHunyuanチームが清華大学をはじめとする複数の機関と共同開発した高解像度動画拡張技術です。分散処理とレイアウト調整という2つのコア設計により、動画コンテンツを任意のサイズに拡張できます。

FilmfotosはDynamicWangが開発したLoRAモデルで、Fluxアーキテクチャをベースに、フィルムの質感や効果のシミュレートと再現に重点を置いています。彩度を抑えた、日本のフィルムのようなスタイルが特徴で、写真に柔らかく繊細でレトロな雰囲気をもたらします。

Faster Whisperは、OpenAI Whisperモデルをベースにした高効率な音声認識ツールで、CTranslate2エンジンを使用して高速な推論を実現しています。音声文字起こしの速度を向上させ、メモリ使用量を削減しながら、高い精度を維持します。

SwiftBrush V2は、改良されたトレーニング方法とモデル融合技術により、マルチステップの安定拡散モデルに匹敵する性能を実現する、シングルステップのテキストから画像への拡散モデルです。このモデルは、より優れた重み初期化を利用しています...