AIニュース

Mistral 3Bと8Bは、Mistral AIが新たに発表した2つのAIミニモデルで、オンデバイスコンピューティングとエッジアプリケーション向けに特化して設計されています。これらは、10億個未満のパラメータを持つカテゴリにおいて、知識、常識、推論、関数呼び出し、効率性といった点で優れた性能を発揮します。

TANGOは、東京大学とサイバーエージェントAIラボが共同開発したオープンソースフレームワークで、対象者の発話と同期した全身ジェスチャー動画の生成に特化しています。階層型オーディオモーション埋め込みと拡散補間ネットワークに基づいて、対象者の発話を同期させ、…

Nemotron-70B-Instructは、NVIDIAがリリースした大規模言語モデルです。このモデルは、指示に従う際の応答品質と一貫性を向上させるために、斬新なハイブリッド学習手法を採用しています。このモデルは、Bradley-Ter...

SANAは、NVIDIA、MIT、清華大学が共同開発したテキストから画像を生成するフレームワークです。最大4096×4096の高解像度画像を効率的に生成できます。SANAは、ディープ圧縮オートエンコーダ、線形拡張に基づいています。

Chat2DBは、自然言語処理技術に基づいたAI駆動型のデータベース管理・分析ツールです。ユーザーは自然言語を使ってデータベースと対話できるため、SQLコードの記述やデータベース管理が簡素化されます。Chat2DBは様々なデータベースをサポートしています。

IterCompは、清華大学、北京大学、LibAI Lab、中国科学技術大学、オックスフォード大学、プリンストン大学の研究者らが共同開発したテキストから画像を生成するフレームワークです。反復的なフィードバック学習メカニズムに基づいています。

LayerSkipは、大規模言語モデル（LLM）の推論プロセスを高速化するために使用される手法です。トレーニング段階でレイヤードロップアウトと早期終了損失を適用することで、推論中にモデルがより正確に初期レイヤーから抜け出すことを可能にし、...

Spirit LMは、Meta AIチームが開発したマルチモーダル言語モデルで、テキストデータと音声データをシームレスに融合します。Spirit LMは、事前学習済みのテキスト言語モデルをベースに、テキストと音声のユニットで継続的に学習されています。

Story-Adapterは、長編ストーリーの視覚化のための斬新なフレームワークであり、意味的な一貫性を維持しながら、高品質で繊細なインタラクティブ性を備えたストーリー画像のシーケンスを生成します。これは、グローバル参照の相互注意に基づく反復的なアプローチによって実現されます。

LOKIは、中山大学と上海AI研究所が共同で提案した合成データ検出ベンチマークです。動画、画像、3D、テキスト、音声など、複数のモダリティにわたる合成データを認識する大規模マルチモーダルモデル（LMM）の能力を包括的に評価することを目的としています。

NotesGPTは、オープンソースのAI搭載音声メモツールで、ユーザーの音声メモを素早くテキストに変換し、アクションアイテムを自動的に生成します。このツールは、Convexデータベース、Next.jsフレームワーク、Together推論モデルなどの技術に基づいています。

Meta AIが開発したMEXMAは、新しい事前学習済みの多言語文エンコーダーです。文レベルと単語レベルの目標を組み合わせることで、文表現の質を向上させます。トレーニング中、MEXMAは…

Linguaは、Meta AIが開発した軽量でスタンドアロンのコードベースであり、言語モデルの大規模トレーニングを容易にするように設計されています。容易に変更可能なPyTorchコンポーネントに基づいており、研究者は新しいモデルアーキテクチャ、損失関数などを試すことができます。

VideoAgentは、スタンフォード大学、ウォータールー大学、DeepMindなどの研究者によって開発された自己改善型のビデオ生成システムです。画像観察と音声指示に基づいてビデオプランを生成し、それをロボットの動きに変換します。

Llama Tutorは、Llama 3.1とTogether AIテクノロジーを搭載したAI駆動型のパーソナライズ学習プラットフォームです。完全なオープンソースプロジェクトであり、ユーザーは希望する学習トピックと教育レベルを入力すると、プラットフォームがパーソナライズされた学習プロファイルを生成します。

NVIDIAとテルアビブ大学の研究者によって開発されたComfyGenは、大規模言語モデル（LLM）に基づいてワークフローを自動的に作成し、ユーザーが入力したテキストプロンプトにマッチさせることで画像生成の品質を向上させるテキスト画像生成システムです。

restorePhotos.ioは、古くてぼやけた顔写真の復元に特化したオープンソースのAIプロジェクトです。Next.js APIルーティングを介してアップロードされた写真をGFPGAN機械学習モデルで処理し、復元された写真を返します。

PDFtoChatは、ユーザーが自然言語による対話を通じてPDFファイルとやり取りできる、革新的なオープンソースAIプロジェクトです。このツールは、Together AIやMixtralなどの最新のAI技術を活用して、ユーザーのクエリを理解します。

自己学習型評価器は、自己学習によって大規模言語モデル（LLM）の評価能力を向上させ、手動でラベル付けされたデータの必要性を排除する、新しいモデル評価手法です。ラベル付けされていない指示から始めて、反復的に...

TurboSeekはTogether.aiが提供するオープンソースのAI検索エンジンです。Next.js、Tailwind、Bing検索API、高度な言語モデルMixtral 8x7BおよびLlaなど、最新のテクノロジースタックに基づいています。

Napkins.devは、AI技術を用いてユーザーのスクリーンショットやワイヤーフレームを動作するWebアプリケーションに迅速に変換する革新的なオープンソースプロジェクトです。このプロジェクトは、MetaのLlama 3.1 405B大規模言語モデルを基盤としており、...

マトリョーシカ拡散モデル（MDM）は、高解像度画像や動画の生成における計算および最適化の課題に対処するためにAppleの研究者によって開発された新しい拡散モデルフレームワークです。MDMは…

mPLUG-DocOwl 1.5は、アリババグループが発表したマルチモーダル大規模言語モデルで、OCR（光学文字認識）不要の文書理解に重点を置いています。このモデルは統一構造学習に基づいており、テキスト画像などのリッチなテキストを理解する能力が向上しています。

Google DeepMindとMITが共同開発したテキストから画像への自己回帰生成モデルであるFluidは、連続的なラベル付けとランダムな生成順序に基づいて、視覚品質と評価性能において画期的な進歩を遂げました。このモデルは、…