TokenVerse - DeepMindをはじめとする研究機関が開発した、複数の概念に基づいたパーソナライズされた画像生成手法。
TokenVerseは、事前学習済みのテキストから画像への拡散モデルに基づいた、マルチコンセプトのパーソナライズされた画像生成手法です。複雑な視覚要素や属性を単一の画像から分離し、複数の画像から抽出された概念をシームレスに組み合わせて新しい画像を生成することができます。
TokenVerseは、事前学習済みのテキストから画像への拡散モデルに基づいた、マルチコンセプトのパーソナライズされた画像生成手法です。複雑な視覚要素や属性を単一の画像から分離し、複数の画像から抽出された概念をシームレスに組み合わせて新しい画像を生成することができます。
Baichuan-M1-14Bは、Baichuan Intelligentが発表した業界初のオープンソース医療拡張モデルです。その医療機能は、より大規模でパラメータが豊富なQwen2.5-72Bを凌駕し、o1-miniに匹敵します。医療シナリオに特化して最適化されており、強力な機能を備えています。
CogVideoX-2は、Zhipu AIが開発したオープンソースのテキストからビデオへの生成モデルです。高度な3D変分オートエンコーダー(VAE)に基づいており、ビデオデータを元のサイズの2%に圧縮することで、リソース使用量を削減しながら、ビデオフレーム間の整合性を確保します。
CogView-4は、Zhipu AIが開発したテキストから画像を生成するモデルです。Transformerアーキテクチャに基づいており、高品質な画像を生成するための拡散モデルです。パラメータのスケーリングを最適化し、高品質な画像を使用してデータセットを微調整することで、高品質な画像を生成することができます。
LLMwareは、エンタープライズアプリケーション向けに設計された統合フレームワークであり、小規模で特殊なモデルに基づいたRAG(検索拡張生成)プロセスの構築に適しています。LLMwareはプライベート環境への導入をサポートし、エンタープライズシステムとの安全な統合が可能です。
FilmAgentは、ハルビン工業大学(深圳)の研究チームがマルチエージェント協調フレームワークに基づいて開発した仮想映画制作ツールです。仮想3D空間でエンドツーエンドの映画制作プロセスを自動化し、従来の映画制作をシミュレートします。
Whisper Inputは、PythonとOpenAIのWhisperモデルを使用して開発されたオープンソースの音声入力ツールです。録音開始のためにOptionキーを押し、録音停止のためにキーを離すなど、簡単なキーボードショートカットを使用できます。
Fast3Rは、Metaとミシガン大学の研究者によって提案された、新しいマルチビュー3D再構成手法です。Transformerアーキテクチャに基づいており、1回の順伝播処理で1000枚以上の画像を処理できるため、効率的かつスケーラブルな3D再構成を実現します。
Tarsier2は、ByteDanceが開発した高度な大規模視覚言語モデル(LVLM)です。詳細かつ正確な動画説明を生成し、様々な動画理解タスクにおいて卓越した性能を発揮します。このモデルは、3つの主要なアップグレードによって性能向上を実現しています。
VideoLLaMA3は、アリババがオープンソース化した最先端のマルチモーダル基盤モデルであり、画像と動画の理解に重点を置いています。Qwen 2.5アーキテクチャをベースとし、高度なビジュアルエンコーダ(SigLipなど)と強力な言語生成機能を組み合わせています。
Baichuan-Omni-1.5は、Baichuan Intelligenceが開発したオープンソースのフルモーダルモデルです。テキスト、画像、音声、動画のフルモーダル理解をサポートし、テキストと音声の両方でバイモーダル生成機能を備えています。このモデルは、視覚、音声、マルチモーダルストリーミングにおいて優れた性能を発揮します。
TeleAI-t1-previewは、中国電信人工知能研究所が公開した「複雑推論モデル」であり、強力な論理推論能力と数学的導出能力を備えています。強化学習トレーニング手法と、探究や考察といった思考パラダイムの導入により、…
Qwen2.5-1Mは、アリババ同義千文チームが公開したオープンソースモデルで、100万トークンのコンテキスト長をサポートしています。このモデルには、Qwen2.5-7B-Instruct-1MとQwen2.5-14B-Instruct-1Mの2つのバージョンがあります。(文章がここで突然終わっていますが、おそらく文が不完全か情報が欠落しているためです。)
DiffuEraserは、安定した拡散モデルに基づいたビデオインペインティングモデルで、ビデオ内のマスクされた領域をより詳細かつ一貫性のある構造で塗りつぶします。このモデルは、事前情報を組み込むことで初期化と弱い条件を提供し、これにより...
Janus-Proは、DeepSeekが開発したオープンソースのAIモデルで、画像理解と画像生成をサポートし、多様なアプリケーションシナリオに合わせて10億と70億のスケールを提供します。改良されたトレーニング戦略、拡張されたデータセット、そしてより大規模なスケールが特徴です。
Qwen2.5-VLは、アリババ傘下のTongyi Qianwenチームがオープンソース化した主力ビジュアル言語モデルで、3B、7B、72Bの3つの異なるスケールで利用可能です。このモデルは視覚理解に優れており、一般的な物体の認識や、画像内のテキストやグラフの分析が可能です。
QVQ-72B-Previewは、Alibaba CloudのTongyi Qianwenチームが開発したオープンソースのマルチモーダル推論モデルで、視覚推論能力の向上に重点を置いています。このモデルは複数のベンチマークテストで非常に優れた性能を発揮し、マルチモーダルな理解と推論タスクにおいて強力な能力を示しています。
Qwen2.5-Maxは、Alibaba Cloudが開発した大規模なMoE(Mixture of Experts)モデルで、20兆個以上の事前学習済みトークンを使用しています。このモデルは複数のベンチマークテストで非常に優れた性能を発揮し、DeepSeek V3を凌駕しています。
MobileVD(Mobile Video Diffusion)は、Qualcomm AI Researchチームが開発した、モバイルデバイス向けに最適化された初のビデオ拡散モデルです。このモデルは、Stable Video Diffusion(SVD)の時空間UN構造に基づいています。
YuEは、香港科技大学とマルチモーダルアートプロジェクションチームが共同開発したオープンソースのAI音楽生成モデルです。歌詞を完全な楽曲に変換することができ、ポップ、メタル、ジャズなど、さまざまな音楽スタイルに対応しています。
VARGPTは、視覚理解と生成タスクに特化した革新的なマルチモーダル大規模言語モデルです。自己回帰フレームワークに基づき、単一のモデル内で視覚生成と理解を統合し、タスク切り替えの複雑さを回避します。VARGPTはLLaVAアーキテクチャに基づいて構築されています。
CityDreamer4Dは、南洋理工大学のS-Labチームが開発した、境界のない4D都市を生成するための複合生成モデルです。これは、3つのモジュールを通して、動的なオブジェクト(車両など)と静的なシーン(建物や道路など)を分離します。
SpeechGPT 2.0-previewは、復旦大学のOpenMOSSチームが開発した、人間のようなリアルタイム対話型システムです。数百万時間分の中国語音声データで学習されており、エンドツーエンドのアーキテクチャを採用し、音声とテキストのモダリティ間の高度な統合を実現しています。
LalaEvalは、香港中文大学とLalamoveデータサイエンスチームが共同開発した、ドメイン固有の大規模言語モデル(LLM)のための人間による評価フレームワークです。このフレームワークは、ドメイン仕様、標準規格などを網羅した、エンドツーエンドの完全なプロトコルを採用しています。