AI News

SAM 2.1（全称Segment Anything Model 2.1）是Meta（Facebook的母公司）推出的先进视觉分割模型，用于图像和视频。基于简单的Transformer架构和流式记忆设计...

Qwen2VL-Flux是多模态图像生成模型，结合Qwen2VL的视觉语言理解和FLUX框架，基于文本提示和图像参考生成高质量的图像。模型支持多种生成模式，包括变体生成、...

ShowUI是新加坡国立大学Show Lab和微软共同推出的视觉-语言-行动模型，能提升图形用户界面（GUI）助手的工作效率。模型基于UI引导的视觉令牌选择减少计算成本...

NVLM是NVIDIA推出的前沿多模态大型语言模型（LLMs），在视觉-语言任务上达到与顶尖专有模型（如GPT-4o）和开放访问模型（如Llama 3-V 405B和InternVL 2）相匹...

Promptriever 是约翰斯·霍普金斯大学和Samaya AI联合推出的新型检索模型，能像语言模型一样接受自然语言提示，用直观的方式响应用户的搜索需求。Promptriever...

LongLLaVA是多模态大型语言模型（MLLM），基于混合架构结合Mamba和Transformer模块，能高效处理大量图像，特别擅长视频理解和高分辨率图像分析。LongLLaVA在...

Devika是开源的AI编程助手，能理解并拆分复杂指令，基于集成AI搜索和网页浏览能力搜集信息，编写代码实现目标。Devika支持多种AI模型，具备高级规划推理能力...

iDP3（Improved 3D Diffusion Policy）是斯坦福大学联合多所高校推出的3D视觉运动策略，能提升人形机器人在多样化环境中的自主操作能力。与传统3D策略不同，i...

Proactive Agent是清华大学联合面壁智能等团队推出的新一代主动Agent交互范式 ，具备主动性，能预测用户需求并在没有直接指令的情况下采取行动。Proactive Ag...

EMOVA（EMotionally Omni-present Voice Assistant）是多模态全能模型，是香港科技大学、香港大学和华为诺亚方舟实验室等机构共同推出的。EMOVA能处理图像、...

OminiControl是高度通用且参数高效的图像生成框架，为扩散变换器模型如FLUX.1设计，实现对图像生成过程的精细控制。OminiControl支持主题驱动控制和空间控制...

Talker-Reasoner是谷歌DeepMind推出的AI代理架构，借鉴人类的认知理论，将代理分为两个模块：Talker和Reasoner。Talker模拟人类的快速直觉思维（System 1），...

Diffusion Self-Distillation（DSD）是创新的零样本定制图像生成技术，用预训练的文本到图像扩散模型自动生成数据集，并将其微调为能进行文本条件的图像到图...

Open Materials 2024 (OMat24) 是Meta推出的包含超过1.1亿个结构的密度泛函理论(DFT)计算的大型开放数据集，专注于无机材料的结构和成分多样性。附带预训练的...

CodeDPO是北京大学与字节跳动合作推出的代码生成优化框架，能提升代码模型在正确性和效率方面的表现。框架基于自生成和验证机制，同时构建和评估代码及其测试...

Voice-Pro是开源的多功能音频处理工具，集成语音转文字（STT）、文本转语音（TTS）、实时翻译、YouTube视频下载和人声分离等多种功能。工具支持超过100种语言...

Generative Omnimatte 是 Google DeepMind 等机构推出的视频编辑技术，能将视频智能分解为多个透明背景的RGBA图层，每个图层对应一个物体及其相关效果（如阴...

GLM-PC是智谱推出的基于多模态大模型CogAgent的电脑智能体。能像人类一样“观察”和“操作”计算机，协助用户高效完成各类电脑任务，如文档处理、网页搜索、信息...