AI News

Open-Sora是由Colossal-AI团队开源的视频生成模型，旨在复现OpenAI的Sora视频生成产品。Open-Sora同样基于DiT架构，通过三个阶段训练：大规模图像预训练、大...

VLOGGER AI是谷歌的研究团队开发的一个多模态扩散模型，专门用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该模型的主要功能在于使用人工智...

Stable Video 3D（简称SV3D）是由Stability AI公司开发的一项先进的3D技术，能够从单张图片生成高质量的新视角视图和3D网格。该模型在之前发布的Stable Video...

AnimateDiff-Lightning由字节跳动的研究人员最新推出的一个高质量视频生成模型，利用了渐进式对抗性扩散蒸馏技术来实现快速的视频生成。该模型旨在解决现有视...

StreamMultiDiffusion是一个实时交互式的图像生成框架，结合了扩散模型的高质量图像合成能力和区域控制的灵活性，可根据用户指定的区域文本提示生成实时、交...

Mora是由来自微软和理海大学的研究人员推出的一个多智能体（AI Agents）框架，专门用于通用视频生成任务，目标是模拟并扩展OpenAI的Sora视频生成模型。该框架...

LATTE3D是由英伟达的研究人员推出的一个文本生成3D对象的模型，能够从文本提示描述快速生成高质量的3D内容（仅需400毫秒）。该技术的核心在于采用了一种称为“...

BrushNet是由腾讯PCG部门的ARC实验室与香港大学的研究人员推出的一个基于扩散模型的即插即用的图像照片修复（Inpainting）模型，通过分解的双分支架构来有效...

SUPIR是一个突破性的图像修复和画质增强方法，利用了大规模的生成模型StableDiffusion-XL（SDXL）和模型扩展技术，通过深度学习和多模态方法，实现了对低质量...

StreamingT2V是由PicsArt AI研究团队推出的一个文本到视频的生成模型，旨在解决现有模型仅能生成16帧或24帧的高质量短视频，在生成长视频时则会遇到如视频质...

VoiceCraft是一个由德克萨斯大学奥斯汀分校研究团队开源的神经编解码器语言模型，专注于零样本语音编辑和文本到语音（TTS）任务。该模型采用Transformer架构...

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同提出的一种基于3D的将人物图片转换为视频动画的模型，该方法结合了3D参数化模型（特别是SMPL模型）和潜...

Jamba是由AI21 Labs推出的首个基于Mamba架构的生产级别的大语言模型，目前大部分的大模型（如GPT、Gemini 和 Llama）都是基于 Transformer 结构。而 Jamba 结...

Voice Engine是OpenAI最新推出的一项AI语音合成和声音克隆技术，能够利用简短的15秒音频样本和文本输入，生成接近原声的自然听起来的语音。该项技术自2022年...

SWE-agent是一个由普林斯顿大学NLP组研究人员开发的开源AI程序员和软件工程师系统，利用大型语言模型（如GPT-4）的能力，可以自动解决GitHub存储库中的问题。...

DreaMoving是一个基于扩散模型的人类视频生成框架，由阿里巴巴集团的研究团队开发。DreaMoving通过视频控制网络和内容引导器实现对人物动作和外观的精确控制...

AniPortrait是腾讯开源的照片对口型AI视频生成框架，类似于此前阿里推出的EMO，能够通过音频和一张参考肖像图片生成高质量的动画。

InstantStyle是小红书的InstantX团队开源的保留风格一致性的个性化文本到图像生成框架，旨在解决文本到图像生成中的一个关键问题：如何在保持风格一致性的同...

DesignEdit是由微软亚洲研究院和北京大学的研究团队共同开发的一个AI图像编辑框架，引入了设计领域的图层概念，采用多层潜在分解和融合的技术，实现了无需额...

CodeGemma是由Google发布的专注于代码生成和理解的大型语言模型，该系列包含三种不同规模的模型，分别是2B预训练模型、7B预训练模型和7B指令微调模型，旨在提...

Parler-TTS是由Hugging Face推出的一款开源的文本到语音（TTS）模型，能够通过输入提示描述模仿特定说话者的风格（性别、音调、说话风格等），生成高质量、听...

VASA-1是由微软亚洲研究院提出的一个将静态照片转换为对口型动态视频的生成框架，能够根据单张静态人脸照片和一段语音音频，实时生成逼真的3D说话面部动画。

Llama 3是Meta公司最新开源推出的新一代大型语言模型（LLM），包含8B和70B两种参数规模的模型，标志着开源人工智能领域的又一重大进步。作为Llama系列的第三...

FunClip是阿里达摩院推出的一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室的FunASR Paraformer系列模型实现视频的自动化语音识别...