VeriSpoof - 墨尔本大学开源的音频大模型

VeriSpoof是什么

VeriSpoof 是墨尔本大学推出的开源音频大模型，2.85B 参数仅训练 29.7M。VeriSpoof 把语音伪造取证统一为对模型的提问，同一套权重完成真伪检测、系统溯源、同源验证、信道识别和可核实的有依据推理检测。检测在 Speech-DF-Arena 合并 EER 2.14%，28 个系统排第三、开源第一。

VeriSpoof的主要功能

• 真伪检测：判断录音是真人语音还是 AI 合成，分数来自”伪造/真人”两个答案句的对数似然之差，Speech-DF-Arena 合并 EER 2.14%、开源第一。
• 生成系统溯源：在候选 TTS/VC 系统中识别具体生成器，并可拆分为声学模型、声码器三个层级分别判断，MLAAD 已见生成器 12 分类准确率 96.8%。
• 同源验证：判断两段录音是否出自同一生成系统，对训练中未见过的生成器配对 EER 6.2%，比在专用检测器冻结特征上训练的配对探针低 77%。
• 录音条件识别：识别音频中的噪声、混响和编解码类型，Plus 版准确率 81.3%。
• 可核实推理：按观测、信道、定位、来源画像、结论的固定字段输出推理，每行可对照波形测量或数据集标注核实，并给出逐 0.16 秒的伪造片段定位，对局部伪造检出率从 78.4% 提升到 99.6%。

VeriSpoof的技术原理

• 双分辨率音频分词：编码器采用 Qwen3-ASR-1.7B 的 AuT 编码器，25 层隐状态经可学习权重加权融合后送入从头训练的音频分词器；分词器输出 16 个整句 token 承载全局不变的来源信息，52 个帧 token 每个对应 0.16 秒保留时间信息，帧间每 0.8 秒插入文本时间标记，使语言模型能直接以”秒”为单位说出伪造片段位置。
• 以回答本身作为分数：语言模型为 MiniCPM5-2B 加 LoRA，所有任务训练目标都是下一 token 预测，没有任何任务专用分类头——检测分数是伪造与真人答案句的对数似然之差，同源分数是 yes 与 no 之差，多选题对每个候选答案句打分取最大。
• 三阶段训练配方：感知对齐阶段冻结语言模型，只训分词器和编码器 DoRA，让音频侧先学会携带伪造痕迹；随后加入语言模型 LoRA 训练全部取证问题，包括生成器、声学模型、声码器及三个层级的配对问题；最后以更低学习率加入有依据推理和反事实样本，同时回放第二阶段问题保证一步回答能力不退化。
• 由信号计算的推理目标：推理文本按固定字段书写，每类陈述都有不依赖模型的检查器，观测行对照波形上的带宽、SNR、电平、削波测量，信道行对照数据增强时记录的条件，定位行对照数据集标注，来源画像对照生成器元数据；反事实样本将定位改为相反或插入新片段，要求结论随之翻转，只改无关字段时结论必须不变，从训练信号上约束结论只依赖”哪里是合成的”。

微信关注回复“开源”，加入AI开源项目交流群

如何使用VeriSpoof

• 安装代码：运行 hf download AustinXiao/VeriSpoof-Plus --include "code/*" --local-dir verispoof 拉取代码，再执行 pip install ./verispoof/code 安装推理包。
• 加载模型：在 Python 中 from verispoof import VeriSpoof，然后 model = VeriSpoof.from_pretrained("AustinXiao/VeriSpoof-Plus") 完成加载。
• 真伪检测：调用 model.detect("sample.wav") 返回标签与分数，检测分数和逐 token 定位只需一次前向，无需生成文本。
• 可核实推理：调用 model.explain("sample.wav") 返回推理文本、结论、定位片段和逐 token 合成概率，完整推理可用 vLLM 后端批量生成，A100 上每条约 0.05 秒。
• 同源验证：调用 model.same_source("a.wav", "b.wav", level="generator") 判断两段录音是否同源，level 也可设为 acoustic_model 或 vocoder。
• 条件识别与溯源：调用 model.condition("sample.wav", attr="codec") 识别噪声、混响或编解码，调用 model.generator("sample.wav", ["XTTS-v2", "Bark", "VITS"]) 在自定义候选列表中识别生成系统。

VeriSpoof的核心优势

• 检测性能开源第一：Speech-DF-Arena 合并 EER 2.14%，在 28 个系统中排名第三、开源权重第一，同时是唯一附带低成本复现配方的头部系统。
• 统一架构而非五套模型：同一套权重完成检测、溯源、同源验证、信道识别和推理五类任务，没有任务专用分类头。
• 分数即回答：所有评测分数直接来自模型回答句的对数似然，不存在”分类头很强、回答却答非所问”的脱节，用户看到的结论就是被打分的那个输出。
• 推理可核实而非生成式编造：推理按固定字段书写，每行可对照波形测量或数据集标注检查，反事实训练保证结论只随”哪里是合成的”翻转，忠实率最高 100%。
• 泛化能力经严格验证：未见生成器上同源判断 EER 6.2%，比专用配对探针低 77%，且未见生成器从训练数据整体剔除，评测协议干净。

VeriSpoof的项目地址

• 项目官网：https://swagshaw.github.io/verispoof/
• GitHub仓库：https://github.com/swagshaw/verispoof
• HuggingFace模型库：https://huggingface.co/collections/AustinXiao/verispoof
• arXiv技术论文：https://arxiv.org/pdf/2611.04634

VeriSpoof的同类竞品对比

对比维度	VeriSpoof-Plus	DF-Arena-1B
定位	统一取证问答的音频大模型	专精语音真伪检测的开源模型
检测性能（Speech-DF-Arena 合并 EER）	2.14%，28 个系统第三、开源第一	9.52%，明显落后
功能范围	检测、溯源、同源验证、信道识别、可核实推理五类任务	仅真伪检测
同源验证（MLAAD 未见生成器 EER）	6.2%	需在其冻结特征上另训配对探针，EER 26.5%
可解释性	输出逐行可对照波形与标注核实的推理文本及逐 0.16 秒定位	仅输出分数，无推理
架构与成本	2.85B 参数仅训练 29.7M，14 GPU 小时训完	1B 级，无低成本复现配方公开
生态	附 VeriSpoof-Bench 基准与可复现脚本	无配套基准
许可	CC BY-NC 4.0，限非商业	开源（可商用需查具体协议）

VeriSpoof的应用场景

• 媒体与社交平台审核：检测用户上传音频和”语音截图”是否 AI 合成，辅助拦截用克隆声音制造的虚假内容。
• 金融与电话反欺诈：核验客服来电、转账指令录音是否为真人，防范语音克隆冒充亲属或高管的诈骗场景。
• 司法取证与执法：在语音证据鉴定中提供可逐行核实的推理报告，说明伪造片段位置与生成系统线索，辅助人工复核。
• 呼叫中心身份核验：判断留存录音与实时通话是否同源、是否真人，降低声纹认证被合成语音绕过的风险。
• 科研与模型评测：作为开源权重最强的检测基线和统一取证模型，供研究者用 VeriSpoof-Bench 评测自己的模型、开展受控对比实验。