AB
AiBoss站
快讯

百度开源文心Unlimited OCR 2:KV缓存峰值降约96%,可连续解析数千页文档

百度发布并开源文心Unlimited OCR 2,提出稀疏参考滑动窗口注意力机制SR-SWA与无限解码机制,据技术报告百页级单序列测试,峰值KV缓存从47GB降至1.77GB,约减少96%,可连续解析数千页文档。

百度开源文心Unlimited OCR 2

百度发布并开源文心Unlimited OCR 2。据量子位报道,该模型可连续识别并转写数千页文档,官方演示中一次性处理了7部《哈利·波特》共3600余页,以及《三体》全集1200余页。模型已在Hugging Face和GitHub开源,具体许可与使用条件以官方页面当前信息为准。

技术路径与报告数据

据技术报告,新模型在上一代参考滑动窗口注意力机制(R-SWA)基础上升级为稀疏参考滑动窗口注意力机制(SR-SWA),通过Page Gate筛选相关页面、Token Sieve筛选页面内相关视觉信息块,减少无关计算;同时引入无限解码机制,将文档分块处理并复用相邻块重叠页的视觉KV缓存,及时释放已用不上的缓存。

报告给出的百页级单序列测试中,峰值KV缓存占用从标准解码的47GB降至1.77GB,减少约96%,该数字仅指KV缓存,不含模型权重等其他显存开销;16路并发测试中端到端吞吐量从360提升至1315 Token/秒。评测方面,MPDocBench综合得分84.59,团队新建的MarathonDocBench综合得分77.06,报告称两项均为所列参评模型中的最高值。上一代Unlimited OCR累计下载量超过1000万,GitHub约2.86万Star。

限制与来源

上述缓存、吞吐与评测数据均来自官方技术报告及媒体演示,尚未见独立第三方复现;实际显存占用、速度与识别质量会随硬件、文档类型和参数设置变化,使用前请以官网及开源仓库当前信息为准。本文不构成任何采购或投资建议。来源:量子位(www.qbitai.com)。