project
OXR - SoMark 开源的文档解析模型
OXR 是守扣科技 SoMark 开源的 1.3B 文档解析模型,面向 PDF/文档图片,输出 Agent 友好的 Markdown/JSON,可识别文字、表格、公式、化学方程式/结构式、代码...
OXR是什么
OXR 是守扣科技 SoMark 开源的 1.3B 文档解析模型,面向 PDF/文档图片,输出 Agent 友好的 Markdown/JSON,可识别文字、表格、公式、化学方程式/结构式、代码等 13 类元素,给出版面坐标与阅读顺序。OXR后训练引入 RSI 自我改进闭环,在 OmniDocBench、olmOCR-Bench、DocParsingBench 三榜第一且解析速度领先。
OXR的主要功能
-
文档转结构化数据:把 PDF 和文档图片解析为 Markdown/JSON,便于 Agent 与下游系统直接消费。
-
多元素识别:覆盖文字、表格、公式、化学方程式、化学结构式、代码块等 13 类文档元素。
-
版面信息输出:为识别结果提供边界框坐标,并按阅读顺序组织内容。
-
复杂版式处理:支持多栏论文/报纸、A3 试卷、竖排文本、中英文手写等难例。
-
可定制版面分析:内置版面模型可替换,以适配不同业务对元素类别、区域边界和内容分组的定义。
-
多方式接入:提供免费 API、在线 Demo,以及 Docker/源码本地部署,兼容 SoMark CLI/SDK。
OXR的技术原理
-
模型与训练:OXR 为 1.3B 参数模型,从零预训练,后训练阶段引入面向文档解析的 RSI 闭环:由多个模型分析错样本与弱样本,自动生成训练策略与数据。
-
架构分工:系统由轻量 Layout Analysis 模型和 OXR 主模型组成;前者定位内容区域,后者在同一识别阶段完成内容识别与阅读顺序判断,减少独立排序开销,并用语义关系提升顺序判断。
-
可插拔设计:版面分析被拆成独立模块,可替换为第三方或自研版面模型,同时保留 OXR 的内容识别与阅读顺序能力,降低跨域适配成本。
-
效率优化:在任务级重构解析流程,使 1.3B 小模型在保持精度的同时获得更高吞吐;官方在 RTX PRO 6000 上对比同条件 100 页解析,OXR 约 101 秒,快于 PaddleOCR-VL-1.6 与 MinerU2.5-Pro。
-
工程接入:解析 API 与 SoMark 兼容,可复用 somark-py/somark-js/CLI;本地以 all-in-one Docker 最简,源码部署需分别启动 OXR 模型服务、Layout Analysis 服务和解析 API。
微信关注回复“开源”,加入AI开源项目交流群
如何使用OXR
- 下载资源:克隆 GitHub 仓库,从 Hugging Face 或 ModelScope 下载 OXR-1.0 BF16 权重。
- Docker 启动:构建
docker/Dockerfile.allinone并挂载模型目录,启动后访问localhost:8000/demo或/docs。 - 源码部署:依次启动 OXR 模型服务、Layout Analysis 服务,再启动文档解析 API 并配置
config.yaml。 - 发起解析:调用
/v1/parse/sync或异步接口,或用 SoMark CLI/SDK 改 base URL 后提交文件。 - 获取结果:选择
markdown/json等输出格式,下载解析结果并检查坐标与阅读顺序。 - 生产接入:用本地服务或 SoMark 商业服务,按业务替换/微调版面分析模块。
OXR的核心优势
-
三榜精度领先:在 OmniDocBench、olmOCR-Bench、DocParsingBench 均排名第一,表格场景优势更明显。
-
速度快:1.3B 参数在同条件 100 页解析测试中约 101 秒,官方列为参测开源模型第一。
-
元素覆盖广:支持文字、表格、公式、化学方程式/结构式、代码块等 13 类文档元素。
-
输出 Agent 友好:结果带版面坐标与阅读顺序,可直接转 Markdown/JSON 进入工作流。
-
可持续进化:后训练采用 RSI 闭环,用错样本/弱样本自动生成策略与数据,减少人工标注依赖。
-
适配成本低:版面分析独立可插拔,可替换业务自定义版面模型,同时保留识别与排序能力。
OXR的项目地址
- GitHub仓库:https://github.com/SoMarkAI/OXR
- HuggingFace模型库:https://huggingface.co/SoMarkAI/OXR-1.0
OXR的同类竞品对比
| 对比维度 | OXR | TeleOCR |
|---|---|---|
| 模型规模 | 1.3B | 约 1.2B |
| 技术路线 | 轻量版面模型 + 主模型两阶段;识别与阅读顺序同阶段完成 | 单一端到端模型,同时处理数字文档与拍摄文档 |
| 训练机制 | RSI 递归自我改进闭环,错样本/弱样本驱动迭代 | 大规模数据 + 弱监督/迭代训练(具体细节见 arXiv 报告) |
| 输入支持 | PDF、文档图片 | 数字 PDF + 手机拍摄文档(弯曲/透视/反光场景为强项) |
| 元素覆盖 | 13 类:文字、表格、公式、化学方程式/结构、代码块等 | 文字、版面、表格、公式、科学图表 |
| 特殊能力 | 化学结构式转 SMILES、方程式转 mhchem | 科学图表转表格、实拍文档畸变校正 |
| 版面分析 | 独立可插拔,可换第三方/自研模型 | 端到端内置,未见可替换设计 |
| 阅读顺序 | 与识别同阶段完成,结合语义判断 | 端到端统一处理 |
| 精度口径 | OmniDocBench 97.18、olmOCR 87.84、DocParsingBench 87.76 | OmniDocBench v1.6 96.87、Wild-OmniDocBench 88.53、PureDocBench 78.41 |
| 速度口径 | RTX PRO 6000 上 100 页约 101 秒,官方称开源第一 | 官方口径优于 MinerU2.5-Pro、PaddleOCR-VL-1.6、OvisOCR2,未见绝对耗时 |
| 典型适配 | 复杂版式定制、Agent 工作流、需替换版面模型的业务 | 扫描/实拍混合来源、科学文献、移动端拍摄文档 |
OXR的应用场景
-
RAG 知识库入库:把 PDF/扫描件转成带结构坐标的 Markdown/JSON,提升切片、召回与引用质量。
-
金融/研报解析:处理多栏研报、复杂表格与图表说明,稳定输出表格结构与阅读顺序。
-
教育与考试数字化:解析 A3 试卷、竖排/手写内容,服务题库建设、阅卷与错题分析。
-
科研与出版流程:识别论文公式、化学方程式/结构式,转成 LaTeX、mhchem、SMILES 便于复用。
-
企业文档 Agent:为合同、简历、档案、代码文档提供结构化输入,可替换版面分析模块适配行业版式。