AB
AB
AiBoss

すべてのカテゴリ

project

Nemotron-3.5-Parse - 把文档页面转成带版面结构与坐标的结构化文本

NVIDIA 在 Hugging Face 发布的 Nemotron-3.5-Parse 是一个文档图像解析模型，输入扫描或渲染的页面图像，输出带语义版面类别、归一化边界框与阅读顺序的机器可读文本。据项目说明，它面向文档理解、检索增强生成、数据抽取与多模态数据整理流程。

Nemotron-3.5-Parse 是 NVIDIA 发布在 Hugging Face 上的一个文档图像解析模型，任务类型为 image-text-to-text，框架标注为 transformers。它要解决的问题是：把扫描件或渲染出来的 PDF、幻灯片、表单、报表、表格以及图文混排的页面，从一张图片变成下游系统能直接消费的结构化文本——不只是纯文字，还包括语义版面类别、边界框和阅读顺序。据项目说明，它面向构建文档智能、检索增强生成（RAG）、数据整理、信息抽取与智能体应用的开发者与团队，可用于索引、检索、分析、训练数据构造以及人工复核等环节。

维护者与状态

该模型由 nvidia 维护，仓库位于 Hugging Face。事实表显示，仓库创建时间为 2026-09-03，最后更新时间为 2026-10-21。截至 2026-10-25 的数据读取时间，近 30 天下载量为 6340，点赞数为 107。事实表中没有给出正式 release 版本号，因此这里不对版本节奏作额外推断；如需确认当前权重与配套代码状态，以仓库页面为准。

许可证方面，事实表标注为 openmdw-1.1。素材中另有说明：模型本体适用 OpenMDW License Agreement 1.1 版，而模型内附带的 tokenizer 适用 MIT 许可并附 tokenizer 归属说明；此外，可移植的 ParseBench 评测流水线有独立的许可与第三方声明。使用前建议直接阅读仓库中的许可文本与第三方声明文件。

主要能力

以下能力描述来自项目自述（模型卡），属于维护者视角的说明，不是独立评测结论。

  • 结构化输出：模型返回一个字符串，编码文档文本、语义元素类别以及内容归一化的边界框；使用时需将 x 坐标按图像宽度、y 坐标按图像高度缩放回像素坐标。
  • 版面与阅读顺序：项目说明称输出保留模型预测的阅读顺序，并带有语义版面类别与边界框，便于下游做版面还原或区域定位。
  • 表格与图表处理：模型带有面向图表的输出 token；配套后处理工具可将表格或图表相关文本转换为 LaTeX、HTML、Markdown、JSON 或 CSV（在支持范围内）。
  • 多语言 tokenizer：使用 72,505 条目的多语言 tokenizer，包含任务与控制 token；解码器嵌入补齐到 72,512 行。
  • 架构组合：据模型卡，视觉编码器为 NVIDIA C-RADIOv4-SO400M，采用动态矩形 NaViT 预处理；中间经一维卷积与归一化层压缩视觉序列；解码器为 10 层 mBART 因果视觉前缀解码器，使用分组查询注意力（16 个 query 头、8 个 key/value 头）。模型卡给出的唯一可训练参数量为 630,800,496（约 0.631B），含一个一步多 token 预测（MTP）头，共享的解码器嵌入与输出权重只计一次。
  • 后处理辅助：项目提供共享辅助函数，可将整篇文档渲染为带 HTML 表格的 Markdown，并返回带归一化框与可选像素框的结构化块；据项目说明，这些工具会保留表格合并单元格、空单元格与单元格内换行，去除字面重复元素，修复空的序列化前缀，并规范化列表符号与软连字符，同时对代码与数学内容跳过排版清理。

模型卡还列出了 ParseBench、IndicVisionBench 与 MOSCAR 上的评测结果，并自行提示：MOSCAR 使用简单合成渲染文本测试基础 OCR 能力，这些结果不保证在复杂扫描件、手写、退化图像等真实场景中的准确率；字符袋 F1 只衡量字符重叠、不考虑顺序。这些数字属于维护者自述的评测，本文不将其转述为独立验证结论。

使用入口

模型仓库地址：nvidia/Nemotron-3.5-Parse。

据项目说明，使用 Transformers 推理时建议 Python 3.12 与全新环境，安装指定版本的 transformers、torchvision 与 timm；Transformers 会自动下载权重、处理器与自定义模型代码，无需额外安装 Nemotron 包。若仓库访问需要认证，先执行 hf auth login。加载模型时需开启 trust_remote_code=True，并以 bfloat16 放到 GPU 上；输入为 RGB 图像加一个由控制 token 组成的任务提示，默认提示用于提取边界框、语义类别与 Markdown 格式文本。生成配置从仓库读取，示例中将 max_new_tokens 设为 8744。

python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install "transformers==5.14.1" "torchvision==0.26.0" "timm==1.0.22"

若需要后处理，可单独下载辅助脚本与共享实现到工作目录，同样无需安装 Nemotron 包：

python -m pip install "beautifulsoup4==4.13.3"
hf download nvidia/Nemotron-3.5-Parse \
  --include 'postprocessing.py' 'latex2html.py' 'nemotron_parse/**' --local-dir .

随后调用 postprocess_document 即可得到 Markdown 与结构化块，并可据此在图像上绘制预测框。素材还提到存在 vLLM 推理路径，但该部分内容在抓取时被截断，具体插件与安装要求请以仓库说明为准。

许可与限制

许可证按事实表记为 openmdw-1.1，即 OpenMDW License Agreement 1.1 版；模型内 tokenizer 另适用 MIT 许可与归属说明。使用前应阅读仓库中的许可协议、tokenizer 归属文件与第三方声明，本文不对商用与否作额外判断。

已知限制与适用边界（据项目说明）：

  • 输入图像建议最大分辨率为宽 1664、高 2048，通道数为 3；超出范围的处理方式需自行确认。
  • 输出坐标为内容归一化值，必须按实际图像尺寸缩放后才能用于像素级定位。
  • 模型被描述为在 NVIDIA GPU 加速系统上设计和优化，模型卡称相较纯 CPU 方案可获得更快的训练与推理时间；具体硬件门槛与显存需求素材未给出。
  • 表格与图表的多种导出格式（LaTeX、HTML、Markdown、JSON、CSV）存在能力差异：HTML 与层级 JSON 保留合并单元格结构，扁平 Markdown、CSV 与记录式 JSON 会展开跨行跨列；无表头表格在扁平导出中使用中性列名。
  • 维护者明确提示，合成渲染数据上的 OCR 结果不能保证复杂扫描件、手写或退化图像的表现，字符袋 F1 也不反映字符顺序，实际部署前应针对自身文档类型做验证。

总体而言，这是一个把页面图像转成结构化文本的专用模型，适合需要版面信息与坐标定位的文档处理流水线；是否满足具体业务精度，取决于文档类型与后处理配置，建议以自有样本评估后再接入。

戻る