Nougat：科学文档的神经光学理解

一、Nougat 是什么？

Nougat 是由 Meta AI 推出的一款开源 OCR 工具，专为 Windows 平台设计，能够将 PDF 文档中的文本和数学公式转换为 MultiMarkdown 格式。它基于 Visual Transformer 模型构建，可以识别并转换复杂的数学公式和表格，实现高效的科学文档处理。

二、Nougat 的地址

1. 论文地址：https://arxiv.org/abs/2308.13418
2. Github 仓库：https://github.com/facebookresearch/nougat

三、为什么要做 Nougat？

随着数字化信息的快速发展，学术界对高效、准确的数据转换工具的需求不断增加。PDF 格式虽然普遍使用，但对数学公式和复杂排版的处理不尽如人意。为了解决这一问题，Meta AI 推出了 Nougat，旨在通过将 PDF 转换为易于处理的标记语言，增强科学知识的可访问性。

四、Nougat 的模型概览

在论文中，作者将 Nougat 的主要贡献归为以下三点：

1. 预训练模型发布：发布了两个预训练模型，能够将 PDF 转换为轻量级标记语言。

   • 0.1.0-base：10 层 decoder，最大解码长度为 4096，参数量约 350M，模型文件大小 1.31G。
   • 0.1.0-small：4 层 decoder，最大解码长度为 3584，参数量约 250M，模型文件大小 956M。

2. 数据集创建流程：介绍了一种将 PDF 文档与其源代码配对的数据集构建方法，这对于测试和改进 Nougat 模型至关重要。

3. 图像处理能力：Nougat 仅依赖页面图像进行操作，能够处理扫描版纸张和书籍。

如下图所示，Nougat 基于 Encoder-Decoder 框架的 Transformer 架构构建，支持端到端训练，并以 Donut 架构为基础。

• Encoder：使用 20 层 Swin Transformer，接收文档图像，裁剪边距并调整大小。输出嵌入补丁序列。
• Decoder：使用 mBART 中的 decoder，标准 transformer decoder 架构，将编码后的图像解码为标记序列。

五、如何使用 Nougat？

为了让更多用户轻松体验 Nougat，我们将其打包成了一键启动包。用户无需繁琐地配置 Python 环境，只需简单点击即可启动程序。

使用步骤：

1. 下载压缩包：从 Github 或其他指定链接下载 Nougat 的压缩包。
2. 解压到电脑 D 盘：将压缩包解压到电脑的 D 盘，最好不要有中文路径。
3. 启动程序：解压后点击 启动.bat 文件即可运行（文件可能会被误杀，请添加为信任）。
4. 浏览器访问：打开浏览器，访问 http://127.0.0.1:7860/，即可正常使用 Nougat。