千页只需7块钱，Mistral发布世界最强文件扫描API，实测仍有缺陷

SRPE6ob4Q8m

法国大模型独角兽 Mistral AI 进军 OCR（光学字符识别）领域了。
一出手就是号称「世界上最好的 OCR 模型」！

新产品 Mistral OCR 是一种光学字符识别 API，它为文档理解树立了新标准。与其他模型不同，Mistral OCR 能够以前所未有的准确度和认知能力理解文档的每个元素（媒体、文本、表格、公式）。它以图像和 PDF 作为输入，并从有序交错的文本和图像中提取内容。
因此，Mistral OCR 称得上一种理想的模型，可以与以多模式文档（如幻灯片或复杂 PDF）作为输入的 RAG 系统结合使用。
从现在开始，Mistral OCR 功能可以在 Le Chat 上免费试用。Mistral AI 已经将它作为 le Chat 上数百万用户的默认文档理解模型，并以 1000 页 / 美元的价格发布了 API「mistral-ocr-latest」。目前，该 API 已经在开发者套件 la Plateforme 上提供，并将很快提供给 Mistral AI 的云和推理合作伙伴，同时可以有选择地本地部署。
对复杂文档实现 SOTA 理解

Mistral OCR 擅长理解复杂的文档元素，包括交错图像、数学表达式、表格和高级布局（如 LaTeX 格式）。该模型可以更深入地理解丰富的文档，尤其是包含图表、图形、公式和数字的科学论文。
比如 Alphafold 3 的 OCR 识别效果，从给定 PDF 中将文本、图像提取到 markdown 文档。

下面将 PDF 和对应的 OCR 输出结果进行了并排比较。
比如数学公式：
数学_副本.jpg
比如阿拉伯文字：
阿拉伯文字_副本.jpg
基准测试成绩全方位第一

Mistral OCR 在严格的基准测试中始终优于其他领先的 OCR 模型，其在文档分析的多个方面都表现出色。Mistral AI 从文本文档中提取嵌入图像和文本，不过进行比较的其他 LLM 不具备此功能。
因此，为了公平比较，Mistral AI 在包含各种发表论文的内部「仅文本」测试集以及网络 PDF 上进行了性能测试。

支持原生多语言

自成立以来，Mistral AI 一直渴望用自己的模型服务全世界，因此努力在产品中实现多语言功能。
Mistral OCR 将这一目标提升到了一个新水平，能够解析、理解和转录各大洲的数千种脚本、字体和语言。对于需要处理来自不同语言背景的文档的全球组织以及服务小众市场的超本地化企业而言，这种通用性至关重要。
在「Fuzzy Match in Generation」（生成模糊匹配）指标比较中，Mistral OCR 获得了第一。

在各种语言的比较中，Mistral OCR 同样超越了 Azure OCR 和 Google Doc AI。
同类产品中速度最快

Mistral OCR 比同类产品中的大多数都更轻量，速度也明显快于它们，并且在单个节点上每分钟可以处理 2000 多页。这一快速处理文档的能力确保即使在高吞吐量环境中也能持续学习和改进。
文档即提示、结构化输出
Mistral OCR 还引入了使用文档作为提示的功能，从而实现了更强大、更精确的指令遵循。此功能允许用户从文档中提取特定信息并将其格式化为结构化输出，例如 JSON。用户还可以将提取的输出链接到下游函数调用和构建智能体中。
自行托管
最后，对于具有严格数据隐私要求的组织，Mistral OCR 提供了自行托管选项。这可确保敏感或机密信息在组织内部的基础设施内保持安全，从而符合监管和安全标准。
实测：Mistral OCR 很好，但也有局限

面对 Mistral AI 号称的「全球最好 OCR 模型」，Pulse AI 团队进行了一番测试，结论是：确实很好，但尚未完全为企业使用做好准备。
Mistral OCR 绝对超越了一些前沿 LLM，但在真实商业文档中出现了一些限制。
图源：https://x.com/ritvikpandey21/status/1897800421357588546
对于财务文档：Mistral OCR 难以处理复杂的表格，出现了 17% 的列错位、±1.5% 的精度偏差以及丢失了表示负值的关键括号。

对于法律文档：复选框检测基本不存在，部分层次结构丢失，多行表格单元格合并或切断。

正如 Mistral AI 博客中所说，他们正在收集用户的反馈，并希望未来几周 Mistral OCR 继续变得更好。
博客地址：https://mistral.ai/fr/news/mistral-ocr