OCR: как превратить сканы в данные

От пикселей к бизнес-объекту: как системы читают документы

Для человека скан договора, счёта или накладной — это просто документ, который можно открыть и прочитать. Для информационной системы это совсем другая задача.

В PDF может находиться изображение страницы. В фотографии — набор пикселей. Внутри нет привычного для ERP или CRM значения:

Чтобы система смогла работать с этой информацией, документ сначала нужно превратить из изображения в текст, а затем — из текста в структурированные данные. И это принципиальное различие.

Дальше начинается гораздо более сложный процесс:

Именно последний путь — от изображения до корректного бизнес-объекта — представляет наибольшую практическую ценность для корпоративной автоматизации.

Что на самом деле делает OCR

OCR — Optical Character Recognition, технология оптического распознавания символов. Её задача — определить текстовое содержимое изображения.

Например, на скане находится:

После OCR systemа может получить примерно такой текст:

Для человека результат выглядит очевидным. Но для корпоративной системы этого недостаточно. ERP не обязательно сможет понять, что 48217 — это номер документа, а 14.09.2026 — дата.

Текст и данные — не одно и то же

Это одна из главных ошибок при внедрении OCR.

Представим документ:

Простое OCR может вернуть текстовую последовательность. Но ERP требуется совсем другая структура:

Почему хороший скан ещё не означает простой OCR

Качество исходного изображения напрямую влияет на результат.

Проблемы могут возникнуть из-за:

• › низкого разрешения;
• › размытия;
• › перекоса страницы;
• › теней;
• › бликов;
• › плохого освещения;
• › сжатия изображения;
• › сложного фона;
• › печатей;
• › рукописных пометок;
• › повреждений бумаги;
• › нестандартных шрифтов.

Например:

Для человека ошибка очевидна.

Предобработка изображения часто важнее, чем кажется

Перед OCR изображение можно подготовить.

Типовой конвейер может включать:

Например, фотография документа сделана под углом. Для человека это не проблема.

Поэтому сначала можно определить геометрию страницы и исправить перспективу.

То же относится к теням, фону и шуму.

PDF тоже не всегда является «текстовым документом»

Расширение .pdf ничего само по себе не говорит о содержимом.

PDF может содержать:

Поэтому первый шаг автоматизации документов — понять, с каким типом входных данных мы вообще имеем дело.

OCR должен понимать не только символы, но и расположение

Документ — это не просто последовательность слов. Важна пространственная структура.

Например:

Если превратить всё в одну строку:

Поэтому современные системы обработки документов учитывают:

• › координаты текста;
• › строки;
• › блоки;
• › колонки;
• › заголовки;
• › таблицы;
• › области документа.

Это позволяет перейти от:

Самая сложная часть — документы не выглядят одинаково

Представим, что компания получает счета от 500 поставщиков.

Человек легко понимает, что речь идёт об одном и том же. Автоматизированной системе необходимо научиться связывать разные представления с одной бизнес-моделью.

Например, различные текстовые маркеры:

могут соответствовать одному полю:

Шаблонный и интеллектуальный подход

Для документов фиксированного формата можно использовать шаблон.

Например:

Система заранее знает координаты нужных областей. Это хорошо работает, когда:

• › форма стабильна;
• › поставщиков немного;
• › структура документа контролируется.

Тогда используются более гибкие методы анализа структуры и извлечения сущностей.

Где появляется искусственный интеллект

Современная обработка документов может использовать не только классический OCR.

Условно конвейер выглядит так:

Модель может определить:

• › «Это номер документа»;
• › «Это дата»;
• › «Эта область является таблицей»;
• › «Эта сумма относится к итогу».

Для критичных данных необходим контроль качества.

Confidence: насколько система уверена в результате

Системы распознавания часто позволяют получить оценку уверенности.

Например:

Поэтому confidence полезно использовать как один из сигналов для маршрутизации документа, но не как абсолютную гарантию.

Где нужен человек

Полностью автоматическая обработка возможна не для каждого документа. Гораздо практичнее использовать модель:

Например:

Оператор не вводит документ с нуля. Он проверяет только спорные поля.

Важнее автоматизировать не OCR, а исключения

Если сотрудник сегодня вручную переносит 100 документов в ERP, плохая автоматизация пытается заменить его одним OCR. Хорошая автоматизация строит процесс иначе:

Это гораздо ближе к промышленной автоматизации документооборота.

После OCR данные нужно нормализовать

Допустим, документ содержит разные форматы представлений, которые система не сможет принять напрямую.

То же относится к:

• › датам;
• › валютам;
• › единицам измерения;
• › ИНН;
• › артикулам;
• › номерам договоров;
• › адресам;
• › телефонным номерам.

Справочники становятся следующим уровнем сложности

OCR правильно распознал текст. Но ERP не знает, какой именно товар нужно выбрать.

Значит, после OCR требуется сопоставление с корпоративным справочником.

Вот почему автоматизация документов почти всегда выходит далеко за пределы OCR.

Контрольные проверки помогают ловить ошибки

Некоторые ошибки можно обнаружить без человека.

Например, базовое математическое правило:

То же самое относится к следующим сквозным проверкам:

• › Сумма строк = Итог документа;
• › ИНН соответствует контрольной проверке;
• › Дата документа не может быть позже текущей даты;
• › Номер заказа существует в ERP.

Чем больше бизнес-правил можно проверить автоматически, тем меньше ошибок доходит до основной системы.

Таблицы — отдельная задача

Распознать «Подшипник 6205» относительно просто.

Понять, что:

Проблемы возникают при:

• › переносах строк;
• › объединённых ячейках;
• › многострочных названиях;
• › отсутствии линий таблицы;
• › сложной верстке;
• › нескольких таблицах на одной странице.

Поэтому обработка таблиц требует отдельного этапа анализа структуры.

Многостраничный документ нельзя обрабатывать как набор независимых страниц

Представим договор на 30 страниц. Данные распределены по всему объёму документа:

Поэтому важна не только обработка страницы, но и сборка документа как единого объекта.

Документ может содержать несколько смысловых объектов

Один PDF иногда включает в себя сразу несколько разнородных бизнес-объектов:

Поэтому в автоматизации может появиться этап:

После этого каждый тип документа обрабатывается по собственной схеме.

Классификация документа — ещё один важный этап

Перед извлечением данных системе иногда нужно сначала ответить: Что это вообще за документ?

Поэтому классификация становится частью общего конвейера.

OCR не должен напрямую писать в ERP

На первый взгляд хочется сделать прямую выгрузку, но безопаснее использовать многоэтапный конвейер контроля.

Он позволяет:

• › проверять обязательные поля;
• › проверять форматы;
• › сопоставлять справочники;
• › контролировать суммы;
• › обнаруживать сомнительные значения;
• › вести журнал изменений;
• › отправлять исключения оператору.

Важен журнал происхождения данных

В корпоративной системе иногда недостаточно знать финальное состояние записи. Нужно чётко понимать, откуда она появилась.

Хорошая архитектура позволяет связать значение с исходным документом:

Такой audit trail особенно важен для финансовых, юридических и регулируемых процессов. Если возникла ошибка, можно установить:

• › какой документ был источником;
• › какая версия обработки использовалась;
• › когда данные были извлечены;
• › кто подтвердил результат;
• › какие значения были изменены вручную.

Что делать, если документ распознан неправильно

Ошибки неизбежны. Поэтому важно не пытаться построить систему, которая «никогда не ошибается».

Гораздо эффективнее построить систему, которая:

• › распознаёт большую часть документов автоматически;
• › выявляет сомнительные места;
• › отправляет их на проверку;
• › сохраняет исправления;
• › позволяет анализировать причины ошибок.

Так качество процесса можно постепенно повышать.

Качество OCR нужно измерять не только процентом распознанных символов

Для бизнеса важнее другой вопрос: Насколько правильно система извлекла нужные данные?

Поэтому полезно измерять качество на уровне полей:

• › номер документа;
• › дата;
• › ИНН;
• › сумма;
• › НДС;
• › артикул;
• › количество;
• › цена;
• › реквизиты контрагента.

И отдельно — качество готового бизнес-объекта.

Время обработки тоже является показателем качества

Представим два решения. Оценивать систему нужно не только по чистой скорости OCR.

Полезнее смотреть на весь процесс:

Когда OCR недостаточно

Есть документы, которые плохо подходят для классического OCR. В таких случаях могут использоваться более современные vision-модели и модели анализа документов.

Проблемы возникают при обработке:

• › рукописных записей;
• › фотографий плохого качества;
• › сложные таблицы;
• › документов с большим количеством графики;
• › нестандартная верстка;
• › документов, где важен визуальный контекст.

Каждый компонент решает свою часть задачи.

Где OCR действительно даёт экономический эффект

Особенно хорошо технология показывает себя там, где компания регулярно получает большой поток однотипных документов.

• › счета;
• › накладные;
• › акты;
• › заявки;
• › паспорта оборудования;
• › сертификаты;
• › транспортные документы;
• › договоры;
• › сопроводительные документы.

Причём экономия возникает не только за счёт сокращения ручного ввода. Уменьшается:

• - количество рутинных операций;
• - количество ошибок при переносе;
• - время обработки документа;
• - очередь на обработку;
• - зависимость от конкретного сотрудника.

Но не каждый документ стоит автоматизировать

Если компания получает десять документов в месяц, сложная система интеллектуальной обработки может оказаться экономически неоправданной.

Поэтому перед внедрением стоит оценить:

• › объём документов;
• › количество типов;
• › долю однотипных документов;
• › количество полей;
• › стоимость ручной обработки;
• › стоимость ошибок;
• › требования к срокам;
• › долю документов, которые можно обработать автоматически.

Как выглядит зрелый конвейер обработки документов

В корпоративной системе сквозной конвейер выходит далеко за рамки обычного распознавания символов.

Главная ценность начинается после распознавания

Можно построить очень точный OCR и всё равно не решить задачу бизнеса.

Если после распознавания сотрудник вручную:

• - переносит поля;
• - ищет контрагента;
• - выбирает номенклатуру;
• - проверяет сумму;
• - создаёт документ в ERP,

Поэтому цель автоматизации должна выглядеть иначе:

Это принципиальная разница.

От изображения к бизнес-объекту

Весь путь можно представить в пяти уровнях.

Конечная задача — убрать ручную операцию из бизнес-процесса.

Что важно предусмотреть до внедрения OCR

Перед разработкой полезно собрать реальные документы, а не несколько идеально отсканированных примеров.

Нужно посмотреть:

• › какие форматы действительно приходят;
• › сколько поставщиков используется;
• › насколько отличаются шаблоны;
• › как часто встречаются фотографии вместо сканов;
• › какие поля критичны;
• › какие ошибки недопустимы;
• › какие данные нужно передавать в ERP;
• › где требуется ручная проверка.

OCR — это вход в автоматизацию документов

Оптическое распознавание остаётся важной технологией, но в корпоративной архитектуре оно является только одним из компонентов.

Полный процесс выглядит значительно шире:

Именно поэтому качественная автоматизация документов начинается не с вопроса:

А с вопроса:

И именно второй подход обычно даёт бизнесу реальный эффект.

🔒 Данные и доступ к системам заказчика обрабатываются в соответствии с согласованными требованиями к безопасности и конфиденциальности. Условия доступа, хранения и обработки данных определяются архитектурой проекта и договором.

Сайт носит исключительно информационный характер и не является публичной офертой в соответствии со статьёй 437 Гражданского кодекса РФ. Цены, состав и условия предоставления услуг уточняются при проектировании решения и фиксируются в договоре. Условия технического сопровождения и уровень сервиса могут дополнительно определяться отдельным соглашением (SLA).