Компьютерное зрение: как подготовить камеры и данные для нейросети
Инженерный подход к выбору оптики, организации освещения, сбору и разметке изображений, подготовке обучающей выборки и проверке готовности данных к промышленному применению.
Качество системы компьютерного зрения во многом определяется решениями, принятыми до начала обучения нейросети. Выбранная архитектура может быть современной, вычислительные ресурсы — достаточными, а алгоритм обучения — настроенным корректно. Но если камера не передаёт признаки, необходимые для обнаружения дефекта, данные не отражают реальные условия производства или разметка содержит систематические ошибки, возможности модели будут ограничены.
Причина заключается в самой природе машинного обучения. Нейросеть строит закономерности на основе предоставленных примеров. Она не располагает независимым знанием о том, как выглядит трещина, неправильная сборка или отклонение геометрии. Эти признаки должны присутствовать в изображении, а правильные ответы — быть определены достаточно последовательно, чтобы модель могла установить связь между наблюдаемыми характеристиками и требуемым результатом.
До обучения необходимо доказать, что оптическая система способна предоставить нужную информацию, а подготовленный набор данных позволяет проверить, сможет ли модель использовать её в реальных условиях.
Оптическая система: какие детали камера действительно способна передать
Первое решение при проектировании компьютерного зрения — определить, какие физические признаки объекта необходимо различать.
Для одной задачи достаточно установить наличие компонента. Для другой требуется отличить поверхностную царапину от трещины, обнаружить микроскол или измерить отклонение геометрии. Эти требования принципиально различаются по необходимой детализации и стабильности изображения.
Поэтому выбирать камеру только по количеству мегапикселей некорректно. Разрешение сенсора характеризует число элементов изображения, но не гарантирует, что оптическая система передаст мелкие детали с достаточным контрастом.
Размер пикселя на объекте и фактическая детализация
Для предварительной оценки используют масштаб изображения:
s = W / N
где W — ширина наблюдаемой области в миллиметрах, N — число пикселей по соответствующей стороне изображения, а s — размер участка объекта, соответствующего одному пикселю.
Предположим, камера снимает область шириной 160 мм с разрешением 2448 пикселей по горизонтали.
s = 160 / 2448 ≈ 0,0654 мм/пиксель
Дефект шириной 0,2 мм займёт приблизительно три пикселя.
Однако эти три пикселя не означают, что дефект гарантированно обнаружим. Если он имеет слабый контраст, пересекает границы пикселей под неблагоприятным углом или частично скрыт отражением, его визуальное представление может оказаться недостаточным для надёжного распознавания.
Здесь важно различать три характеристики:
Пространственная дискретизация — сколько пикселей приходится на интересующий признак.
Оптическое разрешение — насколько хорошо объектив и сенсор передают детали с различными пространственными частотами.
Контраст и отношение сигнал/шум — насколько уверенно полезный признак отличается от фона и случайных помех.
Увеличение разрешения сенсора улучшает дискретизацию, но не устраняет автоматически ограничения оптики, шума и освещения.
Почему необходимо учитывать оптическое разрешение
Объектив не передаёт все пространственные детали одинаково хорошо. Мелкие структуры могут терять контраст ещё до регистрации изображения сенсором.
Для характеристики этой способности используют, в частности, функцию передачи модуляции — MTF. Она описывает, насколько сохраняется контраст деталей разного пространственного масштаба.
Практический смысл прост: два объекта, снятые камерами с одинаковым разрешением сенсора, могут давать существенно различающиеся изображения одного и того же дефекта.
Если при выборе оборудования проверять только размеры изображения, можно получить достаточное число пикселей, но недостаточную различимость критичного признака.
Для задач с высокими требованиями к детализации необходимо оценивать всю оптическую цепочку: объектив, сенсор, рабочую дистанцию, диафрагму, освещение и способ формирования изображения. При необходимости применяют тестовые мишени, анализ резкости и контраста, а также испытания на реальных образцах с минимальными допустимыми дефектами.
Критерий выбора камеры — не максимальное разрешение само по себе, а подтверждённая способность всей системы воспроизводимо различать признаки, необходимые для принятия решения.
Глубина резкости и изменение положения объекта
На производстве изделие не всегда находится строго в одной плоскости. Возможны колебания высоты, вибрации, отклонения положения на конвейереи различия геометрии самих деталей.
Если глубина резкости недостаточна, часть изображений будет получена с ухудшенной детализацией. Для нейросети это означает изменение входных признаков, которое может не соответствовать реальному изменению качества изделия.
Закрытие диафрагмы увеличивает глубину резкости, но одновременно уменьшает количество света, достигающего сенсора. Это может потребовать более интенсивного освещения или изменения выдержки. При движущемся объекте увеличение выдержки способно привести к смазыванию.
Таким образом, глубина резкости, светосила, экспозиция и скорость движения связаны между собой. Их нельзя настраивать независимо.
Перед сбором обучающих данных следует проверить изображение в крайних допустимых положениях объекта, а не только в идеальной центральной позиции.
Как рассчитать смазывание при движении
Для объекта, перемещающегося с приблизительно постоянной скоростью, смещение за время экспозиции оценивается выражением:
d = v · t
где v — скорость движения, а t — время экспозиции.
При скорости 0,6 м/с и выдержке 100 мкс объект переместится на 0,06 мм.
Если масштаб изображения равен 0,05 мм/пиксель, смещение составит примерно 1,2 пикселя.
Для крупного объекта это может быть несущественно. Для тонкой трещины или узкого скола — критично.
Этот расчёт является предварительной оценкой: фактический характер размытия зависит также от направления движения, геометрии наблюдения и характеристик экспозиции.
Если детализация недостаточна, возможные меры — сократить выдержку, увеличить освещённость, использовать импульсный свет, синхронизировать съёмку с движением или изменить расположение камеры.
Усложнять нейросеть до устранения таких причин обычно методически неверно: алгоритм не должен компенсировать потерю информации, которую можно предотвратить на этапе съёмки.
Освещение: как сделать нужный признак различимым
Освещение определяет, какие свойства поверхности проявятся на изображении. При изменении направления, спектра и интенсивности света одна и та же деталь может выглядеть совершенно по-разному.
Это особенно заметно при контроле отражающих, прозрачных, текстурированных и металлических поверхностей.
Поэтому освещение выбирают не по принципу максимальной яркости. Необходимо сформировать такое изображение, в котором критичные состояния различаются, а случайные изменения условий съёмки минимально влияют на результат.
Выбор схемы освещения под физику дефекта
Позволяет уменьшить выраженность резких теней и получить более равномерное изображение. Оно подходит для многих задач распознавания маркировки, наличия элементов и контроля поверхности, если нужные признаки имеют достаточный контраст.
Усиливает проявление рельефа, царапин, выступов и углублений.
Формирует контрастный силуэт и может быть полезно для контроля контуров, зазоров и геометрических размеров.
Помогает работать с рядом отражающих поверхностей, уменьшая влияние отдельных ярких отражений.
Позволяют подавлять определённые виды отражений при правильно подобранной конфигурации поляризаторов.
Ни одна из этих схем не является универсальной. Выбор должен подтверждаться экспериментом на годных изделиях, реальных дефектах и пограничных случаях.
Как проверить стабильность освещения
Одного удачного изображения недостаточно. Необходимо оценить, насколько воспроизводим результат при допустимых изменениях производственных условий.
Для этого проверяют:
- › изменение яркости по полю изображения;
- › наличие засветки и потерю деталей в светлых областях;
- › выраженность теней и отражений;
- › влияние положения и ориентации изделия;
- › повторяемость изображения при повторной съёмке;
- › изменения после прогрева оборудования и в процессе длительной работы.
Если освещение является частью промышленной установки, следует предусмотреть требования к его монтажу, защите от внешнего света, очистке и техническому обслуживанию.
При этом не всякое изменение освещения обязательно нужно устранять программно. Если его причина физически контролируема, стабилизация источника света и геометрии часто надёжнее, чем попытка обучить модель компенсировать неконтролируемые изменения.
Калибровка и геометрия: когда изображение должно соответствовать физическим размерам
В задачах классификации небольшое изменение перспективы может не иметь существенного значения. В измерительных задачах оно способно непосредственно повлиять на результат.
Если по изображению определяют ширину детали, положение отверстия, размер зазора или отклонение контура, необходимо установить связь между координатами пикселей и физическими координатами объекта. Для этого применяют калибровку, учитывающую характеристики оптики и геометрию наблюдения.
Следует различать калибровку камеры, исправление геометрических искажений объектива и определение масштаба в плоскости объекта. Простого коэффициента «миллиметры на пиксель» может быть достаточно для ограниченной плоской сцены при стабильной геометрии, но он не универсален для объёмных объектов и перспективных изображений.
Если расстояние до объекта меняется, масштаб также может изменяться. Для измерения необходимо определить, допустимо ли такое изменение и каким образом оно компенсируется.
Кроме того, следует различать точность сегментации и точность физического измерения. Даже правильно выделенная область дефекта не гарантирует точного измерения его размеров, если оптическая схема, калибровка или условия съёмки не обеспечивают необходимой достоверности.
Если результат компьютерного зрения используется как измерение, оптическая система и алгоритм должны проверяться совместно по установленным требованиям к погрешности и повторяемости.
Сбор данных: проектирование выборки до включения камеры
После подготовки оптической системы необходимо определить, какие изображения будут собираться и какие условия они должны представлять.
Сбор данных без предварительного плана часто приводит к большой, но однородной выборке. Например, десятки тысяч изображений могут быть получены с одной линии, одной партии сырья и при практически неизменном освещении.
Такая выборка способна хорошо описывать конкретные условия съёмки, но не обязательно отражает реальное разнообразие будущей эксплуатации.
Сначала определяют факторы вариативности
Для промышленной задачи следует установить, какие изменения допустимы и должны переноситься моделью, а какие свидетельствуют о неисправности системы или нарушении технологического процесса.
К потенциально значимым факторам относятся:
Этот перечень не означает, что каждый фактор необходимо варьировать искусственно. Сначала нужно определить реальные условия применения и приоритетные риски.
Например, допустимые различия текстуры должны быть представлены в данных, если они встречаются в производстве. А сильное загрязнение защитного стекла может требовать отдельного механизма обнаружения неисправности, а не простого включения таких кадров в обычный класс годной продукции.
Годные изделия не менее важны, чем дефектные
Для обучения недостаточно собрать только очевидные примеры брака.
Необходимо представить разнообразие нормальной продукции, включая допустимые царапины, следы обработки, различия оттенков, текстур и геометрии — в той мере, в какой эти особенности встречаются на реальном производстве.
Именно на таких примерах становится понятно, способен ли алгоритм различать дефект и допустимую вариацию.
Особое значение имеют пограничные состояния. Если система должна выявлять недопустимое повреждение, ей необходимо научиться отличать его от визуально похожих, но допустимых особенностей поверхности.
При этом критерии приёмки должны быть согласованы с технологами и специалистами по качеству. Если само определение дефекта неоднозначно, увеличение объёма данных не устранит эту проблему.
Редкие дефекты и статистическая достаточность
Число изображений нельзя напрямую приравнивать к числу независимых примеров.
Сто кадров одного изделия не эквивалентны ста независимым изделиям. Аналогично, множество изображений одной партии не обязательно позволяет оценить переносимость модели на новые партии.
Это особенно важно для редких дефектов. Если критичное повреждение встречается редко, большая общая выборка может содержать слишком мало независимых экземпляров этого класса для достоверной оценки качества.
Полезно заранее определить, сколько независимых дефектных изделий потребуется для проверки заданного уровня пропусков.
Например, если на n независимых дефектных объектах не было ни одного пропуска, это ещё не доказывает нулевую вероятность ошибки. Приближённая верхняя граница вероятности пропуска с 95%-ной доверительной уверенностью составляет:
pmiss ≈ 3 / n
Это приближение применимо в соответствующих условиях биномиальной модели.
30 объектов
Приблизительно 10%
300 объектов
Около 1%
Это приближение не заменяет полноценный статистический план, но наглядно показывает, почему десятки успешных проверок могут быть недостаточны для подтверждения очень высокой надёжности. Если изображения зависимы, дефекты представлены только одним типом или условия проверки не соответствуют эксплуатации, реальная неопределённость может быть ещё выше.
Поэтому объём выборки следует определять не по универсальной пропорции, а исходя из требований к качеству, распространённости дефектов и числа независимых объектов.
Разметка: как превратить изображение в достоверный обучающий пример
Разметка задаёт модели целевой ответ. Если разные специалисты по-разному определяют один и тот же дефект, модель получает противоречивые примеры.
Проблема особенно заметна на тонких трещинах, размытых границах, сложных отражающих поверхностях и пограничных состояниях, где даже эксперту трудно провести однозначную границу.
Инструкция по разметке должна предшествовать массовой работе
До начала разметки необходимо установить:
Если по изображению нельзя достоверно установить состояние объекта, разметчик не должен вынужденно выбирать между «годен» и «брак». Такой пример следует направить на дополнительную проверку, повторную съёмку или предусмотренную правилами категорию неопределённости.
Это важно не только для качества данных. В дальнейшем промышленная система также должна уметь распознавать ситуации, когда входного изображения недостаточно для надёжного решения.
Разметка должна соответствовать типу задачи
Для классификации обычно достаточно метки всего изображения или изделия.
Для детекции необходимо определить границы объектов, а для сегментации — выделить область каждого пикселя, относящегося к целевому признаку.
Выбор формата разметки влияет на трудоёмкость, требования к согласованности и способ оценки результата. Например, прямоугольная рамка может быть приемлема для локализации крупного повреждения, но плохо отражать форму тонкой трещины.
Если требуется измерять размеры дефекта, необходимо отдельно проверить, насколько точно разметка отражает физические границы и как пиксельные координаты переводятся в физические единицы.
Как контролировать качество разметки
Полезно организовать независимую повторную разметку части набора и анализировать расхождения между специалистами.
Для классификации можно использовать долю совпадающих меток и анализ ошибок по классам. Для детекции — сравнение положения рамок и их пересечения. Для сегментации — показатели пересечения масок, включая Intersection over Union.
Но одной метрики недостаточно. Высокое совпадение разметчиков не гарантирует правильность критерия, если все они используют ошибочное определение дефекта.
Поэтому необходимо анализировать не только величину расхождений, но и их причины. Если разметчики систематически спорят о границах допустимого состояния, проблему следует решать на уровне технических требований, а не только дополнительного обучения разметчиков.
Подготовка выборок: как не получить ложное представление о качестве модели
Одно из ключевых требований к обучению — независимость итоговой проверки.
Если почти одинаковые изображения попадают и в обучение, и в тестирование, метрика может отражать сходство кадров, а не способность модели работать на новых объектах.
Например, серия кадров одной детали может содержать почти идентичные фон, освещение, геометрию и дефект. Случайное распределение таких кадров между выборками создаёт риск утечки информации.
Разделять необходимо по источнику зависимости
Единицей разделения может быть изделие, партия, производственная смена, временной период или линия — в зависимости от того, какие новые условия должна выдерживать модель.
Если требуется оценить работу на новых партиях, изображения одной партии не следует одновременно использовать для обучения и итогового тестирования. Если система должна работать в будущем производственном периоде, полезно выделить отдельный временной интервал.
При этом нужно учитывать не только изображения, но и связанные данные: повторные съёмки, кропы одного кадра, аугментированные версии и изображения одного физического объекта.
Обучающая выборка
Используется для настройки внутренних параметров модели.
Валидационная выборка
Предназначена для выбора оптимальной конфигурации и порогов.
Тестовая выборка
Предназначена для итоговой оценки после завершения настройки.
Тестовые результаты не следует многократно использовать для выбора архитектуры и параметров: в таком случае независимость оценки постепенно утрачивается.
Проверять нужно не только среднюю метрику
Для промышленного контроля общая точность может скрывать неприемлемые ошибки на редких классах.
Поэтому набор метрик должен соответствовать последствиям ошибок.
Порог принятия решения выбирают с учётом допустимых пропусков, ложных срабатываний и стоимости последующей проверки.
Если цена пропуска критичного дефекта существенно выше стоимости дополнительной проверки, оптимизация по общей точности может привести к неверному решению.
Кроме того, итоговые метрики желательно сопровождать оценкой статистической неопределённости. Небольшая разница между двумя моделями может быть следствием случайного состава тестовой выборки, а не реального улучшения.
Предварительная обработка и аугментация: как не уничтожить полезный признак
Изменение размера, нормализация, фильтрация шумов и аугментация способны улучшить обучение, но только при сохранении смысла задачи.
Уменьшение изображения может уничтожить тонкую трещину. Сглаживание — убрать слабоконтрастную границу. Коррекция яркости — изменить различия, которые используются для обнаружения дефекта.
Поэтому каждое преобразование необходимо проверять на критичных примерах.
Что следует проверить до обучения
При изменении размера нужно убедиться, что минимальные целевые признаки сохраняются. При нормализации — что преобразование не устраняет полезные различия между классами. При фильтрации — что снижение шума не сопровождается потерей значимых деталей.
Аугментация должна моделировать правдоподобные изменения производственных условий.
Аугментация также не должна использовать информацию из тестовой выборки для формирования обучающих примеров. Все преобразования и правила формирования выборок необходимо организовать так, чтобы независимая проверка сохраняла свой смысл.
Воспроизводимость обучения и готовность промышленного контура
Подготовка данных не заканчивается получением обучающего набора. Для технически управляемой разработки необходимо сохранять возможность установить, какая версия модели обучена на каких данных и при каких настройках.
Следует фиксировать состав выборок, версии разметки, конфигурацию предварительной обработки, параметры обучения, программную среду и результаты контрольных испытаний. Это позволяет объективно сравнивать версии и выяснять, чем вызвано улучшение или ухудшение результата.
Что необходимо фиксировать
Версии данных. Каждая версия набора должна иметь определённый состав и историю изменений.
Правила разметки. Изменение критериев классов может повлиять на сопоставимость результатов разных моделей.
Конфигурацию обучения. Необходимо сохранять архитектуру, параметры оптимизации, размер входного изображения и другие значимые настройки.
Программную среду. Версии библиотек, драйверов и вычислительных компонентов могут влиять на совместимость и воспроизводимость.
Критерии приёмки. Требования к качеству должны быть определены до сравнения итоговых результатов.
После развёртывания необходимо проверять весь путь изображения: от получения кадра камерой до передачи результата системе управления.
Важно контролировать соответствие формата, порядка каналов, масштаба, нормализации и других операций тем условиям, на которых модель обучалась.
Отдельно проверяются задержки, потеря кадров, устойчивость к нагрузке и обработка нештатных ситуаций.
Невозможность получить качественное изображение не должна незаметно превращаться в обычный ответ модели о годности изделия.
Контроль изменений после запуска
Партии сырья, условия освещения, состояние оборудования и характеристики продукции со временем могут изменяться.
Поэтому полезно отслеживать характеристики входных изображений, частоту неопределённых результатов и распределение предсказаний. Однако само изменение распределения не доказывает ухудшение качества: для этого необходимы контрольные данные с достоверными ответами.
Новая версия модели должна проходить повторную оценку на согласованном наборе критериев.
Улучшение среднего показателя не должно автоматически компенсировать ухудшение обнаружения критичного дефекта.
Методика приёмки данных до начала обучения
Чтобы подготовка не сводилась к субъективному решению «изображения выглядят хорошо», целесообразно организовать последовательную приёмку с проверяемыми результатами.
Приёмка оптической системы
На реальных образцах проверяется различимость минимальных целевых признаков, стабильность резкости, влияние положения изделия, смазывание, отражения и засветка.
Допустимые значения определяются конкретной задачей. Для одной системы приемлемо небольшое изменение яркости, для другой оно способно скрыть дефект. Универсальный порог качества изображения без учёта физики задачи здесь неприменим.
зафиксированная конфигурация камеры и освещения, результаты испытаний и требования к допустимым изменениям условий съёмки.
Приёмка набора данных
Проверяются происхождение изображений, распределение классов, разнообразие независимых объектов и партий, доля непригодных кадров, наличие повторов и соответствие целевым условиям эксплуатации.
Особое внимание уделяется редким дефектам и пограничным состояниям. Большое количество изображений не компенсирует отсутствие критичных сценариев.
документированная структура выборки с понятными ограничениями и перечнем условий, которые пока не представлены в достаточной степени.
Приёмка разметки и плана оценки
Приёмка разметки
Проверяются единообразие применения правил, доля неоднозначных примеров, систематические расхождения и корректность обработки исключений.
Если критерии классификации не согласованы, обучение следует отложить до их уточнения. В противном случае модель будет оптимизировать противоречивые ответы.
Приёмка плана оценки
До обучения фиксируются правила разделения данных, состав независимой тестовой выборки, целевые метрики и требования к результатам.
Для критичных дефектов оценивается не только ожидаемое качество, но и достаточность числа независимых примеров для содержательного вывода.
Приёмка считается завершённой не тогда, когда собрано запланированное число изображений, а когда доказано, что данные пригодны для проверки поставленной задачи в пределах явно определённых условий.
Какие ошибки следует устранять до усложнения нейросети
Если модель пропускает дефект, не всегда следует немедленно менять архитектуру.
Сначала необходимо установить источник ошибки.
Такой порядок помогает не тратить ресурсы на изменение модели, когда ограничение находится в другом компоненте системы.
Заключение
Подготовка компьютерного зрения к обучению — самостоятельная инженерная дисциплина. Она требует согласовать физические возможности оптики, условия формирования изображения, характеристики производственного процесса, правила разметки и статистическую методику проверки результата.
При этом ни один из перечисленных элементов не гарантирует успех по отдельности. Качественные изображения не компенсируют неверные критерии брака, большая выборка — недостаток независимых дефектных примеров, а высокая тестовая метрика — ошибочную организацию испытаний.
Поэтому профессиональная подготовка системы начинается с проверяемых требований и последовательной приёмки каждого этапа. До обучения необходимо понимать, какие признаки доступны модели, какие сценарии представлены в данных, какие ошибки допустимы и насколько достоверно можно подтвердить достигнутый результат.
Нейросеть не устраняет ограничения исходных данных. Инженерная задача состоит в том, чтобы выявить эти ограничения до обучения, устранить те из них, которые можно контролировать, и объективно оценить оставшиеся.
API, Webhook или очередь сообщений?
Когда API есть, а интеграция всё равно не работает
Как соединить производство и корпоративные системы
Все инженерные материалы и экспертные статьи
Полный алфавитный справочник ИТ-терминов
🔒 Данные и доступ к системам заказчика обрабатываются в соответствии с согласованными требованиями к безопасности и конфиденциальности. Условия доступа, хранения и обработки данных определяются архитектурой проекта и договором.
Сайт носит исключительно информационный характер и не является публичной офертой в соответствии со статьёй 437 Гражданского кодекса РФ. Цены, состав и условия предоставления услуг уточняются при проектировании решения и фиксируются в договоре. Условия технического сопровождения и уровень сервиса могут дополнительно определяться отдельным соглашением (SLA).
Автоматизация бизнеса и ИИ-решения под ключ
Самозанятый Скопец Антон Викторович ИНН 741709260870