Распознавание объектов на производственной линии отвечает по каждой единице продукции сразу на два вопроса: что находится в кадре и в каком месте изделия оно сидит. Распознавание образов отвечает только на первый, потому что образ здесь есть класс, к которому наблюдение относят по набору признаков, а объект есть конкретный экземпляр в кадре с координатами рамки. Разница не словесная: вывод нужен за время прохода зоны съёмки, и от выбранной задачи зависит, что линия успеет с ним сделать.
Мы закрываем работу целиком: подбираем камеру и подсветку под изделие и скорость ленты, обучаем модель на изображениях с вашего конвейера, доводим детекцию до сотен типов дефектов с задержкой менее секунды. В кадр попадает то, чего в видимом свете нет, и признак дефекта становится классом для модели только после этого. Дефект уходит сигналом в АСУ ТП, единицу снимает с ленты наш отбраковщик.
Что такое распознавание образов и чем оно отличается от распознавания объектов
Распознавание образов это отнесение наблюдения к одному из заранее заданных классов по набору признаков: на вход идёт кадр или его фрагмент, на выходе появляется имя класса. Задачи распознавания образов на линии упираются в перечень классов: их столько, сколько назвал ОТК завода, и «прочее отклонение» тоже класс, иначе незнакомое уедет в годное. Машинное распознавание образов держится на примерах: модель получает кадры, где дефект есть, и кадры, где его нет, а словесного описания признака не требует.
Распознавание изображения целиком даёт метку всему кадру: годен или брак, класс дефекта, сорт. Детекция возвращает объект с координатами рамки, и выход у неё другой: известно, в каком месте изделия сидит дефект и сколько таких мест на единице. Распознавание образов изображений с конвейера идёт в темпе ленты: кадр, вывод модели и команда механизму обязаны уложиться в интервал между изделиями. Сама задача – часть контура: камеры, подсветка, серверный блок и связь с линией собраны в машинное зрение.
Четыре задачи распознавания на производственной линии
Классификация ставит метку кадру целиком и закрывает сортировку потока, где важен факт отклонения, а адрес дефекта не нужен. Детекция возвращает рамку с координатами, и без неё отбраковщик не навести на конкретную позицию в ряду. Система распознавания объектов на линии совмещает обе задачи: кадр отсеивается целиком, объекты ищутся уже на отобранных кадрах.
- Классификация кадра – метка всему изображению: годен, брак, класс дефекта, сорт.
- Детекция – объект с координатами рамки: куда навести отбраковщик и сколько дефектов на единице.
- Сегментация – принадлежность каждого пикселя: длина риски, площадь скола, площадь непропечённого участка.
- Сверка с эталоном – геометрия кадра против образца: все ли элементы на месте и там ли этикетка.
Сегментация нужна там, где браковочный признак записан числом: рамка сообщает, что скол есть, но площади его не даёт. Сверка с эталоном, она же распознавание образцов, сравнивает изделие с образцом в том же ракурсе и свете, а расхождение по геометрии выносит в отклонение. Распознавание дефектов на линии почти всегда собирается из нескольких задач сразу: часть перечня ОТК ловится меткой кадра, часть требует координат, часть – измерения.
Распознавание изображений упирается в отдельный кадр, и события во времени в него не помещаются. Счёта единиц за смену и трекинга изделия между камерами от распознавания изображений не ждут: этим занимается промышленная видеоаналитика.
Как обучается модель на изображениях вашей линии
Обучающую выборку собирают с вашей линии: те же камеры, та же подсветка, та же скорость ленты, потому что кадр из чужого цеха несёт чужой фон. Размечает выборку ваш ОТК по своим критериям годности: граница между годным и браком записана в технических условиях на изделие, и модель берёт её оттуда, а разметка и есть главная работа на старте проекта.
Распознавание образов нейронными сетями отличается от жёсткого сравнения с шаблоном тем, что признак модель выводит из примеров сама и переносит разброс формы, оттенка и положения изделия в кадре. Класса, которого в выборке не было, она не выделит: непропечённый край, ни разу не попавший в размеченные кадры, останется для неё обычным изделием. Редкий класс поэтому добирают целенаправленно – снимают брак, отложенный ОТК, и просят цех сохранять дефектные единицы. Нейронное распознавание образов от объёма прошедшей продукции не улучшается: растёт архив, а разбор – от новых размеченных примеров.
Программа распознавания образов живёт вместе с изделием: сменилась номенклатура, пришла новая этикетка, поменялся поставщик сырья – модель дообучают на свежих кадрах. В общем контуре ии для производства распознавание стоит на входе: с него начинаются и отбраковка, и статистика по браку, а решение по изделию собирают из критериев ОТК и правил линии.
Камера, оптика и подсветка: от чего зависит, что попадёт в кадр
Порог различения задан числом миллиметров изделия на пиксель кадра: если на пиксель приходится полмиллиметра, след в десятую долю миллиметра не попадёт в кадр ни при какой модели. Под мелкий дефект сужают поле зрения камеры или ставят вторую точку съёмки: увеличение картинки после съёмки деталей не добавляет. Камера распознавания предметов из каталога сама по себе ничего не распознаёт: она отдаёт кадр, а классы и координаты появляются в серверном блоке.
Линейная камера собирает кадр строками по мере движения полотна и стоит на непрерывном материале – ленте, прокате; матричная берёт изделие целиком и подходит штучной продукции. Оба типа – это промышленные камеры: от бытовых их отличают глобальный затвор, стабильная геометрия кадра и внешняя синхронизация со стробом подсветки. Выдержку считают от скорости ленты: при длинной выдержке кадр смажется, и рамка поедет вместе со смазом. Глубина резкости задаёт допустимый разброс высоты изделия, а телецентрический объектив убирает перспективное искажение и нужен там, где по кадру измеряют размер.
| Задача на линии | Что снимает камера | Что решает алгоритм |
|---|---|---|
| Сортировка потока | изделие целиком, диффузный свет | классификация: метка кадру |
| Наведение отбраковщика | кадр с привязкой к позиции на ленте | детекция: рамка и координаты |
| Оценка размера следа | скользящий свет, узкое поле зрения | сегментация: длина и площадь |
| Комплектность элементов | постоянный ракурс, тот же свет | сверка с эталоном по геометрии |
Спектральный канал выбирают под признак: неоднородность под тонким покрытием в видимом свете не проступает, зато ближний ИК от 780 нм выводит её на кадр отдельным пятном. Под признак, которого в оптике нет, меняют сенсор, и крайний случай такой замены – гиперспектральная камера, снимающая десятки узких полос спектра сразу. Алгоритмы компьютерного зрения работают с тем, что уже попало в кадр, поэтому канал и схему света выбирают раньше модели.
Где распознавание упирается в предел
Признака, которого нет в канале съёмки, алгоритм не восстановит: след смазки в видимом свете не проявляется, и вывести его из такого кадра не может ни одна модель – нужен ультрафиолет. Компьютерное зрение на производстве упирается в эту границу чаще, чем в вычислительную мощность: помогает смена канала, подсветки или поля зрения. Распознавание закрывает ровно один шаг конвейера, и начинается он после того, как признак попал в снимок.
Фон кадра меняют вещи, к модели отношения не имеющие: другая партия сырья с иным оттенком, заменённая лампа подсветки, блик на полированной фаске, севший в кадр там же, где мог бы сидеть скол. Лечится это дообучением на новых изображениях: подкрутка порога сдвигает границу сразу для всех классов и добавляет пропусков больше, чем убирает. Пограничный случай остаётся человеку: модель отдаёт класс и координаты, а решение «годен или брак» опирается на технические условия и на градацию значимости по ГОСТ 15467-79, терминологическому стандарту качества продукции.
Как мы внедряем распознавание объектов на вашей линии
Внедрение идёт проектом: разбор задачи, подбор камер и подсветки, съёмка обучающего материала прямо на линии, обучение моделей, интеграция с АСУ ТП, пусконаладка. Тяжелее всего в этом списке последние два шага: метка «брак» ничего не меняет на конвейере, пока за ней не стоит автоматическая отбраковка, а опоздание команды на доли секунды сдёргивает с ленты соседнее годное изделие. От завода нужны доступ к линии на время съёмки, изображения продукции и критерии годности от ОТК: без них непонятно, где проходит граница брака.
У производителя медицинских пробирок и игл распознавание идёт по телу, крышкам и этикеткам, в федеральной сети пиццерий – по нарезке, распределению ингредиентов и пропеканию. Один и тот же класс, размеченный на двух линиях, даёт две разные модели: у пробирки признак сидит на границе прозрачной стенки, у готового блюда – в распределении по площади.
После пуска модели дообучают под новую номенклатуру и новые условия съёмки, а классы дефектов, их динамика и архив снимков лежат в Grafana с фильтрами по дате, типу дефекта и поставщику сырья.