Видеоаналитика в задачах прослеживания продукции: новые возможности

Опубликовано в номере:
PDF версия
Самые распространенные технологии для идентификации единиц товара — нанесение штрихкодов (1D, 2D), прямая маркировка деталей (DPM) и использование RFID-меток. Все эти методы удобны, надежны и вполне применимы для дискретных производств и стандартизированных технологических линий. Но как быть с задачами, в которых условия выходят за рамки типовых? В этой статье мы расскажем о нетривиальных подходах к разработке интеллектуальных систем прослеживания, поднимающих такие системы на новый уровень.

Обозначенный правительствами многих стран курс на цифровизацию производств спровоцировал настоящий бум на рынке систем машинного зрения. Особенно быстрыми темпами растет спрос на системы интеллектуального прослеживания, что мы как разработчики видим по нарастающему числу задач, приходящих от предприятий разных отраслей.

Системы идентификации и прослеживания продукции являются важнейшим элементом учета и управления качеством на производстве. Их применение исключает возможность выпуска изделий без проведения необходимых технологических операций и контрольных процедур, а также изделий, имеющих какие-либо несоответствия.

Внедренная на предприятии система прослеживания снабжает производителя полной информацией о перемещении каждого изделия по технологической цепочке, использованном сырье и комплектующих и соблюдении требований регламента производства продукции. Эти данные можно использовать для составления электронного паспорта каждой единицы продукции, подтверждающего ее качество для потребителя.

 

Идентификация продукции по маркировке

Аббревиатура OCR (англ. optical character recognition) уже давно стала привычной для представителей российской промышленности. Технология оптического распознавания символов позволяет преобразовать изображения, содержащие буквенно-цифровые надписи (рукописные или напечатанные), в машиночитаемые текстовые данные, или, говоря простым языком, прочитать нанесенную на изделие маркировку.

В условиях промышленных производств нередко возникают сложности при распознавании маркировки, связанные со следующими факторами:

  • низкое качество нанесения маркировки;
  • неоднородная поверхность изделий;
  • сильное влияние внешних факторов (вибрации, внешнее освещение, частичное перекрытие зоны контроля подвижными механизмами);
  • большие размеры зоны контроля.

На одном из предприятий атомной отрасли наша компания «Малленом Системс» столкнулась с еще более сложной задачей — необходимостью обеспечить идентификацию неунифицированной маркировки с тепловыделяющих сборок (ТВС) со 100%-ной точностью. Для распознавания разноформатной и разноразмерной маркировки, нанесенной различными способами, были разработаны специальные алгоритмы, основанные на машинном обучении. Обучение модели распознавания производилось на изображениях реальных объектов контроля. Примеры маркировки приведены на рис. 1.

Примеры маркировки ТВС

Рис. 1. Примеры маркировки ТВС

Считывание маркировки с труб большого диаметра в движении при их вращении вокруг своей оси — уже сама по себе непростая задача. Для ее решения была использована библиотека распознавания Cognex VisionPRO, дополненная алгоритмами принятия решения по серии распознаваний с нескольких кадров (рис. 2). Таким образом было обеспечено распознавание маркировки с точностью более 99%. Однако при тиражировании системы в другой цех с новыми условиями эксплуатации (другие размеры труб, качество печати и т. д.) точность распознавания маркировки снизилась. Было принято решение доработать систему, используя комбинирование традиционных алгоритмов распознавания Cognex VisionPRO с алгоритмами глубокого машинного обучения. Подобная технология позволила значительно повысить точность распознавания и успешно сдать систему в промышленную эксплуатацию.

Распознавание маркировки труб

Рис. 2. Распознавание маркировки труб

В ряде случаев при организации систем прослеживания недостаточно производить идентификацию изделий на основе одного типа маркировки и требуется создание комплексных систем. Необходимость в системах подобного строения возникла у одного из производителей и крупных дилеров шин. Распознавание кода DataMatrix в рамках выполнения требований государственной системы маркировки «Честный знак» не способно обеспечить полную идентификацию продукции по всем необходимым параметрам. Это связано со спецификой шинной продукции, у которой, помимо обязательных параметров, содержащихся в коде DataMatrix, есть дополнительные характеристики (индекс нагрузки, индекс скорости и т. д.), которые не проходят контроль в рамках государственной системы, но в то же время являются важным показателем идентификации для самой компании. В связи с этим было принято решение о создании системы, которая распознает как код DataMatrix «Честный знак», так и маркировку, наносимую непосредственно на шины. Результаты распознавания консолидируются и проходят валидацию на предмет соответствия системе «Честный знак» и товаросопроводительным документам.

 

Визуальный учет продукции

Большинство алгоритмов учета продукции работает по принципу поиска на изображении маркировки заданного типа (1D-, 2D-кодов, текстовой маркировки и др.). При этом сигнал на начало считывания формирует, как правило, некий датчик, установленный в зоне контроля. Если все единицы продукции отделены друг от друга и имеют контрастную, хорошо читаемую маркировку, то задача учета сложности не представляет. Однако на практике мы часто встречаем ситуации, когда процесс учета существенно затруднен:

  • некачественное нанесение или отсутствие маркировки;
  • на одно изделие нанесено две или более различные маркировки;
  • датчики не позволяют однозначно отделить друг от друга каждую единицу продукции.

В таких случаях для учета объектов контроля целесообразно применять алгоритмы видеоаналитики, которые могут дополнять и усиливать стандартные алгоритмы выявления и распознавания маркировки.

Для идентификации объектов, имеющих простую унифицированную форму и контрастных по отношению к окружению, разработаны типовые алгоритмы. Они требуют минимальной настройки, работают на высоких скоростях и нетребовательны к вычислительным ресурсам. Мы применяли такие алгоритмы для подсчета капсюль-детонаторов в коробке и ампул в упаковке и идентификации коробов в палете с целью проверки соответствия требованиям к маркировке коробов (нанесение ровно одного уникального кода на каждый короб).

В более сложных случаях требуется разработка кастомизированного решения с применением технологий машинного обучения и искусственного интеллекта. В задаче считывания 2D-кодов с мешков с сыпучим материалом, движущихся по конвейеру, сложность была в том, что при подаче на конвейер мешки могут налечь один на другой, перекрывая код. Идентификации таких ситуаций была обучена нейронная сеть, выделяющая каждый мешок и работающая в связке с алгоритмами чтения кодов. В случае если количество считанных уникальных кодов на участке контроля и их положение не совпадают с обнаруженными мешками, выполняются останов линии и оповещение оператора.

Решая задачу подсчета полипропиленовых разделительных пластин, сложенных стопкой на палете, мы также столкнулись с тем, что типовые алгоритмы не могут справиться с данной задачей. При многократной эксплуатации пластин на их краях появляются надломы и границы между пластинами становятся разнородными и не выровненными по краю, что не позволяет типовым алгоритмам точно их увидеть. Решить эту проблему смогли с помощью нейронной сети, результаты работы которой были дополнены аналитическим модулем. Именно такой комбинированный подход позволил добиться требуемой точности подсчета и, как следствие, учета пластин (рис. 3).

Подсчет полипропиленовых разделительных пластин на палете

Рис. 3. Подсчет полипропиленовых разделительных пластин на палете

 

Идентификация продукции по внешнему виду

В ряде задач требуется определение класса или вида каждой единицы разнородной продукции по ее внешнему виду. Необходимость в этом возникает в том случае, когда маркировка на продукции может содержать ошибки либо когда такая маркировка отсутствует или не может быть достоверно прочитана. При этом для корректного ведения технологического процесса (например, окраски, сборки и т. п.) важно установить конкретный тип обрабатываемой в данный момент продукции. Конечно, в таком случае не совсем правильно использовать термин «идентификация», понимая под ним определение уникального номера единицы продукции. Более подходящим будет понятие «классификация».

Одним из таких кейсов является классификация пластиковых элементов кузова (бамперов и др.). В процессе окраски в специальной камере эти элементы навешиваются на так называемый скид в количестве 1–3 шт. Окраску производит робот по определенному алгоритму обхода элементов в трехмерном пространстве. Если выбранная программа обхода не соответствует окрашиваемому элементу, то этот элемент, а иногда и сам робот, могут прийти в негодность. Предварительное кодирование информации об элементах на скиде при помощи RFID-меток не позволило клиенту решить проблему на 100%. Поэтому была разработана обучаемая система машинного зрения, которая смогла уверенно определять класс каждого элемента на скиде. А в совокупности с уже внедренной системой RFID-маркировки клиент получил 100%-ную гарантию от возможных ущербов описанного вида.

Другой клиент в ходе сборки роботом радиаторов водяного отопления столкнулся с необходимостью однозначно классифицировать каждую радиаторную секцию, используемую в сборке. Всего предприятие производит 50 видов различных радиаторов, каждый вид — из определенных типовых секций. Если в ходе сборки радиатора одна из секций оказывается неподходящего типа, то конечное изделие или робот-сборщик могут выйти из строя. Разработанная нами система машинного зрения позволила однозначно определять тип прошедшей на сборочном конвейере радиаторной секции и ее соответствие собираемому изделию, на основании чего выдавать сигнал роботу на продолжение сборки или ее остановку.

Весьма интересным стал опыт идентификации промышленных заготовок на основе текстуры поверхности. В рамках одного из проектов по разработке системы прослеживания металлических заготовок, проходящих путь «нагревание — ковка — охлаждение — перемещение на склад временного хранения — нормализация — чистовая обработка», мы столкнулись с естественной проблемой потери при ковке классической буквенно-цифровой маркировки и, как следствие, нарушения процесса прослеживания. Однако в ходе исследования было установлено, что в процессе ковки на поверхности изделия возникает уникальная текстура, которая может служить ее временным идентификатором. Современные алгоритмы видеоаналитики позволяют проследить изделие даже по таким сложным «отпечаткам» (рис. 4).

Идентификация промышленных заготовок по текстуре поверхности

Рис. 4. Идентификация промышленных заготовок по текстуре поверхности

Необходимость идентификации и/или классификации продукции по внешнему виду возникает также в задачах экономической безопасности. Одному из наших клиентов потребовалось определять тип продукции, которую его работники переносили по цеху/складу. Дело в том, что не все виды изделий из-за риска воровства разрешено перемещать по маршруту «цех — склад — отгрузка». Контроль таких несанкционированных перемещений целесообразно возложить на специально обученную систему машинного зрения, которая непрерывно анализирует все перемещения работников и при выявлении в руках работника определенного вида изделий выдает тревожное сообщение на пульт службы безопасности.

 

Трекинг тары, механизмов и транспорта по территории предприятия

Во многих случаях маркировку невозможно нанести непосредственно на объект контроля или же это сложно реализовать. Примеры таких объектов — сыпучие материалы, жидкости, газы, объекты со сложной формой, маленького размера, хрупкие объекты и объекты, потребительские свойства которых могут пострадать вследствие нанесения маркировки, например пищевые продукты и лекарства. В таких ситуациях для организации прослеживания изделий и материалов объекты помещают в транспортировочную тару, на которую уже наносится маркировка или RFID-метка, и выполняют отслеживание ее перемещения. Например, при завершении текущей технологической операции объект/полуфабрикат помещается в контейнер, считывается его маркировка, и он отправляется на следующий технологический этап, где вновь считывается маркировка и тем самым обеспечивается прослеживаемость перемещения изделия между различными технологическими операциями. Такой способ довольно распространен и используется не только на производстве, но и, например, при комплектовании заказов на складах для интернет-магазинов.

Транспортировка изделий и материалов между различными технологическими операциями в процессе производства осуществляется с использованием различных транспортных систем — ручной переноски, конвейерных транспортеров, трубопроводов, погрузчиков, манипуляторов, кранов и др. Организация прослеживания продукции и материалов в процессе производства существенно зависит от самих объектов контроля и применяемых транспортных систем. Часто, особенно в металлургии и тяжелой промышленности, транспортировка изделий и материалов осуществляется с помощью мостовых кранов. В таких случаях прослеживать перемещения объектов можно с помощью системы позиционирования крана и определения фактов подъема и опускания механизма захвата крана, а также определения наличия интересующих объектов в захвате (рис. 5). Наша компания создала несколько таких систем для металлургических предприятий, где использование машинного зрения уже доказало свою эффективность. Однако область применения подобных систем значительно шире: она охватывает практически все промышленные предприятия, где есть перемещаемые системы и механизмы.

Машинное зрение и искусственный интеллект позволяют проследить перемещения объектов и механизмов на производстве

Рис. 5. Машинное зрение и искусственный интеллект позволяют проследить перемещения объектов и механизмов на производстве

Особым случаем многооборотной тары можно считать автомобили и ж/д вагоны, которые, как правило, используются для поставки исходного сырья, материалов и отгрузки готовой продукции. У автомобилей и вагонов уже есть идентификационные номера, и продукция в них почти всегда имеет сопроводительные документы, отражающие поставщика, наименование и объем продукции. На этапах приемки и отгрузки продукции важно не только зафиксировать факт прибытия и отправления груза, но и проверить соответствие продукции сопроводительным документам. Для выполнения этих задач в нашей компании были разработаны специализированные решения для видеоконтроля автомобильного и железнодорожного транспорта, взвешивания автомобилей и вагонов. Доступны различные способы интеграции этих систем с информационными системами заказчика — прямой доступ к базе данных, формирование событий и отправка их посредством http-запросов, сохранение событий в файлы xml/csv на локальном или сетевом диске и др. Это позволяет довольно легко провести интеграцию этих систем в существующие учетные системы.

Таким образом, обучаемые системы машинного зрения способны обеспечить надежную идентификацию каждой единицы продукции на всех этапах ее производства, даже в случае невозможности нанесения на нее маркировки. Разработать подходящие системы прослеживания помогают использование искусственного интеллекта (машинного обучения, нейросетей глубокого обучения и др.) и понимание особенностей конкретного предприятия.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *