Прошлое и будущее систем машинного зрения

Опубликовано в номере:
PDF версия
Машинное зрение так часто упоминалось в научной фантастике, что многим стало казаться, будто большая часть промышленных роботов им уже обладает. Это и сейчас не совсем так, однако с 1980-х гг. системы машинного зрения действительно играют важную роль в производстве. С выходом технологии за пределы исследовательских лабораторий и ее реализацией на практике, совершенствованием программного и аппаратного обеспечения возможности и сферы применения машинного зрения многократно расширились.

В самом начале области применения машинного зрения включали примитивное распознавание контура объекта или расположения объектов в пространстве, но в 1980-е гг. оно эволюционировало в системы, способные различать двумерные символы и знаки при надлежащей ориентации по отношению к распознающему оборудованию. Первое поколение «умных камер» было ограниченным и сложным в настройке, но пользователям все равно нужна была гибкость, которую предлагала эта технология по сравнению с обычными датчиками, и они мирились со многими сложностями ее внедрения.

Беспилотный дрон

Рис. 1. Беспилотный дрон

Сегодня же программное (ПО) и аппаратное обеспечение предусматривают высокоскоростной трехмерный анализ. Это позволило Forbes прийти к обоснованному заключению о том, что «стремительное развитие машинного зрения, кажется, становится основной причиной приобретения компаниями все большего количества оборудования» [1]. Сейчас можно покупать камеры размером с монету, способные делать и обрабатывать высококачественные снимки, что было невозможным еще три года назад. Усовершенствование систем машинного зрения способствовало их применению в промышленности, а растущий спрос стал стимулом для новых разработок.

Особого внимания заслуживает такая сфера использования машинного зрения, как самоуправляемые автомобили и беспилотные летательные аппараты (дроны). Разработки в данной области продвинулись даже дальше, чем в промышленности, хотя базовые принципы и потребности остаются теми же.

Применение дронов в промышленности еще не так широко распространено, но их уже используют для проведения осмотра таких объектов, как линии электропередачи (рис. 1) [2]. Дронов также можно применять для мониторинга трубопроводов, резервуарных станций и систем водоочистки, водоподготовки и водоотведения.

 

компоненты для систем машинного зрения

Рис. 2. Компоненты для систем машинного зрения и сферы их использования

Кто интересуется системами технического зрения?

Понимание того, какие типы компаний внедряют системы машинного зрения и какие у них потребности, помогает определить направление развития этой технологии. Любое производство, требующее скрупулезной обработки или осмотра готовой продукции людьми, является хорошим кандидатом на модернизацию с применением таких систем (рис. 2). В области промышленности преимущества машинного зрения в первую очередь используют автомобилестроение, пищевая промышленность, производство напитков, фармацевтическая отрасль и производство полупроводников.

Поскольку транспортные средства включают множество деталей, автопроизводители применяют системы машинного зрения, чтобы отслеживать компоненты по маркировке или управлять роботами. Робототехнические комплексы с машинным зрением для сборки автомобилей являются быстрым и воспроизводимым производственным решением. Более того, техническое зрение стало важной частью процесса обеспечения качества. Оно используется для осмотра, калибровки, проверки размеров, диаметров, расстояний, а также для выравнивания деталей на линиях сборки автомобилей.

В производстве пищевой продукции, особенно с широким ассортиментом, системы машинного зрения могут проверять, все ли ингредиенты указаны на упаковке товара — что крайне важно для продуктов питания, содержащих распространенные аллергены. Фармацевтическое производство подразумевает еще более высокую степень ответственности за безопасность, поэтому совершенно необходимо надежно отслеживать все компоненты состава и качество готовой продукции.

В этих двух отраслях распознавание маркировки выходит далеко за пределы простого подтверждения местонахождения и пространственной ориентации объекта или проверки точности графического изображения. Наличие и точность штрихкодов крайне важны для скоропортящихся товаров, а код партии необходим на случай отзыва продукции из обращения. Системы машинного зрения предлагают точный и гигиеничный бесконтактный метод контроля уровня заполнения или размеров готовой продукции, который обеспечивает соответствующий уровень качества.

Некоторые отрасли предъявляют особые требования к считыванию данных там, где лучше избегать участия персонала из соображений безопасности и поддержания уровня чистоты. Например, при изготовлении полупроводников машинное зрение используют в чистых помещениях для осмотра маркировки и посадки кристалла, а также в тех процессах, где критическое значение имеют точность и быстрота реакции. С его помощью контролируют положение компонентов при сборке BGA-микросхем, следят за размещением полупровод­никовых пластин, интегральных схем и других элементов и при необходимости их выравнивают.

 

Внимание к практическим проблемам

Конечные пользователи, внедрявшие машинное зрение до середины 2000-х гг., зачастую сталкивались с большими трудностями. Менее производительные аппаратные средства того времени часто не выдерживали нагрузку, что приводило к потере фокуса и изображения и делало полученные снимки ненадежными. Также существовали особые требования к подключению оборудования, и даже при использовании внутренней сети Ethernet было сложно настроить IP-адреса. С точки зрения ПО проприетарные протоколы и комплекты разработчика ПО (SDK) требовали кропотливой индивидуальной настройки, и такой масштаб проблем уничтожал все шансы на успех.

Ряд тенденций, существовавших как в аппаратном обеспечении, так и в ПО, привел к тому, что более производительные платформы стали использовать стандартизованные элементы. Подобная стратегия позволила пользователям сократить время на разработку и внедрение систем, сделать работу платформы более стабильной, снизить совокупную стоимость решения и увеличить срок рентабельной эксплуатации.

 

Особенности аппаратного обеспечения

На данный момент не существует универсального аппаратного обеспечения для систем машинного зрения, что усложняет выбор аппаратных средств и ПО. Тем не менее на рынке устройства с большим количеством опций и комбинаций, из которых пользователи смогут выбрать то, что наилучшим образом отвечает их потребностям, и составить собственное, уникальное решение.

Мозгом любой архитектуры систем машинного зрения является центральный процессор (ЦП). Безусловно, они широко применяются во многих видах цифровых устройств. Нынешние многоядерные процессоры обеспечивают исключительную производительность и простоту программирования. Кроме того, адаптивность машинного зрения позволяет успешно использовать его с компьютерами и соответствующими компонентами, оптимизированными под выполнение определенной задачи.

Для повышения производительности доступны различные сопроцессоры. Например, графические процессоры (ГП) представляют собой специализированные схемы, обеспечивающие высокую вычислительную способность при работе с плавающей точкой, что можно успешно применять для ускоренной обработки изображений. Также они способны быстрее обрабатывать сопутствующие данные, которые влияют на параметры таких изображений. Графические процессоры могут использовать общие инструкции для всех элементов больших пакетов данных, как те, что формируют изображение.

Программируемые пользователем вентильные матрицы (ППВМ) представляют собой другую форму интегрированной схемы, которую можно оптимизировать для оперативного выполнения различных инструкций. ППВМ отличаются прямым доступом к аппаратному обеспечению и могут применяться для быстрой реализации сложных функций и вычислений.

Процессоры и сопроцессоры можно комбинировать, чтобы создавать сборки типа ЦП+ГП, ЦП+ППВМ или ЦП+ГП+ППВМ. Архитектура обработки данных машинного зрения может подстраиваться под текущие нужды, благодаря чему достигается масштабируемая производительность. Функции распределяются следующим образом: ЦП выполняют алгоритмы; ГП кодируют, декодируют и отображают информацию; ППВМ производят предварительную обработку данных, особенно в области пространства/частот.

Данная стратегия оптимизирована в сочетании ЦП и ППВМ на одном чипе, известном как система на кристалле (SoC). Интегрированные SoC-схемы, благодаря миниатюрной конструкции и малому энерго­потреблению, широко применяются в мобильных устройствах. Конфигурация ЦП+ППВМ SoC, как, например, в серии Zynq-7000 от компании Xilinx, обеспечивает надежную интеграцию программируемых логических схем и машинного зрения.

Архитектура системы машинного зрения

Рис. 3. Архитектура системы машинного зрения

Это, в свою очередь, позволяет проектировщикам разрабатывать программы на языке C и другое ПО с использованием программируемой логики, присущей ЦП и ППВМ, для ускорения отдельных частей алгоритма. При этом инструменты синтеза по высокоуровневому описанию становятся все более эффективными. Согласно [3]: «Машинное зрение является отличным примером того, как масштабируемая обработка данных улучшает работу приложений». На рис. 3 приведен пример архитектуры системы машинного зрения, а в таблице представлено сравнение различных типов процессоров на основе тех видов операции, которые они лучше выполняют. Для трехмерных систем машинного зрения самую большую производительность обеспечивает конфигурация ЦП+ГП. С другой стороны, при высокоскоростной проверке образцов на производственной линии в режиме реального времени предпочтительно использовать конфигурацию ЦП+ППВМ.

Таблица. Виды операций и процессоры, которые для них больше всего подходят

Параметр

ЦП

ГП

ППВМ

Пиксельное изображение

+

++

++

Гистограмма/просмотровая таблица

++

++

Соседний узел/ядро

++

++

Произвольный доступ

++

Геометрическое преобразование

+

++

Архитектура

SSID, SIMD

SIMD

MISD

 

Построение платформы системы машинного зрения

Центральный процессор имеет большое значение, но это всего лишь один элемент большой мозаики из аппаратных средств. Еще один вопрос аппаратного обеспечения: следует ли все выполняемые функции включать в конечное устройство (камеру) или их можно частично распределить на соответствующий ПК? Решение основывается на потребностях конкретного использования.

Базовое применение машинного зрения с функционально-специализированным распознаванием (символов, знаков или наличия/отсутствия деталей) наиболее успешно реализуется с помощью встроенного устройства с одной камерой. Данное устройство подсоединяется к центральному контроллеру, такому как ПК или ПЛК, но исключительно для передачи результатов.

Более перспективные области применения, требующие адаптивных и сложных взаимосвязей, — осмотр поверхностей, проверка печати или объединение нескольких камер — лучше реализуются с использованием компьютеризированных систем, тесно интегрированных с камерами. В таком случае одна или несколько камер отправляют данные на ПК через высокоскоростной канал передачи цифровых данных, и ПК их обрабатывает, чтобы получить необходимую информацию.

Понимание решающей роли ПО столь же важно, как и выбор аппаратных средств. Интерфейсы камер определяют платформу системы машинного зрения, и в процессе развития технологии к этому было несколько конкурирующих подходов. Можно выделить два стандарта интерфейса, которые соответствуют требованиям промышленного применения: Gigabit Ethernet для СТЗ (GigE Vision) и универсальный интерфейс для камер (GeniCam).

Системы машинного зрения требуют высокой пропускной способности, однако для передачи изображений вполне достаточно стандартного интерфейса GigE. Интерфейс GigE Vision обладает открытой архитектурой и отличается высокой производительностью, широкой совместимостью и налаженным сервисным обслуживанием. По этим причинам он пользуется популярностью среди пользователей.

GeniCam, с другой стороны, представляет собой универсальный программный интерфейс, обеспечивающий гибкую конфигурацию при работе с изображениями независимо от используемых аппаратных средств. Доступен графический пользовательский интерфейс, и поддерживаются такие возможности, как настройка камер, захват изображения, передача дополнительных данных и событий. Благодаря интерфейсу GigE многие производители внесли свой вклад в формирование и дальнейшее обслуживание данного стандарта.

Кроме того, зачастую необходимо выбрать «триггер» для запуска работы камеры — как альтернативу непрерывной обработке постоянного потока данных. Этого можно достичь с помощью внешней системы управления или ПЛК, но многие системы машинного зрения сейчас поддерживают триггер через Ethernet. Такой триггер запускает работу одной или более камер (с достаточной скоростью и синхронным поведением) через тот же канал Ethernet, что связывает камеры с системой управления. Очевидно, это облегчает установку, поскольку один канал Ethernet можно использовать для системы запуска и получения данных.

В совокупности камера, аппаратные средства обрабатывающей платформы и интерфейсы дают все инструменты, необходимые для реализации машинного зрения. Сейчас эти компоненты как никогда прежде производительны и просты в использовании. Хотя, безусловно, пользователи все еще вынуждены адаптировать инструменты с помощью ПО для реализации решений в конкретной области.

 

Примеры применения

Несколько примеров использования систем машинного зрения могут продемонстрировать потенциал и гибкость, предлагаемые последними разработками в этой сфере.

Рассмотрим производство полупроводников (рис. 4). Конечная обработка включает разделение полупроводниковых пластин на отдельные кристаллы, которые необходимо проверить, собрать и упаковать. Перед производителями стояла цель поддержать высокую пропускную способность при 100%-ной проверке качества, даже с учетом того, что размеры кристаллов стали меньше и их стало сложнее распознавать. Решением стал выбор промышленного ПК с шасси и интерфейсной платой «захвата» изображения GigE Vision на базе PCI, включавшей также ППВМ.

Цех для производства полупроводников

Рис. 4. Цех для производства полупроводников

Эти аппаратные средства машинного зрения предварительно обрабатывают изображения, которые затем загружаются на ПК, что дает возможность избежать потери кадра или пакета при их получении. Сервоконтроллер PCI и плата ввода/вывода PCI позволяют платформе полностью контролировать оборудование. Такое сочетание обеспечивает пользователям гибкое и высокопроизводительное получение изображений и удобную платформу управления.

Как было сказано выше, еще один активный пользователь машинного зрения – автомобильная промышленность (рис. 5). Проверка готовых изделий чрезвычайно важна, но может представлять собой повторяющуюся и утомительную для персонала работу, что приводит к ошибкам, характерным для непосредственного осмотра. Именно поэтому автоматизированный оптический контроль является предпочтительным методом проверки качества, заменяющим осмотр операторами в различных производственных задачах.

Цех по сбору автомобилей

Рис. 5. Цех по сбору автомобилей

В рассматриваемом случае проблема осложнялась тем фактом, что осмотр необходимо было производить под многочисленными углами. Решением стала установка в общей сложности 22 камер на двух роботах с шестью осями и соответствующими рабочими ячейками (рис. 6).

Схема приложения

Рис. 6. Схема приложения

Промышленный ПК с платой адаптера PCI позволил использовать пять мегапиксельных камер с питанием через Ethernet (интерфейс PoЕ) для оперативной передачи изображений на ПК, который, в свою очередь, должным образом применял оборудование в режиме реального времени. Данный пакет повысил точность и скорость осмотра для заказчика и сократил расходы на оплату труда.

 

Выводы и прогнозы

Технология машинного зрения уже давно переместилась из научной фантастики в область практического применения в промышленности. Системы машинного зрения используют все шире. Каждый раз, когда требуется выполнять утомительную работу по распознаванию с высокой скоростью и точностью, особенно в труднодоступных местах, техническое зрение оказывается идеальным решением для оптимизации производства. Сокращение затрат привело к возросшей окупаемости и удешевлению совокупной стоимости владения, что способствовало и дальнейшему внедрению систем машинного зрения.

Новейшие платформы аппаратных средств обеспечивают большее удобство для пользователей и более высокую совместимость компонентов по сравнению с предыдущими поколениями. В свою очередь, развитие аппаратных мощностей предусматривает высокое разрешение, а также оперативную и полностью цифровую обработку данных. Системы с использованием сочетания интегрированных схем ЦП+ППВМ SoC предлагают еще более оптимизированное соотношение производительности и стоимости.

ПО и коммуникации идут в ногу с развитием аппаратных средств, особенно после того, как в промышленности приняли стандартизованные протоколы, что сильно облегчило пользователям подключение к сети, настройку и использование машинного зрения. Удобство останется основным фактором успеха для платформ систем технического зрения, и его реализация приведет к широкому использованию таких систем в производственных условиях для обеспечения качественной и безопасной работы.

Материал предоставлен компанией Advantech.

Литература
  1. Vanian J. Why computers that ‘see’ are a hot technology.
  2. Rodgers V. Drones Are Set to Revolutionize Electric Utility Inspections.
  3. Turnbull S., Wilson R. GPUs bring scalable processing to machine vision.
  4. Bier J. Processing Options For Implementing Vision Capabilities in Embedded Systems.
  5. Trends and Recent Developments in Processors for Vision.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *