Система предупреждения столкновений Visionary-B от Sick для спецтехники

Введение

Как уже неоднократно говорилось, регламенты по технике безопасности написаны кровью. Это, безусловно, касается всех сфер трудовой деятельности человека, однако среди них выделяются тяжелая промышленность, строительная индустрия, портовое и крановое хозяйства, горно­добывающая и нефтегазовая промышленность, сельское хозяйство, лесозаготовка и деревообработка. Эти отрасли объединяет широкое использование транспортной техники, в том числе крупногабаритной и специального назначения. Помимо угрозы безопасности, даже одна авария с участием такой техники может на несколько дней остановить все работы и привести к очень большим убыткам, а возможностей для возникновения таких инцидентов, к сожалению, очень много. На рис. 1 показаны типичные аварии с тяжелым автотранспортом, а в таблице приведен анализ аварий, произошедших при выполнении открытых горных работ [4].

Рис. 1. Типичные аварии с техникой, использующейся при ведении открытых горных работ

Техника, используемая в таких отраслях, отличается сложностью управления, связанной с ее спецификой. Кроме того, низкая скорость движения транспорта специального назначения (как правило, крупногабаритного) во время выполнения маневров создает иллюзию безопасности, в то время как конструктивные особенности подобной техники обусловливают наличие слепых зон, которые недоступны для непосредственного визуального контроля оператора.

Сегодня на рынке представлены различные варианты построения систем предупреждения столкновений, определяемые типом спецтехники и конкретными условиями эксплуатации. В таких системах используется несколько дополняющих друг друга технологий: технология получения и обработки информации об удаленных объектах с помощью активных оптических систем, радиолокация, видеокамеры (в том числе машинное зрение), а также радиосвязь (в частности, спутниковая навигация).

Что касается систем предупреждения столкновений на основе видеокамер, то, кроме обычных видео­камер на основе 2D-технологии, в них используются и две 3D-технологии. Первая, так называемая времяпролетная, или ToF-технология (от англ. Time-of-Flight — время пролета), основана на облучении объекта импульсами света или модулированным светом, как правило, в невидимом для человеческого глаза инфракрасном диапазоне (такие системы подробно описаны в [5]). Вторая — 3D-технология на основе стереоскопического машинного зрения.

Для реализации системы предотвращения столкновений на основе стереоскопического машинного зрения требуются как минимум две видеокамеры, разнесенные на определенное расстояние. Они работают подобно человеческому глазу. Заданная контрольная точка в пространстве, определяющая расстояние до цели (в данной ситуации — любого объекта, который может привести к аварии или несчастному случаю), будет находиться в разных положениях в каждой камере, что позволит системе вычислять положение этой точки в пространстве. Хотя определение расстояния этим методом строится на весьма сложных алгоритмах и вычислениях, основным преимуществом стереоскопических систем является то, что для них, как правило, не требуется активное освещение, то есть подсветка собственным источником света. В большинстве случаев им, в отличие от систем на основе ToF-технологии, достаточно внешнего освещения.

Кроме того, системы предотвращения столкновений на основе стереоскопического машинного зрения обычно дешевле, поскольку обходятся без сложного аппаратного решения с высоким быстродействием [5], хотя для нахождения соответствующей точки и разработки трехмерного изображения может понадобиться высокопроизводительный процессор. Еще один важный положительный момент заключается в том, что эти системы могут выводить для фиксации (например, хранения данных) и обычные двумерные изображения с высоким разрешением.

Специалисты немецкой компании SICK AG (SICK) разработали на основе стереоскопического машинного зрения системы предотвращения столкновения серий Visionary-T (индекс «Т» означает, что в системе используется ToF-камера) и Visionary-S (индекс «S» означает, что в основе системы лежит технология структурированной подсветки, Structured light), особенности которых уже были рассмотрены в [5]. В рамках данной статьи будет представлена еще одна серия — Visionary-B. Это система помощи водителю промышленных транспортных средств специального назначения, которая помогает водителям при маневрировании, контролируя «мертвые зоны» позади машин сразу в трех измерениях: по дальности, глубине и ширине [6]. Один из примеров ее применения приведен на рис. 2.

Рис. 2. Практический пример применения системы Visionary-B на промышленных транспортных средствах специального назначения

Активная система предупреждения о столкновении серии Visionary-B

Как уже было сказано, наиболее частые причины несчастных случаев с автотранспортом специального назначения, используемым на строительных площадках, в открытых и подземных горных выработках, в сельском и лесном хозяйстве, а также с коммунальными и специальными транспортными средствами, — маневрирование и движение задним ходом. Активная система помощи водителю Visionary-B, разработанная компанией SICK, предназначена для наблюдения за зоной вокруг и позади такой техники, невидимой для водителя или оператора. Датчик системы трехмерного (стереоскопического) зрения, подходящий для использования на открытом воздухе и под землей, определяет различные объекты в слепой зоне оператора и выдает ему соответствующие предупреждения.

Такие сенсорные автоматизированные системы широко востребованы для применения в сельскохозяйственных и лесных машинах, строительной технике, в горнодобывающей промышленности, а также в специальной технике для сферы коммунального хозяйства. Одна из областей, где датчики используются в мобильных машинах, — создание надежных систем, которые обнаруживают риск столкновения и предупреждают о нем водителя. Основной причиной возрастающей популярности систем предупреждения о столкновениях служит тот факт, что с помощью подходящих технологий для поддержки водителя или оператора машины можно предотвратить большое количество столкновений и аварий. Активных функций предупреждения недостаточно, система помощи водителю также должна уметь различать объекты в зависимости от их важности. Помимо выполнения особых задач при обнаружении и оценке объектов, сенсорные решения должны быть спроектированы таким образом, чтобы выдерживать жесткие условия внешней среды, в которой используются машины и техника специального назначения.

Системы серии Visionary-B компании SICK отвечают всем этим требованиям, а также имеют еще одну особенность: они были разработаны как активные системы. Это означает, что как только потенциально опасный объект появляется в определенной зоне обнаружения, система подает звуковой и визуальный сигналы. В отличие от решений для пассивного мониторинга такие системы освобождают водителя от потребности постоянно смотреть в монитор. Вместо этого он может сосредоточиться на вождении автомобиля, зная, что система своевременно предупредит его, если возникнет потенциально критическая ситуация (рис. 3). Тем не менее такую систему следует использовать лишь для поддержки водителей. Этот продукт не является компонентом безопасности, как определено в Директиве 2006/42/ЕС о безопасности машин и оборудования Европейского парламента и Совета Европейского Союза, но может служить одним из эффективных компонентов общей системы, отвечающей требованиям этой директивы.

Рис. 3. Система Visionary-B компании SICK представляет собой систему помощи водителю, предназначенную для повышения осведомленности о столкновениях

Система Visionary-B — это 3D-система предупреждения о столкновениях типа plug and play [7]. Ее роль заключается в минимизации риска столкновений в моменты, когда транспортные средства или машины специального назначения трогаются с места, при их маневрировании и на повороте, путем отслеживания слепых зон, невидимых из кабины водителя или оператора. Доступны два подсемейства системы — Visionary-B CV и Visionary-B PS.

Благодаря интеллектуальной оценке данных Visionary-B CV оптимальна для помощи водителям сложных внедорожных коммерческих транспортных средств, которые используются в портах, шахтах или на строительных площадках. Если объект находится в одной из двух заранее сконфигурированных зон тревоги и ситуация становится критической, датчик активирует аудиовизуальное предупреждение через монитор. Visionary-B CV передает для этой цели предварительно полностью обработанную информацию и цифровые сигналы со значительным сжатием данных. Сенсор, монитор и блок обработки представляют собой единый пакет «под ключ» — простой в настройке и использовании и быстро работающий. Обеспечиваются как высокая надежность сбора данных, так и механическая прочность сенсорной головки. Датчик также характеризуется высоким температурным диапазоном.

Visionary-B PS позволяет пользователям решать еще несколько проблем. По качеству данных и надежности система Visionary-B PS не отличается от Visionary-B CV. Однако она предоставляет необработанные трехмерные данные, классы и положения объектов, а также двухмерное изображение 2D-камеры в головке датчика Color, которое блок обработки передает в виде потока данных через Ethernet. Таким образом, при использовании этого варианта монитор не требуется. Комбинация необработанных 3D-данных, изображения 2D-камеры в головке датчика Color и предварительно обработанные данные в виде позиций и классов объектов позволяют системе решать множество задач, таких как мониторинг местности при валке деревьев, проверка состояния зерна, обеспечение сопровождения через виноградник, удаление обледенения крыльев самолета или размещение контейнеров в портах. В результате процессы, выполняемые в суровых внешних условиях, становятся более эффективными, точными и экологически безопасными. Visionary-B PS состоит из блока обработки и 2D-камеры в головке датчика Color, передающей 2D-изображение и 3D-облако точек (карту глубины). Эти данные можно использовать для контроля глубины котлована/траншеи, уровня заполнения контейнера, вычисления объема насыпей и габаритных размеров грузов.

Состав системы Visionary-B показан на рис. 4. Кроме основных блоков, как минимум одной сенсорной головки и блока обработки, в комплект поставки входят и все необходимые для установки всех механических и электрических компонентов системы крепежные детали.

Рис. 4. Система помощи водителю серии Visionary-B компании SICK (показан комплект Visionary-B CV, в вариант Visionary-B PS монитор не входит)

Решение типа «два в одном» сочетает в себе активный 3D-датчик для предупреждения о столкновении со встроенной 2D-камерой, снимающей в реальном времени. Благодаря этому водитель может видеть 2D-изображение в реальном времени и получать доступ к записям нескольких предыдущих часов работы машины. Когда система установлена ​​на высоте 1–2,4 м, угол обнаружения (105°×90°) позволяет ей покрывать незаметную для водителя область позади транспортного средства, которая составляет 6 м в длину и 4 м в ширину. Блок обработки обрабатывает данные трехмерного изображения и на основе полученных измерений присваивает объектам различные классы. Система сохраняет записи последнего периода работы и использует интеллектуальные алгоритмы, позволяющие ей игнорировать объекты, которые могут не иметь отношения к предупреждению о столкновении. В то же время датчик передает изображение в реальном времени и сигналы тревоги на монитор в кабине оператора. Предупреждения о столкновении выдаются в виде звуковых и визуальных сигналов.

Рис. 5. Принцип работы технологии стереоскопического зрения:
а) два снимка со слегка различающихся перспектив;
б) два снимка наложены друг на друга;
в) полученный снимок с информацией о глубине объектов

Для того чтобы система предупреждения о столкновении была надежной и приемлемой для водителей, важно, чтобы она постоянно выявляла опасности и могла отличать их от нормальной рабочей среды возле машины. Это стало возможным благодаря системам обнаружения объектов, основанным на стереоскопическом принципе, к которым относится и Visionary-B. Последняя может не только определять наличие различных объектов на пути следования, но и измерять точное расстояние от них до автомобиля [6]. Принцип действия системы показан на рис. 5, а ее практическое использование — на рис. 6, 7, 8 и 9.

Рис. 6. Интеллектуальная система помощи водителю Visionary-B, отслеживая слепую зону водителя, служит ценным дополнением к машинам и механизмам, используемым на строительных площадках, в сельском хозяйстве и на лесозаготовительных работах. На рисунке показан пример работы:
а) на строительной площадке;
б) в сельском и лесном хозяйстве

Рис. 7. Система Visionary-B на ричстакере предупреждает водителя о возможных столкновениях с неподвижными или движущимися объектами, а также при движении задним ходом или маневрировании в ограниченном пространстве

Рис. 8. Пример использования Visionary-B в портах

Рис. 9. Пример использования системы Visionary-B для предотвращения наезда на персонал

2D-камеры в головке датчика снимают окружающую среду автомобиля с двух разных позиций: так, как она воспринимается человеческим глазом. Система обработки объединяет эти две картинки и путем вычисления выдает информацию об их глубине, другими словами, добавляет третье измерение. На основе информации о трехмерном изображении 3D-датчик может определять ширину и высоту объектов. Это позволяет системе различать объекты, которые могут привести к столкновению, и объекты, которые не могут — например, бордюры или неровности поверхности. Встроенный блок обработки данных, разработанный компанией SICK, надежно обнаруживает два класса объектов во внешней среде.

Рис. 10. Класс объектов 1

Первый класс (рис. 10) состоит из объектов меньшего размера, чем объекты второго класса, но более 40×80 см. В пределах зоны действия этого класса обнаруживаются стены и другие важные предметы, например распределительные щиты. На рис. 10 можно увидеть три обнаруженных объекта, которые обведены рамкой. Во второй класс попадают все объекты размерами более 40×160 см. Более широкие объекты, как, например, стены, в зоне обнаружения игнорируются. На рис. 11 слева показано, что сигнал тревоги выдается только из-за распределительного щита. Как видно из этого рисунка, выбор объектов второго класса может использоваться в узких проездах. Настройка системы только для предупреждения водителя об объектах класса 2 отлично подойдет для таких проходов и проездов, поскольку это предотвратит выдачу ненужных предупреждающих сигналов.

Рис. 11. Класс объектов 2

Гибкая конфигурация зон сигнализации также позволяет различать типы предупреждений, чтобы водитель мог соответствующим образом реагировать. Система Visionary-B не будет отправлять ошибочные сигналы тревоги. Водитель получает уведомление только в том случае, если ситуация действительно критическая. Еще одно преимущество системы Visionary-B — модульная концепция, которая позволяет проектировать систему помощи водителю в соответствии с конкретным транспортным средством и целями ее использования.

Сегодня доступно тринадцать различных конфигураций системы Visionary-B. К ним относятся варианты с одной сенсорной головкой для отслеживания направления движения транспортного средства, с двумя автоматически переключаемыми сенсорными головками для контроля движения вперед и назад и с двумя сенсорными головками, работающими одновременно, которые охватывают территорию вокруг и позади машины, что особенно важно для больших транспортных средств.

Система помощи водителю Visionary-B способна бесперебойно работать в суровых условиях окружающей среды. Она отличается высокой устойчивостью к внешним воздействиям и подходит для использования на открытом воздухе в самых разных средах, например в шахтах, портах [2] и на строительных площадках. Корпус датчика имеет наивысшую степень защиты IP69K и выдерживает рабочие температуры –40…+75 °C. Он также соответствует высоким стандартам устойчивости к ударам и вибрации. Блок обработки, который часто можно установить в более безопасном месте кабины водителя, также имеет достаточно высокую степень защиты IP67 и диапазон рабочих температур –20…+40 °C. Он также рассчитан на длительный срок службы и может выдерживать жесткие условия эксплуатации. В блоке обработки данных используются проверенные на практике алгоритмы, гарантирующие, что прямой солнечный свет, дождь, влажные и блестящие поверхности дороги и другие воздействия окружающей среды не будут препятствовать надежному обнаружению объектов или выдаче системой предупреждений о столкновении.

Систему Visionary-B можно применить в широком спектре интересных приложений. Так, например, одна версия Visionary-B позволяет переключаться между двумя сенсорными головками. Она может использоваться в экскаваторах для наблюдения за зоной позади машины и за зоной сбоку, где взгляд водителя блокируется стрелой экскаватора. Фронтальные погрузчики, самосвалы и катки также являются типичными примерами строительных и горнодобывающих машин, которыми можно гораздо безопаснее управлять с помощью активной системы помощи водителю.

В сельскохозяйственной и лесозаготовительной технике система Visionary-B тоже может своевременно обнаруживать возможные опасности и аварии и передавать предупреждение водителю. Уменьшение ущерба, наносимого транспортным средствам, то есть сокращение времени простоя и высокий уровень надежности, особенно важно в критические периоды года, например во время сбора урожая. В муниципальных и специальных транспортных средствах, например в грузовиках, используемых для сбора мусора и вторсырья, система Visionary-B также постоянно контролирует слепую зону водителя и оказывает ему активную поддержку при маневрировании транспортного средства в сложных условиях плотной городской застройки.

Существует и множество других возможных применений рассмотренной системы помощи водителю. Visionary-B можно установить даже в готовые модели автомобилей без сложной доработки. Также все варианты системы подходят и в качестве комплексных решений для дооснащения и могут быть легко сконфигурированы. Пример установки системы на колесный погрузчик в совместном с SICK проекте для Pfeifer & Langen показан на рис. 12 [8].

Рис. 12. Пример установки системы Visionary-B на колесный погрузчик

Заключение

Благодаря инновационной технологии 3D-снимка и надежной механической конструкции машинное зрение 3D Visionary-B от компании SICK хорошо подходит для сложных условий движения, которые имеют место в портах, на строительных площадках и в сельском хозяйстве. Основываясь на стереоскопическом принципе, Visionary-B предоставляет в каждом снимке 2D-изображения и 3D-данные. При необходимости полные исходные данные, а также результаты интеллектуальной обработки изображений могут передаваться в виде уже классифицированных объектов с информацией об их точном местоположении. В качестве системы помощи водителю с монитором и изображением в режиме реального времени Visionary-B предоставляет прочную и легко конфигурируемую систему предупреждения о столкновениях и помощь в критических ситуациях.

Краткий обзор системы Visionary-B

Состав и назначение компонентов системы помощи водителю семейства Visionary-B компании SICK показаны на рис. 13. Обозначены:

1. Активный 3D-датчик и 2D-камера в одной системе.
2. Сенсорная головка с углом охвата 105°×90°.
3. Корпус сенсорной головки, предназначен для применения на открытом воздухе, класс защиты IP69K, диапазон температур −40…+75 °C.
4. Блок обработки данных (компактные размеры, высокая производительность, непрерывная и надежная оценка с помощью специального алгоритма).
5. Корпус блока обработки данных: прочный, класс защиты IP67, диапазон температур −20…+40 °C.
6. Дополнительный выход для аудиовизуального аварийного сигнала.
7. Монитор для конфигурации зон обнаружения, параметров датчика и транспортного средства, а также для двухмерного (2D) представления объектов. Визуальный и аудио- аварийные сигналы при нарушении границ определенной ранее трехмерной (3D) зоны обнаружения.

Рис. 13. Состав и назначение компонентов системы помощи водителю семейства Visionary-B компании SICK

Преимущества системы Visionary-B:

• Интеллектуальные 3D-системы помощи водителю выдают предупреждения о столкновении в сложных уличных условиях в режиме реального времени с оптическими и акустическими сигналами.
• Решение 2-в-1: активный 3D-датчик со встроенной 2D-камерой для прямой трансляции изображения.
• Предназначена для использования в сложных уличных условиях, в том числе при ярком солнце или под дождем.
• Собственная подсветка не требуется, работает исключительно со внешним освещением.
• Подходит для дооснащения уже существующего парка специальных транспортных средств.
• Помогает пользователю сконцентрироваться на своих задачах, например при маневрировании.
• 3D-камера помогает при обнаружении объектов в слепых зонах вокруг транспортного средства.
• Данные о расстоянии — 250×496 пикселей, 2D-изображение — 544×828 пикселей.
• Выдает по восемь 3D- и 2D-изображений в секунду, более 120 000 данных о расстоянии и интенсивности в одном снимке.
• Интеллектуальная обработка изображений: классификация и определение местоположения объектов.
• При высоте установки 1–2,4 м прекрасно перекрывает «мертвые зоны» позади транспортного средства длиной 6 м и шириной 4 м.
• Запись событий за последние 3 ч, облегчает анализ событий.
• Автономная система с монитором, простая и интуитивно понятная настройка параметров человеко-машинного интерфейса.
• Два подсемейства, 13 вариантов исполнения.

Основные области применения:

• строительная техника;
• портовое хозяйство;
• крановое производство;
• горная промышленность;
• сельское хозяйство;
• деревообработка/лесное хозяйство.

Более подробная информация о системе.