Mitsubishi Electric разрабатывает технологию естественно-интуитивного взаимодействия человека с машиной
Корпорация Mitsubishi Electric объявила о разработке первой в мире технологии естественно-интуитивного взаимодействия, основанной на способности воспринимать ситуацию в окружающей среде и переводить мультимодальную сенсорную информацию на доступный человеку язык. Разработка включает запатентованную технологию компактного искусственного интеллекта (ИИ) Maisart, который помогает анализировать мультимодальную сенсорную информацию и трансформировать ее в интуитивное взаимодействие с людьми посредством голосовых сообщений.
Технология распознает объекты и происходящие вокруг машины события на основе информации, поступающей с мультимодальных датчиков: фото и видео с камер, звуковой информации с микрофонов и геопозиции, которая определяется через лидар. Последний обеспечивает очень широкий горизонтальный угол сканирования, предназначен для самоуправляемых транспортных средств и позволяет распознавать объекты по ходу движения. Чтобы установить приоритетность категорий информации, Mitsubishi Electric разработала технологию Attentional Multimodal Fusion (многоуровневая система синтеза информации на основе ИИ), которая способна автоматически оценивать значимую информацию для высокоточного описания действий. Во время финального тестирования технология мультимодального синтеза использовала для анализа значения аудио- и видеоинформации для оценки изображения. Такой подход оказался на 29% эффективнее, чем использование только визуальной информации.
Законченное решение — технология осознанного взаимодействия с внешней средой — предоставит водителям расширенные рекомендации по маршруту. Например, вместо того, чтобы инструктировать водителя «поверните направо через 50 метров», система предоставит более детальное ориентирование на местности: «поверните направо перед почтовым ящиком» или «следуйте за серой машиной, поворачивающей направо». Кроме того, система будет генерировать голосовые предупреждения, такие как «пешеход переходит улицу», когда для близлежащих объектов будет спрогнозировано пересечение с траекторией автомобиля. Для достижения подобной функциональности система анализирует окружающую среду, выявляет визуальные ориентиры, движущиеся предметы и людей, а затем использует технологию распознавания объектов и происходящего для создания понятных инструкций.
Данная технология может найти применение в автомобильной промышленности, а именно в информационно-развлекательных системах транспортных средств, в системах автоматизации зданий и предприятий, где подразумевается взаимодействие с роботами-манипуляторами, в здравоохранении для решения задач, требующих соблюдения социальной дистанции, на предприятиях и в общественных местах, где обязательным условием является бесконтактная работа с оборудованием.