Эволюция систем управления на основе ИИ

Опубликовано в номере:
PDF версия
Может ли использование искусственного интеллекта (ИИ) стать следующим этапом эволюции систем управления? Попробуем ответить на этот вопрос в статье.

На протяжении десятилетий системы управления непрерывно развивались, и некоторым из них помогли продвинуться вперед технологии ИИ.

Пропорционально-интегрально-дифференцирующий регулятор (ПИД-регулятор) — устройство в управляющем контуре с обратной связью. Такой регулятор используется в системах автоматического управления для формирования управляющего сигнала с целью получения необходимой точности и качества переходного процесса. Его можно определить как систему регулирования возможностей: пропорциональная составляющая указывает на сигнал, интегральная составляющая соответствует уставке, а производная составляющая (дифференцирующая) может минимизировать перерегулирование.

Хотя экосистема управления представляет собой сложную сеть взаимо­связанных технологий, ее можно упростить, рассматривая как постоянно развивающиеся ветви генеалогического древа. Каждая технология системы управления обладает собственными характеристиками, недоступными в предшествующих технологиях. Например, «связь вперед» улучшает ПИД-регулирование, прогнозируя выходной сигнал контроллера, а затем использует прогноз для отделения ошибок возмущения от влияния шумов и помех. Управление на основе прогнозирующих моделей (Model predictive control, MPC) дает дополнительные возможности, разбивая на уровни предсказания будущих результатов управляющих воздействий и управляя множеством коррелированных входов и выходов. Последним этапом эволюции стратегий управления является внедрение технологий ИИ для разработки промышленных средств управления. Среди последних достижений в области ИИ для управления можно отметить применение средств управления на основе обучения с подкреплением.

 

Три характеристики контроллеров на базе ИИ

Контроллеры на основе ИИ, то есть глубокого обучения с подкреплением, или, как их еще называют, DRL-контроллеры (deep reinforcement learning), обладают уникальными и привлекательными характеристиками, такими как:

  • Способность к обучению: контроллеры на основе DRL обучаются путем методической и непрерывной практики — того, что мы называем машинным обучением. Следовательно, они могут обнаруживать нюансы и исключения, которые нелегко уловить в экспертных системах и которые бывает трудно контролировать при использовании контроллеров с фиксированным усилением. Симулятор DRL может отображать нюансы самых разных состояний процесса. Многие из этих состояний никогда не встретятся в реальном мире, поскольку ИИ (как мозг контроллера) может попытаться управлять установкой слишком близко или за пределами эксплуатационных пределов физического объекта. В таком случае эти отклонения (которые, вероятно, могут вызвать нарушения в процессе) служат опытом для ИИ, позволяющим узнать, какого поведения следует избегать. Когда это происходит достаточно часто, ИИ учится тому, что можно и что нельзя делать. Также DRL может учиться сразу на многих симуляциях. Вместо того чтобы передавать ИИ данные с одного предприятия, он может учиться на сотнях симуляций, каждая из которых происходит быстрее, чем в обычном режиме реального времени, что позволяет обеспечить тренировочный опыт, способствующий оптимальному обучению.
  • «Отложенное удовольствие»: контроллеры на основе DRL могут научиться распознавать неоптимальное поведение в кратко­срочной перспективе, что позволяет выиграть в долгосрочной перспективе. Согласно Зигмунду Фрейду и даже Аристотелю, изучавшему природу поведения человека в 300 г. до н. э., люди подвержены такому поведению, как «отложенное удовольствие». Когда ИИ ведет себя подобным образом, он может преодолеть сложные локальные минимумы и перейти к оптимальным решениям.
  • Нетрадиционные входные данные: контроллеры на основе DRL управляют поступлением данных и могут оценивать информацию датчиков так, как это не могут сделать автоматические системы. Например, контроллер на основе ИИ может рассматривать визуальную информацию о качестве продукта или состоянии оборудования. Он также принимает во внимание категориальные машинные предупреждения и предупреждения при выполнении управляющих действий. Контроллеры на основе ИИ могут даже использовать звуковые сигналы и входы датчиков вибрации для определения того, как принимать решения о процессе, подобно звукам, которыми оперируют люди, обслуживающие оборудование или работающие на нем. Способность обрабатывать визуальную информацию, такую как размер вспышки пламени, отличает и раскрывает возможности контроллеров на основе

 

Использование систем управления на основе DRL

Для внедрения средств управления на основе DRL на производственный объект необходимо пройти четыре этапа:

  1. Подготовка сопутствующей имитационной модели для ИИ.
  2. Техническое решение и обучение ИИ.
  3. Оценка обученного ИИ.
  4. Развертывание ИИ на предприятии.

Включение контроллеров на основе DRL для того, чтобы попрактиковаться и узнать, как принимаются те или иные решения, требует моделирования или среды в виде «цифрового двойника». Преимущество этого метода в том, что ИИ для достижения поставленных целей может узнать, что считается «хорошим» или «плохим» для системы. Учитывая, что вариативность реальной среды выше (намного больше, чем обычно представляется), чем у модели имитации процесса, ограниченной объемом симуляции, необходимым для тренировки ИИ в рабочем пространстве, модели уменьшенного порядка, которые поддерживают фундаментальные принципы физики, предоставляют лучшие методы его тренировки. Эти модели предлагают способ разработки сложных симуляций процессов и действуют быстрее во время их выполнения, что позволяет более эффективно развивать возможности ИИ. Симуляторы процессов на основе тегов известны своей простой конструкцией и способностью адаптироваться к широкому спектру потребностей моделирования, которые соответствуют требованиям имитационной модели, необходимой для тренировки DRL на основе ИИ.

В наши дни, когда панели с индикаторными лампочками и переключатели уходят в небытие или становятся уделом совсем устаревших систем и никому особо не нужных производств, доживающих свой век, значимость симуляторов на основе тегов сильно повышается из-за облегчения работы инженера по автоматизации. Использование моделирования для тестирования системы на заводских приемочных испытаниях, проводящихся перед запуском в цеха, давало средства к существованию для разработчиков программного обеспечения и специалистов по моделированию процессов на протяжении десятилетий задолго до появления такого современного понятия, как «цифровой двойник». Однако для эффективного управления производственными процессами те же, ранее разработанные тренажеры можно использовать и при обучении систем управления на основе ИИ (рис. 1). Для этого симуляторы должны иметь возможность работать в распределенном режиме на нескольких процессорах и по возможности в облаке. Для отработки, обучения или оценки потенциальных новых алгоритмов ИИ при параллельном выполнении необходимо несколько этапов моделирования. Как только требуемый результат будет достигнут, системы обучения операторов, разработанные с использованием симуляторов на основе тегов, можно применить для обучения DRL на основе ИИ.

Технология ИИ позволяет решить любую сложную проблему, которую можно проанализировать с помощью моделирования

Рис. 1. Технология ИИ позволяет решить любую сложную проблему, которую можно проанализировать с помощью моделирования.
Изображения предоставлены компанией Wood

 

Конкретное решение и тренировка ИИ

Определяющее значение для разработки успешного решения управления на основе DRL имеет проектирование встроенного в него мозга в виде ИИ, непосредственно на основе того процесса, которым нужно управлять. Мозг такой системы может не только состоять из концепций ИИ, но и включать эвристику, запрограммированную логику и хорошо известные правила. Когда информация от профильного эксперта собрана должным образом, способность реализовать ИИ, использующий эту информацию, становится ключом к успеху проекта.

Решающее значение для разработки надежной системы управления на основе ИИ имеет использование знаний в предметной области, что необходимо для построения содержательных сценариев обучения. Прежде чем интеллектуальный движок DRL можно будет обучить с помощью модели, человек должен решить, какие элементы модели будут представлены в ИИ как состояние процесса. Состояние процесса — это обычно набор измеренных значений, доступных системе автоматизации. Типичными примерами являются уровни давления, температуры, уставки и т. д. Слишком малое количество информации о состоянии процесса не позволит ИИ извлекать какие-либо уроки. При слишком большом числе вводных количество внутренних гиперпараметров может быстро расти. Это мешает мозгу учиться как можно быстрее, поскольку часть его усилий тратится на то, чтобы выяснить, какие части состояния процесса менее важны. Аналогичная ситуация происходит с данными, которые поступают от ИИ к процессу. Человек должен решить, какими действиями он позволит ИИ манипулировать, что определяет усилия, необходимые для управления оптимальным состоянием процесса. Обычно решить, что включить в действия, доступные ИИ, легче, поскольку для управления процессом предусмотрено ограниченное количество регулирующих клапанов или других управляющих процессом механизмов.

Решения о размере области выходных данных образа процесса и пространства действий сводятся к тому, какие теги моделирования должны быть включены в каждую из структур состояния и действия. В симуляторе на основе тегов определяются состояния и действия, соответственно, выбор тегов из списка и нажатие кнопки может добавить их в структуру состояния или действия, используемую ИИ.

 

Определение структур состояний и действий

Inkling — это декларативный язык программирования со статической типизацией для обучения ИИ с помощью Project Bonsai от компании Microsoft (рис. 2), который представляет собой платформу ИИ с низким кодом, ускоряющую разработку средств автоматизации на основе ИИ, и является частью пакета автономных систем от Microsoft. Язык Inkling был разработан для использования в обучении агентов DRL, чтобы реализовать парадигму обучения в компактном, выразительном и легком для понимания синтаксисе. Симуляторы на основе тегов могут быть запрограммированы для автоматической генерации кода Inkling, определяющего состояние и структуры действий для ИИ.

Приложения для Microsoft Bonsai Brain, среди прочего, включают динамические и сильно изменяющиеся системы, конкурирующие цели или стратегии оптимизации, а также неизвестные условия запуска или системы

Рис. 2. Приложения для Microsoft Bonsai Brain, среди прочего, включают динамические и сильно изменяющиеся системы, конкурирующие цели или стратегии оптимизации, а также неизвестные условия запуска или системы

После определения структур состояния и действий необходимо определить цели тренировки для ИИ (рис. 3). Типичные требования для тренировки ИИ представляют собой такие конструкции, как цель, условный штраф, план урока и сценарии. Сгенерированный код Inkling описывает две важные вещи для зарождающегося ИИ: что делать и как это делать. В частности, код может быть сгенерирован для управления уровнем некой жидкости в резервуаре с помощью регулятора потока на входе и запорных клапанов на выходе. Утверждение «цель» описывает желаемые результаты действий ИИ, и в этом случае фактический уровень жидкости в резервуаре должен быть близок к уровню уставки.

Отслеживание энергетических параметров на панели управления может помочь визуализировать цели оптимизации

Рис. 3. Отслеживание энергетических параметров на панели управления может помочь визуализировать цели оптимизации

Выбор подходящих уроков и сценариев, соответствующих цели, — это результат тесного интенсивного сотрудничества между разработчиком мозга и специалистом профильной сферы, направленного на недопущение переполнения резервуара. Утверждения «урок» и «сценарий» говорят ИИ, как усвоить эту цель. В данном случае сценарий предписывает ИИ начинать каждый тренировочный эпизод со случайным, но ограниченным уровнем и уставкой.

 

Разработка кода для создания ИИ

Эффективная тренировка ИИ требует изучения очень большого операционного пространства состояний. Облачные технологии позволяют помещать симуляторы в контейнеры и запускать их в среде с массовым параллелизмом. Тем не менее, если вы хотите добиться успешных результатов, сначала для тренировки мозга необходимо провести тестирование идей. Причем сделать это через симулятор локально, чтобы «сгладить» ошибки. Когда пользователь удовлетворен, симулятор можно поместить в контейнер и запустить в облаке. Типичные тренировки ИИ могут включать от 300 тыс. до 1 млн тренировочных итераций. Прогресс тренировки можно легко показать на экране, например с помощью простой демонстрации резервуара. Облачные ресурсы позволяют обучить симулятор, требующий 500 тыс. итераций, менее чем за час.

Прогресс тренировки мозга в зависимости от количества итераций может продемонстрировать график. Параметр «Удовлетворение цели» представляет собой скользящее среднее количество тренировочных эпизодов, в результате чего получается общее количество достигнутых целей. Как правило, для достижения эффективного контроля со стороны мозга для всех сценариев, на которых он практиковался, требуется, чтобы значение удовлетворенности цели достигало 100%.

 

Оценка конечных результатов тренировки ИИ

После того как ИИ обучен, его нужно протестировать, чтобы определить его жизнеспособность. На этом этапе ИИ обращается к модели, чтобы оценить ее поведение. Однако на этот раз сценарии должны быть изменены в симуляции: необходимо выполнение тестов мозга ИИ с ситуациями, с которыми он, возможно, не сталкивался во время первоначальных раундов тестирования.

Например, если значение контролируется комбинацией трех клапанов, то что произойдет, если один клапан будет недоступен? Может ли ИИ сделать что-нибудь разумное, если один из клапанов заклинило или его нужно подвергнуть техническому обслуживанию? Здесь могут быть адаптированы ассимиляционные модели, разработанные для систем обучения операторов или для тестирования систем управления. Как и в случае с тестированием системы управления, контроллер ИИ должен пройти строгую формальную процедуру тестирования. Симулятор с автоматическим планом тестирования может значительно снизить усилия, необходимые для оценки «обученного» мозга ИИ.

 

Развертывание ИИ

После того как мозг ИИ прошел оценочный тест, его можно использовать. Хотя существует множество способов развертывания, уникальное преимущество имитаторов на основе тегов, предназначенных для тестирования систем управления, заключается в том, что для интеграции ИИ с системой управления их можно использовать в качестве промежуточного программного обеспечения. Благодаря большому ассортименту доступных драйверов для различных систем управления интеграция в специализированный узел будет намного проще, чем применение специального решения. Кроме того, с точки зрения обслуживания программного обеспечения всегда приветствуется минимизация количества развертываний, которые настраиваются пользователем.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *