Применение инструментов Big Data и Machine Learning в IoT

Никита Андреянов

Архитектор платформы Dataplan NGRSOFTLAB

Учитывая сложность и разнообразность данных, генерируемых разнородными устройствами и датчиками, остро встает вопрос автоматизации их управления и анализа. Автоматизированное выявление зависимостей и построение взаимосвязей между устройствами – это новый вызов для дальнейшего развития IoT.

Именно поэтому IoT становится технологией, которую сложно представить без инструментов машинного обучения (Machine Learning). Благодаря им появляется возможность построения профилей поведения устройств в сети и выявления скрытых взаимосвязей между ними, что, в свою очередь, несет новые возможности автоматизации управления устройствами и предиктивной аналитики.

Концепция IoT зарождалась и развивалась как вполне самостоятельная идея, заключающаяся в объединении большого числа физических устройств, поддерживающих интерфейсы взаимодействия друг с другом и внешней средой в единой вычислительной сети. Однако, учитывая стремительные темпы роста популярности и востребованности данной концепции на рынке, число устройств в подобных сетях растет настолько быстро, что традиционная архитектура становится малоэффективной и сложно реализуемой.
Концепция IoT на текущий момент находится на том этапе, когда интеграция со вспомогательными технологиями и инструментами является необходимым логическим шагом к дальнейшему развитию.

Рассмотрим фундаментальные проблемы IoT-архитектур без технологий Big Data и инструментов ML:

• разнообразие устройств и датчиков. IoT-системы состоят из большого числа устройств, имеющих разные стандарты и интерфейсы взаимодействия и, как следствие, генерируют разнородные данные;

• отсутствие адаптивного контроля и управления устройствами. Разные стандарты взаимодействия и территориальная распределенность порождают сложности в эффективном менеджменте данных устройств;

• сложность сбора и обработки данных с различных устройств. Проблемы заключается не только в объемах данных, но и в их разнородности – различных протоколах, форматах и изменяющихся адресах целевых источников;

• масштабируемость, сложность хранения больших объемов данных, производительность. В современных условиях цифровизации объем данных и их эффективное хранение – это настоящий вызов;

• постоянно растущая сеть IoT-устройств и сложность автоматизированного построения новых взаимосвязей. Для возможности гибкого добавления новых и удаления старых устройств необходимы инструменты построения и поддержания в актуальном состоянии топологии сети.

Вышеперечисленные проблемы формируют серьезный барьер для дальнейшего развития IoT-систем, преодолеть который возможно с помощью внедрения инструментов машинного обучения, а также технологий работы с большими данными.

IoT-архитектура без/с алгоритмами Machine Learning и технологиями Big Data

Чтобы понять, как Machine Learning и Big Data могут повысить эффективность работы IoT, стоит взглянуть на принципиальные различия архитектур IoT-систем, которые следуют традиционной концепции, и систем, использующих инструменты для работы с большими данными и машинное обучение.

Типовая архитектура IoT без машинного обучения включает в себя четыре основных блока (см. схему 1):

• интернет-вещи – умные устройства, датчики и сенсоры;
• шлюзы, использующие промышленные протоколы связи и располагающиеся относительно близко к конечным устройствам;
• централизованное хранилище данных – ЦХОД и облачные хранилища;
• конечные устройства, с которыми взаимодействуют пользователи – исследуют данные и получают уведомления.

В архитектуре IoT, применяющей инструменты для работы с большими данными и алгоритмы машинного обучения, присутствует дополнительный, но очень важный блок (см. схему 2).

В ней повышается качество данных, а следовательно и качество принимаемых решений и уведомлений, генерируемых системой. Кроме того, за счет адаптивной приоритизации и фильтрации данных существенно снижаются затраты на хранение данных в ЦХОД и облачных хранилищах.

Machine Learning & IoT: реализованные кейсы

Лучше всего преимущества и эффективность применения инструментов машинного обучения и технологий Big Data при построении IoT-систем демонстрируют практические сценарии использования. Ниже приведены несколько Use Cases, в которых благодаря современным инструментам для работы с данными IoT-система сделала значительный шаг вперед.

Tesla Motors. Автомобили Tesla – это "вещи", использующие множество других интернет-вещей, которые благодаря Machine Learning позволяют из "вещи" сделать мощный искусственный интеллект. Помимо Tesla, другие крупные автомобильные компании также используют концепцию IoT, однако без современных инструментов для работы с данными. Для того чтобы понять, чем же Tesla так сильно отличается от всех остальных, достаточно цитаты Илона Маска из недавнего интервью: "Все автомобили в Tesla работают как единая сеть. Когда одна машина учится чему-то, этому учатся и все остальные. Это выходит за рамки того, что делают другие автомобильные компании". Таким образом, каждая ситуация на дороге – это новый опыт для автомобиля, который он обязательно учтет в следующей поездке и передаст своим "коллегам" (см. схему 3).

Nest. Термин "умный дом", наверное, слышал каждый. Однако у компании Nest, которую недавно приобрела корпорация Google за $3,2 млрд, получилось сделать дом действительно умным. Искусственный интеллект Nest анализирует график работы пользователей, их температурные и прочие предпочтения. Благодаря этому системе удается сократить затраты на потребление энергии и повысить комфорт за счет адаптации системы под конкретного пользователя (см. схему 4).

IoT-платформы. Стоит упомянуть не только конкретные сценарии использования IoT с Machine Learning, но и взглянуть на то, как развиваются передовые IoT-платформы, такие как Google Cloud IoT и AWS IoT. Они позволяют интегрировать IoT-устройства с моделями машинного обучения и решать сложные комплексные задачи. Сервис AWS IoT Greengrass ML Inference может локально формировать на устройствах логические выводы с использованием машинного обучения, применяя модели, созданные, обученные и оптимизированные в облаке. Так, в SageMaker можно создать прогнозирующую модель для анализа видеозаписей, оптимизировать ее для работы на камерах, которые смогут самостоятельно выявлять подозрительную активность и отправлять уведомления об этом. Например, при обнаружении нелегитимной активности около банковского терминала умная камера сама определит, что злоумышленник планирует взлом, и предиктивно вызовет наряд полиции. Данные, полученные с помощью логических выводов на IoT Greengrass, можно отправить обратно в SageMaker, где они обогащаются индикаторами и используются для непрерывного повышения качества моделей машинного обучения.

Будущее наступило

В современном мире в силу постоянно растущего количества умных устройств и объема данных, генерируемых ими, индустрия IoT уже не может существовать без инструментов для работы с большими данными и машинного обучения. Яркие примеры компаний, использующих Machine Learning в IoT-архитектурах, и векторы развития актуальных IoT-платформ демонстрируют нам очевидные преимущества данного подхода. Для эффективной работы современных IoT-систем жизненно необходима интеграция с сторонними продуктами, реализующими соответствующий функционал.

Опубликовано: Information Security/ Информационная безопасность №1, 2020