ИИ в промышленности по данным разных аналитических отчетов. Часть 2.1
Часть 1

С 2019 по 2022 гг центром компетенций НТИ по ИИ на базе МФТИ выпускался Альманах ИИ, включивший 12 аналитических сборников о состоянии ИИ в РФ и мире. Файлы можно скачать на сайте (у меня сайт с некоторого времени недоступен, поэтому делюсь сборниками в комментариях👇). Материалы очень рекомендую, но давайте сфокусируемся на ИИ в промышленности согласно этим отчетам, ведь я все за вас прочитал и выделил основные моменты.

курсив — обычно мои комментарии 💭

🔘Более-менее подробная аналитика ИИ в промышленности встречается в 5 сборниках, главы:
• NLP — в промышленности и логистике
• Компьютерное зрение — в промышленности и логистике
• Предсказательная аналитика и СПР в промышленности
• Обучение с подкреплением в промышленности и логистике
• Deep RL в управлении крупными инженерными системами
• Переферийные граничные вычисления [Edge computing] (Много общей информации без углубления в особенности промышленности)

Дальше пройдемся по кейсам применения разных субтехнологий ИИ

🔘Кейсы NLP
• диалоговые чат-боты для клиентского сервиса
• анализ тональности ответов на сообщения в почте и на порталах
• выделение именованных сущностей
• получение информации о рынке из новостей

🔘Кейсы CV
• Контроль качества выпускаемой продукции (дефектоскопия), 2 типа: контроль полуготового материала и осмотр готовой продукции (можно выявлять 92-99% дефектов, при доле ложных срабатываний 3-4%=можно заменять человека)
• Промышленная безопасность: контроль СИЗ, контроль доступа, детекция аварийных ситуаций, мониторинг состояния персонала
• Контроль операций (определение и локализация движущихся объектов, транспортных средств, оборудования, людей+оптимизация операций)
• Цифровизация старого оборудования (когда оснащение датчиками экономически нецелесообразно)
• Роботы (новая область)
• Сценарии для горнодобывающей отрасли: автономный транспорт, включая автономизацию процесса добычи и погрузки материала, оценка параметров руды (средний рост добычи 3-4%), детекция зубов ковша экскаватора (падение производительности на 1,3%), доступ в опасные зоны с помощью БПЛА
• Сценарии для металлургической отрасли: контроль качества материалов, определение микроструктуры, механических свойств и поиск новых материалов, выявление загрязнения стали нежелательными минералами

🔘2 явных тренда в развитии CV
• Распространение умных камер (edge)
• Появление услуг облачного CV (сомнительно в российской промышленности)

🔘Задачи (направления), решаемые ИИ в промышленности
• Предсказание спроса
• Оценка риска и предиктивное обслуживание
• Ранее обнаружение аномалий в тех процессе
• Ценообразование
• Логистика
• Контроль качества
• Технологические процессы (оптимизация, советчики, управление)

RL, особенности и мои мысли в следующем посте ➡️

ИИ в промышленности по данным разных аналитических отчетов. Часть 2.2
Часть 2.1

🔘Примеры решения задач с помощью RL
• Проектирование: оптимизация компоновки инженерных систем
• Энергетика: оптимизация затрат электроэнергии (на 40%) на охлаждение ЦОД, оптимизация управления для повышение производительности (на 3,5 МВт) газовых турбин
• Логистика: управление складскими роботами (отсутствие необходимости перепрограммирования роботов на каждый вид операции)
• Нефть и газ: оптимизация процессов бурения (ускорение бурения и снижения износа бурового оборудования) и эксплуатации скважин
• Металлургия: управление скоростью для повышения производительности (на 1,5%) непрерывно-травильного агрегата (ссылка на научную статью)
• Горнообогатительный комплекс: оптимизация потоков со сгустителей в итоговый концентрат (youtube)
• Есть облачные сервисы с алгоритмами, включая RL, интегрирующиеся в промышленными симуляционными средами.
При наличии разработанной симуляционной среды использование облачного сервиса является наименее затратным вариантом для применения RL

🔘Сложности внедрения RL в промышленность
• Для обучения алгоритмов необходимы высокоточные симуляционные среды оптимизируемого процесса (либо дорого, либо просто нет). Внедрение становится нерентабельным
• В промышленности необходимы гарантии безопасности и интерпретируемость, чего RL не дает
• Высокие требования к вычислительным ресурсам и квалификации разработчиков алгоритмов
• Даже самые современные алгоритмы RL довольно "хрупкие"
• При разработке систем управления на основе алгоритмов RL возникают проблемы: обучения управлению на малых выборках, объяснимость решений, скорость работы в режиме реального времени, работа с задержками в передаче данных и реализации управляющих воздействий

🔘Особенности развития ИИ в промышленности
• DNN набирают популярность, но традиционные подходы используются чаще
• Интерес к RL растет, но сложности внедрения сильно мешают
• Нефтегазовая отрасль и энергетика готовы к RL (но успешных кейсов почти нет)
• Разная автоматизация активов тормозит процессы внедления ML
• Большинство проектов на экспериментальной стадии (на 2020 г)
• Некоторые стартапы - пионеры отрасли

💭 Мои мысли или чего мне на хватило?
• Лучшие сборники с точки зрения промышленности - CV и RL, обе главы в RL рекомендую прочитать (речь про теоретическую разработку и применение RL). Прочитав сборник о предиктивке и СПР, расстроился глубине и объему материала
• Мне не хватило количественных оценок, статистики
• Иногда не совсем понятна степень распространенности технологии именно в промышленной эксплуатации, интересно было бы разделять информацию на продакшн и исследовательские истории (хотя понимаю, что провести такой анализ - это большая и сложная работа)
• На мой взгляд промышленность имеет свои особенности, например, данные, инфобез, интеграция, которые можно было бы затронуть или раскрыть подробнее
• Еще одной особенностью промышленности является большая история работы с моделями (физическими), с данными и наличие традиционных теорий (управления, надежности), которые оченб часто применяются в связке с ML. Об этом было бы интересно почитать
• Очень мало информации о задаче управления процессом, как в режиме советчика, так и в режиме автоматического управления (apc)
• Можно было бы дополнить информацией об эффектах при решении задач, а также о тестировании решений в промышленности (пилотные испытания, а/б тесты со своими особенностями)

🗣Анонс выступления

Что?
Доклад "Что не так с открытыми промышленными данными?"

Когда?
3 июля 2024 в 16:00 по мск

Где?
Онлайн конференция DataStart

О чем?
Уже не первый и даже не второй раз выступлю на конференции Datastart — приходите послушать. Доклад кажется похожим на ранее рассказанный на Datafest'е, но отличия будут! Хочу подробнее остановиться на проблемах датасетов с конкретными примерами из моей любимой области — поиска аномалий во временных рядах. Так что регистрируйтесь и приходите послушать! 🙂

P.S. Похоже, компенсирую недостаток постов в последнее время докладами на конференциях 🤹

🚩Обнаружение фрода и мошенничества. ч.2

Пара дополнений к посту про обнаружение фрода. Наткнулся, когда разбирал старые ссылки.

Как я всегда говорю, практика — лучший способ погрузиться в ML и чему-то научиться. А если нужна практика, то стоит вспомнить про kaggle. Так вот, на kaggle проводилось несколько соревнований по банковскому фроду *⃣
Делюсь обзорным постом с материалами по фроду. Решения победителей, сами соревнования и еще пара полезных ссылок.

Еще одна ссылка — это подробнейший гайд по решению соревнования IEEE-CIS Fraud Detection от топ-1 #️⃣
Гайд довольно общий и масштабируется на любые DS соревнования.

🗣Конференции и секции с кейсами применения ML в промышленности. Часть 2
Дополняю свой пост про конференции.

• Уже ежегодный трек ML в промышленности на Datafest'е 2024 доступен по ссылке.

• Доклады по данной теме часто встречал на конференциях от Ontico (TeamLeadConf, HighLoad). В прошлом году коллеги организовывали byteoilconf.ru (помечаем как отраслевую в нефтегазе), видео с нее доступны на ютуб канале, а с этого года появилась industrialconf.ru. За этой конференцией буду следить не только со стороны, но и изнутри, так как являюсь членом программного комитета. 🤓

• Кроме industrialconf встретить отдельные доклады про ML в промышленности можно и на TeamLeadConf, и на HighLoad, и на aiconf.ru. Я тоже на одной из них обязательно выступлю, но пока не совпадает расписание.

Появляются новые большие конференции, значит растет интерес к теме, а это не может не радовать❗️

🤏Оценка схожести временных рядов

Я ранее рассказывал о библиотеках для решения задач кластеризации и классификации временных рядов. Но что, если нам хочется решить задачу, не применяя эти библиотеки?

🔘Один из подходов: при наличии возможности агрегировать временные ряды и решать задачу как классическую, на табличных данных. Писал о таком примере здесь.

🔘Другой вариант: считать расстояние (меру близости) между временными рядами и кластеризовать/классифицировать их на основе этого расстояния. Делюсь репозиторием, где очень просто и наглядно показано, как считать расстояние (Евклидово и DTW) и как решать на их основе задачу классификации (kNN) и кластеризации (k-means). Для матриц (многомерных временных рядов) можно посчитать норму Фробениуса или другие меры близости.

Еще эти меры близости можно использовать для оценки качества генерации и аугментации временных рядов, о чем упоминал здесь.

❓А как, думаете, классификация/кластеризация временных рядов в этих библиотеках работает "под капотом"?

🗃 Библиотеки для работы с временными рядами

Сделал удобную и наглядную визуализацию к этому посту.

Reinforcement learning в промышленности

Нефтегазовая отрасль и энергетика готовы к RL (но успешных кейсов почти нет)

писал я в этом посте, дополняя информацию из Альманаха ИИ №7. В комментариях как раз возникла дискуссия на тему RL.

Я для вас с новым кейсом. В посте (и Альманахе) пример применения RL в бурении приводится на основе компании Shell, но вот появился доклад, как этой темой занимаются в Газпроме. Эффектов и других бизнес показателей нет, потому что, судя по всему, проект в виде НИРа, и про внедрение речь не идет. Зато есть детали по самим алгоритмам и техническим результатам. Отличное дополнение к кейсам из поста, но еще одно доказательство, что пока само внедрение затруднено или ограничено. Некоторые кейсы RL в Российской промышленности — фактически НИРы без внедрения. Скучно становится DSам в промышленности, понимаю.🧐 Хотя, может, вы поправите меня в комментариях?

Ну а для погружения в RL и доклад можете посмотреть, и Альманах почитать. 👨‍💻

🏛 Машинное обучение (ML) в инженерных приложениях: кейс применения

В докладе представлен наглядный пример создания ML-модели для апроксимации физической модели. Этот кейс скорее игрушечный, но он отлично подходит для вкатывания в тему и дополняет мой прошлый пост про ML в инженерных приложениях.

Для лучшего понимания того, где может быть применено машинное обучение для апроксимации, можно посмотреть научпоп лекцию Дмитрия Фомичева про мат моделирование. 🤓