Однажды я согласился ответить на вопросы для студенческой статьи. Вопросов было несколько, на каждый я подробно ответил, получилось 2 страницы и пара часов потраченного времени. Из двух страниц в итоговую версию статьи взяли 3 предложения (даже не самых интересных) 😪. Статья дает введение в ИИ, но на мой взгляд для введения в ИИ лучше статьи вастрика еще не придумали. Можете сравнить сами. Теперь мне ничего не остается, кроме как опубликовать мои ответы в канале (не пропадать же), наслаждайтесь. Версия ответов слегка скорректирована для аудитории канала (меньше общих слов, воды и маркетинга).

Вопрос: Как используете искусственный интеллект (если используете) в своей деятельности?
Основным ядром внедряемых нами технологий является машинное обучение и смежные технологии, такие как математическое и физическое моделирование. С их помощью мы создали алгоритмы, которые управляют производственным процессом.

Например, наши алгоритмы на основе машинного зрения анализируют пену в процессе флотации. Они определяют, какие реагенты необходимо добавить, чтобы скорректировать пеносъем, процесс флотирования и извлечь больше металла. Это позволяет не только повысить эффективность технологического процесса, но и значительно увеличить доходы клиентов (всё по итогам A/B тестов, оцениваемых фабриками).

Как вы улучшили свою работу с использованием этих технологий?
Мы стремимся увеличить прибыль наших клиентов, улучшая эффективность их производственных процессов. Рассмотрим, как это работает на примере процесса флотации, используемого для обогащения полезных ископаемых.

Флотация требует точного управления несколькими параметрами: расходом воздуха, уровнем пульпы во флотомашине и расходом реагентов (иногда набор параметров отличается, но этот - наиболее частый). Обычно в процессе задействованы десятки флотомашин, но операторов/флотаторов, следящих за процессом, немного (обычно 1-3). Невозможно одновременно контролировать все флотомашины и сотни параметров. К тому же, каждый оператор руководствуется собственным опытом, что вносит субъективность в управление.
Наконец, традиционно управление процессом носит дискретный характер: оператор задаёт параметры и ожидает реакции системы, после чего может корректировать настройки. Возмущающие воздействия ступенчатые и обычно довольно значительные для системы, а точку (или хотя бы диапазон) оптимума можно искать довольно долго.

Чтобы помочь операторам, мы внедряем решение, которое позволяет перейти к непрерывному контролю и управлению процессом. Начинаем с автоматизации управления, воспроизводя логику операторов с помощью экспертных правил. Уже на этом этапе получается добиться эффекта и улучшить показатели на флотации. Затем переходим к более продвинутым методам, используя машинное обучение и гибридное моделирование для непрерывного управления процессом. Это позволяет поддерживать процесс в оптимальном состоянии, предотвращая его отклонения.

С помощью алгоритмов машинного обучения и гибридного моделирования мы также можем прогнозировать поведение системы и управлять процессом на опережение. Именно эти модели в наших решениях как правило приводят к наибольшим эффектам.

Каких показателей достигли?
Мы внедрили более 10 решений по автоматическому управлению на нескольких горно-обогатительных фабриках. Они управляют производством 24/7 в автоматическом режиме (почти все) и режиме советчика (пара решений).

Один из проектов, принесший компании победу в конкурсе проектов цифровизации горной отрасли «Горная индустрия 4.0», был направлен на оптимизацию процесса измельчения на Быстринском ГОКе с использованием технологий машинного обучения. Решение позволяет подбирать оптимальные параметры для измельчения с учетом вариативности входящей руды, тем самым повышая показатели среднечасовой переработки мельницы и снижая расход электроэнергии.
По результатам проекта удалось снизить вариативность техпроцесса на 50%, повысить энергоэффективность измельчения на 1,5% и увеличить переработку всего предприятия на 2,9%.

📎Этот пост еще отлично дополнит презентация Артема Пенкина на Industrial++.

Я уже писал про библиотеку TSAD (Time Series Analysis for Simulation of Technological Processes) в канале, но отстраненно, как автор канала. Дам пару комментариев как соавтор и один из контрибьюторов проекта.

· Проект начинался как time series anomaly detection (поэтому TSAD), но потом разросся до time series analysis for diagnostics, и, наконец, решили не ограничиваться диагностикой, а пойти во все задачи промышленности (прогнозирование, оптимизация)
· Идея появилась, потому что просто не было open-source промышленных библиотек, а проблемы с предварительной обработкой данных, EDA, оценкой алгоритмов были
· Текущая цель библиотеки — сделать набор пайплайнов для AutoML в промышленности
· Функционала не достает, но есть несколько супер полезных функций/модулей, уже хорошо проработанных и реализованных:
1️⃣наборы данных для разных задач промышленности (RUL, CPD, outlier detection и др.)
2️⃣проработанная архитектура пайплайнов (самих пайплайнов бы побольше), что позволяет контрибьютить и разрабатывать сами пайплайны решения задач
3️⃣реализованные сложные метрики оценки типа NAB scoring algorithm, вот описание в документации. Их уже несколько лет активно используем в своих реальных проектах

Можно выдергивать и пользоваться этим функционалом в своих проектах.

KAN-AD: Time Series Anomaly Detection with Kolmogorov–Arnold Networks
Увидел у Валерия репост статьи про KAN-AD, стало интересно разобраться. Заявляется как новая SOTA в поиска аномалий во временных рядах, а у меня вообще-то тема недописанной диссертации звучит очень похоже. Суть метода на картинке к посту, в двух словах: раскладываем каждый шаг скользящего окна ряда на одномерные функции (Фурье и другие), подбираем к ним коэффициенты и собираем это все через 1-d conv и полносвязный слой в следующую точку прогноза и скор аномальности.

На мой взгляд, главное преимущество метода в том, что обучать нормальному режиму можно на данных с аномалиями, так как при разложении все аномалии сглаживаются и мы "выучиваем" только нормальные паттерны. То есть не надо чистить датасет, метод не обучается аномалиям.

Какие еще преимущества?
🟢Чем больше данных с аномалиями в обучающей выборке, тем больше отрыв в метриках у KAN-AD по сравнению с аналогами.
🟢Быстрый инференс из-за небольшого числа параметров и операций.
🟢Как будто не сильно зависит от выбора функций, на которые раскладывается каждое окно ряда.
🟢Метод для поиска аномалий в общем случае. В статье показаны результаты для задачи бинарной классификации, но он легко масштабируется на задачу changepoint detection.

Что смущает?
🔴Работает на одномерных временных рядах, то есть в промышленности малоприменим. Ждем масштабирования на многомерный случай?
🔴Датасеты как обычно (KPI, TODS, WSD, UCR). Я бы посмотрел на реальных данных
🔴3 гиперпараметра: размер окна, число функций разложения и граница аномальности. Так что валидационный сет (с разметкой) все равно нужен, чтобы их подобрать (хотя заявляется, что некоторые отклонения от лучших параметров не сильно портят качество). Хотя от этого подбора почти никогда не уйти, иногда достаточно подобрать только границу аномальности. Кстати, риторический вопрос: тюнили ли гиперпараметры сравниваемых с KAN-AD методов?

Распознавание дефектов изоляторов линий электропередач. Часть 2
Часть 1 (CV)

В комментариях к прошлому посту возникла дискуссия, и были предложениы разные методы решения задач, а также связанные задачи. Вот еще один вариант постановки и решения задачи (уже без CV): через детекцию и классификацию частичных разрядов (ЧР) по высокочастотным данным напряжения.

🔴Более подробная постановка задачи в соревновании на kaggle. Там же данные, полезная информация в разделе discussion и примеры кода. Утверждается, что данные реальные, поэтому есть типичные проблемы типа зашумленности.
🔴Статья от авторов соревнования, где и постановка подробнее, и много деталей, и их варианты решения задачи.

Файл статьи в комментариях👇

Поздравляю всех с Новым годом!✨✨✨

Пора подбить важные статистические показатели для канала:

💪За последний год канал почти сделал x2 по подписчикам

😋Написано 70+ содержательных постов, несмотря на пару периодов засухи из-за высокой занятости

🗣В топе по популярности образовательный контент, а самый популярный пост — моя лекция для студентов НГУ

Всех благодарю за вклад! Stay tuned again

🔎Где искать датасеты?
В посте раскрою одноименный пункт своего доклада на Datafest'е 2024 "Открытые промышленные данные: зачем нужны, почему так мало и где брать?" и поделюсь конкретными примерами.

В докладе подробно рассказал, зачем нужны открытые датасеты и какие проблемы есть с существующими промышленными данными. А вот подробная инструкция, где и как искать датасеты:

🔘Kaggle. Можно искать в соревнованиях, можно искать в разделе "Datasets" по ключевым словам, категориям и тд. Подходят и другие площадки для соревнований, типа drivendata.org.

🔘Специализированные сайты под исследования с ML, типа https://paperswithcode.com и https://huggingface.co/. Хотя промышленных данных я там не встречал, но вот датасетов с временными рядами там немало.

🔘Научные статьи/секции на конференциях/сайты научных групп и институтов. Примеры:
· Сайт группы
· Репозиторий института
· Обзорная статья про поиск аномалий в сетевом трафике
· Статья с последнего NIPS'а
· Сайт проекта timeseriesclassification.com

🔘Обзорные Github репозитории. Вот сразу 4 репозитория с датасетами в промышленности или около:
· Awesome Public Industrial Datasets
· Awesome TS anomaly detection
· Industrial ML Datasets
· Public industrial datasets and benchmarks
А еще я создал на гитхабе на основе своих лайков отдельную папку с датасетами.

🔘datasetsearch.research.google. Специализированный поисковый ресурс, выступает как агрегатор.

🔘Хакатоны. Неоднократно от коллег слышал, что на хакатоны ходят для получения новых или особенно интересных/уникальных данных (да я и сам так делал).

🔘Соревнования на конференциях. Все мы знаем соревнования от AIJourney или NIPS. Редко бывает по теме промышленности, но вот, например, ежегодное соревнование от phm сообщества в рамках конференции. Уже лет 10 проводят соревнования и публикуют данные.

🔘Работа в промышленности. Самый легкий и эффективный способ. Но не факт, что получится использовать внутренние данные компании где-то на стороне, хотя для дипломов/диссертаций/статьей использовать обычно можно.

🔘Блоги, сайты, гитхаб компаний-лидеров, авторов из отрасли:
· Вот пример с датасетами от блогера в нефтегазе.
· Еще один пример — большое число датасетов от компании NASA.
· Да и мой блог — тоже неплохой пример🙂.

Конечно, я как всегда буду рад вашим рекомендациям — добавлю в подборку.

ИИ в промышленности по данным разных аналитических отчетов. Часть 8
Части 1, 2.1, 2.2, 3, 4, 5, 6, 7

На картинке обновленная карта (доступна по ссылке) компаний из 1го поста серии.

Продолжает удивлять критерии выбора для карты компаний, работающих в ИИ.
🔴я думал, что ИТ/digital дочки не учитываются, но S7 ТехЛаб есть, тогда северсталь диджитал, сибур диджитал, ЦТиП, Цифрум и другие стоит добавить
🔴в области ИИ остается Mechanica.ai (я нашел ее даже в 2х категориях), которая пару лет уже не функционирует, зато нет белки диджитал
🔴как я вижу, компании между "областями" повторяются, что логично, тогда много компаний можно из соседних областей добавить в промышленность: rubbles, redmadrobot и др.
🔴зато добавили Конандрум, которая с этого года сменила бренд на Рокет контрол. Если разработчики карты меня читают (не случайно же конандрум добавили после моих жалоб в прошый раз) - пишите, помогу с промышленными компаниями
🔴я бы еще добавил ВУЗы, хотя не совсем понятно, как это делать, они как правило не фокусируются на каком-то направлении, добавлять в каждую категорию?

В дополнение рекомендую проглядеть недавно вышедший аналитический сборник №13 альманаха ИИ, хоть отчет и за/по 2023 год. Файл в комментариях 👇

13 разгневанных лидеров: честно о командах и технологиях

Я неоднократно говорил о важности расширения кругозора как в промышленности/DS, так и в ИТ технологиях в целом. Поэтому делюсь папкой с классными авторскими каналами экспертов IT: https://news.1rj.ru/str/addlist/pAgKOs7Te-w5MDgy

Здесь 13 человек, которые строят технологии, руководят командами, двигают бизнесы, и интересно об этом рассказывают.

В составе: CTO, разработчики, DS, продакты, стартаперы и люди, которые знают, как сделать так, чтобы все эти красивые слова работали.

И всё это — в одной папке. 😮Спасибо Паше Дурову Телеграму за возможность создать себе правильное окружение одним кликом.

Подписывайтесь и добро пожаловать в клуб!

📹Сегментация грязи на камерах

Задача актуальная на производствах из-за пыли, капель от техпроцесса или даже от мытья/обработки оборудования цеха. Загрязнение влияет на качество моделей машинного обучения и может ухудшать управление производственным процессом. Чтобы решать проблемы, на камерах могут ставить стеклоочистители или умыватели, но наиболее простым способом является ручная протирка камер. Для запуска процесса очистки и нужны "детекторы грязи".🧹

Делюсь полезным материалом для начинающих специалистов с решением задачи для флотации на основе сегментации и Unet.

Добавлю, что задача может решаться и как детекция. А наиболее простым, но вычислительно эффективным способом (часто вылезают ограничения на вычислительные мощности) решения является сборка "детектора грязи" на основе фичей из основной модели, типа трекинга пузырьков.

Я и сам недавно участвовал в решении такой задачи на реальном производстве. Возможно, по итогам выйдет интересная научная статья.

🫧Машинное обучение для флотации

Дополню отчет из этого поста кейсами по флотации: все-таки очень популярный кейс, неплохо решаемый с помощью ML и data-based подходами.

DS/ML задач на флотации может быть сразу несколько:
🔘Оптимизация процесса, включая советчики и автоматическое управление
🔘CV для выделения параметров пеносъема (детекция и трекинг)
🔘Прогнозирование технологических показателей, например, качеств концентратов и хвостов (обычно они доступны раз в 10-60 минут, а лабораторные данные 2-3 раза в сутки)
🔘Корректировка показателей курьеров (РФА-анализаторов)
На самом деле, формулировок задач может быть много. Например, на недавнем хакатоне норникеля были такие: "поиск наиболее эффективных диапазонов управления" или "детектирование загрязнение камер".

Некоторые мысли по задаче оптимального управления флотацией:
🟢Именно эта задача из перечисленных выше дает наибольший эффект на извлечение (именно это является целью на флотации).
🟢Эффекты могут достигаться за счет стабилизации и наращивания потоков; поиска оптимального баланса между операциями; более оперативной отработки критических ситуаций; более частого и плавного (постоянное нахождение в оптимальной зоне) управления.
🟢Для решения задачи необходимо хорошее оснащение фабрики (расходомеры, курьеры, датчики пеносъема), а вот камеры и CV совсем не обязательны (хотя и могут заменить отсутствующие датчики или дать доп эффект)
🟢Алгоритмы управления флотацией могут быть как в виде советчика, так и в режиме автоматического управления (закрытый контур). Хотя советчик, по моему мнению, работает хуже, а иногда не работает (=не дает эффект) или не приживается совсем.
🟢Замену флотаторов/операторов сделать сложно, хотя и не невозможно, то есть достичь аптайма в 100% надо постараться (долго и дорого), потому что на флотации большое число нештатных ситуаций.
🟢Я видел несколько заявлений о достижении эффекта в 2%+ на извлечении в маркетинговых презентациях, но на более-менее современных фабриках это практически недостижимый эффект (хотя посчитать можно по-разному).

Примеры решения задачи, а также мой опыт и опыт коллег:
🔴Трекинг множества объектов без разметки или как следить за пузырьками во время пенной флотации. Алексей Клоков [habr], [paper]
🔴Мониторинг на флотации. Скорая оптимизационная помощь. Иван Запорожцев [youtube]
🔴Машинное обучение для оптимизации флотации. Юрий Кацер [youtube] + бонусом научная статья по нашему решению на еще одной фабрике (пишите в комментах, если нужен файл статьи).

Еще недавно узнал про флотацию и классификацию в нефтянке (очищают техническую воду от примесей).

ПС Планирую в течение пары месяцев написать большой пост про управлению флотацией на хабр, stay tuned.

📊 Когда 8 лет занимаешься временными рядами...

Позаимствовано у Jakub Figura из linkedin

Как стать лидом и быть эффективным. Часть 2.1
Часть 1

Делюсь бесценным материалом моего коллеги — Виктора Коренного. Поможет примерить на себя роль тимлида (на проектной деятельности в промышленности), если вы только планируете им стать. Далее исходный текст.

Главная ответственность тим-лида — отвечает за результат проекта, т.е. за эффект.

Что важно для идеального тим-лида:
1️⃣Фокус на результат. Самое главное — правильная расстановка приоритетов. Всегда хочется позаниматься чем-то простым и приятным, но здесь нужно решать сложные задачи, а именно — искать пути достижения эффекта.

Чтобы решать такие задачи, нужно очень сильно хотеть выиграть. Здесь не сработает никакая другая мотивация. Нужно быть лидером, проявлять инициативу, брать на себя ответственность, не сдаваться и не отступать после первых неудач. В таком деле они неизбежны.

2️⃣В любое время дня и ночи тим-лид должен иметь ответы на следующие вопросы:
• Дает ли решение эффект?
• За счет чего достигается эффект?
• Какие гипотезы в работе для повышения эффекта?
• Какие гипотезы будут в работе в ближайшие 2 недели для повышения эффекта?
• Что еще можно попробовать?

Тим-лид должен иметь четкое видение образа результата работы логики алгоритма:
• Целевое состояние системы
• Критерии оценки отклонения текущего состояния от целевого
• Недостающие измерения
• Чем их можно компенсировать / чем можно пренебречь
• Работает ли фабрика на это целевое состояние. Если нет, в каких точках. Эти точки (как технологические, так и организационные) и есть потенциальный источник эффекта.

3️⃣Из всего, описанного выше, заметно, что тим-лид одновременно выполняет множество задач. Соответственно, на написание непосредственно кода у него остается не так много времени, как у менее сеньорных ребят. Но лид должен понимать кодовую базу, уметь ставить задачи и контролировать результат, при необходимости сам писать код.

4️⃣В организации работы должна быть плотная связка тим-лид — РМ (project manager). Тим-лид должен быть главным заказчиком для РМа в части ресурсов. Например:
• Мне нужно, чтобы все DSы выехали на площадку на месяц и не вылезали оттуда, пока не будет достигнут эффект.
• Мне нужно, чтобы с фабрики нам передали такие-то данные для анализа или отдали нам такое-то управление или чтобы операторы не вмешивались в такие-то управления.

5️⃣Запрос на ресурсы нужно формулировать от результата: нам не хватает таких-то датчиков / управлений. Сейчас мы из-за этого теряем эффект. Вот примеры: 1, 2, 3. Если эти датчики / управления будут у нас, будет лучше, потому что… 1, 2, 3.

ОБЯЗАТЕЛЬНО: после того, как фабрика выполнит наше пожелание, показать к чему это привело. Сработала ли наша гипотеза. Поблагодарить фабрику.

Вообще любые запросы нужно формировать с конкретными цифрами. Например, если мы хотим, чтобы нам разрешили отклоняться от текущего регламента:
• на сколько максимально мы можем отклониться
• на какой период времени
• по какому критерию можно понять, что это отклонение не оказывает негативного влияния на технологический процесс. Допустимые границы значений этого критерия.
• в какой ситуации оператор может вмешаться, в какой не должен вмешиваться
• какие еще действия требуются от оператора (например, какие регуляторы должны быть в автомате)
• на какой срок проводим эксперимент
• по какому критерию будем мерить эффект от эксперимента
И далее, если эксперимент был удачным, просить поменять регламент.

Продолжение в следующем посте👇

Как стать лидом и быть эффективным. Часть 2.2
Часть 1, часть 2.1

6️⃣Очень важно общение с фабрикой. Абсолютна недопустима ситуация, когда на фабрике никто не знает тим-лида.

7️⃣Лид должен организовать работу так, чтобы во время запусков не было необходимости постоянно мониторить работу решения и вручную вмешиваться в процесс. Для этого необходимо подготовить ряд аналитических инструментов, которые позволяют:
• Отслеживать общие метрики работы решения, направлять уведомления, если они выходят за допустимые границы
• Отслеживать промежуточные метрики работы решения, которые свидетельствуют о том, что в процессе есть проблемы, которые через некоторое время скажутся на показателях. Направлять уведомления, если промежуточные метрики выходят за допустимые границы.
• Определять последствия вмешательства алгоритма. Определять, привело ли вмешательство к ожидаемому эффекту или нет. Аналогично по нашим ручным вмешательствам в процесс.
• Определять необычные ситуации на процессе, при которых действия алгоритма не дают ожидаемого эффекта. Искать, как можно эти ситуации отличить по входящим параметрам.
• Проводить регулярную аналитику по прошедшему запуску, отслеживать, какие были проблемные моменты, когда алгоритм отработал хуже, чем ожидалось.
• Проводить аналитику по вмешательствам операторов. Определять влияние вмешательств на показатели процесса. Автоматически находить моменты, когда управление оператора отличалось от наших правил, при этом дало положительный результат.
• На основании статистики за длительный период определять, какие типичные вмешательства операторов не дают ожидаемого эффекта, чтобы на основании этого сформировать правила по узлам, в которые операторы могут / не могут вмешиваться.

Необходимо обучить команду работе с этими инструментами, поставить эту работу “на поток”, чтобы она проходила без участия лида.

8️⃣Важно взаимодействие с собственной командой:
• Иметь понимание на старте, сколько людей нужно и с какими компетенциями
• Если по ходу проекта оценка изменилась, делать запросы на новых людей, добиваться того, чтобы их дали, подключать РМа
• Не бояться расставаться с людьми, которые не приносят пользу проекту
• В каждый момент времени понимать, чем занят каждый член команды
• Четко понимать приоритеты, не давать людям уходить в рутинные задачи, когда важные задачи не сделаны
• Понимать сильные и слабые стороны каждого

9️⃣Также у лида должно быть четкое представление, как он собирается передавать решение на поддержку:
• Как сделать так, чтобы за решением не нужно было постоянно наблюдать и вмешиваться вручную, чтобы не терять эффект
• Какие управления мы передаем оператору, в какие запрещаем оператору вмешиваться, по какому принципу устроено это разделение
• Какие метрики эффекта от решения, как их можно автоматически считать
• Как понять, что повлияло на эти метрики
• Какие действия требуются от команды поддержки, чтобы передать решение на поддержку

❓Ну как вам? согласны/не согласны?

Экосистема для разработки и применения Computer Vision (CV) в промышленности

Выпустили с коллегами длиннопост на хабр о том, как мы "варим" (отсылка к процессу флотации) CV в промышленности. Но речь не про CV модели и решение бизнес-задач, а про процесс разработки решений с CV в промышленности, обычно скрытый от глаз. На мой взгляд про это гораздо меньше публичной информации, а зря. Хотя и объяснимо с учетом не самого высокого уровня зрелости ML команд в промышленности.

Запасаюсь попкорном и жду комментарии на хабре🙂

🗣Туториал: как готовиться и выступать на конференции

Отличный перевод отличной статьи про подготовку докладов на конференции. Обязательно к прочтению неопытным спикерам или тем, кто хочет начать выступать.

Мне очень симпатичен подход, описанный в статье, хоть он и отличается от моего. Очень системно, выверенно, фундаментально, осмысленно — все, как я люблю, но не делаю. У меня так получается только с лонгридами на хабр. Например, несколько раз было такое, что до выступления остается 20 минут, а я доделываю слайды, после чего обещаю себе, что в следующий раз...🤤 Радует, что со временем я стал готовиться лучше и больше, но все равно недостаточно.

Что еще отмечу:
• Опыт выступлений неплохо компенсирует подготовку, что неоднократно меня выручало.
• Темы докладов у меня живут в голове по полгода минимум. Да и уже накопился бэклог тем, так что зовите на конференции
• В отличие от автора статьи слайды я осознанно делаю полезными автономно, чтобы и без просмотра видео (иногда недоступного) была польза.
• Даже российские топовые конференции требуют значительный уровень подготовки и проработки доклада. Например, иногда консультируют профессиональные ораторы, проводятся пара прогонов финальной версии доклада, а работа по докладу начинается больше, чем за полгода.