⚡️Данные с силовых трансформаторов (поиск аномалий и остаточный ресурс)

Да-да, дождались, новая порция открытых промышленных данных! Датасет для решения сразу 3х задач диагностики:
1️⃣Поиск поломок (можно решать как бинарную классификацию)
2️⃣Выход на диагноз (многоклассовая классификация)
3️⃣Прогноз остаточного ресурса (регрессия)
Первые 2 объединяют в термин Fault Detection and Diagnosis (FDD), последнюю обозначают термином Remaining Useful Life (RUL).

Постановка описанных задач возможна, так как в датасете по сути 2 разметки:
🟡Лейблы с различными типами аномалий (multiclass)
🟣Лейблы с остаточным ресурсом

Набор данных и описание выложены на каггле, можно цитировать:

Iurii Katser. (2024). Power Transformers FDD and RUL [Data set]. Kaggle. https://doi.org/10.34740/KAGGLE/DSV/9296666

Набор данных состоит из 3000 отдельных таблиц, каждая из которых представляет собой характеристику состояния отдельного трансформатора. Таблица содержит 4 колонки-признака, это содержания газов в трансформаторном масле. Таблицы имеют длину 420 строк, каждая из которых является отдельным измерением концентраций с периодом между замерами — 12 часов.

Задачи поиска и классификации аномалий (FDD)
Разметка представляет собой отдельный файл с классами, то есть каждой таблице соответствует 1 лейбл (1 число) класса:
1 — Нормальный режим
2 — Частичный разряд: локальный пробой диэлектрика в газонаполненных полостях;
3 — Низкоэнергетический разряд: искрение или дуговые разряды при плохом контакте элементов конструкции с разным или плавающим потенциалом; разряды между элементами конструкции сердечника ИП, отводами обмотки ВН и баком, обмоткой ВН и заземлением; выделения в масле при переключении контактов;
4 — Низкотемпературный перегрев: нарушение потока масла в каналах охлаждения обмоток, магнитная система, что приводит к низкой эффективности системы охлаждения при температурах < 300 °С.

Данные использовались для решения задачи поиска аномалий в этой статье, писал про это в канале (раз, два, три).

Задача оценки остаточного ресурса (RUL)
Здесь каждой таблице соответствует 1 число — остаточный ресурс трансформатора на момент окончания данных в таблице в виде количества точек.

Очень подробно данные и задача рассмотрены здесь (+ пост в канале).

В одном посте на английском языке собрал основные задачи на временных рядах и библиотеки для автоматизации их решения. При этом слегка обновил опубликованную в канале версию документа.

Кстати, все материалы на английском и часть материалов на русском собираю в линкедине, который на удивление является наиболее эффективным инструментом поиска работы/кадров. Абсолютное большинство предложений о работе в последние пару лет пришло ко мне через линкедин, так что не стоит пренебрегать этой соцсетью. И это я про российский рынок труда 🧐. А еще на линкедине я с удовольствием читаю пару интереснейших блогов про временные ряды и промышленность, так что это теперь для меня еще и источник полезной информации. Может и я начну делать там блог, если телеграм когда-то умрет (ч.1, ч.2 верим?)

PS Добавляйтесь в друзья 🙂

Гибридное моделирование
глушения скважин в
условиях АНПД

Кейс применения гибридного моделирования в нефтегазовой отрасли. Проект еще не закончен, по окончании поделюсь финальными результатами.

О докладе: в докладе сотрудники ПИШ НГУ и НОЦ Газпром нефть НГУ Степан Кармушин и Антон Кожухов рассказали о результатах, которых им с командой удалось достичь в рамках решения вызова, связанного с повышением эффективности глушения скважин в сложных геолого-технологических условий. Их решение — гибридное моделирование процесса, объединяющее в себе методы машинного обучения с классическими методами физико-математического моделирования. Разработка ведется в интересах индустриального партнера ПИШ НГУ – компании «Газпром нефть».

Пара полезных научных статей по теме в комментариях👇

ИИ в промышленности по данным разных аналитических отчетов. Часть 6
Части 1, 2.1, 2.2, 3, 4, 5

🗺Карта цифровизации промышленности от TAdviser. Не ИИ, но тоже интересно. Кстати, перекликается с картой из первого поста цикла.

Карта тоже не без недостатков: Рокет Контрол даже пару отраслевых премий выиграла (раз, два), но в списке не появилась. К тому же странно видеть только некоторых заказчиков, занимающихся цифровизацией (Северсталь, дивизионы Росатома), ведь гораздо больше промышленных компаний имеют свои отделы инноваций/цифровизации. А если речь про то, что они продукты на рынок цифровизации делают, то тогда и Гринатома не хватает и НЛМК свою платформу на рынке предлагала.

Хотя в итоге как всегда познавательно!🙂

Open-source наработки в промышленности

Одна из мер поддержки опен-сорса в РФ, упомянутая отчете из этого поста, это гранты Код-ИИ. Я и сам участвовал в проекте, получившем такой грант. В этом посте поделюсь парой проектов, получивших грант и относящихся к промышленности.

1️⃣ CVFlow (13 звезд, последний коммит 4 месяца назад) — открытая библиотека CV для промышленности
Github | Youtube

Решает следующие задачи:
🔘Определение положения объектов в пространстве и расстояния между ними
🔘Поиск дефектов и прочих образований на материале
🔘Распознавание номера автомобилей
🔘Распознавание номера вагона поезда
🔘Распознавание QR и штрихкодов
🔘Классификация транспортных средств
🔘Гранулометрия, распознавание размеров однородных объектов
🔘Определения скорости объектов по видеопотоку

Из реально интересных задач: гранулометрия и поиск дефектов на материале.

Из преимуществ: доступны веса предобученных моделей, хотя нет доступных данных.

2️⃣ TSAD — Time Series Analysis for Simulation of Technological Processes (39 звезд, последний коммит 5 месяцев назад) — python библиотека для решения ML задач в промышленности
Github | Youtube

Решает следующие задачи:
🔘Прогнозирование временных рядов
🔘Поиск аномалий
🔘Автоматизированный разведочный анализ данных
🔘Предварительная обработка данных
🔘Визуализация результатов
🔘Оценки качества решения задач, включая специфичные задачи типа changepoint detection

Из преимуществ: неплохая документация, доступны данные, упор на работу с промышленными данными и решение задач PHM (Prognostics and Health Management)

Общий недостаток обеих библиотек: недостаточность функционала и недоработанность кода/подходов. Зато у каждого есть шанс поучаствовать и улучшить библиотеки

Привет, друзья! 👋

Приглашаю вас на конференцию Industrial++, которая пройдет 21-22 октября в Москве! Уже упоминал, что я член программного комитета и приложил руку к созданию программы и отбору докладов, чтобы сделать это событие максимально полезным и интересным для всех участников. Для меня интересный опыт побывать с другой стороны, не в качестве докладчика. Здесь вас ждут реальные кейсы и проверенные решения, которые помогают компаниям справляться с разными вызовами, включая импортозамещение. 💻

В программе — 56 докладов, панельные дискуссии и выставка с новейшими разработками. Это отличная возможность узнать, как компании внедряют российские и open source решения, и обменяться опытом с коллегами.
А после первого дня нас ждет афтепати! 🎉

Но я не просто так пишу: промокод YKatser даёт 7% скидки на участие онлайн и офлайн — для физлиц и юрлиц. Самое время успеть купить билеты со скидкой!

До встречи на Industrial++!
https://industrialconf.ru/2024/

📰Чтиво на выходные: что-то помимо машинного обучения в промышленности

Поделюсь тремя статьями, которые прочитал за последнее время:
🔘How to Give Away a Fortune — статья о том, как девушка решила раздать свое наследство в рамках борьбы с нечестным распределением богатства в Австрии. Собрала даже для этого комитет из людей из разных слоев населения (и потратила на организацию процесса кучу денег). Неоднозначное решение и ее аргументация, равнодушным оставить не должно.
🔘Book Review: Elon Musk — обзор старой биографии от Ashlee Vance. В комментариях говорят, что даже лучше самой книги (но это я проверю за вас — книга ждёт своего часа на полочке). Автор отвечает на свои вопросы цитатами из книги и пытается понять, как Маск добивается успеха, принимая так много плохих решений? Тоже много неоднозначного, но в этом весь Маск.
🔘Can AI Deliver Fully Automated Factories — авторы из BCG настаивают, что несмотря на ряд неудач и пессимизм в создании полностью автономных фабрик, это возможно, и этим нужно заниматься. На примере клиента авторы делятся сложностями и советами, как начать делать подобный процесс. На мой взгляд, слегка поверхностно, мне лично хотелось бы поглубже в технику.

Буду периодически на выходных делиться интересными мне темами вне основных направлений канала. 🤓

Байесовские методы в обнаружении точек изменений состояния (changepoint detection)

Согласно определению, поиск точек изменений состояния (changepoint detection) — это метод определения моментов времени, когда распределение вероятностей временного ряда изменяется. В этом посте рассматриваются байесовские методы, предназначенные для решения задачи. Данный подход представляет собой вероятностный метод, который позволяет построить распределение вероятностей нахождения точек изменения в данных, опираясь на априорные знания об этих событиях. Реализация в коде на GitHub по ссылке.

Идея подхода заключается в предположении, что части временного ряда, разбитые точками изменений на непересекающиеся части, состоят из независимых и одинаково распределенных случайных величин. Другими словами, точки изменений являются границами для данных из распределений с разными параметрами.
Если вы знакомы с байесовской статистикой, вы знаете, что построение любой байесовской модели в основном состоит из трех распределений. Априорное распределение h(θ) отражает наши предварительные знания о задаче. Функция правдоподобия f(x|θ) отражает полученные данные и участвует в вычислении апостериорного распределения вероятностей. И апостериорное распределение h(θ|x), которое нас интересует. Суть алгоритма байесовского метода заключается в итеративном обновлении этих вероятностей, при этом ключевым моментом является то, в каком виде задаются априорная вероятность и функция правдоподобия.
📎В статье рекомендуют использовать геометрическое распределение в качестве априорной вероятности, но в целом её выбор зависит от предварительных знаний о данных в задаче, более подробно об этом можно прочитать тут.
Для работы с многомерным временным рядом представлю вам две основные модели, которые отличаются заданием функции правдоподобия:

🔴В модели независимых признаков (Independent Features Model) делается предположение об условной независимости между временными рядами (как в наивном байесовском классификаторе). Преимуществом такого подхода является малое количество данных, необходимых для обучения модели. Но предположение о независимости не позволяет уловить корреляцию между временным рядами, что сказывается на качестве работы модели и является недостатком.

🔴Модель полной ковариации (Full Covariance Model), в отличие от IFM, использует правдоподобие с учетом зависимости между временными рядами. Это сказывается на инференсе модели, а также требует большего количество данных для получения информативных корреляций между рядами.

Предпочтение в выборе модели делается исходя из входных данных в задаче, более подробно узнать о моделях с примерами работы IFM и FCM можно тут.

Байесовские методы в обнаружении точек изменений нашли применение в разных сферах, связанных с анализом временных рядов, преимущественно в промышленности и инженерии. Данный подход, при предварительной обработке данных, позволяет добиться сравнительно высокого качества работы модели (топ-1 без тюнинга на SKAB). Как и любая статистическая модель, байесовские методы требуют меньшего количества входных данных для работы и более интерпретируемы, чем DL-подходы. Из минусов данного алгоритма стоит отметить его квадратичную временную сложность и сильную зависимость от выбора априорной вероятности. Для того чтобы получить более полное представление о методах обнаружения точек изменений, можно ознакомиться со статьей "An evaluation of change point detection algorithms".

Пост написан Ильей Кульбаченко с моими редакторскими правками.

🏆Как стать лидом и быть эффективным

Меня эта тема не интересовала на столько же сильно, как многие другие (хард скиллы, выстраивание процессов, ведение проектов и тд), поэтому и разбираюсь я в ней не так хорошо. Мое воспитание, становление и опыт сделали меня человеком, умеющим ладить и договариваться с людьми, поэтому в управление людьми я вкатился без особых проблем. Но я все равно хочу поделиться своими немногими мыслями на эту тему.

Мой опыт, что полезно делать:
1. Вникать в процессы управления, с начала карьеры на своем рабочем месте.🤔

2. Получать опыт от коллег: общаться и смотреть разные видео, например, с тимлид конф, я собирал список интересных мне лекций здесь.

3. Вникать в смежные процессы, разбираться в них, анализировать, как они работают, как их поддерживают и тд. Как руководителю вам предстоит скорее всего общаться не только со своей командой.🗺

4. Я почти всю свою карьеру работал параллельно больше, чем в одном месте. Это однозначно ускоряет получение разного опыта (но требует много сил и желания).💻

5. Максимально полезно получить опыт работы в очень разных условиях:
🟡Корпорация vs стартап vs академия
🟡Руководители с разным стилем управления: микро менеджеры, чайка менеджеры vs те, кто делегируют задачу с правом принятия решений и ответственностью за результат, но с правом на ошибку. Кстати, как бы не ругали авторитарных микроменеджеров, я лично наблюдал эффективных коллег с таким стилем, да и про Илона Маска забывать не будем.
🟡Удаленная vs офисная
🟡Продуктовая vs проектная деятельность
Помогает понять свои сильные и слабые стороны, нащупать свой стиль управление и наметить движение в каком-то направлении.

6. Лично мне помогли хакатоны, в которых, будучи капитаном, я в «лабораторных» условиях примерял на себя роль руководителя и учился публичным выступлениям в довесок.

Какие общие советы я еще могу дать:
🟢Смотрите на то, что просят в соответствующих вакансиях. Я даже как-то сделал собирательный образ Тим Лида, которым хочу стать. Ну и куда же без Teamlead Roadmap.
🟢Читайте книги, например, "мама, я тимлид" Марины Перескоковой. Впервые я прочитал ее уже будучи тим лидом, поэтому нового там для меня было немного. Но сформулировано очень емко и коротко, к тому же разжеваны ну просто все вопросы, которые у меня могли бы возникнуть. Стоит почитать начинающим/будущим лидам. Другие книжки сама Марина советует в конце.
🟢Если есть возможность пройти курсы, то лишним не будет, но ставку на них я бы не делал (и личные деньги бы не платил). Из тех, что находил (здесь могла бы быть ваша реклама):
· Школа сильных программистов
· Agima
· Сбер
· Otus

Я не могу сказать, что я на сто процентов эффективен и не совершаю ошибок. Именно поэтому я считаю, что процесс обучения непрерывен (как и в IT в целом), но зато учиться можно эффективно на своем опыте. 😎

Дополняйте пост своим мнение по курсам/книгам/видео или в целом по теме в комментариях👇

Для меня эталонный научный обзор датасетов (не зря 500+ цитирований❗️). Жаль, что он в области поиска аномалий в сетевом трафике (network intrusion detection). Однако, если вы занимаетесь такими задачами, то вам повезло не только из-за наличия такого обзора, но и из-за наличия большого числа разнообразных датасетов (пусть и большая часть из них синтетика). Как будто с данными тут получше, чем в промышленных процессах.

В статье помимо самого обзора датасетов есть:
🟡Анализ характеристик датасетов и их сравнение
🟡Обзор репозиториев с наборами датасетов
🟡Обзор моделей для генерации трафика
🟡Рекомендации по датасетам и работе с ними

С реальными задачами в этой области я не сталкивался (пишите в комментариях советы, если есть опыт), но как-то участвовал в хакатоне, даже материалы сохранились — будет полезно, если совсем ничего не знаете, но хотите немного погрузиться в область. Тип аномалий, конечно, специфичный (писал об этом здесь), как и используемые методы: задачи часто supervised, данные скорее табличные, поэтому и методы деревянные стреляют.

Ссылка на официальную публикацию в журнале.

👁‍🗨Гранулометрический анализ с помощью CV
Довольно распространенный кейс применения CV в промышленности.

Начнем с постановки задачи
Необходимо определять распределение классов крупности руды в режиме реального времени. Простыми словами:

...руда постоянно разная, например, из-за плотности породы, качества взрыва. Если вчера у нас шла более крупная фракция, то сегодня мельница будет перемалывать руду дольше, и наоборот. В мельницу попадают камни разной фракции, и чтобы та работала производительнее, нужно постоянно корректировать параметры мельницы и подаваемых в неё материалов.

Способы решения
Конечно, задача может решаться разными, в т.ч. традиционными способами, CV совсем не обязательно:
🟡Ситовый анализ (ручной или автоматический)
🟡Лазерный дифракционный анализ
🟡Динамическое рассеяние света
🟡CV
Но сравнение способов, доказывающее эффективность CV, здесь.

Эффекты от решения
Основные эффекты такого решения на обогатительной фабрике от оптимизации управления питателями, мельницей, дробилками и др оборудованием на основе данных CV. Очень мало информации про фактические эффекты, так как мало кто управляет оборудованием + вычленить эффект от цифрового гранулометра из всей оптимизации управления сложно.

Открытые данные и код
С научной точки зрения (код, статья и данные) есть такой репозиторий. А вот еще один репозиторий с кадрами с конвеера с разметкой. Уже должно хватать данных для бейзлайна.

Что можно подчерпнуть из опыта коллег
🟢Задача решается исключительно как сегментация (причем может быть и инстанс, и семантическая). Но при семантической придется помучиться с разделением камней в постпроцессинге.
🟢Чтобы анализировать скрытый слой, то есть заглянуть "глубже" (на конвеере можно разглядеть только верхний слой руды), рекомендуют ставить высокоскоростные камеры на пересыпах. А лучше и над конвеерами, и на пересыпах, и над бункерами питателей. А еще скрытый слой можно прогнозировать на основе косвенных данных.
🟢Предобучать сетку на open source картинках, а дообучать уже на своих данных.
🟢Аутсорс компании, занимающиеся разметкой на рынке РФ, неплохо знакомы и справляются с задачей разметки таких данных.
…и тд. Нюансов много, большую часть можно узнать из материалов в посте.

Примеры решений:
🔵Норникель + от них же история про швабру
🔵red_mad_robot с «Еврохим» поиск негабарита — задача сопутствующая и похожая, но чаще решается как детекция
🔵red_mad_robot с «Полиметалл»

Еще гранулометрию можно делать после буровзрывных работ (для определения качества взрыва), в ковше экскаватора, в кузовах самосвалов (можно дополнительно оценивать и уменьшать недогруз транспорта). Но пользы от этого для дальнейшего управления не так много, потому что отследить руду из ковша экскаватора до момента попадания в дробилки или мельницу часто невозможно.

Я вообще фанат подкастов, сам ходил пару раз, в этот раз делюсь выпуском "Где можно и где нельзя без ML в промышленности" подкаста "Деньги любят техно" с Михаилом Граденко (Русал). Ниже отмечу и прокомментирую лично для меня интересные моменты.

🔵3 мира DS:
• Каггловский — бьемся за десятые доли улучшения метрики.
• Ресерчерский — создаем новые алгоритмы, двигаем SOTA.
• Прикладной — сделать достаточно хорошее решение наименьшими усилиями. В промышленности существует исключительно третий вариант.

🔵Не могу говорить за Русал, но обобщать на промышленность тезис “все технологические параметры оцифрованы” я бы не стал, так как на своем опыте скажу, что в абсолютно каждом проекте я сталкивался с недостаточной оцифровкой процесса. Данных может быть достаточно для решения задачи, но какой-то хотя бы один полезный показатель обязательно будет вестись в бумажном журнале или самописной системе, с которой не интегрироваться.

🔵Данных очень много, надо лишь в них разобраться. Я говорил об этом здесь, но стоит оговориться, что иногда не хватает какого-то важного показателя, сохранения достаточной истории данных, или данные где-то избыточно (для задач DS) преобразовываются.

🔵Михаил подтвердил тезис, который я давно исследую и транслирую: RL далеко от прикладного использования в промышленности, так как чаще всего слишком дорого строить сложные модели.

🔵Для DSов в промышленности важно знать физику и уметь разбираться в технологическом процессе. Я пойду дальше и скажу, что умение разбираться в технологическом процессе даже важнее, чем навыки DS. Недавно обсуждали с Head of DS крупной промышленной корпорации, что выше вероятность сделать проект и принести эффект у “технолога с небольшими навыками DS”, чем у “DSа с небольшими знаниями технологии”. Правда тут еще и кроется момент с командировками, умением общаться на фабриках и тд. Напишу об этом в отдельном посте.

🔵Больше 80% DS проектов не взлетает. В разных источниках я встречал от 30% (в промышленных компаниях) до 95%, надо будет об этом обязательно написать.

🔵Если можно делать продукт без ИИ, то его надо делать без ИИ. Это дешевле, проще, надежнее. Я об этом говорю периодически в своих выступлениях, особенно считаю полезным для студентов.

🔵Еще один инсайд для решения задачи определения гран состава: достаточные данные собираются за год.

🔵Не все (проекты) надо делать. Попытка везде засунуть новые технологии ради чего-то не оправдывается с экономической точки зрения. Бизнес он про деньги. Это очень понятный и приземляющий тезис, в промышленности часто нет места RnD и экспериментам.

В подкасте больше полезного, чем я отметил, к тому же в конце пара кейсов — качаем насмотренность.

Прошла конференция Industrial++, на которой я был не только членом программного комитета, но теперь и амбассадором. Работа ПК заключалась в подготовке к конференции, но на самой конференции мы могли полноценно почувствовать себя участниками: посещать доклады, общаться и участвовать в активностях.
tldr: по материалам получилась топ-конференция, по ИИ а промке докладов много, еще долго буду их изучать

Из-за нехватки времени я успел прослушать только четыре доклада:
🔵Машинное зрение для распознавания гранулометрического состава руды
🔵Система управления эффективностью автоматического регулирования
🔵Увеличение производительности горно-обогатительного комбината с помощью ИИ
🔵Система прогнозного обслуживания эксгаустеров агломерационной фабрики

Зато слушал так внимательно, что выиграл целых три приза за лучшие вопросы❗️

Среди особенно интересных докладов, которые буду смотреть в записи, отмечу:
🟢«Помощник технолога»: сервис для оптимизации параметров производственных литейных процессов
🟢Оптимизация системы заводнения на нефтяных месторождениях
🟢Применение Zero-shot и искусственных данных в компьютерном зрении
🟢ML-аналитика для оптимизации энергопотребления на установках НПЗ

Презентации с сотнями полезных ссылок и инсайтов доступны на сайте конференции бесплатно. Я просмотрел почти все и забрал себе в обзор кейсов папку с материалами.

В подготовке двух докладов (“Фотограмметрия и ИИ для инвентаризации строительных материалов” и “Анализ леса по съемке с беспилотника”) участвовал как куратор — ребятам огромный респект за сотрудничество и качественные выступления.

Во время конференции успел дать флеш-интервью, получить лучшую худи из всех, что у меня были, познакомиться с коллегами, внедряющими ML в промышленности, и встретиться со знакомыми и бывшими коллегами.

P.S. На фото команда организаторов и докладчиков — можете поиграть в Find Waldo

SKAB (Skoltech Anomaly Benchmark) —бенчмарк для оценки методов обнаружения аномалий во временных рядах

Я постоянно делюсь наборами данных, пришла пора рассказать про венец творения SKAB. По некоторым критериям его можно назвать лучшим бенчмарком методов поиска аномалий на временных рядах в технических системах

История создания
Как только в процессе исследований в аспирантуре удалось глубоко погрузиться и опробовать существующие SOTA методы для поиска аномалий, мы начали разрабатывать свои. Тогда мы и столкнулись с недостатком публичных датасетов для проверки и демонстрации качества этих методов. Так как всегда получалось дружить с промышленными компаниями, у нас не было недостатка проприетарных реальных данных с оборудования. Но для научной деятельности и демонстрации результатов все-таки лучше подходят публичные данные, чтобы каждый зашел, убедился в подлинности результатов и сравнил свои методы на том же наборе. А те открытые данные, что есть, чаще всего имеют большие проблемы, и их очень сложно использовать. Это и побудило создать собственный набор данных, который не имел бы распространенных проблем, был открыт для всех исследователей (=опенсорсный) с доступным описанием, метриками, результатами. Вот тогда мы с Вячеславом Козициным и пришли к идее SKAB’а: описали основные требования, сформировали видение экспериментов и приступили к сбору данных на установке в Сколтехе.

Описание и задачи
Бенчмарк состоит из 34 датасетов с коллективными аномалиями (в каждом по 1 аномалии) и 1 датасета с неаномальной эксплуатацией установки. Кроме датасетов, SKAB содержит подробное описание установки, датчиков, данных, EDA, более 10 реализованных алгоритмов поиска аномалий, блокноты с экспериментами, лидерборд с результатами, методики оценки для разных математических проблем, код для оценки и тд. Данные размечены для 2х основных математических проблем в области поиска аномалий:
🔘Бинарная классификация (или поиск выбросов/outlier detection, т.е. данные размечены как точечные аномалии)
🔘Поиск точек изменения состояния (или changepoint detection, т.е. данные размечены как коллективные аномалии = размечены начало и конец аномальных периодов)
Про разницу проблем пост и иллюстрация.

Преимущества бенчмарка
Про проблемы существующих бенчмарков и наши преимущества лучше послушать доклад, но коротко перечислю плюсы:
🔘Разметки для 2х математических проблем
🔘Относительно большое число точек изменения состояния
🔘Лидерборд с разработанными методами поиска аномалий для сравнения своих результатов
🔘Подробное описание (это большая боль у аналогов)
🔘Адекватные методики и код для оценки (иначе это не бенчмарк, а просто датасеты)
🔘Поддержка (даже отвечаем на ишьюсы, вмердживаем чужие коммиты и улучшаем продукт)

Ссылки и цитирование
SKAB получилось неплохо описать, поэтому для погружения в детали можете смотреть доклады, читать описание на гитхабе, смотреть слайды и тд. Основные ссылки:
🔘Видео о бенчмарке на youtube
🔘Слайды к видео
🔘Наиболее актуальная информация всегда в репозитории на GitHub
🔘Также бенчмарк выложен на каггле, там есть EDA и интересные блокноты с решениями. Можно ставить лайки и цитировать (уже 60+ цитирований):

Iurii D. Katser, and Vyacheslav O. Kozitsin. (2020). SKAB - Skoltech Anomaly Benchmark [Data set]. Kaggle. https://doi.org/10.34740/KAGGLE/DSV/1693952

SKAB teaser
Для совсем учебных целей мы дополнительно сделали и описали отдельный датасет с 4мя аномалиями (всего 1 таблица, собранная независимо, но на той же установке), который доступен только на каггле. Для этого датасета есть учебный блокнот с пайплайном разработки алгоритма поиска аномалий на основе автоэнкодера.

SKAB — это лично моя гордость. Получилось собрать действительно неплохой (хотя и не идеальный) бенчмарк, окружить его кодом, алгоритмами оценки и по-тихоньку развивать уже несколько лет.