Какие параметры характеризуют категорию транспортного потока в модели?

Продолжаю рассказывать про структуру имитационного комплекса для моделирования работы ж.-д. инфраструктуры.

Если сформулировать максимально просто, то

Категория – это упорядоченное множество операций

Упорядочивание в виде графа, но об этом позже.

Общие характеристики категории без учета подключения законов распределений случайных величин для отдельных параметров приведены на рисунке 👆

Можно ли описывать таким образом в модели не поезда, а автомобили и суда? - Да. Они будут привязываться к своей части топологии и параметр вагон для них не нужен. Если мы хотим детализировать моделирование до грузов, то тут уже подключаются характеристики конфигурации модели в части продолжительность выполнения операции и "работа склада" - но об этом тоже потом)

Если будут другие вопросы к параметрам, отвечу с удовольствием в комментариях 👇

#Про_ИК

Инфраструктурные барьеры ЕТК. МТК «Север – Юг»

Мультимодальный МТК «Север – Юг» связывает северо-западную часть Евразийского экономического союза, страны Балтии и Скандинавии с государствами Центральной Азии, Персидского залива и Индийского океана. Коридор включает инфраструктуру ж.-д., автомобильного, внутреннего водного и морского транспорта, 10 крупных морских портов на Каспии (Астрахань, Оля, Махачкала, Баку/Алят, Актау, Курык, Туркменбаши, Энзели, Ноушехр, Амирабад), порты Персидского залива (Бендер-Хомейни, Бендер-Аббас и Чабахар), автомобильные и ж.-д. пункты пропуска, логистическую инфраструктуру, а также международные аэропорты.

Основные недостающие звенья и узкие места:

1️⃣ для Западного маршрута — отсутствие соединения линии Решт – Астара на территории Ирана;

2️⃣ для Транскаспийского маршрута — отсутствие линейного мультимодального контейнерного сервиса, дефицит контейнеровозов, недостаточные глубины Волго-Каспийского судоходного канала;

3️⃣ для Восточного маршрута — качество автодорожной инфраструктуры и отсутствие скоростного автомобильного сообщения вдоль восточного берега Каспийского моря, недостаточная пропускная способность ж.-д. погранпереходов между Туркменистаном и Ираном.

Ключевые узкие места коридора, которые будут препятствовать достижению объемов перевозок грузов 30–35 млн тонн в год:

1️⃣ Однопутный неэлектрифицированный участок Османлы – Астара протяженностью 183 км и пропускной способностью 3 млн тонн (Азербайджан). Требуются строительство второго главного пути и электрификация.

2️⃣ Участок Ялама – Баладжары протяженностью 188 км и пропускной способностью
до 7 млн тонн (Азербайджан). Износ путевого хозяйства не позволяет увеличить объем грузовых перевозок.

3️⃣ Терминал Астара (Иран), перерабатывающей способностью менее 1 млн тонн. Требуются реконструкция и развитие, доведение перечня и объема операций в соответствии с передовой международной практикой функционирования ж.-д. погранпереходов.

4️⃣ Однопутный неэлектрифицированный участок ж/д Решт – Казвин протяженностью 165 км, проходящий в горах (Иран). Недостаточное количество разъездов препятствует увеличению размеров движения.

5️⃣ Однопутный неэлектрифицированный участок Гармсар – Инче-Бурун протяженностью 495 км и пропускной способностью 2,5 млн тонн (Иран). Участок проходит в горах, имеет значительное (порядка 100) тоннелей. Он характеризуется недостаточным путевым развитием и длиной приемоотправочных путей на станциях, а также устаревшей системой управления движением поездов.

6️⃣ Участки Орск – Кандыагаш, пропускной способностью 7 пар поездов в сутки, Макат – Сагыз (8 пар), Бейнеу – Мангыстау (8 пар), Шалкар – Бейнеу (6 пар), Мангыстау – Узень (7 пар) (Казахстан). Требуется строительство вторых главных путей, разъездов и удлинение путей на станции Илецк-1.

7️⃣ Ж.-д. пункт пропуска Дербент (Россия). Существующая пропускная способность составляет 7,9 млн тонн. Развитие пограничной станции, удаленной на 37 км от границы, сдерживается расположением в черте города с плотной застройкой.

8️⃣ Пограничные станции Сарахс и Акяйла (Туркменистан) перерабатывающей способностью соответственно 7–10 и 4 млн тонн. Требуется внедрение современных технологий по перевалке грузов и перестановке контейнеров.
#ЕТК

Оборот вагона. Причины ухудшения показателей, которых пока нет

Данные по обороту вагонов за октябрь должны скоро появиться, но уже сейчас можно сделать предположение о том, что положительной динамики мы не увидим даже при наличии «высокой базы»…

Почему? Главными проблемами остаются:

Избыток порожних вагонов на сети.
При этом РЖД сдерживает допуск вагонов на сеть директивными ограничениями, но 24 октября О.В. Белозёров отметил, что снижения количества курсирующих по сети порожних вагонов не произошло. В свою очередь железнодорожные операторы пожаловались написали открытое письмо советнику президента РФ по международному сотрудничеству в сфере транспорта И.Е. Левитину, хотя сами наращивают парк, который и так избыточен, продолжают оперировать порожним парком в собственных интересах (кстати, одна из очень старых причин увеличения порожнего пробега вагонов: собственник прогоняет свой парк через ремонт у "своей" ВРК).

Нехватка локомотивных бригад на сети.
С запозданием стали принимать меры по увеличению зарплат, но разве это поможет победить «удобный» график работы (когда люди сидят на отменах или ждут смену бригад из-за стоянки по неприему)?

⚡️ Оборот вагона.

Данные от РЖД появились. Ожидаемый рост показателя.
Итого оборот вагона составляет ~21,8 сут (+1,7% к сентябру, +12,2% г/г).

3,39 сут - в движении;
0,61 сут - на промежуточных станциях;
9,55 сут - под грузовыми операциями;
8,24 сут - на технических станциях.

И если в сентябре оборот вагона увеличивался из-за простоев под грузовыми операциями, то в октябре из-за простоев на технических станциях.

Проблемы не уходят, но видны попытки переложить из пустого в порожнее.

Как оценить сроки и стоимость разработки софта?

Нужно внедрить систему для мониторинга оборудования/персонала или систему управления/поддержки принятия решений или просто/сложно что-то разработать? И как оценить срок и стоимость разработки?

Есть простая и в целом надежная модель издержек разработки:
COnstructive COst MOdel (COCOMO).

Модель рассчитывает трудоемкость разработки как функцию от размера программы. Этот размер - оценка ПО в тысячах строк кода (KLOC). KLOC модель не подскажет, но этот параметр можно определить с помощью экспертной оценки, анализа аналогичных проектов и функциональных требований к разрабатываемому софту.

Определяемся с командой:

Organic mode – маленькие команды с хорошим опытом работы и не жесткими требованиями к разработке.

Intermediate/Semi-detached mode – средние по размеру команды со смешанным опытом разработки и со смешанными требованиями (как жесткими, так и нет).

Intered/Embedded mode – разрабатываются с учетом множества жестких ограничений (по аппаратному, программному, операционному обеспечению и т.д.).

Добавляем коэффициенты по надежности, размеру БД, сложности, быстродейсвию и др. (всего 15 коэффициентов).

Онлайн, без смс и регистраций этой моделью можно воспользоваться тут.

Какие параметры характеризуют топологию в модели?

Продолжаю рассказывать про структуру имитационного комплекса для моделирования работы ж.-д. инфраструктуры.

Общие характеристики топологии на рисунке 👆

В слое план-схема задается граф путевого развития (для красоты можно рисовать сопряжения, но для модели они не несут смысловой нагрузки; ограничения по скорости задаем отдельно). Конфигурация графа влияет на  секционирование.

В слое секции идет автоматизированное разбиение графа на изолирующие секции для построения маршрутов в ходе симуляции. Там же задаем нюансы: включаем секцию в маршрутное размыкание, объединяем секции.

Для привязки технологии к топологии в модели нужно задавать только пути (исключение: включение в маршрут обязательного использования отдельных секций), остальное (реализация корреспонденций) автоматизируется.

Если будут другие вопросы к параметрам, отвечу с удовольствием в комментариях 👇

#Про_ИК

Когда имитационная модель – это цифровой двойник?

Цифровой двойник (ЦД) и имитационная модель — это не одно и то же. Хотя обе модели представляют систему в цифровом виде, их ключевое различие заключается в связи с реальным объектом.

Цифровой двойник обладает двумя основными характеристиками:

1. Уникальная идентификация реального объекта: ЦД представляет конкретный, физически существующий объект на протяжении всего его жизненного цикла — от проектирования до вывода из эксплуатации. Это не просто абстрактная модель, а виртуальное представление одного конкретного объекта.

2. Отображение реального состояния: ЦД постоянно обновляет свое состояние, используя данные из реального мира. Эти данные, полученные, например, с помощью датчиков IoT, описывают текущее и историческое состояние объекта. Частота обновления может варьироваться: для локомотива это может быть непрерывный мониторинг, а для цепочки поставок — периодическая синхронизация.

В отличие от ЦД, имитационная модель не привязана к конкретному объекту. Она может моделировать поведение системы в целом, не обязательно отражая состояние одного единственного объекта. Хотя имитационная модель может использовать реальные данные, она не обязана это делать и не отражает состояние конкретного объекта в реальном времени.

Если модель соответствует однозначно идентифицируемому объекту, а её состояние соответствует ему с достаточной точностью, то её можно считать цифровым двойником.

Таким образом, ЦД — это имитационная модель, тесно связанная с конкретным физическим объектом и постоянно обновляющаяся на основе данных из реального мира. В некоторых случаях ЦД может даже взаимодействовать с физическим объектом, влияя на его работу. Например, исторические данные, полученные от старых роботов-комплектовщиков на складе, могут использоваться для составления графиков технического обслуживания для эффективной работы новых устройств.

Рабочий лайфхак

Установите датчики у себя на производстве и увеличьте производительность.

Датчики должны быть подключены к системе мониторинга, которая может показывать текущее состояние, загрузку и неисправности оборудования (количество показателей для мониторинга ограничивается фантазией и местными условиями).

Лайфхак для предпринимателей

Скажите, что установили датчики и наблюдайте увеличение производительности.

Наличие наблюдателя изменяет показатели измеряемой системы.

Поздравляю коллег из ассоциации «Промжелдотранс» с первой тысячей подписчиков в Telegram!

Это не просто цифра, а свидетельство вашего профессионализма, усердия и приверженности делу, которое вы делаете.

Ваши публикации информативны и актуальны. Уверен, что впереди вас ждут ещё более значимые достижения и успехи.

Как упростить синтез модели?

Использовать шаблоны и алгоритмы.

Продолжаю рассказывать про структуру имитационного комплекса для моделирования работы ж.-д. инфраструктуры.

Операция в нашем имитационном комплексе задается 16-ю параметрами без учета подключения законов распределений случайных величин.

Если мы захотим описать процесс формирования поездов потребуется n-ное количество операций, где для каждой нужно задать параметр.

Что мы хотим? Создать модель побыстрее и не потерять детали.
Что делать? Использовать шаблон на формирование!

В библиотеках «нетиповых операций» есть шаблоны на «Формирование», состоящие всего из 4 параметров:
- Имя;
- Используемые локомотивы;
- Продолжительность выполнения;
- Вытяжной путь.

Задав эти параметры в процессе моделирования автоматически синтезируется цепочка операций. В результате накопленные вагоны через заданное время оказываются на вытяжном пути.

Как же тогда задаются используемые ресурсы инфраструктуры?

Технологической цепочкой и алгоритмами.

В технологической цепочке перед операцией «формирование» алгоритм найдет среди всех ближайших предков (операции, которые выполнятся раньше формирования) операции «накопления» (об этой операции расскажу в следующем посте). Из этих операций алгоритм вытаскивает значения параметров путей и вагонов. Затем он связывает их с параметрами самой операции «формирование»: продолжительность выполнения и вытяжной путь — для построения маршрутов.

Параметр локомотив в данном контексте не столь интересен, но можно отметить, что он дублирующий. В шаблоне он имеет ссылку для связи устройствами моделируемого объекта, при этом он должен быть в предках операции «формирование». Это нужно для исключения подключения другого алгоритма, связанного с автоматизацией подач и уборок локомотивов.

Таким образом, применение шаблонов и алгоритмов значительно упрощает процесс синтеза модели, позволяя сосредоточиться на ключевых аспектах моделирования.

#Про_ИК

Традиционные методы анализа бизнес-стратегий: ограничения и возможности

Предсказание будущего в бизнесе требует создания репрезентативной модели, что по своей сути является творческим процессом. Выбор подходящего инструмента напрямую зависит от сложности анализируемой задачи. Простой анализ может быть выполнен с минимальными затратами, однако сложные сценарии требуют более мощных методологий. Рассмотрим три традиционных подхода:

1️⃣ Качественный сценарный анализ:

Этот метод основан на описательном анализе, использующем нечисловые данные для понимания поведения сложных систем. Он описывает возможные сценарии развития событий, опираясь на экспертные оценки и качественные факторы. Математически его можно представить как:

S = f(E, Q, C)

где:

S - множество возможных сценариев;
f - функция, описывающая взаимосвязь между факторами;
E - экспертные оценки;
Q - качественные факторы;
C - контекстуальные данные.

Ограничения: качественный сценарный анализ не предоставляет количественных оценок инвестиций, временных горизонтов или уровней риска. Он полезен для генерации идей, но не подходит для принятия конкретных решений, особенно в условиях неопределенности.

2️⃣ Методы, основанные на данных (Data-driven methods):

Этот подход использует исторические данные для выявления корреляций и прогнозирования будущих тенденций. Включает корреляционный анализ, статистическое моделирование и машинное обучение. Самый простой пример — линейная регрессия:

Y = β₀ + β₁X + ε

где:

Y - прогнозируемая переменная (например, доход);
X - объясняющая переменная (например, инвестиции);
β₀ и β₁ - коэффициенты регрессии;
ε - случайная ошибка.

Ограничения: эти методы эффективно работают в стабильной среде. При фундаментальных изменениях на рынке (технологические прорывы, изменения в законодательстве) прогнозы, основанные на исторических данных, могут быть неточными.

3️⃣ Моделирование с использованием электронных таблиц (SPREADSHEET MODELING):

Электронные таблицы являются распространённым инструментом для моделирования бизнес-процессов. Однако их возможности ограничены при описании сложных систем с обратной связью, нелинейностью и временными задержками. Такие системы часто описываются дифференциальными уравнениями, которые не могут быть адекватно представлены в электронных таблицах.

Ограничения: простота электронных таблиц приводит к упрощению модели, что может привести к неточным прогнозам и неадекватной оценке стратегических рисков. Отсутствие возможности учитывать нелинейности и обратные связи существенно снижает качество прогнозирования.

Как имитационное моделирование может помочь создать эффективную бизнес-стратегию?

Ответ на поверхности:
Проигрывание множества сценариев и получение автоматизированной глубокой аналитики.

При этом имитационная модель:
Точнее (если исходные данные собраны нормально и алгоритмы верифицированы)
Проще (только в использовании, создание базовой имитационной модели - самый трудоемкий процесс)
Убедительнее (мультикам верят лучше, чем таблицам. Возможность воспроизводить и анимировать поведение системы с течением времени является одним из преимуществ моделирования)

В копилку убелительности: В имитационной модели вы можете измерить любое значение и отследить любую сущность, которая не находится ниже уровня абстракции. Измерения и статистический анализ могут быть добавлены в любое время. Можно учесть случайность и взаимозависимости, которые характеризуют реальный бизнес и проверить их визуально.

Избыточный парк вагонов

Ситуация патовая, но небезвыходная

Новости по анализу избыточности парка вагонов, увеличения оборота вагона, снижения участковой скорости, непроизводительных простоев вагонов на сети ж/д видели?

Министерство транспорта тоже вносит свою лепту в урегулирование ситуации и подготовило интересный проект:
О внесении изменений в Перечень критериев технических и технологических возможностей осуществления перевозок, отсутствие которых является для перевозчика и владельца инфраструктуры железнодорожного транспорта общего пользования основанием отказа в согласовании запроса-уведомления на перевозку порожних грузовых вагонов, утвержденный приказом Министерства транспорта Российской Федерации от 7 июля 2015 г. № 214

Проект интересен тем, что в целях заявлено: обеспечение потребностей грузоотправителей в подвижном составе, рациональное использование инфраструктуры железнодорожного транспорта общего пользования, исключение непроизводительного накопления вагонов на станциях погрузки, регулирование избыточного парка вагонов на сети железных дорог.

Какие изменения?
Главное изменение – расширение списка вагонов, которые учитываются при определении максимального количества вагонов, предоставляемых владельцу. В исходном тексте перечислялись ситуации, когда дополнительные вагоны не учитываются в лимите. Правки добавляют ситуации, когда дополнительные вагоны учитываются, расширяя возможности владельца использовать имеющиеся вагоны.

Дополнения включают три новых типа вагонов:

1️⃣ Вагоны, проверенные при сдвоенных операциях: Это вагоны, которые уже находятся на станции отправления и прошли проверку на техническую пригодность к погрузке в рамках сдвоенных операций (погрузка-выгрузка). Их включают в расчет, чтобы избежать лишних проверок. Там же ссылка на статью 20 Устава ж.-д. транспорта.

2️⃣ Вагоны на путях необщего пользования: Это вагоны, временно хранящиеся на частных путях грузоотправителя. Если они технически и коммерчески пригодны, их также учитывают в лимите, поскольку они доступны для использования. Там же ссылка на статью 36 Устава.

3️⃣ Вагоны от просроченных заявок: Это вагоны, которые оставались на станции после истечения срока действия предыдущих заявок на перевозку. Если они технически и коммерчески пригодны, их тоже учитывают, поскольку они могут быть использованы для новой заявки.

Поможет ли это?
Ответ узнаем после марта 2025 года (планируемый срок вступления в силу).
Публичное обсуждение проекта продлится до 27.11.2024.

Одни коллеги обсудили с другими коллегами динамическую модель загрузки инфраструктуры ОАО «РЖД» (ДМ ЗИ).

ДМ ЗИ применяется для автоматизированной оценки возможностей инфраструктуры общего и необщего пользования в процессе согласования заявок на перевозку грузов ф. ГУ-12, запросов-уведомлений, СКПП и ЗУ на порожние полувагоны в адрес З-СИБ.

Как упростить синтез модели? Дубль 2.

Про формирование было здесь. Изначальная ветка повествования про структуру нашего имитационного комплекса для моделирования работы ж.-д. инфраструктуры - здесь.
Мы помним, что для задания операции требуется 16 много параметров. Сегодня на повестке: как упростить описание процесса расформирования поездов.

Используем минимум параметров:
Имя
Используемые локомотивы
Продолжительность выполнения
Связка: Путь/%/Категория

У предка расформирования (вытягивание состава) алгоритм автоматически возьмет ресурс «вытяжной путь» для построения маршрутов. В результате расформирования все вагоны с вытяжного пути в заданном процентном соотношении распределяются по выбранным путям, затем работа с вагонами на каждом пути продолжится в другой категории.

Нюансы модели для учета расформирования:
1. В поступающих поездах задается только количество вагонов и подключается нормальное распределение вагонов, чтобы параметр был более динамичным. Составность поезда не задается.

2. Операции «расформирование» можно подключить в технологический процесс через логическое «или» с заданием вероятности на каждый исход.

#Про_ИК

5 копеек в повышение тарифов

Вчера повысили тарифы на грузовые перевозки – на 13,8%, на пассажирские — на 11,6%.

Да, оно необходимо. Да, альтернативные источники финансирования не помогают. Да, сокращается инвестпограмма РЖД (в следующем году на 36,7%). Но под каким соусом повышаются тарифы – это загадочная история… Может планируется системный пересмотр грузовой базы (выдавить с рынка отдельные сектора, о какой отрасли вы больше всего в этом году видели противоречивых новостей) или преследуются аналогичные цели ЦБ)?

А пока предлагаю взглянуть на контекст повышения тарифов и поискать не состыковки:

1️⃣ Тариф на порожний побег исторически построен для другой технологии работы парка вагонов - когда он находился под управлением РЖД. Сейчас почти весь парк в частных руках. И низкий тариф позволяет отправлять порожние вагоны на дальние расстояния. Это одна из причин почему сегодня ж.-д. сеть плохо работает - много "перевозок воздуха".

Это отчасти верно. Однако это игнорирует тот факт, что частная собственность на подвижной состав должна приводить к более эффективному распределению ресурсов благодаря рыночным механизмам. Низкий тариф на порожние рейсы может быть результатом неэффективности рынка и/или прошлых методов регулирования РЖД, а не только следствием частной собственности. Хотя чрезмерные порожние перевозки неэффективны, простое повышение тарифа не решает проблему автоматически. Первопричиной может быть плохое планирование сети, отсутствие координации между грузоотправителями и владельцами вагонов, а также неэффективная логистика. Повышение тарифа может привести к неэффективности в других сферах, например, к увеличению автомобильных перевозок в обход железных дорог.

2️⃣ Рынок представления вагонов – профицитный и высококонкурентный. Нужно самостоятельно работать в этом конкурентном сегменте над тем, чтобы снизить свои издержки.

Это утверждение вводит в заблуждение из-за значительной рыночной власти РЖД. Рынок не является по-настоящему конкурентным, если РЖД контролирует инфраструктуру. У некоторых компаний может не быть другого выбора, кроме как согласиться на более высокие тарифы, установленные РЖД.

3️⃣ В 2019 году тариф на порожний пробег подняли на 6%, ставка оператора рухнула на 35%. Хороший пример: работа по долгосрочным контрактам с фиксированной стоимостью.

Одного показателя (2019 год) недостаточно, чтобы опровергнуть общую корреляцию тарифа на порожний пробег и ставку оператора. На тарифы операторов влияет множество других факторов. Контракты с фиксированными ценами вряд ли применимы повсеместно; большинство компаний могут не обладать такой же переговорной силой, как крупные игроки.

4️⃣ Новые принципы ценообразования будут использовать промышленную инфляцию вместо потребительской

Конкретная методология и используемые данные остаются неясными. Использование составного индекса допустимо, но состав и вес компонентов имеют решающее значение и должны быть прозрачными. При этом создаются искаженные стимулы: использование сводного индекса стимулирует рост затрат в РЖД, потенциально снижая эффективность и препятствуя инновациям.

5️⃣ Критические последствия: рост инфляции (непосредственно влияющей на потребителей), снижение конкурентоспособности российских отраслей (делающее их менее конкурентоспособными как на внутреннем, так и на международном рынках), усугубление региональных различий (транспортные расходы составляют большую часть производственных затрат в отдалённых районах) и потенциальный переход на менее эффективные виды транспорта (автомобильный). Это непреднамеренное последствие того, что РЖД не решает системные проблемы, а просто перекладывает расходы на потребителей и предприятия. Или я просто загнался?

Что такое ИИ?

Существует 4 подхода к определению искусственного интеллекта из двух противопоставлений: человекоподобность(1)-рациональность(2) и мышление(3)-поведение(4).

Предлагаю собрать ребус в определения самостоятельно. Ниже приведу примеры ИИ для каждого подхода.

Подход 1-4. Тест Тьюринга.

Подход 1-3. Компьютерное зрение, где результаты нейрофизиологических исследований используются при построении вычислительных моделей.

Подход 2-3. Системы, использующие 4 закона логики.

Подход 2-4. Рациональные агенты, способные поступать в соответствии с целями.

У вас есть 7 рублей на инвестиции в инфраструктуру завода.
Соберите кейс:

– Приобрести новое оборудование – 3 рубля;
– Построить дополнительный склад – 2 рубля;
– Реконструкция путей – 3 рубля;
– Найти «узкие места», обосновать план развития, внедрить it-решения для управления производством – 1 рубль;
– Обеспечить гарантированный доход на новые объемы производства – 4 рубля;
– Привлечь партнёров с опытом в управлении производством – 2 рубля;
– Договориться с новыми дистрибьюторами – 1 рубль;
– Дистрибьюторы и дилеры всегда просят «ещё» и платят вперед, вывоз продукции не имеет внешних ограничений – 15 рублей.

Прогноз, провокация и высокая степень неопределенности

Данные по обороту вагона за ноябрь должны появиться на этой неделе. И пока одни уже декларируют снижение, а другие говорят что это провокация. Даю короткий прогноз:

📍в целом снижение до 2%;

📍под грузовыми операциями будет черный ящик т.к. простой увеличится из-за неприема на пути общего пользования, но сократиться из-за снижения погрузки. Итого: рост до 10%;

📍по инфраструктуре РЖД снижение на 5-6% (как ни как > 70 тыс. вагонов убрали).

Данные быстро появились.
В целом оборот вагона: "-2,6%".
Под грузовыми операциями: "+3,3%".
На инфраструктуре ржд: "-7,2%".

Значит, будут посты про статистику.

Статистика может доказать что угодно, даже правду

Как проверить свою гипотезу? Статистика поможет. Всегда можно найти метод, который обоснует вашу гипотезу. А если серьезно, предлагаю укрупненно пройтись по популярным методам статистической проверки гипотез.

1. Одновыборочный t-критерий Стьюдента:

Задача: проверить, значительно ли отличается среднее время задержки поездов на маршруте от целевого значения в 5 минут.
Условия применения: данные должны быть приблизительно нормально распределены. Метод чувствителен к выбросам. Внешние факторы (погода, ремонт путей) не учитываются. При нарушении предположения о нормальном распределении следует использовать непараметрические альтернативы (например, тест знаков).

2. Двухвыборочный t-критерий Стьюдента (независимые выборки):

Задача: сравнить среднюю скорость поездов на двух разных линиях.
Условия применения: данные должны быть приблизительно нормально распределены, дисперсии в группах примерно равны. Метод чувствителен к выбросам. Различия в типах поездов, уклонах и других факторах могут исказить результаты. Если предположения о нормальном распределении или равенстве дисперсий не выполняются, следует использовать критерий Манна-Уитни или критерий Уэлча соответственно.

3. Парный t-критерий Стьюдента (зависимые выборки):

Задача: сравнить расход топлива одним и тем же локомотивом до и после технического обслуживания.
Условия применения: требуется приблизительно нормальное распределение разностей между парами наблюдений (до и после). Внешние факторы, не связанные с техническим обслуживанием, могут исказить результаты. Если предположение о нормальности нарушается, используется критерий Уилкоксона.

4. ANOVA (анализ дисперсии):

Задача: сравнить среднюю задержку поездов на трёх разных маршрутах.
Условия применения: метод более эффективен, чем попарное применение t-критериев, контролируя совокупный уровень значимости. Однако требуется приблизительно нормального распределения данных и равенства дисперсий во всех группах. Если эти предположения не выполняются, следует использовать непараметрический критерий Крускала-Уоллиса.

5. Критерий Хи-квадрат:

Задача: Анализ связи между типом локомотива и частотой поломок.
Условия применения: этот метод используется для анализа категориальных данных и проверки независимости двух категориальных переменных. Однако он не устанавливает причинно-следственную связь и требует достаточно больших ожидаемых частот в каждой ячейке таблицы сопряженности.

6. Корреляция Пирсона:

Задача: исследовать взаимосвязь между средней скоростью движения поездов на определенном участке пути и скоростью износа рельсов на этом участке.
Условия применения: измерение линейной зависимости, чувствителен к выбросам.

7. Корреляция Спирмена:

Задача: проанализировать связь между рейтингом удовлетворенности пассажиров и частотой задержек.
Условия применения: этот метод измеряет монотонную корреляцию, не предполагая нормального распределения данных. Он более устойчив к выбросам, чем корреляция Пирсона, и подходит для порядковых данных. Однако он не измеряет силу нелинейной связи.

Критерий Манна-Уитни, Крускала-Уоллиса, Уэлча, Z-тест, Уилкоксона, F-тест: Условия применения этих методов аналогичны описанным выше, но сосредоточены на ситуациях, когда не выполняются предположения параметрических методов (нормальность, равенство дисперсий, независимость). Они предлагают альтернативы, но часто с меньшей статистической мощностью.

Что еще остается из нишевых методов?

1. Непараметрические тесты:
• Критерий знаков (Sign test)
• Тест МакНемара
• Тест Фридмана

2. Дискретные распределения:
• Гипергеометрическое распределение
• Биномиальный тест

3. Анализ временных рядов
• Тест Дики-Фуллера (ADF)
• Автокорреляция (ACF)

4. Проверка предположений о данных и проверка соответствия распределениям:
• Тесты Бартлетта и Левена
• Тест Шапиро-Уилка
• Критерий Колмогорова-Смирнова
• Тест Андерсона-Дарлинга

5. И др...

Если тематика интересна, то по каждому методу можно сделать пост:
Пример задачи
Требования к выборке
Нюансы использования
Инструменты офлайн/онлайн

Какие станции на участке чаще всего являются причиной простоев поездов?

Казалось бы, просуммировали простои – нашли станцию с наибольшими простоями. Ответ готов.
Но в этом подходе мы не учли:
- размеры движения (может простои выросли из-за объема работы);
- продолжительность простоев (не учли выбросы);
- внешние факторы (ремонт и пр.);
- статистическую значимость (без статистического анализа невозможно определить, являются ли полученные результаты значимыми или просто случайным совпадением).

Что делаем? В основе метод: ANOVA.

1. Предварительно собираем данные:
• Средняя продолжительность простоя на каждой станции.
• Количество простоев на каждой станции.
• Стандартное отклонение простоев для каждой станции.
• Распределение простоев. Строим гистограммы распределения времени задержки на разных станциях, чтобы понять форму распределения и наличие выбросов.

2. Анализируем дисперсии (ANOVA).

• Гипотеза. Мы хотим проверить, являются ли различия в средней продолжительности простоя между станциями статистически значимыми.
• Проверка однородности дисперсий. Перед применением дисперсионного анализа необходимо убедиться, что дисперсии простоев на разных станциях примерно равны. Тест Бартлетта или Левена подойдут.
• ANOVA. Если дисперсии близки, проводим однофакторный ANOVA, где фактором является станция. Если дисперсии значительно различаются, используем подходящий непараметрический аналог, например, тест Краскела-Уоллиса.
• Пост-хок тесты. Если ANOVA выявит значимые различия, необходимо провести пост-хок тесты (например, Туки, Шнидмана-Кени), чтобы определить, на каких именно станциях средняя продолжительность простоя статистически различается.

3. При необходимости проводим тесты ранговой корреляции:
Корреляция с другими факторами. Возможно, продолжительность простоев на станциях коррелирует с другими переменными (например, интенсивностью движения, временем года и др.). Используем тесты ранговой корреляции (например, Спирмена или Кендалла), чтобы оценить эту корреляцию.

Критерии оценки статистической значимости:
• p-значение: важно анализировать p-значение, полученное при проведении дисперсионного анализа и пост-хок тестов. Если p-значение меньше заданного уровня значимости (например: 0,05), различия в средней продолжительности простоя статистически значимы.
• Доверительные интервалы: используем доверительные интервалы для средних значений по каждой станции, что поможет оценить погрешность и точность результатов.

Кратко про использование ANOVA:

Требования к выборке:

1. Независимые наблюдения в каждой группе.
2. Нормальное распределение данных в каждой группе (можно проверить с помощью теста Шапиро-Уилка или Колмогорова-Смирнова).
3. Гомогенность дисперсий (равенство дисперсий) в группах (можно проверить с помощью теста Бартлетта или Левена). Для больших выборок дисперсионный анализ относительно устойчив к небольшим нарушениям этого условия.
4. Количественная зависимая переменная.
5. Качественная независимая переменная (фактор) с несколькими уровнями (группами).

Нюансы использования: нарушение предположений о нормальности и однородности дисперсий может привести к неверным результатам. В таких случаях используются непараметрические аналоги (тест Краскела-Уоллиса).

Инструменты:

Офлайн:
Python: scipy.stats.f_oneway(group1, group2, group3)
R: aov(response ~ group)
Онлайн

Критерий Колмогорова-Смирнова
Python: scipy.stats.ks_2samp(data1, data2)
R: ks.test(x, y)

Тест Бартлетта
Python: scipy.stats.bartlett(group1, group2, ...)
R: bartlett.test(values ~ groups)

Тест Левена
Python: scipy.stats.levene(group1, group2, ..., center='mean')
R: leveneTest(values ~ groups, center=mean) (из библиотеки car).

Коэффициент Кендалла
Python: scipy.stats.kendalltau(x, y)
R: cor.test(x, y, method = "kendall")

Корреляция Спирмена
Python: scipy.stats.spearmanr(x, y)
R: cor.test(x, y, method="spearman")

Критерий Краскела-Уоллиса
Python: scipy.stats.kruskal(*samples)
R: kruskal.test(x, y, z)

Кто-нибудь так искал "узкие места" инфраструктуры?
Интересно больше про инструментарий, логику применения или что-то иное?

#Стат_методы