Здания из диаграмм

Все знают классические столбиковые диаграммы - bar charts. Попробуем взглянуть на них иначе. На картинке выше - известные небоскрёбы. Каждое здание - это диаграмма.

Я взял трёхмерные модели небоскрёбов и извлёк координаты каждой вершины. Затем загрузил их в Tableau. И построил bar charts, только нестандартные. От основания здания к каждой точке восходит полупрозрачный столбец, создающий объёмный эффект. Само здание отображается в проекции. Визуализации можно вращать и бары автоматически перестраиваются. В каждом здании - от 11000 до 57000 баров. Высота кодируется цветом.

Иными словами - строим диаграммы, а на выходе получаем архитектурные формы. Диаграммы при этом несут смысл - они отражают высоту. Ось в метрах помогает читать высоты зданий.

〰 Визуализация

@data_bar 🍀

Топография баскетбола

Начинается баскетбольный сезон. Cегодня идём на первую игру "Уникса". 🏀

С тех пор как на горизонте засияла звезда Майкла Джордана, манера игры в НБА сильно изменилась. Броски постепенно сместились за дугу трёхочковой линии, а вместе с ними изменилась и тактика. Там где раньше игроки рвали оборону и прорывались к кольцу, сегодня чаще бросают издалека. Зрелищность поблекла, но игра стала более расчётливой.

Об этом много пишет журналист ESPN Кирк Голдсберри:
Статья 1, Статья 2

Именно у него я впервые увидел визуализацию Tanaka Contours. Этот метод - разновидность контурной диаграммы (Contour Plot), но с объёмным эффектом: каждый контур отбрасывает тень, и чем их больше, тем выше плотность события.

Интересно, что Tanaka Contours придумал профессор Кичиро Танака ещё в 1950-м, чтобы показывать рельеф на картах.

Я тоже решил перенести этот приём в баскетбол и построил визуализацию плотности бросков разных игроков. Рассматривал броски в радиусе восьми футов от кольца. Контуры рассчитал в Python (Seaborn, Matplotlib) методом kernel density estimation. В визуализации можно регулировать степень "трёхмерности" и при желании, свести всё к стандартным Contour Plot.

Подробно расписал как делать в статье "Contour Plots и оценка плотности событий в Tableau".

Особенно нравится в этой истории то, что одна картинка сразу показывает стиль конкретного баскетболиста. Сравните Шакила О’Нила с другими игроками или Джордана с Харденом. Оба - выдающиеся бомбардиры, но играли абсолютно по-разному.

На Reddit кто-то шутил, что такие графики похожи на рентген мозга 🙂

🖼 Визуализация 'NBA Hot Spots'

@data_bar 🍀

Стартует детский конкурс по визуализации данных. Участники - ребята от 6 до 11 лет и их родители. Буду в составе жюри первого всероссийского конкурса по визуализации данных для детей. Конкурс полностью бесплатный.

Участников ждут:
〰 крутые подарки - iPad, LEGO и ещё много всего классного
〰 обучающие эфиры, где диаграмму можно построить из игрушек или конфет
〰 бонусы каждому ребёнку

Работа с данными - один из ключевых навыков будущего. Конкурс - отличный способ показать детям, что работа с данными - это игра и творчество.

🍀 Регистрация

🍀 Канал конкурса

Аналитика от Аристотеля до Data Science

2000 лет назад аналитикой занимались в античности. Аристотель - отец аналитики, а его трактат "Органон" - базовый труд аналитической теории древности. Кроме прочего, он содержит два трактата: "Первая аналитика" (Analytica Priora) и "Вторая аналитика" (Analytica Posteriora). "Аналитики" стали теоретическим фундаментом для всей европейской науки, философии и математики.

Это труд, где Аристотель создал формальную логику или первый в истории "язык рассуждений" (Придумал античный сторителлинг 〰).

〰Цель "Первой аналитики" - понять, как устроено правильное умозаключение.
〰Цель "Второй аналитики" - понять, как из наблюдений и доказательств получить истинное знание.

Меня хватило только на половину "Первой аналитики", но сложно.

Аристотель считал, что истинное знание начинается с наблюдения, но завершается пониманием причин и общих законов, то есть логическим выводом из первых принципов. C данными в Античности было туго, поэтому приходилось доходить до выводов путём рассуждений.

Отец аналитики ввёл основы формальной логики, которой пользовались более 2000 лет до появления математической логики в XIX веке. Он впервые сформулировал идею научного метода: знание строится на доказательстве, а не на вере или авторитете. Вот за это - отдельное спасибо!

Аристотель подходил к анализу через поиск причин, выделяя 4 типа:

〰Материальная причина (Из чего это состоит?)
〰Формальная причина (Как это устроено?)
〰Действенная причина (Кто или что вызывает это?)
〰Целевая причина (Зачем это происходит, какая цель?)

Поиск первопричины - не просто факт, а смысл происходящего.

Интересно, что те же причины можно спроецировать на современный анализ данных. На картинке выше показано как рассуждают Аристотель и современный аналитик о причинах падения продаж. ChatGPT помог построить таблицу, но логика понятна.

〰Аристотель искал "почему" через понимание сути и причин.
〰Аналитик ищет "почему" через данные и доказательства.
Но оба делают одно и то же по сути - ищут логическую связь между явлением и его причиной.

Это всё к тому, что рассуждения и поиск причин без данных - история, которой уже 2000 лет.

А вы, как аналитики, пробовали читать Аристотеля?

@data_bar 🍀

Транспортные задачи и оптимальные маршруты.

Поиск оптимальных путей в логистике - мощный инструмент, позволяющий существенно сэкономить время и деньги.

Транспортная задача или задача Монжа-Канторовича - это классическая задача линейного программирования о построении оптимального плана перевозок грузов из пунктов отправления в пункты назначения с минимальными затратами.

Советский учёный Леонид Канторович, один из создателей линейного программирования, зачастую работал по ночам и имел склонность к опозданиям. Поэтому, часто пользовался такси. Обратив внимание на простой факт: машины простаивают, а водители неохотно делают короткие поездки, он вместе с группой учёных с помощью математических методов разработал обоснованные тарифы: ввели плату за посадку и уменьшили цену за километраж. Подобный подход затем применяли таксопарки по всему Советскому Союзу.

Леонид Канторович был удостоен Нобелевской премии за вклад в математическую экономику.


В статье "Транспортные задачи в Python и Tableau" я показал пример поиска оптимальных и неоптимальных маршрутов такси. Геометрия дорог не учитывается - рассматриваются прямые, соединяющие точки посадки с точками высадки. На визуализации можно оценить изменение общей длины маршрутов - почти в 5 раз.

Для иллюстрации задачи были взяты координаты 392 отелей на Манхэттене и 392 местоположений такси (все данные с Kaggle). Представим, что нужно все такси отправить во все 392 отеля для 392 постояльцев в один момент.

Для решения задачи в Python используется библиотека "POT: Python Optimal Transport".

〰 Берутся точки начала маршрутов (Source) и точки концов маршрутов (Target).
〰 Строится матрица расстояний или затрат на перемещение (Cost Matrix)
〰 Вычисляются оптимальные маршруты на матрице Optimal Transport
〰 Визуализируются траектории

Подробности описаны в статье.
〰 Визуализация с анимацией позволяет наблюдать, как траектории переходят от неоптимальных к оптимальным. Это пример того, как математическая задача может привести к реальной экономии.

У компании беспилотного такси Waymo есть патент "Route optimization for autonomous driving systems" - в нём описывается способ оптимизации маршрута для автономного автомобиля. Но там всё сложнее, и оптимальные траектории зависят не только от расстояния, но и от других факторов. Оптимальность здесь - баланс безопасностью, данными, надежностью и временем. А Weymo уже начинает локально замещать Uber в Штатах.

Решение сложных транспортных задач задач в масштабах государств находит применение в таких областях как:
〰 Расчёт местоположения логистических центров
〰 Планирование маршрутов транспорта при проведении крупных мероприятий (например, Олимпийские игры или Чемпионат мира по футболу)
〰 Строительство и развитие дорожной инфраструктуры

@data_bar 🍀