​​Часы Судного дня
Воспроизвел график в R из Википедии ещё в январе 2017 (активно мониторю эту тему достаточно давно). С момента моей заметки 29 января 2017 года уже 2 раза пришлось обновлять её содержимое:
Update: 25 января 2018 года стрелки часов перевели вперед на 30 секунд (Источник: Bulletin of the Atomic Scientists)
Update 2: 23 января 2020 года стрелки часов перевели вперед на 20 секунд (Источник: Bulletin of the Atomic Scientists)
Часы Судного дня (англ. Doomsday Clock) — проект журнала Чикагского университета "Бюллетень ученых-атомщиков", начатый в 1947 году создателями первой американской атомной бомбы. Периодически на обложке журнала публикуется изображение часов, показывающих без нескольких минут полночь. Время, оставшееся до полуночи, символизирует напряжённость международной обстановки и прогресс в развитии ядерного вооружения. Сама полночь символизирует момент ядерного катаклизма. Решение о переводе стрелок принимает совет директоров журнала при помощи приглашённых экспертов, среди которых, в частности, 18 лауреатов Нобелевской премии (Источник: Wikipedia). Код графика на R.

#визуализация_данных Таня Мисютина про алгоритм визуализации сложных данных https://youtu.be/sdwTyKvq7SY

​​Поздравительный тест-конкурс к 8 Марта!
К празднику 8 марта в Клубе испытателей тестовых технологий (КИТТ) появился новый поздравительный тест-конкурс!

Известно, что женщины лучше, чем мужчины распознают эмоции по выражению лица, и новый тест направлен на проверку (подтверждение) этой закономерности. _Выполните задания на распознавания эмоций актёров и получите призы! Конкурс будет идти до 15 марта (включительно).
_Если вы не являетесь участником клуба, то для прохождения теста необходимо[ пройти предварительную регистрацию](http://services2.ht-line.ru/r.php?TM5HHD), которая займет менее 5 минут.
Прохождение теста займет 10-15 минут.
КИТТ – Клуб испытателей тестовых технологий, специальный проект Инновационного центра «Гуманитарные технологии».

#BI #опросы #будущее Приглашаю пройти краткий опрос "Повангуем в сфере BI. Что сейчас будет популярно?" Источник: @eto_analytica

Я напоминаю, что по-прежнему для скачивания доступен бесплатный постер по выбору графиков. Он не только полезен, но еще и красив, может закрыть дыру на стене, привлекает внимание коллег и может стать отличным подарком. Печатать рекомендую в размере А1, иначе будет мелковато.

Это не реклама, хотя чего там — это реклама! просто дружеская. Если вы живете в Москве, то рекомендую сервис для печати Pappermint. Пользовался много раз. Ребята не лажают с цветами и качеством печати в целом, привозят заказ в тот же день бесплатно по Москве, весь заказ оформляется в интернете, не нужно никуда ходить. При этом цены вполне рыночные.

Просто скачиваете ПДФ с постером и загружаете на сайт типографии. Всё быстро, просто, легко и удобно. Не благодарите!

Подробности о постере тут:
https://bit.ly/poster_dataviz

#аналитика #визуализация_данных #вебинар

Выложена запись прошедшей конференции DataYoga

Тема: DataYoga + Geeks: Аналитика и визуализация данных в кризисный период - текущая ситуация и ее влияние на будущие решения
Время начала: 11 мар. 2022 12:49 PM

Запись конференции:
https://us02web.zoom.us/rec/share/LGLVrOkw4u8rTjBPodvVdjYk50F4RJTVmFizlyiDySd429Dq6MqdPpEDxGfUPlEr.dj9Evy0AK5iuD42M

Код доступа: 1kV&6&8Z

​​#будущее_навыков #данные #рынок_труда #скроллтеллинг
LinkedIn презентовал новый проект Future of Skills (страница проекта открывается без VPN, поскольку расположена на github-pages), позволяющий посмотреть навыки будущего, тенденции их изменения (2015 -> 2021) на основе анализа 800 миллионов профилей пользователей по всему миру. Навыки можно посмотреть в разрезе локации (Россия не представлена), сферы деятельности и конкретных должностных позиций. Данные LinkedIn говорят нам о том, как меняются рабочие места и какие навыки могут понадобиться работникам, чтобы оставаться конкурентоспособными в новом мире труда. Удачно, на мой взгляд, был использован скроллтеллинг (интерактивное повествование на основе прокрутки).
Для понимания изменений навыков, сначала были определены наиболее важные навыки для выполнения конкретной работы в прошлом, а затем они сравниваются с навыками, которыми работник обладает сегодня для выполнения той же работы. Анализ показал, что навыки изменились в среднем на 25% в мире с 2015 года. И в большинстве случаев темпы изменений ускорялись во время пандемии COVID-19. Если изменения продолжатся такими темпами, то навыки могут измениться где-то с 39% до 44% уже к 2025 году.

Пандемия сделала удаленную работу для программистов нормой — The Economist
https://www.economist.com/graphic-detail/2021/08/11/for-programmers-remote-working-is-becoming-the-norm

Полезное, поэтому репост

Вы уже, наверное, слышали, но Tableau приостанавливает работу с корпоративными клиентами. Tableau Public работает и думаю, что тут проблем не будет. Российские BI-системы тоже есть (бурно обсуждают в чате, если рассматриваете переход туда), самый очевидный выбор сейчас - DataLens.

📍Еще есть проверенные opensource BI-системы:
- Redash - https://redash.io/ - дэши
- Superset - https://superset.apache.org/ - дэши
- Metabase - https://www.metabase.com/ - дэши
они прямо очень похожи между собой по структуре и методу создания

📍Дэшборды на R можно делать при помощи shiny:
- 1, 2, 3
- flexdashboard (тьюториал)
Шайни - просто пакет-надстройка для создания веб приложений, поэтому внутри все те же пакеты для датавиза (ggplot, plotly)

📍Дэшборды на Python при помощи dash и plotly
- 1, 2

Подборка российских аналогов разных сервисов (без дэшей, вдруг что-то понадобится)

Вычисление числа π методом Монте-Карло
#пи #число_пи #монте_карло #симуляции #R Сегодня День числа π – неофициальный праздник, который отмечается любителями математики 14 марта в 1:59:26 в честь математической константы – числа π. Этот праздник придумал в 1987 году физик из Сан-Франциско Ларри Шоу, который заметил, что в американской системе записи дат (месяц / число) дата 14 марта (3/14) и время 1:59:26 совпадает с первыми разрядами числа π = 3,1415926…(см. https://ru.wikipedia.org/wiki/%D0%94%D0%B5%D0%BD%D1%8C_%D1%87%D0%B8%D1%81%D0%BB%D0%B0_%D0%BF%D0%B8)
Существует много способов вычисления числа Пи. Самым простым и понятным является численный метод Монте-Карло, суть которого сводится к простейшему перебору точек на площади. Представьте единичный круг, вписанный в единичный квадрат. Будем также считать, что вписанный в квадрат круг является мишенью для игры в дартс. Если мы неоднократно бросаем дротики в доску и они случайно приземляются в границах квадрата, некоторые приземляются на квадрат, а некоторые попадают на мишень.
Круг с радиусом 1 имеет площадь π, квадрат со сторонами длины 2 имеет площадь 4. Следовательно, отношение площади круга к площади квадрата равно π/4. Если наши броски действительно случайны, то число дротиков, попадающих на мишень для дротиков, деленное на общее количество бросков, будет в соотношении π/4. Если мы умножим это число на 4, мы получим нашу оценку числа π.
> # для воспроизводимости
> set.seed(123)
> # Количество бросков дротика
> N <- 100000000
> # Координаты дротика
> x <- runif(N, 0, 1)
> y <- runif(N, 0, 1)
> # используем теорему Пифагора
> z <- sqrt(x * x + y * y)
> # считаем дротики, попавшие в круг
> darts_inside_circle <- length(which(z < 1))
> darts_inside_circle
[1] 78541120
> # Число пи
> darts_inside_circle/N*4
[1] 3.141645

#туториалы #корреляция Как посчитать значимость коэффициента корреляции в #excel с 95% доверительным интервалом? Сделал пример. Жёлтые ячейки для ввода данных. Ничего сложного.

​​#полезное #туториалы #данные #ссылки #people_analytics
Библиотека ресурсов People Analytics
Роль People Analytics возрастает сильнее, чем когда-либо. Независимо от того, являетесь ли вы новичком в области People Analytics или опытным профессионалом, данная библиотека ресурсов будет вам полезна. Список из 90+ полезных ресурсов по People Analytics от лидера в этой области – Эрика ван Вульпена. Статьи, отчеты, примеры данных, видео и другие материалы помогут вам улучшить свои знания и инициативы в области HR-аналитики. За исключением книг и некоторых академических ресурсов, остальное в репозитории находится в свободном доступе. Скачать библиотеку можно после заполнения простой формы по ссылке.

​​#peopleanalytics #rstats #data #книги
Рекомендация от Кита МакНалти, автора книг Handbook of Regression Modeling in People Analytics и Handbook of Graphs and Networks in People Analytics: основы элементарных статистических методов для тех, кто работает в области аналитики и науки о данных, в книге "Introduction to Modern Statistics" (Введение в современную статистику). Книга в свободном доступе онлайн или в PDF-формате.

Все основные BI вендоры уходят из России, в том числе и Табло. Приостановлены продажи и продление новых лицензий, отзываются лицензии у компаний попавших под санкции. Официальные представители не могут ответить, что именно будет дальше. Поэтому компании ищут или возможность покупки лицензий через зарубежные юр. лица, или переходят на другие платформы: open-source или от российских производителей.

Open-source
Самый большой и подробный гайд по BI-систем собрала команда Left Join, там есть и платные, и open-source решения. Изучение open-source начал бы именно с этого гайда, всё очень подробно и с примерами. Ребята готовят видео по Superset, но пока его нет можно посмотреть выступление Петра Ермакова про опыт Lamoda.

Отечественные
Сравнение отечественных систем можно посмотреть в краш-тесте Алексея Колоколова или в анализе на манер квадрата Гартнера от Сергея Громова. Ещё появился чат про русские BI-платформы.

Мнение
Я думаю, что Табло частично останется в России. Его смогут использовать зарубежные компании, сохранившие бизнес в России, плюс думаю, что найдутся пути для закупок. Возможно со временем они вернут продажи, но даже при этом Табло станет меньше.

Из open source я лично работал только с Metabase, это хорошее решение для простых задач. Делать выводы и получать инсайды можно и там. Наиболее продвинутыми с точки UI, гибкости и визуализаций выглядит Apache Superset. Канал и чат про этот инструмент.

Из русских систем я работаю только c DataLens — мы используем его на работе и помогал ребятам с учебным марафоном. По функционалу инструмент решает все те же задачи, что и open-source, но гораздо более user-friendly для старта работы, более продвинутые карты и без проблем работает с ClickHouse. Но может находиться только в облаке, что подойдет не всем компаниям. Учебный марафон и чат про этот инструмент.

В целом я верю, что с помощью любой платформы можно получить хороший результат.

Навыки
Я не думаю, что рынок специалистов BI сильно упадёт, но изменятся требуемые навыки. Более важными станут навыки подготовки данных и оптимизации работы витрин — все опенсорс решения опираются в первую очередь на live подключения к БД и в них нет встроенных ETL-инструментов. Для создания кастмоных визуализаций и оформления понадобиться знание JS и CSS. Из нетехнических навыков останется важным сбор требований и дизайн, особенно важным станет UX, так как с более простым инструментарием придется придумывать более элегантные подходы, которые бы удобно решали задачу пользователя. Важно помнить, что инструмент визуализации, лишь один из 6 навыков, необходимых для хорошего BI-специалиста.
#наблюдение #ссылка

​​#дашборд #tableau #визуализация_данных Эффект Матильды — это систематическое отрицание вклада женщин в науку, умаление значимости их работы и приписывание трудов женщин коллегам мужского пола. Этот эффект был впервые описан суфражисткой и аболиционисткой Матильдой Джослин Гейдж (1826—1898) в её эссе "Женщина как изобретатель".
Link to dashboard: https://public.tableau.com/gallery/matilda-effect

Credits: Tableau Viz of the Day

​​#книга Книгу Ханса Рослинга "Фактологичность" (посмертное издание) должен прочитать каждый. Он превращал цифры в музыку, боролся с искажением фактов, сам себя он не считал ни пессимистом, ни оптимистом, а называл себя "поссибилистом" (possibilist). Он был самым настоящим “волшебником”, заставлявшим данные танцевать. В искусстве жонглирования статистическими данными ему нет равных. Журнал Foreign Policy включил Ханса Рослинга в рейтинг 100 мыслителей, имеющих “большие идеи” и оказавших влияние на мир в 2009 году. Его лекции отличались особой энергетикой, динамикой и экспрессией, свидетельствующих о том, что он действительно понимает, о чем говорит. Кстати, в одном из своих выступлений Ханс даже продемонстрировал искусство глотателей мечей, после чего аудитория аплодировала стоя. Для всех, кто работает с данными, его слова "Let my dataset change your mindset" – должны быть девизом.

​​#визуализация_данных #опросы #оплата_труда #гендерное_равенство #R #ggplot2
Гендерный разрыв в оплате труда
«В России мы сегодня уверенно разворачиваемся в сторону русского средневековья с его порядками «домостроя». Женщины, составляющие бóльшую часть населения, непропорционально представлены в управлении страной даже несмотря на то, что в среднем они более образованны, чем мужчины (24,8% россиянок в возрасте 15 лет и более имеют высшее образование против 21,7% граждан мужского пола). В нынешнем составе Государственной думы женщин 16,7% (да и то хорошо — в предыдущем было всего 4,6%), в то время как в германском Бундестаге — 31,2%, в норвежском Стортинге — 41,4%. Женщина никогда не была в России премьер-министром (в странах ЕС за последние 30 лет 27 женщин занимали такой пост) и женщины никогда не получали на президентских выборах более 5% голосов. Средняя зарплата женщин в России ниже зарплаты мужчин на 27,4%» цит. по 1.
Гендерный разрыв в оплате труда представляет собой различие средней оплаты труда женщин и мужчин. Частично такой разрыв объясняется различными уровнями оплаты труда в традиционно женских и мужских профессиях, частично уровнем образования, занимаемыми должностями и т.д. Но остается и необъяснимая часть различия зарплат женщин и мужчин при прочих равных характеристиках работников, которая традиционно определяет уровень гендерной дискриминации. Гендерный разрыв в заработных платах существует во всех странах мира. Согласно проводимым Международной организацией труда (МОТ) исследованиям в данной области, с течением времени данный разрыв снижается.
На днях нашёл интересную визуализацию Johnny Lillis 2 данных опроса «How much money do you make?» проекта «Аsk a manager» 3, участие в котором приняли 24 тыс. человек. Хороший пример сочетания визуализации распределения заработной платы (distribution plots) и сравнения медиан с помощью гантелек (dumbbell plots) в разрезе нескольких группирующих признаков. Как всегда, доступен исходник кода на R 4.
Источники:
1. Иноземцев В.Л. Несовременная страна: Россия в мире XXI века: Альпина Паблишер; Москва; 2018.
2. https://twitter.com/johnny_c_lillis/status/1411388723988733953
3. https://www.askamanager.org/2021/05/look-at-24000-peoples-real-life-salaries.html
4. https://github.com/j-lillis/Tidy-Tuesday/blob/main/Ask A Manager survey (18-05-2021)/askamanager.R

Я напоминаю об опросе "Зарплата моей мечты" и #дашборд по его результатам, см. мой пост https://news.1rj.ru/str/People_Analytics/176