​​#пятничное #юмор Это я, когда мне говорят: "Тесты не работают и я в них не верю"

​​#книги #мои_рекомендации
Приручи данные с помощью Power Query в Excel и Power BI

Excel ещё остается основным инструментом аналитиков, которых иногда называют мартышками, работающими с данными, но чаще всего аналитики – это волшебники. Данные, с которыми приходится работать, редко появляются на свет в готовом к работе виде, поэтому много времени уходит на их очистку, фильтрацию и преобразование. Power Query помогает сократить этот процесс при первичной обработке данных, а все последующие обновления позволяет свести к простому нажатию на кнопку. Когда дело касается импорта, очистки и преобразования исходных данных для дальнейшего анализа, освоить Power Query бывает гораздо легче, чем выучить формулы Excel или язык программирования VBA. Нет сомнений, что Power Query навсегда изменит подход специалистов Excel к работе с данными. Если у вас есть Excel, значит, у вас уже есть Power Query – этот инструмент встроен в Excel 2016 и выше.

Книга "Приручи данные с помощью Power Query в Excel и Power BI" (оригинальное название: "Master Your Data With Power Query in Excel and Power BI") уже в продаже! Перевод книги был выполнен Александром Гинько. Переводы Александра отличаются высоким качеством, вы можете посмотреть другие выполненные им переводы книг.

Ознакомительный фрагмент книги: https://dmkpress.com/files/PDF/978-5-93700-105-4.pdf
Ссылка на предзаказ: https://dmkpress.com/catalog/computer/data/978-5-93700-105-4/
Промокоды:
Бумажная версия: промокод (скидка 22%)

Ginko_Monkey_paper

Версия PDF: промокод (скидка 25%)

Ginko_Monkey_PDF

​​#дайджест #полезное
Что посмотреть/послушать/почитать на выходных?
❶ Важная статья о главных секретах визуализации данных | Источник: Чартомойка
❷ Статья How to Calculate and Reduce New Hire Turnover at Your Company | Источник: AIHR
❸ Визуализация доли мужчин и женщин в разных индустриях (сферах деятельности). Сделано в R | Источник: Настенька и графики
❹ Статья Как сделать презентацию PowerPoint в R с помощью RMarkdown | Источник: Блог Appsilon
❺ Статья Децильный метод или сокращение дисперсии | Источник: Medium
❻ Материалы воркшопа Татьяны Балтыжаковой Визуализируй это: визуализация данных в R | Источник: google
❼ Серия из 4 небольших видео-лекций Разработка профессиональных тестов знаний | Источник: YouTube-канал Лаборатории "Гуманитарные Технологии"

#психометрика #тесты_знаний Ещё раз убеждаюсь в том, что разработка тестов знаний требует знаний. Наряду с предметной экспертизой, очень важно, чтобы автор-разработчик обладал компетентностью и владел технологией разработки тестов (тестовых заданий). К сожалению, многие думают, что тест -- это просто набор вопросов (заданий), что нет ничего сложного в том, чтобы придумать десяток вопросов и вариантов ответа к ним. Вместе с тем, трудность и дискриминативность тестовых заданий считают уже давно и успешно, как и проверяют надёжность и валидность теста. Последняя ссылка в предыдущем #дайджест как раз про это. Также рекомендую книгу А.Г. Шмелева "Практическая тестология". https://news.1rj.ru/str/chartomojka/801

​​Часы Судного дня
Воспроизвел график в R из Википедии ещё в январе 2017 (активно мониторю эту тему достаточно давно). С момента моей заметки 29 января 2017 года уже 2 раза пришлось обновлять её содержимое:
Update: 25 января 2018 года стрелки часов перевели вперед на 30 секунд (Источник: Bulletin of the Atomic Scientists)
Update 2: 23 января 2020 года стрелки часов перевели вперед на 20 секунд (Источник: Bulletin of the Atomic Scientists)
Часы Судного дня (англ. Doomsday Clock) — проект журнала Чикагского университета "Бюллетень ученых-атомщиков", начатый в 1947 году создателями первой американской атомной бомбы. Периодически на обложке журнала публикуется изображение часов, показывающих без нескольких минут полночь. Время, оставшееся до полуночи, символизирует напряжённость международной обстановки и прогресс в развитии ядерного вооружения. Сама полночь символизирует момент ядерного катаклизма. Решение о переводе стрелок принимает совет директоров журнала при помощи приглашённых экспертов, среди которых, в частности, 18 лауреатов Нобелевской премии (Источник: Wikipedia). Код графика на R.

#визуализация_данных Таня Мисютина про алгоритм визуализации сложных данных https://youtu.be/sdwTyKvq7SY

​​Поздравительный тест-конкурс к 8 Марта!
К празднику 8 марта в Клубе испытателей тестовых технологий (КИТТ) появился новый поздравительный тест-конкурс!

Известно, что женщины лучше, чем мужчины распознают эмоции по выражению лица, и новый тест направлен на проверку (подтверждение) этой закономерности. _Выполните задания на распознавания эмоций актёров и получите призы! Конкурс будет идти до 15 марта (включительно).
_Если вы не являетесь участником клуба, то для прохождения теста необходимо[ пройти предварительную регистрацию](http://services2.ht-line.ru/r.php?TM5HHD), которая займет менее 5 минут.
Прохождение теста займет 10-15 минут.
КИТТ – Клуб испытателей тестовых технологий, специальный проект Инновационного центра «Гуманитарные технологии».

#BI #опросы #будущее Приглашаю пройти краткий опрос "Повангуем в сфере BI. Что сейчас будет популярно?" Источник: @eto_analytica

Я напоминаю, что по-прежнему для скачивания доступен бесплатный постер по выбору графиков. Он не только полезен, но еще и красив, может закрыть дыру на стене, привлекает внимание коллег и может стать отличным подарком. Печатать рекомендую в размере А1, иначе будет мелковато.

Это не реклама, хотя чего там — это реклама! просто дружеская. Если вы живете в Москве, то рекомендую сервис для печати Pappermint. Пользовался много раз. Ребята не лажают с цветами и качеством печати в целом, привозят заказ в тот же день бесплатно по Москве, весь заказ оформляется в интернете, не нужно никуда ходить. При этом цены вполне рыночные.

Просто скачиваете ПДФ с постером и загружаете на сайт типографии. Всё быстро, просто, легко и удобно. Не благодарите!

Подробности о постере тут:
https://bit.ly/poster_dataviz

#аналитика #визуализация_данных #вебинар

Выложена запись прошедшей конференции DataYoga

Тема: DataYoga + Geeks: Аналитика и визуализация данных в кризисный период - текущая ситуация и ее влияние на будущие решения
Время начала: 11 мар. 2022 12:49 PM

Запись конференции:
https://us02web.zoom.us/rec/share/LGLVrOkw4u8rTjBPodvVdjYk50F4RJTVmFizlyiDySd429Dq6MqdPpEDxGfUPlEr.dj9Evy0AK5iuD42M

Код доступа: 1kV&6&8Z

​​#будущее_навыков #данные #рынок_труда #скроллтеллинг
LinkedIn презентовал новый проект Future of Skills (страница проекта открывается без VPN, поскольку расположена на github-pages), позволяющий посмотреть навыки будущего, тенденции их изменения (2015 -> 2021) на основе анализа 800 миллионов профилей пользователей по всему миру. Навыки можно посмотреть в разрезе локации (Россия не представлена), сферы деятельности и конкретных должностных позиций. Данные LinkedIn говорят нам о том, как меняются рабочие места и какие навыки могут понадобиться работникам, чтобы оставаться конкурентоспособными в новом мире труда. Удачно, на мой взгляд, был использован скроллтеллинг (интерактивное повествование на основе прокрутки).
Для понимания изменений навыков, сначала были определены наиболее важные навыки для выполнения конкретной работы в прошлом, а затем они сравниваются с навыками, которыми работник обладает сегодня для выполнения той же работы. Анализ показал, что навыки изменились в среднем на 25% в мире с 2015 года. И в большинстве случаев темпы изменений ускорялись во время пандемии COVID-19. Если изменения продолжатся такими темпами, то навыки могут измениться где-то с 39% до 44% уже к 2025 году.

Пандемия сделала удаленную работу для программистов нормой — The Economist
https://www.economist.com/graphic-detail/2021/08/11/for-programmers-remote-working-is-becoming-the-norm

Полезное, поэтому репост

Вы уже, наверное, слышали, но Tableau приостанавливает работу с корпоративными клиентами. Tableau Public работает и думаю, что тут проблем не будет. Российские BI-системы тоже есть (бурно обсуждают в чате, если рассматриваете переход туда), самый очевидный выбор сейчас - DataLens.

📍Еще есть проверенные opensource BI-системы:
- Redash - https://redash.io/ - дэши
- Superset - https://superset.apache.org/ - дэши
- Metabase - https://www.metabase.com/ - дэши
они прямо очень похожи между собой по структуре и методу создания

📍Дэшборды на R можно делать при помощи shiny:
- 1, 2, 3
- flexdashboard (тьюториал)
Шайни - просто пакет-надстройка для создания веб приложений, поэтому внутри все те же пакеты для датавиза (ggplot, plotly)

📍Дэшборды на Python при помощи dash и plotly
- 1, 2

Подборка российских аналогов разных сервисов (без дэшей, вдруг что-то понадобится)

Вычисление числа π методом Монте-Карло
#пи #число_пи #монте_карло #симуляции #R Сегодня День числа π – неофициальный праздник, который отмечается любителями математики 14 марта в 1:59:26 в честь математической константы – числа π. Этот праздник придумал в 1987 году физик из Сан-Франциско Ларри Шоу, который заметил, что в американской системе записи дат (месяц / число) дата 14 марта (3/14) и время 1:59:26 совпадает с первыми разрядами числа π = 3,1415926…(см. https://ru.wikipedia.org/wiki/%D0%94%D0%B5%D0%BD%D1%8C_%D1%87%D0%B8%D1%81%D0%BB%D0%B0_%D0%BF%D0%B8)
Существует много способов вычисления числа Пи. Самым простым и понятным является численный метод Монте-Карло, суть которого сводится к простейшему перебору точек на площади. Представьте единичный круг, вписанный в единичный квадрат. Будем также считать, что вписанный в квадрат круг является мишенью для игры в дартс. Если мы неоднократно бросаем дротики в доску и они случайно приземляются в границах квадрата, некоторые приземляются на квадрат, а некоторые попадают на мишень.
Круг с радиусом 1 имеет площадь π, квадрат со сторонами длины 2 имеет площадь 4. Следовательно, отношение площади круга к площади квадрата равно π/4. Если наши броски действительно случайны, то число дротиков, попадающих на мишень для дротиков, деленное на общее количество бросков, будет в соотношении π/4. Если мы умножим это число на 4, мы получим нашу оценку числа π.
> # для воспроизводимости
> set.seed(123)
> # Количество бросков дротика
> N <- 100000000
> # Координаты дротика
> x <- runif(N, 0, 1)
> y <- runif(N, 0, 1)
> # используем теорему Пифагора
> z <- sqrt(x * x + y * y)
> # считаем дротики, попавшие в круг
> darts_inside_circle <- length(which(z < 1))
> darts_inside_circle
[1] 78541120
> # Число пи
> darts_inside_circle/N*4
[1] 3.141645

#туториалы #корреляция Как посчитать значимость коэффициента корреляции в #excel с 95% доверительным интервалом? Сделал пример. Жёлтые ячейки для ввода данных. Ничего сложного.

​​#полезное #туториалы #данные #ссылки #people_analytics
Библиотека ресурсов People Analytics
Роль People Analytics возрастает сильнее, чем когда-либо. Независимо от того, являетесь ли вы новичком в области People Analytics или опытным профессионалом, данная библиотека ресурсов будет вам полезна. Список из 90+ полезных ресурсов по People Analytics от лидера в этой области – Эрика ван Вульпена. Статьи, отчеты, примеры данных, видео и другие материалы помогут вам улучшить свои знания и инициативы в области HR-аналитики. За исключением книг и некоторых академических ресурсов, остальное в репозитории находится в свободном доступе. Скачать библиотеку можно после заполнения простой формы по ссылке.

​​#peopleanalytics #rstats #data #книги
Рекомендация от Кита МакНалти, автора книг Handbook of Regression Modeling in People Analytics и Handbook of Graphs and Networks in People Analytics: основы элементарных статистических методов для тех, кто работает в области аналитики и науки о данных, в книге "Introduction to Modern Statistics" (Введение в современную статистику). Книга в свободном доступе онлайн или в PDF-формате.

Все основные BI вендоры уходят из России, в том числе и Табло. Приостановлены продажи и продление новых лицензий, отзываются лицензии у компаний попавших под санкции. Официальные представители не могут ответить, что именно будет дальше. Поэтому компании ищут или возможность покупки лицензий через зарубежные юр. лица, или переходят на другие платформы: open-source или от российских производителей.

Open-source
Самый большой и подробный гайд по BI-систем собрала команда Left Join, там есть и платные, и open-source решения. Изучение open-source начал бы именно с этого гайда, всё очень подробно и с примерами. Ребята готовят видео по Superset, но пока его нет можно посмотреть выступление Петра Ермакова про опыт Lamoda.

Отечественные
Сравнение отечественных систем можно посмотреть в краш-тесте Алексея Колоколова или в анализе на манер квадрата Гартнера от Сергея Громова. Ещё появился чат про русские BI-платформы.

Мнение
Я думаю, что Табло частично останется в России. Его смогут использовать зарубежные компании, сохранившие бизнес в России, плюс думаю, что найдутся пути для закупок. Возможно со временем они вернут продажи, но даже при этом Табло станет меньше.

Из open source я лично работал только с Metabase, это хорошее решение для простых задач. Делать выводы и получать инсайды можно и там. Наиболее продвинутыми с точки UI, гибкости и визуализаций выглядит Apache Superset. Канал и чат про этот инструмент.

Из русских систем я работаю только c DataLens — мы используем его на работе и помогал ребятам с учебным марафоном. По функционалу инструмент решает все те же задачи, что и open-source, но гораздо более user-friendly для старта работы, более продвинутые карты и без проблем работает с ClickHouse. Но может находиться только в облаке, что подойдет не всем компаниям. Учебный марафон и чат про этот инструмент.

В целом я верю, что с помощью любой платформы можно получить хороший результат.

Навыки
Я не думаю, что рынок специалистов BI сильно упадёт, но изменятся требуемые навыки. Более важными станут навыки подготовки данных и оптимизации работы витрин — все опенсорс решения опираются в первую очередь на live подключения к БД и в них нет встроенных ETL-инструментов. Для создания кастмоных визуализаций и оформления понадобиться знание JS и CSS. Из нетехнических навыков останется важным сбор требований и дизайн, особенно важным станет UX, так как с более простым инструментарием придется придумывать более элегантные подходы, которые бы удобно решали задачу пользователя. Важно помнить, что инструмент визуализации, лишь один из 6 навыков, необходимых для хорошего BI-специалиста.
#наблюдение #ссылка