👆Брюс Практическая статистика для специалистов DS. О'рейли, 2021 #книга

Аналитика данных как марафон

Всегда кажется, что происходит что-то странное, когда речь заходит о проекциях и сравнении стран/континентов по размеру.

А тем временем, Россия влезает в Африку легко вся целиком, и еще место для Китая остается 8)

В интернетах шутят, что Меркатор - главный виновник всех проблем с Россией, ибо из-за его проекции (современная карта мира), Россия считает, что на больше, чем есть на самом деле.

Шарите в проекциях? Вас не обмануть? 😉
Делитесь любимыми сайтами по теме! Мне попадался даже интерактивный сравниватель континентов, но сейчас не найду.

Привет!

Как вы помните, я работаю Senior BI Analyst и знакомлю всех заинтересованных с профессией аналитика, в частности с аналитикой данных и бизнес-аналитикой. Делюсь с подписчиками лучшими практиками работы с данными, полезными ссылками и рассказываю как начать осваивать профессию.

📍Сегодня решил раскрыть чуть больше тему Business Intelligence (BI), как это связано с аналитикой и работой с данными. Смотри обновленный гайд по профессии аналитика:

1. Профессия аналитика данных
2. Задачи аналитика данных
3. Необходимые навыки
4. Business Intelligence и виды аналитики 🔥
5. Уровни аналитиков и компетенции
6. Как составить свое первое резюме
7. Как подготовиться к резюме
8. Вакансии аналитика данных (примеры)
9. Ссылки на полезные ресурсы

Gapminder|Old but Gold
Пока продолжается это безумие, чтобы немного вернуть себе силы иногда стоит на время зафиксироваться на вещах, которые заземляют и дают опору. Для меня это факты, данные и визуализация. Моим кумиром в донесении фактов всегда был Ганс Розлинг. Он сделал подарок всем дата-энтузиастам создав простые, но мощные графики, научил нас сторителлингу, показал как устроен мир с помощью визуализации. Его видео во многом вдохновили меня заниматься тем, что я делаю.

Я знаю, что многие видели его выступления на TED, но часто пропускают его документальные фильмы. Они смотрятся на одном дыхании и вдохновляют:
— Don’t Panic – The Facts About Population | на русском
— The Joy of Stats (или как полюбить аналитику)
— Don’t Panic — End Poverty

На сайте проекта Gapminder есть интерактивные визуализации и подборка всех видео. Ещё есть книга «Фактологичность», которую недавно вспоминали во многих каналах. Она тоже классная, но рекомендую начать именно с видео.
#ссылка

​​#визуализация_данных #книги Одна из лучших книг по визуализации данных на русском языке: как подготовить данные к работе, как выбрать подходящий для своих данных график или диаграмму, как оформить график, чтобы он максимально доносил ваше сообщение, как распознать, когда статистикой пытаются манипулировать. Об этом в кн. Александра Богачева "Графики, которые убеждают" (читайте ознакомительный отрывок). Рекомендую также посмотреть лекцию Александра "Дата-сторителлинг в постковидном мире".

Без цифр. Жизненный цикл ежевики
Источник

Минцифры России объявляет набор на обучение по проекту «Цифровые профессии». Дополнительное ИТ-образование со скидкой 50%, 75% или бесплатно будет доступно жителям всех регионов России старше 16 лет.

Для пользователей уже доступно 25 курсов: «Python-разработка для начинающих», «Мидл фронтенд-разработчик», «Data Science: рекомендательные системы», «Java-разработка для начинающих», «Основы тестирования ПО» и другие. Это курсы Яндекса, Нетологии, GeekBrains и др.

https://digital.gov.ru/ru/events/41515/

Как я узнал про Дата Саенс, машины лёрнинга и прочие бигдаты.
#всякоеразное

Каждый первый раз столкнулся со сферой по-своему, я вот на ютубе. Меня всегда интересовала тема таргетированной рекламы и как именно она работает, почему именно на меня нацелена та или иная (порой не тривиальная) реклама. На тот момент это было какой-то магией для меня. Ютуб -> рекомендации -> какое-то большое интервью про бигдату -> ну посмотрим. Смотрю, понимаю, что мне дико заходит эта тема. Главный герой вью - Артур Хачуян, специалист по обработке больших данных и основатель компании Tazeros Global. Ну очень интересное видео для меня на тот момент, много разных вещей, в которые сложно поверить. Кто собирает данные, зачем, что с ними делают, как из каких-то циферок получить деньги и на что вообще способны современные технологии. Артур очень интересный собеседник, который без пафоса и всякой теории рассказывает обычным людям достаточно сложные, а главное интересные вещи. После этого видео я начал гуглить другие его видео/лекции, меня реально затянуло. Оу, а обучаться я начну только через год (а зря!). Пожалуй с этого видео все началось, этот человек реально смог заинтересовать меня ДСом. Советую посмотреть пару роликов и вам, топ контент.

Ссылки: первое видео, вью любителя многоэтажек.

Разбираем код по строчкам.
#полезное

В курсе на степике вы столкнетесь с суровой реальностью - ваш код не будет работать. Искать ту самую ошибку дело не из приятных. На помощь приходит инструмент, который визуализирует код. Эта штуковина спасет очень много нервных клеток. Работает все просто - копипастишь свое творчество, запускаешь, разбираешься. Слева твой код, который выполняется по одной строке, справа визуализация.

Вердикт. 5/5. Отличный инструмент для новичка.
Ссылка: помогатор.

​​Появился еще один пакет в Python для оценки A/B-тестирования с использованием байесовского подхода: статья | пакет | github

via @ABtesting

Data visualization society выложило 71 видео с прошедшей датавиз конференции Outlier 2022! 😍

Постараюсь посмотреть и написать, что есть интересного, но не уверена, что все осилю! Так что делитесь, если найдёте что-то годное!

https://youtube.com/playlist?list=PLAm5TIX-yz7LJKkE-hzEWiIJpAFPmB19A

Полезные ссылки для знакомства и работы с DataLens

Большой функциональный демо дашборд:
- datalens.yandex/demo - публичный, только чтение
- Развернуть дашборд в своем DataLens для редактирования

Сообщество:
- Телеграм чат (вы сейчас тут)
- Предложить и проголосовать за новую фичу
- Плейлист официальных мероприятий на YouTube

Обучение:
- Быстрый старт, пошаговая инструкция
- Более детальные пошаговые инструкции по сценариям
- Туториалы по аналитическим функциям: агрегации, оконные функции, Level-of-Detail выражения
- Создание SQL-чартов (если вам нужно больше гибкости модели данных)
- Образовательные проекты

FAQ в документации:
- https://cloud.yandex.ru/docs/datalens/qa/

Публичные кейсы использования DataLens:
- КазаньЭкспресс - Аналитика retail маркетплейса
- Правительство С.-Петербурга - Аналитика городских сервисов
- Окраина - Аналитика на мясоперерабатывающем заводе
- МВидео - Платформа данных в облаке, геоаналитика
- Rubetek - Аналитика IOT по датчикам домов и квартир застройщика ПИК
- Moneycare - Кредитный брокер, корпоративный BI
- AnywayAnyDay - Аналитика онлайн туристического агентства
- JustSchool - Аналитика над CRM школы английского языка
- SevenTech - Аналитика технологического стартапа над ClickHouse
- НефтеТрансСервис - Промышленная аналитика интернета вещей
- RADAR - Аналитика аудитории наружной рекламы по всей России
- Цифровое образование - Аналитика олимпиад, учеников, школ
- Биологический Факультет МГУ - Предсказание и аналитика урожая
- tproger – Веб аналитика портала
- Car-Taxi - Продуктовая аналитика сервиса эвакуации авто
- Кинопоиск - Публичная статистика оценок фильмов

Примеры публичных дашбордов:
- Анализ качества воздуха
- Статистика коронавируса
- Погода
- Показатели Российских ВУЗов
- Демография Ставрополья
- Исследование про работу вахтовым методом в РФ
- Безработица РФ
- Пример с LOD выражениями от @ab0xa
(присылайте ваши примеры в чат, если хотите поделиться своим опытом!)

Презентации:
- DataLens
- Yandex Cloud Data Platform

Помощь:
- Обсудить ваш проект
- Завести тикет в техподдержку
- Найти партнера для проекта

🔥 Разбор тестового задания для аналитика с [Avito Weekend Offer]

Сегодня вместе с онлайн-университетом SF Education подготовили разбор задачи по Python с [Avito Weekend Offer].

Кстати, попробуйте сначала решить эту задачу самостоятельно 👉🏻 https://vk.cc/cb8QbP 😉

# Задача

Вам дано 2 набора чисел arr1 и arr2 в виде списка Python. Необходимо вернуть список, состоящий из элементов пересечения. Дубликаты необходимо удалить.

Важно: Если пересечение пустое, то возвращаем пустой список.

Пример:

 arr1 = [1, 2, 3], arr2 = [1, 1, 5]
 Ответ: [1]

Пример:

 arr1 = [1, 2, 3], arr2 = [6, 7, 5]
 Ответ: []

Пример:

 arr1 = [1, 2, 3], arr2 = [1, 2, 15, 3, 3]
 Ответ: [1, 2, 3]

# Попытка 1

Самый простой подход - пробежаться по элементам каждого массива и проверить вхождение во второй массив. Если элемент есть в обоих массивах - добавляем к результату.

 
 res = []
 for el in arr1:
     if el in arr2 and el not in res:
         res.append(el)
 for el in arr2:
     if el in arr1 and el not in res:
         res.append(el)

Очевидно, что это не самый оптимальный код - мы несколько раз пробегаемся по каждому списку, да еще и каждый раз проверяем: нет ли уже такого элемента в res.

Кроме того, одно значение может встречаться в каждом массиве несколько раз. Нет смысла проверять каждый раз - достаточно одного.

Чтобы убрать дубликаты, мы можем использовать множества - set. Они хранят уникальные значения в неупорядоченном виде.

 st1 = set(arr1)

# Попытка 2

У множеств в Python есть встроенный метод intersection - он как раз находит пересечение двух множеств.

Таким образом, решение задачи сводится к следующему:

1. Переводим оба списка в множества
2. С помощью метода intersection находим пересечение
3. На выходе intersection получается снова множество, поэтому переводим его в список с помощью функции list

Итоговый код:

 def PureIntersection(arr1, arr2):
         return list(set(arr1).intersection(set(arr2)))

​5 способов врать с помощью диаграмм🙊

Иногда диаграммы и графики манипулируют нами с помощью трюков, которые полностью меняют восприятие данных. Вот 5 таких трюков.

⛔ Загадочная перспектива
Обе круговые диаграммы на картинке 1 показывают, что «труд» занимает 30%. Но на диаграмме справа этот показатель размещен на переднем плане и имеет толстый 3D-край. Визуально это сильно увеличивает «масштаб» показателя.

⛔ Мошеннические формы
Классический способ лгать с помощью диаграммы — это вводить не относящуюся к делу информацию. На диаграмме справа (картинка 2) единственное релевантное свойство — высота конуса. Объем не имеет значения, но игнорировать его трудно. И это заставляет придавать большее значение широкой части конуса.

⛔ Несвязанные тренды
Когда на графике есть несколько похожих линий, кажется, что они связаны. На картинке 3 красная линия представляет уровень самоубийств, а зеленая — расходы на науку и технику. Это два совершенно независимых набора данных, но невольно возникает вопрос: а может, это как-то связано?

⛔ Показывая, прячем
Если надо, можно сделать какую-то тенденцию менее заметной. На картинке 4 левая диаграмма ясно показывает, что за три года расходы на маркетинг выросли втрое. То же самое есть и в правой диаграмме, но он скрыт среди множества других данных. Это делает резкий уклон в маркетинговых затратах малозаметным и почти невозможным для количественной оценки.

⛔ Дорогая, я уменьшил масштаб!
На первый взгляд кажется, что две диаграммы на картинке 5 изображают два разных набора данных. Но приглядитесь, и вы увидите, что единственная разница — это масштаб.
Этот трюк работает, потому что нам трудно исследовать масштаб диаграммы и данные одновременно.

Подбирать визуализацию по смыслу данных мои студенты учатся на курсе «Бизнес-дашборды в Excel» — ссылка в таплинке, в шапке профиля. Врать с помощью диаграмм никому не советую, но знать такие вещи необходимо :)