1. В каких случаях какой график лучше использовать? Какие могут возникнуть ошибки в его интерпретации? Для самостоятельных ответов на эти вопросы, советуем опробовать интерактивный тренажер по сравнению круговых диаграмм и гистограмм.

2. Галерея интерактивных вариантов оформления графиков в Tableau, собранных в соответствии с типами задач и необходимыми к отражению данными. Список не является исчерпывающим, но может стать отправной точкой для создания идеального дашборда. Тренируем насмотренность по ссылке.

3. Не уходя далеко от галереи примеров Tableau, стоит заглянуть в профиль эксперта Романа Бунина с вариантами дашбордов от активности передвижения людей по городам до состояния рынка вакансий в области аналитики.

4. Для тех, кто предпочитает воспринимать информацию через текст, или просто не смог присутствовать на лекции — конспект вебинара, где содержатся ключевые пункты, на которые стоит обратить внимание при составлении дашбордов. Рекомендуем к прочтению и регулярному использованию.

По сути, игра похожа на программирование в ассемблере, где команды отдаются напрямую процессору. Похожим образом выполняется программирование на высокоуровневых языках, типа Python. Скажем, скрипт для категоризации текста на деле выглядит как «взять данные на входе, сложить в ячейку памяти, взять следующие, сложить с имеющимися, отдать на выход». Поиграв в Human Resource Machine, становится понятнее, как работают алгоритмы на более низком уровне.

В общем, рекомендую!

Представьте: вы организуете вечеринку. Уже готова культурная программа, закуплена еда и, конечно, собран список гостей. Родственники, близкие друзья, просто знакомые...и Особенный.

Вы не можете не пригласить Особенного. Возможно, на этом настаивают родственники. Может, он умеет открывать шампанское ухом, а это гвоздь культурной программы. Ну, или вам просто неловко его не звать. Причин может быть много.

Но если Особенный придёт, то вечеринка с ненулевой вероятностью рискует схлопнуться в сингулярность. Он съест всю еду, в том числе из чужих тарелок. Он будет петь караоке при полном отсутствии голоса, слуха и самого караоке. В общем, жизнь разнообразна и удивительна, и с этим что-то надо делать.

...какое это имеет отношение к статистике? Читаем в статье Александра Манаенкова, ментора Karpov.Courses:

Вдогонку к введению в LMM прикрепляем ноутбук с кодом!

За последние 20 лет большинство людей привыкло, что хранить и записывать данные эквивалентно хранению данных в таблице Excel. Так думали и в системе здравоохранения Великобритании в разгар распространения COVID-19, пока не выяснилось, что данных накопилось настолько много, что они… перестали влезать в Excel. Правительство Великобритании на протяжении почти недели получало недостоверные данные по статистике заболеваемости из-за того, что они просто не подгружались в систему.

Дело в том, что файлы в формате Excel имеют ограничение на максимальное количество наблюдений (в данном случае колонок) в 65 000. После этого значения новые случаи перестают загружаться в форму для построения графиков. Таким образом, пусть и верное решение о локдауне было принято на основе неверных данных.

Какой вывод из этого можно сделать? Используйте базы данных, храните свои сложные данные в специально подготовленных форматах вместо .xls и, разумеется, мойте руки, друзья 🙂

Почитать подробнее о случае можно тут

Новая неделя – новое интервью!

В этот раз у нас в гостях Артур Хачуян, основатель Tazeros, который, пожалуй, лучше всех знает, как использовать большие данные для бизнеса и маркетинга.

Вместе мы успели обсудить:
● Что будет с рекламным рынком после iOS 14?
● К каким новым рекламным технологиям следует готовиться аналитикам?
● Что бизнес хочет знать о пользователях?
● Big Data и политика (казалось бы, при чем тут Беларусь?)

Бонус-история: как Шнуров Big Data в космос запускал 🙂

Пост про Human Resource Machine получил настолько большой отклик, что мы решили на регулярной основе публиковать нестандартные рекомендации для улучшения навыков кодинга!

Прокачиваем скиллы аналитика данных через игры:

1. Learn Git Branching

И в крупных компаниях, и в небольших проектах аналитик должен уметь взаимодействовать с командой, чтобы обмениваться данными и кодом. Для этих целей обычно используется система контроля версий Git. В Learning Git Branching вы учитесь взаимодействовать с этим программным обеспечением. Всё сопровождается графовыми иллюстрациями для лучшего понимания процесса.

2. Git Game

Тот же Learn Git Branching, но в версии для продвинутых пользователей: на этот раз никаких графиков и визуализации – только командная строка, только хардкор. Сейчас существуют две версии игры, которые позволяют после клонирования репозитория смоделировать наиболее часто встречающиеся ситуации. Основное различие между этими версиями, что во второй содержится бОльшее количество команд, которым точно стоит научиться.

3. Regex Crossword

Регулярные выражение – это палочка-выручалока для моментов, когда нужно что-то найти в файле на несколько миллионов строк, где вы даже не знаете, что конкретно нужно искать (впрочем, обычная ситуация). Тренироваться в использовании регулярных выражений советуем в Regex Crossword. Вам предстоит решать некое подобие японского кроссворда, правда вместо цифр – регулярные выражения.

4. while True: learn ()

Чтобы понять, как работает машинное обучение, стоит обратить внимание на while True: learn (0). Вы играете за специалиста по нейросетям и ML, однако кот справляется с работой гораздо лучше вас. Чтобы извлечь пользу из сложившейся ситуации, нужно построить переводчик с кошачьего, для чего вы и начинаете изучать принципы машинного обучения.

5. Opus Magnum

Opus Magnum – это игра-головоломка с бесконечным игровым процессом. Вам предстоит освоить возможности механизма трансмутаций — самого мощного и совершенного инструмента в арсенале инженера-алхимика. По сути игра напоминает симулятор программирования промышленных роботов, а сочетание программирования и алхимии обещает быть не только полезным, но и интересным!


6. SHENZHEN I/O
Готовы вырваться на просторы и начать писать свой код? Попробуйте SHENZHEN I/O! Вам предстоит освоить новый язык программирования, похожий на язык ассемблера, чтобы создавать схемы с использованием множества компонентов от разных производителей. Легко не будет, но благодаря тяге к созиданию и преодолению трудностей полученные навыки пригодятся при написании программ на любом языке программирования.

Всем привет! На связи Анатолий Карпов.

Наверняка вы знаете меня по курсу «Основы статистики» на Stepik. Эта программа родилась случайно – однажды я, как выпускник кафедры когнитивной психологии СПбГУ, интереса ради прочёл курс по статистике студентам-биологам. Но, как говорится, пранк вышел из-под контроля: офлайн формат на 30 человек быстро превратился в онлайн, количество студентов стремительно приближалось сначала к сотне, затем тысяче человек, а недавно число студентов и вовсе перевалило за 100 тысяч! Я понял, что обучать других анализу данных – это то, что мне нравится в жизни больше всего.

Параллельно с образовательными проектами я продолжал работать в индустрии, возглавлял команду аналитики ВКонтакте, открывал и закрывал EdTech стартапы, а сейчас работаю ведущим аналитиком в Mail.ru.

Работа в IT свела меня с замечательными людьми, горящими идеей сделать лучшую специализацию по анализу данных. Так и появилась команда Karpov.Courses. Мы вложили в эту программу все свои знания, полученные за годы работы в таких компаниях как ВКонтакте, Яндекс, Mail.ru. Мы записали десятки часов лекций, составили сотни заданий, десятки кейсов и развернули кластер с Big Data для практики. 1 ноября у нас стартует уже 6 поток специализации «Аналитик данных».

Присоединяйтесь!

Как часто вам приходят в голову идеи применить свои навыки не только в рабочем ключе, но и забавы ради?

Например, на прошлой неделе один продвинутый аналитик из США решил узнать... в каких ресторанах McDonald’s стоит сломанная машина для мороженого. Для этого он перепроектировал внутреннюю систему API сети, чтобы каждую минуту в каждом ресторане страны размещать заказ на сумму в 18 752 долларов. После получения ответа от системы может ли ресторан реализовать такое количество мороженого, заказ отменяется, а на карте отмечается работоспособность автомата. Таким образом, ни одно макфлурри не было потрачено зря!

В твиттере уже просят создать такую же карту для других стран, а пока можно понаблюдать, как обстоят дела с мороженым на территории США 🙂

Если вы читали нашу статью «Нетехническое введение в LMM», то наверняка помните: вечеринка с Особенным представляет собой сложную ситуацию. Однако всё может стать ещё хуже. Особенный может пригласить своих друзей.

Как они будут взаимодействовать друг с другом? Начнут играть в чехарду или уничтожат вечеринку независимо друг от друга? Об этом нам и предстоит узнать.

В сегодняшней статье ментора Karpov.Courses, Александра Манаенкова, мы поговорим про ситуацию с несколькими группировками в данных, а также об альтернативном способе их анализировать!

И ссылка на ноутбук вдогонку к статье!

Обучить собственную нейросеть, не написав ни строчки кода? Легко!

Каждую минуту жизни мы решаем задачи, связанные с распознаванием изображений: определить дорожный знак будучи за рулем, узнать съедобность гриба в лесу или вспомнить, что за порода у той милой собаки в кофейне. Для получения ответов на эти вопросы человек непременно обращаетесь к своему накопленному опыту. То же самое и нейросетями.

Ни для кого не секрет – работа с искусственным интеллектом всегда напоминает танцы с бубном, поэтому компания Microsoft сделала приложение Lobe, где вы попробуете себя в машинном обучении, даже не зная основы программирования.

В Lobe достаточно загрузить изображение. Работа приложения строится таким образом, что вы занимаетесь только созданием выборки фотографий каждого из классов для обучения ИИ. В крайних случаях – еще и корректировкой результатов. Например, вы можете создать базу всевозможных кроссовок, чтобы потом определять модель по одной лишь фотографии. Такое, к слову, однажды делали разработчики приложения Sloy для определения видов одежды.

А на определении чего вы хотели бы натренировать свою нейросеть?

Ноутбук с вебинара по прогнозированию временных рядов

Представим, вы увидели рекламу мобильного приложения и решили установить его. Первый запуск, регистрация, возможно даже какие-то покупки. Словом, первые шаги в освоении только что скачанной программы. В это время где-то в мире аналитик начинает кропотливый подсчет сколько же стоило разработчикам довести это самое приложение до конечного потребителя (то есть Вас). Другими словами, он должен рассчитать unit-экономику. Но что же это за зверь такой, unit-экономика?

Об этом мы поговорим на вебинаре «Unit-экономика мобильного приложения», который проведет Ярослав Баранов, Senior BI Analyst в компании Tango.

Вторник, 10 ноября, 19:30

Регистрация на вебинар

Залетайте к нам сегодня на вебинар в 19:30!

В этот раз Ярослав Баранов, Senior BI Analyst в компании Tango, будет рассказывать про Unit-экономику мобильных приложений и способы её расчета.

Скоро начинаем по ссылке

Не так давно мы выкладывали нетехническое введение и продолжение LMM от Александра Манаенкова, ментора karpov.courses. Однако тема LMM/GEE таит в себе много других тонких моментов, часто зависящих от конкретной области исследования. И их каждый должен открыть для себя сам.

Что ещё почитать?

● Статья «Линейные модели со смешанными эффектами в когнитивных исследованиях»

Один из немногих русскоязычных источников по LMM за авторством А. А. Четверикова. Статья главным образом ориентирована на когнитивных психологов, но может быть полезна и для “непосвящённых”.

● Mixed Effects Models and Extensions in Ecology with R, Alain F. Zuur

Однозначный мастридом является книга «Mixed Effects Models and Extensions in Ecology with R». Она на R и ориентирована на экологов, однако рассказывает не только про LMM, но и про GLM, GEE и нелинейные модели.

● Multilevel Analysis: An Introduction To Basic And Advanced Multilevel Modeling, Tom A. B. Snijders

Более ориентирована именно на модели со смешанными эффектами книга «Multilevel Analysis: An Introduction To Basic And Advanced Multilevel Modeling». Она больше говорит именно о теории, лежащей за LMM, но содержит много примеров из разных статистических программ.

● Generalized Estimating Equations, James W. Hardin, Joseph M. Hilbe

Аналогичная по своей сути книга, но для GEE. Сочетание теории и практики с большим количеством примеров – всё, что нужно для глубокого погружения в тему.

Человечество не раз сталкивалось со стремительным распространением инфекционных заболеваний. Увы, лекарства появлялись не так же стремительно, поэтому были придуманы такие меры противодействия, как изоляция больных и минимизация контактов между людьми. Для оценки эффективности предпринимаемых мер важно предсказать, как будет меняться число заражений после их принятия.

В рамках лекции вы узнаете:
● Как устроен часто используемый способ моделирования течения эпидемий
● Как улучшить результаты подобного моделирования
● Какие факторы не учитываются в этих моделях

По итогу вы сможете самостоятельно смоделировать график заболеваемости в отдельно взятой стране и влияния на него введения карантина.

Занятие провёл руководитель группы аналитики поиска Mail.ru, преподаватель Python на программах проф.переподготовки ФКН ВШЭ – Ян Пиле.

Ссылка на ноутбук