Мы уже уже анализировали рынок вакансий аналитиков в России по данным HeadHunter. Теперь хотим сравнить зарплаты специалистов в области Data Science в разных странах. В первом материале проекта расскажем, как парсить данные из базы Indeed — крупнейшего поисковика вакансий в мире:

https://leftjoin.ru/all/parser-indeed-with-python/

ISYE 6501: Intro to Analytics Modeling

Сегодня расскажу немного о первом вводном курсе ISYE6501. Сначала пойдут мои общие эмоции относительно курса, а затем опишу структура контента.

В целом, курс мне скорее понравился, чем не понравился, но график прохождения курса очень жесткий: одновременно может случиться большая домашняя работа, лекции почти на 2-3 часа и подготовка к Midterm Quiz. При этом первая часть курса была для меня существенно интереснее, чем вторая.

Оценка за весь курс состоит из нескольких частей:
◾ Самый высокий вес имеет Final Exam, а также Midterm Quiz 1, Midterm Quiz 2. Совокупно они составляют 75% общей оценки.
◾ Также предусмотрен курсовой проект — на него приходится 15% итоговой оценки
◾ Оставшиеся 10% — это выполнение домашних заданий, которые, кстати, оцениваются другими студентами (это тоже дополнительная нагрузка, потому что каждую неделю нужно оценивать три работы)

Сами домашние работы занимают от 5 до 10 часов, если уже есть опыт работы с R. Без опыта мне даже страшно представить временные затраты, так как курс начинается с места в карьер: прямо с первой недели надо писать прозрачный функциональный код.

Если говорить о контенте, то курс состоит из рассмотрения аналитических инструментов (analytical tools) и сквозных концепций (cross-cutting conceptions). Всего курс длится 15 недель, каждую неделю публикуются новые видео и задания. В первой половине курса изучаются основы, а в конце то, как эти основы применяются в конкретных кейсах (последняя часть оказалась очень скучной для меня).

Понедельно программа выглядит так (цифра — номер недели):
1. Классификация (kNN, SVM) и общие определения данных, масштабирование.
2. Валидация, train-test split, кросс-валидация, кластеризация и отличия supervised от unsupervised.
3. Определение выбросов (тема вдохновила на отдельную статью в блоге), модель CUSUM (новое знание для меня).
4. Временные ряды: экспоненциальное сглаживание, ARIMA, GARCH, сезонность, тренд.
5. Линейная регрессия: максимальная правдоподобность, AIC/BIC, causation vs correlation, data transformation (box-cox).
6. Продвинутая подготовка данных: BoxCox, PCA, De-trending.
7. Продвинутая регрессия: CART, Random Forrests, Logistic Regression, Confusion Matrices.
MidTerm Quiz 1.
8. Выбор переменных: Stepwise Regression, Ridge, Lasso, ElasticNet.
9. Design of Experiments, AB-tests, Factorial Design, Multi-arm bandits.
Вероятностные модели: Бернулли, биномиальные распределения, геометрические распределения.
Распределения Пуассона, экспоненциальное распределение, распределение Вейбулла. QQ-plots, симуляции, цепи Маркова.
5 эмоджи типа едет крыша
10. Пропущенные значения. Методы восстановления данных.
Введение в модели оптимизации, функции оптимизации (Часть 1).
11. Оптимизационные модели (Часть 2). Нейронные сети, deep learning, графы, network models (конечно, просто overview).
Модели теории игр.
Midterm Quiz 2.
12. Кейс электрокомпании.
13. Кейс в ритейле.
14. Кейс в области монетизации данных.
15. Курсовой проект.
Final Exam.

Несколько скриншотов из видео, которые мне запомнились, ниже.

#gatech #omsa

Если вдруг когда-то хотели подучить регулярные выражения, RegexOne отлично с этим поможет.

Иногда возникает необходимость потренироваться на каком-нибудь датасете, на этот случай в интернете имеется библиотека датасетов упакованных в SQLite базы данных.

Кайфовый интерактивный датавиз про популярность Байдена на выборах (а ранее Трампа и других президентов)

#link

Про Looker ранее я уже писал несколько раз, а вот есть Lightdash — opensource версия Looker (github), которая использует dbt в основе.

Краткое описание от создателей:
Lightdash removes the gap between your data transformation layer and your data visualization layer. It enables data analysts and engineers to control all of their business intelligence (data transformations/business logic as well as data visualization) in a single place.

Lightdash integrates with your dbt project and gives a framework for defining metrics and specifying joins between models all within your existing dbt YAML files. The data output from your dbt project is then available for exploring and sharing in Lightdash.

Есть доступная онлайн демка. Можно установить на свой хост через Docker.

Визуально это выглядит пока не восторг, но функционально, кажется, большую часть удалось воссоздать.

Когда-то давно на первом и втором курсе мы изучали пакет Wolfram Research Mathematica. В рамках курса мы писали алгоритмы, работали со структурами данных, считали перестановки и так далее. Отличным сопровждением была книга от моих преподавателей Mathematica для нематематика, это совершенно потрясающее чтиво для тех, кто интересуется компьютерной алгеброй.

И несмотря на то, что сама Mathematica, возможно, уже не так актуальна, книга от докторов наук Вавилова Н.А., Халина В.Г. и Юркова А.В. была совершенно бесплатно издана онлайн, и я всячески ее рекомендую к прочтению, всем кто интересуется темой. 📔

Свежак от коллег из Altinity: Clickhouse ODBC-connector к Tableau.

Инструкции по установке (спс BloodJazMan)

Шикарная погода в Санкт-Петербурге ☀️, летняя сессия в Georgia Tech 👨‍🎓и активные трудовые будни 🧑‍🏭 не позволяли публиковать материалы в последнее время, но исправляю эту оплошность.

Спешу познакомить вас с нашим новым трудом, опубликованным в Tableau Public: дашборд с анализом семи альбомов Земфиры. Это продолжение нашего предыдущего материала про анализ текстов альбома "бордерлайн", но без технических деталей, а с интерактивноcтью Tableau.

Классный ресурс от Victor Powell, в котором визуально и понятно объяснены такие темы как PCA, цепи Маркова, OLS Regression, собственные числа и вектора, условные вероятности.

#viz

Оказывается, у создателей есть также тренажер и по SQL — SQLBolt.

Подборки каналов
Никак не доберусь до составления собственного списка, поэтому по просьбе ребят из @it_resume делюсь подборкой авторских телеграмм-каналов для аналитиков. В подборке 20 каналов: про анализ данных, программирование, data engineering, data science и так далее. На большинство каналов подписан лично, поэтому согласен и могу рекомендовать 🙂
Детали в посте на хабре.

Рома записал отличный полезный выпуск лайфхаков в Табло

Записал новый выпуск «Лайфхаков в Табло». Этот выпуск пока самый долгий из всех благодаря последнему пункту, который скорее относится к костылям и находится на грани добра и зла. Если что, я вас плохому не учил. 😈

0:00 — Пагинация в таблице
4:45 — Сравнение метрики по разрезам
11:23 — Кастомная подсветка строк в таблице

Ещё я веду реестр лайфхаков, чтобы не терялись и было проще искать. Пока только свои, но хотелось бы сделать отдельно и сборную библиотеку из интернета. Если кто-то хочет помочь поискать лайфхаки на просторах и сделать для них короткие описания с таймингами — приходите. Сами научитесь, поможете другим и будет что положить в портфолио.
#лайфхаки

Из актуального: обученная нейронная сеть для генерации несуществующих пляжей на базе StyleGAN2. Ну, и домен хороший 🏖

Из учебного: в этом семестре взял курс CSE 6040, который про алгоритмы анализа данных на Python, курс очень круто подготовлен, обязательно поделюсь более детально.
Иногда просто потрясают датасеты и кейсы внутри. Вот, например, один из них для построения линейной регрессии:
In 1968, Wagner Agahajanian, and Bing conducted a study to determine whether you could improve a student's math test scores using lysergic acid diethylamide, also known as "LSD." (raw data, data file denoscription)

Актуальная вещь в духе недавно выпущенного Github Copilot.