Основные форматы файлов в сфере анализа данных и как их читать на Python.

Если бы эта картинка попалась мне сильно раньше, ML может уложился бы в моей голове попроще. Читшит для scikit-learn – ML библиотеки на Python, но отлично раскладывает основные типы задач машинного обучения в принципе. Схемка интерактивная, так что сразу можно углябляться в методы.

Если нужно предсказать категорию:
- Классификация – есть размеченные данные, например спам/не спам и нужно классифицировать остальные (например, Наивный Байес)
- Кластеризация – данные на резмечены и нужно выделить группы по их схожести (например, K-means)

Если нужно предсказать числовое значение:
- Регрессия (например, линейная регрессия)

Если задача – снизить размерность данных, то поможет, например, PCA (метод главных компонент).

ps я давно не писала, потому что мне точно так же страшно, как и всем

За год ничего лучше irisов того года я пока не придумала💜

Сегодня предлагаю вам ещё посмотреть таймлайн про Women in Computing. Это пример создания таймлайна от knight lab от Northwestern University. Я как-то давно пользовалась этим сервисом и там супер удобно – можно вставлять фото, видео, аудио и накладывать это на таймлайн, рассказывая историю. И у них много других схожих продуктов для создания историй вокруг данных и не только.

Вы уже, наверное, слышали, но Tableau приостанавливает работу с корпоративными клиентами. Tableau Public работает и думаю, что тут проблем не будет. Российские BI-системы тоже есть (бурно обсуждают в чате, если рассматриваете переход туда), самый очевидный выбор сейчас - DataLens.

📍Еще есть проверенные opensource BI-системы:
- Redash - https://redash.io/ - дэши
- Superset - https://superset.apache.org/ - дэши
- Metabase - https://www.metabase.com/ - дэши
они прямо очень похожи между собой по структуре и методу создания

📍Дэшборды на R можно делать при помощи shiny:
- 1, 2, 3
- flexdashboard (тьюториал)
Шайни - просто пакет-надстройка для создания веб приложений, поэтому внутри все те же пакеты для датавиза (ggplot, plotly)

📍Дэшборды на Python при помощи dash и plotly
- 1, 2

Подборка российских аналогов разных сервисов (без дэшей, вдруг что-то понадобится)

plotly – библиотека, которая позволяет добавлять интерактивность в графики (R и Python). На R так вообще ggplotly добавляешь к обычному графику из ggplot и вот он уже интерактивный с тултипами и всякими штуками.

На Python есть еще библиотека plotly-resampler (надстройка над плотли), которая позволяет интерактивно ресэмплить данные, брать их кусочки и углубляться внутрь. По словам авторов работает быстрее, чем обычный плотли как раз за счет ресэмплинга.

Еще давненько был пост про то, как юпитер ноутбуки могут начать заменять дэшборды. Думаю, для всяких полуисследовательских задач и эдхоков это может стать отличным решением.

Книга Mastering Shiny от Hadley Wickham бесплатная и с заданиями

https://mastering-shiny.org/index.html

И в качестве примера шайни аппки – Tableau Zen Parser для визуализации зависимостей в таблошных файлах (и R и Tableau и прямо ах).

Карта автомагистралей от Milos Popoivic на R и сразу с тьюториалом, как это все делать.

Одна из моих самых любимых сеточек – карта науки. Сделана на данных пользователей научных порталов (что они смотрят, ищут, читают и тд). Получилась штука, очень классно показывающая междисциплинарность. Данным в исследовании уже больше 10 лет, но все равно нахожу ее очень интересной.