data будни – Telegram
data будни
1.47K subscribers
120 photos
1 video
2 files
237 links
работаю инженером данных и пишу в основном про это.

Профильные ссылки с коротким резюме (статьи, доклады, подкасты), иногда «софтовое» — например, про поиск работы.
Download Telegram
Channel photo updated
Channel name was changed to «data будни»
В прошлом году закончил курс по аналитике данных в Яндекс Практикуме и сменил профессию.

Почему не в Data Science?

Аналитик данных — для меня это быстрый старт в новой отрасли; такой MVP. «Быстрый» — относительно Data Science:

1. Ниже порог входа по необходимым знаниям. Соответственно, быстрее обучение.
2. Больше потребность на рынке (167 вакансий по запросу «Data Scientist» против 2669 «аналитиков данных» по данным hh.ru). Соответственно, быстрее поиск новой работы.

Ещё три абзаца в блоге
https://sashamikhailov.ru/blog/all/data-analyst-and-data-scientist/
интерактивный помогатор для cron — с примерами и лучшими практиками

https://crontab.guru/tips.html
Про базы данных со стороны бэкэнда

Лекция Татьяны Денисовой для курса по бэкэнду от Яндекса

Это лекция, которая проходится по верхам основных тем для работы с базами данных. Темы, о существований которых надо знать — чтобы при необходимости знать, что писать в поисковый запрос.

https://youtu.be/YjSIdz8DnAo
Аналитика рынка аналитиков от агентства New.HR

Результаты анализа упаковали в презентацию. Что-то из презентации опубликовали в виде статьи на виси. Получился набор блоков с буллетами 🙂

Судя по слайдам с зарплатами, продуктовые аналитики ценятся выше, чем маркетинговые. А дата саентистов — ешё выше.

Также там есть список необходимых инструментов и навыков для каждого уровня развития.
Интерактивный обновляющийся дешборд на открытых данных

Как сделать из простого Jupyter ноутбука полноценный сайт в интернете.

1. получить данные с Reddit через их API — pushshift (облегчив себе жизнь с помощью функции-обёртки с **kwargs); слегка обработать эти данные и сложить их в pandas.
2. добавить чуток NLP через библиотеку TextBlob. Через неё текст оценивается по двум параметрам: субъективность и эмоциональный окрас (негативный или позитивный).
3. Сделать из Jupyter ноутбука HTML страницу через Voilà.
4. Сделать так, чтобы Jypter ноутбук с Voilà можно было открыть как обычный сайт в интернете и чтобы при этом он обновлялся. Простой вариант — через Binder. Сложный вариант — через Linux сервер. Ещё один простой — через Heroku или Google Cloud Platform.

Статья с поэтапным объяснением, примерами кода и всем ссылками на все перечисленные инструменты.
на визуализации странный выбор параметра для обозначения цветом — эмоциональный окрас сообщения. По сути этот же параметр уже передаётся положением точки на вертикальной оси: все точки выше нуля зелёные, ниже — красные. Получается, что информация дублируется.

РазTextBlob даёт два параметра, можно было бы показать их оба: положением показывать эмоцию сообщения, а цветом — его эмоциональный окрас.
Дмитрий Аношин работает в Амазон и неспешно пишет бесплатный курс по аналитике и инжинирингу данных.

В очередном уроке разбирает структуру аналитического решения в компании: откуда данные приходят, где хранятся, и как потом попадают к бизнесу.

И как называются роли, которые отвечают за каждый вид работа. Где там BI аналитик, а где — data engineer.

https://youtu.be/_M8yxr2Inyo
👍1
как я делал тестовое задание в Welltory и анализировал данные с фитнес-трекеров.

внутри нет технических деталей, зато есть полудетективная история про то, как я нашёл владельца трекера и получил приглашение на собеседование в полседьмого утра 🙂

https://sashamikhailov.ru/blog/all/welltory-data-engineer/
Влад Исмагилов из Яндексю.Маркет о том, что нужно знать начинающему аналитику:

1. Любознательность.
2. Базовая практика. Для начала для себя: спарсить погоду или Циан.
3. Базовое понимание, что за цифрами есть математическая база
4. Понимание, зачем цифры нужны бизнесу и как будут приниматься решения на их основе.


https://news.1rj.ru/str/just_analytics/15

П.С.: будет легче читаться, если хотя бы разбить текст на абзацы 🙃
https://telegra.ph/chto-nuzhno-znat-dzhunior-analitiku-07-30
Если посмотреть ближайшую кофейню или купить билет в кино, то это к Яндексу.

А если надо найти нужную функцию в питоне или понять, почему код не работает, то я открываю Гугл.

Да, приходится искать на английском, но в этом больше плюсов, чем минусов. Не нужно спрягать слова или выдумывать синонимы, как могли бы описать мою проблему другие: вопросы задают такие же «знатоки» английского, как и я: хватит даже школьного уровня.

Обычно прям забиваю ключевые слова в поиск:
python string to datetime

(я даже мануал по pandas каждый раз открываю через гугл ¯\_(ツ)_/¯ )