Новый джуниор замедляет команду

Чтобы начать приносить пользу, надо много чего узнать. Даже опытным ребятам надо время, чтобы разобраться в новом проекте. И чем меньше опыта, тем больше нужно времени.

А ещё на адаптацию нового сотрудника нужно время сотрудника бывалого — время, которое он мог бы потратить, например, на код. Поэтому новый сотрудник замедляет команду, а не наоборот.

Как может новый сотрудник приносить пользу?

«взгляд новичка» — опытные ребята отдельно прокачивают навык смотреть на свой проект как первый раз. Ведь когда ты сам всё спроектировал с нуля, нестыковки и дефекты уже не бросаются.

А новому сотруднику и тренировать ничего не нужно — он и так всё видит впервые. И поэтому может подмечать что ему было неудобно и где ему жмут новые процессы. Про коммуникацию в слаке, про расположение корпоративных документов, про процедуру регулярных созвонов.

Вот Всеволод Скрипник показывает хороший пример (хоть он и совсем не джуниор)
https://news.1rj.ru/str/vsvld_skrpnk/293

Главное не перегнуть палку, делясь потом наблюдениями :-) Для этого можно представить как Гарри Поттер на своей первой неделе даёт Дамблдору ценные указания™ по улучшению Хогвартса.

Мальчишки и девчонки! Мы в Практикуме планируем в этом году кратно увеличить количество полезного и задорного образовательного контента, посвященного дата-профессиям.

Мы умеем делать тексты такими, чтобы студенты в них влюблялись: интересными, понятными, образовательными на 100%. Но ничего не получится без экспертов, которые готовы делиться своим опытом и вместе с нами превращать знания в качественный образовательный опыт: продумывать структуру уроков, генерировать и искать датасеты для заданий, придумывать примеры, описывать простыми словами сложные теоретические концепции, создавать проверочные задания и квизы.

Поэтому мы ищем людей, профессионально разбирающихся в таких темах как data science, data analytics, data engineering, готовых вместе с нами делать топовый edtech-контент. Так победим!

Ссылка на вакансию тут

Присылайте резюме на почту polinanagorna@yandex-team.ru или в Telegram Полине @polinanahor

Ложная дихотомия

Ложная дихотомия — это когда кажется, что выбора всего два и надо обязательно выбрать один из них.

Я, как один из тех, кто только выучил новый термин, люблю это рассказывать (вот как сейчас) и находить ложные дихотомии в чужих решениях. Например, с работой: люди решают оставаться или уходить — хотя таких работ на рынке очень много и есть из чего выбрать.

А вчера обсуждали с коллегой курсы по Tableau: он говорил, что дорого — а я вступился и начал оправдывать эту цену (зачем-то). Интересно, что я даже не заметил, как сам провалился в ложную дихотомию! Пока коллега не предложил третий вариант, у меня в голове было всего два выбора: «дорого» и «не дорого».

А вариант, кстати, отличный: за цену групповых курсов нанять себе личного ментора с большим опытом и получить 20+ часов персональных консультаций.

Ложная дихотомия на Википедии

Yandex.Go Data Driven Backstage

Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).

На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO.

Highly Normilized Hybrid Model
Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, Евгений и Николай пришли к неожиданному ответу: выбирать надо не между подходами, выбирать надо лучшее из двух подходов.

Как мы разрабатываем DMP для Yandex.GO
Владимир рассказывает про мотивацию, которая нужна для разработки собственного ETL-инструмента, про превращение ETL и DWH в DMP. Из доклада вы узнаете, какие проблемы возникают в процессе разработки DMP и про опыт их решения.

P.S.
Наши ребята засветились в еще одном интересном докладе Максима Стаценко Обзор технологий хранения больших данных как эксперты.

P.P.S.
А еще DMP Такси нанимает

Ну как красиво! Карта высот острова Оаху, Гавайи. Автор - Александр Варламов и у него просто фантастический профиль на паблике: https://public.tableau.com/profile/alexandervar#!/

Гифка с реддита

Послушать:

Лену Бунину — гендиректора Яндекса и профессора МГУ про то нужна ли математика в программировании.

Вместе с ведущим — Салатом Галимовым — прошлись по всем сервисам Яндекса и прикинули сколько там математики. В среднем по рынку примерно 20% программистам нужна математика. В Яндекса — примерно половине. Например, сделать распределённую устойчивую и быструю базу данных.

Интересно, что математика иногда уходит в полную абстракцию и не совсем понятно как это можно применить в реальном мире. Так было и с популярными сейчас нейросетями — математическую основу для придумали ещё в 70-х, но до 2000-х годов не было доступной компьютерной мощности для их применения.

https://news.1rj.ru/str/ctodaily/1270


Анализ данных и Python

Суровые программисты из Moscow Python пригласили BI разработчика поговорить про анализ данных

Интересно, что ребята быстро пробежались перечислили основные инструменты жду анализа данных и потом долго обсуждали критическое мышление и общие когнитивные способности. Набор обсуждаемых книг тоже получился нетипичным: Thinking Fast and Slow Даниела Канемана и «Слепой часовщик» Ричарда Докинза.

Подкаст в Apple Podcasts

#data_podcast

Давайте знакомиться!

Меня зовут Саша Михайлов и я всегда любил покопаться в данных: дай только из чего-нибудь сделать гугл-таблицу. Вот например парсил веб-страницу просто через гугл-таблицу.

До того, как стал учить Питон, я как-то написал конвертатор эксельки из 1С в приличную таблицу, используя только внутренние формулы О_о

После универа работал специалистом по логистике. Отучился в Яндекс.Практикуме на аналитика данных и потом нашёл работу по новой специальности.

Меня взяли делать аналитику для торгового центра, вот только данных для анализа не было ¯\_(ツ)_/¯ — мне как раз и предстояло их собрать. Дали сервер с убунтой, показали где брать данные и попросили собрать всё в одной базе (и сделать верхнеуровневые дешборды). Так я освоил на практике ETL пайплайны: пришлось работать с базами данных, API и даже чуток вебскрапить. Потом я узнал, что эта профессия называется дата инженер :-)

А после этого перешёл в агентство по заказной разработке (таки вошёл в IT, ага). Делаю почти то же самое, только для разных клиентов и в бо́льших масштабах: Airflow, git, Docker, Google Cloud, BigQuery. Познаю что такое инкрементальность и идемпотентность.

Хочу узнать побольше о тех, кто читает этот канал. Так я смогу лучше формулировать мысли и подбирать идеи для постов. Так что здесь время от времени будут появляться небольшие опросы — не пугайтесь)

Google Big Query

На последнем проекте удалось поработать с Big Query — собрали на нём DWH с данными из 10 разных БД, чтобы строить сквозные отчёты по всем отделам.

Big Query — это облачная база данных с нетипичными свойствами. Размер хранимых данных никак не ограничен — не надо думать сколько это всё занимает места на диске и сколько нужно серверов чтобы всё нормально работало.

Плату берут не за хранение данных, а за доступ к ним: 6 долларов за каждый просканированный терабайт данных. Главную опасность в таком случае представляют не ручные запросы аналитиков, а код дата инженеров: один невнимательный цикл может запросто пройтись несколько сотен раз по таблице в 10 гигабайт.

Вместо ограничения на количество данных, есть другие: количество запросов по АПИ (1500 в сутки на таблицу или не более 5 запросов каждые 10 секунд; и ещё разные другие).

Поэтому данные приходится туда заливать особым образом: сначала данные форматируются в Parquet файлы, заливаются на облачный Google Storage, а потом уже импортируются в таблицу в Big Query. Таким образом удаётся не превысить суточные лимиты.

#data_tools

Рассказ с примерами кода как устроен dbt в Wheely

- cлои, модели, тесты (!) данных.
- оптимизированные конфигурации для хранения таблиц для быстрого доступа
- инкрементальное обновление витрин
- ссылки на промежуточные таблицы через шаблоны по внутренним ссылкам

> в рамках написания кода при ссылках на другие модели нет хардкода, но есть конструкция {{ ref('fine_details_flatten') }} – ссылка на наименование другой модели. Она и позволяет распарсить весь проект и построить граф связей и зависимостей.

https://habr.com/ru/company/wheely/blog/549614/

Не делать ненужное

Одним из заданий по анализу данных в Яндекс.Практикуме было проанализировать датасет по недвижимости. А перед этим была тема про пропуски в данных.

И вот в датасете в колонке «этажность» было аж 15% пропусков. Помню, я с завидной фанатичностью поставил себе цель избавиться от эти пропусков всеми вновь изученными способами.

Спустя три дня я сдался на показателе что-то около 3%, коорые ну никак не мог победить. Прихожу к наставнику: «отце, помоги! Как быть? Я потратил 10 часов на эти пропуски, добился снижения до 3%. Как победить оставшиеся??»

На что он спросил, зачем вообще я это делал. Он резонно рекомендовал перечитать задание и найти там вопрос, для ответа на который можно было бы применить эту этажность. Такого там не было ¯\_(ツ)_/¯

 * * *

Этот урок пригодился и на реальной работе. Первое задание на новом проекте: «резберись как в текущую систему АБ тестиирования прикрутить CUPED»

Я, значит, зарылся в репозиторий, нашёл там методы, где это всё используется, оттуда вышёл на сами функции; там, значит, построчно разобрал алгоритм, непонятное загуглил. И на следующий день гордо приношу результат: «вот тут в репозитории нужно поменять формат данных. Разрешите приступать?».

Начальница недоуменно заметила, что править код не надо; а надо было просто вкурить мануалы по новому методу и сделать доклад текущим сотрудникам о новых возможностях. Дел на пару часов вместе с рассказом.

* * *

С тех пор стараюсь, чтобы у меня в голове на фоне всегда вертелся вопрос «что я сейчас делаю? а зачем именно я это делаю? чтобы что?»

стажировка по data engineering

Мы официально запустили набор на летнюю стажировку 2021.

Интернатура в MacPaw - это не просто посмотреть на работу продуктовой компании изнутри, а и непосредственно стать частью команды, окунуться в нашу культуру, прокачать скиллы, тесно поработать с лучшими специалистами над реальными задачами, увидеть свое влияние на продукт.

Среди 13 направлений, есть 3 в Data Science департаменте. В общем, приглашаю!

https://macpaw.com/internship

📊 Всем SQL

Помню, лет десять назад американские СМИ захватила идея, что «каждый должен научиться программировать». Повсеместно открывались буткампы из серии «от нуля до сеньор-разработчика за 10 дней», и даже президент США делал вид, что учится писать на джаваскрипте.

Я не уверен, что программирование нужно прямо так уж всем. И точно не стоит всем бросаться учить джаваскрипт: для автоматизации повседневной работы есть более подходящие языки.

А вот что имеет смысл освоить — так это прикладной анализ данных. Данные лежат в основе всего, что мы делаем. Данные — основа принятия решений в продуктовом управлении, аналитике, дизайне, разработке, тестировании и эксплуатации.

Если вы согласны, и чувствуете, что навыки работы с данными стоило бы подтянуть — дальше я расскажу про три курса и один инструмент. Инструментом я пользуюсь каждый день, а курсы проходил лично (один даже сделал сам). Авторы не платили за рекомендации. Хотя, естественно, если вы выберете мой курс — я на этом заработаю.

SQL — это «родной» язык работы с данными. В принципе, можно прожить и без него: в базовом варианте достаточно понимать основы статистики и знать Excel на более глубоком уровне, чем «рисую таблички в рамочке». В этом поможет курс Алексея Куличевского «Данные для бизнеса». Хотя небольшой порции SQL и там не избежать.

Если интересна продуктовая аналитика — курс Анатолия Макаревича SQL Habit. Типа GoPractice, только бодрее и на голом SQL, без Amplitude. Проводит от самых основ до серьезной работы.

Если уже знаете основы SQL и хотите научиться применять его в повседневных задачах — мой курс «SQLite для аналитики». Научитесь загружать и выгружать данные, «чистить» проблемы, находить связи и анализировать показатели, применять аналитические функции и работать с JSON.

А инструмент — Redash. Это веб-интерфейс к любым базам данных, в нем строят отчеты и собирают дашборды. Простая и дешевая замена замороченным BI-инструментам. Из этой же серии есть Metabase и Superset — их многие хвалят, но я не пробовал.

В любом случае — освойте SQL. С ним вы перестанете зависеть от специально обученных людей, к которым ходите на поклон за очередным отчетом. Сможете принимать решения быстрее и увереннее. Да и в целом станете автономнее и ценнее как специалист. Всем SQL!

плюс один канал с инфографикой

Пока в кино Годзилла борется с Кинг-Конгом, на IT-рынке продолжается битва других гигантов — цифровых экосистем. На прошлой неделе стало известно о скором разводе Сбербанка с Mail.ru Group. По информации Financial Times, компании не договорились о стратегии развития. Ждем вестей о том, как они разделят активы, а пока смотрим на общую расстановку сил

Послушать:

Самат Галимов (Запуск Завтра) про технический консалтинг. Как устроено, сколько стоит (много!) и зачем это нужно бизнесу. Полезно послушать, если работаешь в агентстве с разными проектами; при работе в продукте тоже полезно — понимать, что делать, чтобы твоему начальнику не пришлось вызывать стороннюю экспертизу ;-)

Слушать в iTunes и Overcast


* * *

Moscow Python про обучение и работу джунов. Компании в принципе не стремятся набирать зелёных джунов. Понравился тезис, что в компании с налаженными процессами дуну будет проще в 100 раз.

Слушать в iTunes и Overcast


* * *

Флоренс Найтингейл использовала графики для убеждения ещё в 19 веке (место для шутки про мейнстрим). Помимо того, что она работала медсестрой в полевых госпиталях, она изучила статистику, чтобы на реальных данных доказать влияние базовых санитарных мер на смертность солдат.

Слушать в iTunes и Overcast

Почитать про Флоренс Найтингейл: страница подкаста, Википедия на русском и английском

Диаграмма Флоренс Найтингейл «петушиный гребень» (из подкаста выше)

Диаграмма показывает смертность солдат во время крымской войны. Каждый из секторов соответствует одному месяцу (с апреля 1854 по март 1856). Площадь каждого сектора пропорциональна смертности. Голубой слой показывает смертность от болезней, красный слой показывает смертность от ран, и коричневый слой — смертность от других причин.

Две отдельные части изображают ситуацию до и после того, как из Лондона была прислана комиссия по улучшению гигиены (в марте 1855).

Экстрактор данных из Эгеи

Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!).

Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.

Это код использовал Роман Бунин для визуализации статистики по своим постам [1]; собственно, для этого проекта я и писал код ;-)

Всё оформил в виде Google Colab (это как Jupyter Notebook, только в интернете).

Чтобы всё заработало, нужно:
1. открыть доступ извне к своей базе (у меня это делается через настройки в хостинге)

2. заполнить в коде данные для подключения к базе: хост, название базы, логин и пароль.

3. если нужно сохранить итог в Google Sheets, код попросит авторизацию аккаунта — прямо рядом в соседней вкладке.


Коллеги дата инженеры могут заметить здесь базовый ETL процесс: достать данные из источника, преобразовать их и загрузить в другое место. Было интересно применить рабочие навыки к задаче из внешнего мира.

[1] — пост Романа

Дополнено: инструкция от Романа как засунуть собранные данные в Tableau

Послушать:

Про генеративные алгоритмы на практике

как при помощи машинного обучения создавать текст, музыку и визуальный дизайн? есть ли разница, кто сделал работу, если задача решена?

Рассказывают композитор приложения Endel и создатель Николая Иронова.

Слушать в iTunes и Overcast

***

Про мощь алгоритмов и полезность математики

о применение алгоритмов к прогнозированию беспорядков в городе для помощи полиции и как сделать математику более человечной.

Слушать в iTunes и Overcast

выжимки и ссылки на странице проекта

***

Мы вас услышали. Как машина научилась понимать нашу речь

в коротких выпусках подкаста «Вы находитесь здесь» популярно описывают какую-то одну сторону машинного обучения.

В очередном выпуске рассказали про эволюцию алгоритмов для понимания и воспроизведения человеческой речи.

Слушать в iTunes и Overcast

Шаблон Tableau для визуализации данных из блога на Эгее

Роман Бунин опубликовал шаблон и написал инструкцию как заполнить его своими данными (которые предварительно достали из БД Эгеи с помощью простого кода ^)