Первый вопрос, который мне пришёл в голову: «А вы по работе сталкиваетесь с данными?»
Anonymous Poll
78%
работаю с данными
8%
работаю с теми, кто работает с данными
20%
(пока) не работаю с данными
Google Big Query
На последнем проекте удалось поработать с Big Query — собрали на нём DWH с данными из 10 разных БД, чтобы строить сквозные отчёты по всем отделам.
Big Query — это облачная база данных с нетипичными свойствами. Размер хранимых данных никак не ограничен — не надо думать сколько это всё занимает места на диске и сколько нужно серверов чтобы всё нормально работало.
Плату берут не за хранение данных, а за доступ к ним: 6 долларов за каждый просканированный терабайт данных. Главную опасность в таком случае представляют не ручные запросы аналитиков, а код дата инженеров: один невнимательный цикл может запросто пройтись несколько сотен раз по таблице в 10 гигабайт.
Вместо ограничения на количество данных, есть другие: количество запросов по АПИ (1500 в сутки на таблицу или не более 5 запросов каждые 10 секунд; и ещё разные другие).
Поэтому данные приходится туда заливать особым образом: сначала данные форматируются в Parquet файлы, заливаются на облачный Google Storage, а потом уже импортируются в таблицу в Big Query. Таким образом удаётся не превысить суточные лимиты.
#data_tools
На последнем проекте удалось поработать с Big Query — собрали на нём DWH с данными из 10 разных БД, чтобы строить сквозные отчёты по всем отделам.
Big Query — это облачная база данных с нетипичными свойствами. Размер хранимых данных никак не ограничен — не надо думать сколько это всё занимает места на диске и сколько нужно серверов чтобы всё нормально работало.
Плату берут не за хранение данных, а за доступ к ним: 6 долларов за каждый просканированный терабайт данных. Главную опасность в таком случае представляют не ручные запросы аналитиков, а код дата инженеров: один невнимательный цикл может запросто пройтись несколько сотен раз по таблице в 10 гигабайт.
Вместо ограничения на количество данных, есть другие: количество запросов по АПИ (1500 в сутки на таблицу или не более 5 запросов каждые 10 секунд; и ещё разные другие).
Поэтому данные приходится туда заливать особым образом: сначала данные форматируются в Parquet файлы, заливаются на облачный Google Storage, а потом уже импортируются в таблицу в Big Query. Таким образом удаётся не превысить суточные лимиты.
#data_tools
Рассказ с примерами кода как устроен dbt в Wheely
- cлои, модели, тесты (!) данных.
- оптимизированные конфигурации для хранения таблиц для быстрого доступа
- инкрементальное обновление витрин
- ссылки на промежуточные таблицы через шаблоны по внутренним ссылкам
> в рамках написания кода при ссылках на другие модели нет хардкода, но есть конструкция {{ ref('fine_details_flatten') }} – ссылка на наименование другой модели. Она и позволяет распарсить весь проект и построить граф связей и зависимостей.
https://habr.com/ru/company/wheely/blog/549614/
- cлои, модели, тесты (!) данных.
- оптимизированные конфигурации для хранения таблиц для быстрого доступа
- инкрементальное обновление витрин
- ссылки на промежуточные таблицы через шаблоны по внутренним ссылкам
> в рамках написания кода при ссылках на другие модели нет хардкода, но есть конструкция {{ ref('fine_details_flatten') }} – ссылка на наименование другой модели. Она и позволяет распарсить весь проект и построить граф связей и зависимостей.
https://habr.com/ru/company/wheely/blog/549614/
Хабр
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
Уже более двух лет data build tool активно используется в компании Wheely для управления Хранилищем Данных. За это время накоплен немалый опыт, мы на тернистом пути проб и ошибок к совершенству в...
Не делать ненужное
Одним из заданий по анализу данных в Яндекс.Практикуме было проанализировать датасет по недвижимости. А перед этим была тема про пропуски в данных.
И вот в датасете в колонке «этажность» было аж 15% пропусков. Помню, я с завидной фанатичностью поставил себе цель избавиться от эти пропусков всеми вновь изученными способами.
Спустя три дня я сдался на показателе что-то около 3%, коорые ну никак не мог победить. Прихожу к наставнику: «отце, помоги! Как быть? Я потратил 10 часов на эти пропуски, добился снижения до 3%. Как победить оставшиеся??»
На что он спросил, зачем вообще я это делал. Он резонно рекомендовал перечитать задание и найти там вопрос, для ответа на который можно было бы применить эту этажность. Такого там не было ¯\_(ツ)_/¯
* * *
Этот урок пригодился и на реальной работе. Первое задание на новом проекте: «резберись как в текущую систему АБ тестиирования прикрутить CUPED»
Я, значит, зарылся в репозиторий, нашёл там методы, где это всё используется, оттуда вышёл на сами функции; там, значит, построчно разобрал алгоритм, непонятное загуглил. И на следующий день гордо приношу результат: «вот тут в репозитории нужно поменять формат данных. Разрешите приступать?».
Начальница недоуменно заметила, что править код не надо; а надо было просто вкурить мануалы по новому методу и сделать доклад текущим сотрудникам о новых возможностях. Дел на пару часов вместе с рассказом.
* * *
С тех пор стараюсь, чтобы у меня в голове на фоне всегда вертелся вопрос «что я сейчас делаю? а зачем именно я это делаю? чтобы что?»
Одним из заданий по анализу данных в Яндекс.Практикуме было проанализировать датасет по недвижимости. А перед этим была тема про пропуски в данных.
И вот в датасете в колонке «этажность» было аж 15% пропусков. Помню, я с завидной фанатичностью поставил себе цель избавиться от эти пропусков всеми вновь изученными способами.
Спустя три дня я сдался на показателе что-то около 3%, коорые ну никак не мог победить. Прихожу к наставнику: «отце, помоги! Как быть? Я потратил 10 часов на эти пропуски, добился снижения до 3%. Как победить оставшиеся??»
На что он спросил, зачем вообще я это делал. Он резонно рекомендовал перечитать задание и найти там вопрос, для ответа на который можно было бы применить эту этажность. Такого там не было ¯\_(ツ)_/¯
* * *
Этот урок пригодился и на реальной работе. Первое задание на новом проекте: «резберись как в текущую систему АБ тестиирования прикрутить CUPED»
Я, значит, зарылся в репозиторий, нашёл там методы, где это всё используется, оттуда вышёл на сами функции; там, значит, построчно разобрал алгоритм, непонятное загуглил. И на следующий день гордо приношу результат: «вот тут в репозитории нужно поменять формат данных. Разрешите приступать?».
Начальница недоуменно заметила, что править код не надо; а надо было просто вкурить мануалы по новому методу и сделать доклад текущим сотрудникам о новых возможностях. Дел на пару часов вместе с рассказом.
* * *
С тех пор стараюсь, чтобы у меня в голове на фоне всегда вертелся вопрос «что я сейчас делаю? а зачем именно я это делаю? чтобы что?»
Forwarded from Analyzecore (Sergii Bryl')
Мы официально запустили набор на летнюю стажировку 2021.
Интернатура в MacPaw - это не просто посмотреть на работу продуктовой компании изнутри, а и непосредственно стать частью команды, окунуться в нашу культуру, прокачать скиллы, тесно поработать с лучшими специалистами над реальными задачами, увидеть свое влияние на продукт.
Среди 13 направлений, есть 3 в Data Science департаменте. В общем, приглашаю!
https://macpaw.com/internship
Интернатура в MacPaw - это не просто посмотреть на работу продуктовой компании изнутри, а и непосредственно стать частью команды, окунуться в нашу культуру, прокачать скиллы, тесно поработать с лучшими специалистами над реальными задачами, увидеть свое влияние на продукт.
Среди 13 направлений, есть 3 в Data Science департаменте. В общем, приглашаю!
https://macpaw.com/internship
MacPaw
MacPaw Bootcamp 2023
Start your tech journey at an ambitious team of Bootcamp. Learn from professionals, apply your knowledge on real products, and get lifelong skills with us.
Forwarded from Без шелухи
📊 Всем SQL
Помню, лет десять назад американские СМИ захватила идея, что «каждый должен научиться программировать». Повсеместно открывались буткампы из серии «от нуля до сеньор-разработчика за 10 дней», и даже президент США делал вид, что учится писать на джаваскрипте.
Я не уверен, что программирование нужно прямо так уж всем. И точно не стоит всем бросаться учить джаваскрипт: для автоматизации повседневной работы есть более подходящие языки.
А вот что имеет смысл освоить — так это прикладной анализ данных. Данные лежат в основе всего, что мы делаем. Данные — основа принятия решений в продуктовом управлении, аналитике, дизайне, разработке, тестировании и эксплуатации.
Если вы согласны, и чувствуете, что навыки работы с данными стоило бы подтянуть — дальше я расскажу про три курса и один инструмент. Инструментом я пользуюсь каждый день, а курсы проходил лично (один даже сделал сам). Авторы не платили за рекомендации. Хотя, естественно, если вы выберете мой курс — я на этом заработаю.
SQL — это «родной» язык работы с данными. В принципе, можно прожить и без него: в базовом варианте достаточно понимать основы статистики и знать Excel на более глубоком уровне, чем «рисую таблички в рамочке». В этом поможет курс Алексея Куличевского «Данные для бизнеса». Хотя небольшой порции SQL и там не избежать.
Если интересна продуктовая аналитика — курс Анатолия Макаревича SQL Habit. Типа GoPractice, только бодрее и на голом SQL, без Amplitude. Проводит от самых основ до серьезной работы.
Если уже знаете основы SQL и хотите научиться применять его в повседневных задачах — мой курс «SQLite для аналитики». Научитесь загружать и выгружать данные, «чистить» проблемы, находить связи и анализировать показатели, применять аналитические функции и работать с JSON.
А инструмент — Redash. Это веб-интерфейс к любым базам данных, в нем строят отчеты и собирают дашборды. Простая и дешевая замена замороченным BI-инструментам. Из этой же серии есть Metabase и Superset — их многие хвалят, но я не пробовал.
В любом случае — освойте SQL. С ним вы перестанете зависеть от специально обученных людей, к которым ходите на поклон за очередным отчетом. Сможете принимать решения быстрее и увереннее. Да и в целом станете автономнее и ценнее как специалист. Всем SQL!
Помню, лет десять назад американские СМИ захватила идея, что «каждый должен научиться программировать». Повсеместно открывались буткампы из серии «от нуля до сеньор-разработчика за 10 дней», и даже президент США делал вид, что учится писать на джаваскрипте.
Я не уверен, что программирование нужно прямо так уж всем. И точно не стоит всем бросаться учить джаваскрипт: для автоматизации повседневной работы есть более подходящие языки.
А вот что имеет смысл освоить — так это прикладной анализ данных. Данные лежат в основе всего, что мы делаем. Данные — основа принятия решений в продуктовом управлении, аналитике, дизайне, разработке, тестировании и эксплуатации.
Если вы согласны, и чувствуете, что навыки работы с данными стоило бы подтянуть — дальше я расскажу про три курса и один инструмент. Инструментом я пользуюсь каждый день, а курсы проходил лично (один даже сделал сам). Авторы не платили за рекомендации. Хотя, естественно, если вы выберете мой курс — я на этом заработаю.
SQL — это «родной» язык работы с данными. В принципе, можно прожить и без него: в базовом варианте достаточно понимать основы статистики и знать Excel на более глубоком уровне, чем «рисую таблички в рамочке». В этом поможет курс Алексея Куличевского «Данные для бизнеса». Хотя небольшой порции SQL и там не избежать.
Если интересна продуктовая аналитика — курс Анатолия Макаревича SQL Habit. Типа GoPractice, только бодрее и на голом SQL, без Amplitude. Проводит от самых основ до серьезной работы.
Если уже знаете основы SQL и хотите научиться применять его в повседневных задачах — мой курс «SQLite для аналитики». Научитесь загружать и выгружать данные, «чистить» проблемы, находить связи и анализировать показатели, применять аналитические функции и работать с JSON.
А инструмент — Redash. Это веб-интерфейс к любым базам данных, в нем строят отчеты и собирают дашборды. Простая и дешевая замена замороченным BI-инструментам. Из этой же серии есть Metabase и Superset — их многие хвалят, но я не пробовал.
В любом случае — освойте SQL. С ним вы перестанете зависеть от специально обученных людей, к которым ходите на поклон за очередным отчетом. Сможете принимать решения быстрее и увереннее. Да и в целом станете автономнее и ценнее как специалист. Всем SQL!
Forwarded from На самом деле
Пока в кино Годзилла борется с Кинг-Конгом, на IT-рынке продолжается битва других гигантов — цифровых экосистем. На прошлой неделе стало известно о скором разводе Сбербанка с Mail.ru Group. По информации Financial Times, компании не договорились о стратегии развития. Ждем вестей о том, как они разделят активы, а пока смотрим на общую расстановку сил
Послушать:
Самат Галимов (Запуск Завтра) про технический консалтинг. Как устроено, сколько стоит (много!) и зачем это нужно бизнесу. Полезно послушать, если работаешь в агентстве с разными проектами; при работе в продукте тоже полезно — понимать, что делать, чтобы твоему начальнику не пришлось вызывать стороннюю экспертизу ;-)
Слушать в iTunes и Overcast
* * *
Moscow Python про обучение и работу джунов. Компании в принципе не стремятся набирать зелёных джунов. Понравился тезис, что в компании с налаженными процессами дуну будет проще в 100 раз.
Слушать в iTunes и Overcast
* * *
Флоренс Найтингейл использовала графики для убеждения ещё в 19 веке (место для шутки про мейнстрим). Помимо того, что она работала медсестрой в полевых госпиталях, она изучила статистику, чтобы на реальных данных доказать влияние базовых санитарных мер на смертность солдат.
Слушать в iTunes и Overcast
Почитать про Флоренс Найтингейл: страница подкаста, Википедия на русском и английском
Самат Галимов (Запуск Завтра) про технический консалтинг. Как устроено, сколько стоит (много!) и зачем это нужно бизнесу. Полезно послушать, если работаешь в агентстве с разными проектами; при работе в продукте тоже полезно — понимать, что делать, чтобы твоему начальнику не пришлось вызывать стороннюю экспертизу ;-)
Слушать в iTunes и Overcast
* * *
Moscow Python про обучение и работу джунов. Компании в принципе не стремятся набирать зелёных джунов. Понравился тезис, что в компании с налаженными процессами дуну будет проще в 100 раз.
Слушать в iTunes и Overcast
* * *
Флоренс Найтингейл использовала графики для убеждения ещё в 19 веке (место для шутки про мейнстрим). Помимо того, что она работала медсестрой в полевых госпиталях, она изучила статистику, чтобы на реальных данных доказать влияние базовых санитарных мер на смертность солдат.
Слушать в iTunes и Overcast
Почитать про Флоренс Найтингейл: страница подкаста, Википедия на русском и английском
Apple Podcasts
Podlodka Podcast: Podlodka #210 – Технический консалтинг en Apple Podcasts
Programa Podlodka Podcast, ep. Podlodka #210 – Технический консалтинг - 5 abr 2021
Диаграмма Флоренс Найтингейл «петушиный гребень» (из подкаста выше)
Диаграмма показывает смертность солдат во время крымской войны. Каждый из секторов соответствует одному месяцу (с апреля 1854 по март 1856). Площадь каждого сектора пропорциональна смертности. Голубой слой показывает смертность от болезней, красный слой показывает смертность от ран, и коричневый слой — смертность от других причин.
Две отдельные части изображают ситуацию до и после того, как из Лондона была прислана комиссия по улучшению гигиены (в марте 1855).
Диаграмма показывает смертность солдат во время крымской войны. Каждый из секторов соответствует одному месяцу (с апреля 1854 по март 1856). Площадь каждого сектора пропорциональна смертности. Голубой слой показывает смертность от болезней, красный слой показывает смертность от ран, и коричневый слой — смертность от других причин.
Две отдельные части изображают ситуацию до и после того, как из Лондона была прислана комиссия по улучшению гигиены (в марте 1855).
Экстрактор данных из Эгеи
Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!).
Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.
Это код использовал Роман Бунин для визуализации статистики по своим постам [1]; собственно, для этого проекта я и писал код ;-)
Всё оформил в виде Google Colab (это как Jupyter Notebook, только в интернете).
Чтобы всё заработало, нужно:
1. открыть доступ извне к своей базе (у меня это делается через настройки в хостинге)
2. заполнить в коде данные для подключения к базе: хост, название базы, логин и пароль.
3. если нужно сохранить итог в Google Sheets, код попросит авторизацию аккаунта — прямо рядом в соседней вкладке.
Коллеги дата инженеры могут заметить здесь базовый ETL процесс: достать данные из источника, преобразовать их и загрузить в другое место. Было интересно применить рабочие навыки к задаче из внешнего мира.
[1] — пост Романа
Дополнено: инструкция от Романа как засунуть собранные данные в Tableau
Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!).
Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.
Это код использовал Роман Бунин для визуализации статистики по своим постам [1]; собственно, для этого проекта я и писал код ;-)
Всё оформил в виде Google Colab (это как Jupyter Notebook, только в интернете).
Чтобы всё заработало, нужно:
1. открыть доступ извне к своей базе (у меня это делается через настройки в хостинге)
2. заполнить в коде данные для подключения к базе: хост, название базы, логин и пароль.
3. если нужно сохранить итог в Google Sheets, код попросит авторизацию аккаунта — прямо рядом в соседней вкладке.
Коллеги дата инженеры могут заметить здесь базовый ETL процесс: достать данные из источника, преобразовать их и загрузить в другое место. Было интересно применить рабочие навыки к задаче из внешнего мира.
[1] — пост Романа
Дополнено: инструкция от Романа как засунуть собранные данные в Tableau
Google
Aegea Export (public v.2)
Colaboratory notebook
Послушать:
Про генеративные алгоритмы на практике
как при помощи машинного обучения создавать текст, музыку и визуальный дизайн? есть ли разница, кто сделал работу, если задача решена?
Рассказывают композитор приложения Endel и создатель Николая Иронова.
Слушать в iTunes и Overcast
***
Про мощь алгоритмов и полезность математики
о применение алгоритмов к прогнозированию беспорядков в городе для помощи полиции и как сделать математику более человечной.
Слушать в iTunes и Overcast
выжимки и ссылки на странице проекта
***
Мы вас услышали. Как машина научилась понимать нашу речь
в коротких выпусках подкаста «Вы находитесь здесь» популярно описывают какую-то одну сторону машинного обучения.
В очередном выпуске рассказали про эволюцию алгоритмов для понимания и воспроизведения человеческой речи.
Слушать в iTunes и Overcast
Про генеративные алгоритмы на практике
как при помощи машинного обучения создавать текст, музыку и визуальный дизайн? есть ли разница, кто сделал работу, если задача решена?
Рассказывают композитор приложения Endel и создатель Николая Иронова.
Слушать в iTunes и Overcast
***
Про мощь алгоритмов и полезность математики
о применение алгоритмов к прогнозированию беспорядков в городе для помощи полиции и как сделать математику более человечной.
Слушать в iTunes и Overcast
выжимки и ссылки на странице проекта
***
Мы вас услышали. Как машина научилась понимать нашу речь
в коротких выпусках подкаста «Вы находитесь здесь» популярно описывают какую-то одну сторону машинного обучения.
В очередном выпуске рассказали про эволюцию алгоритмов для понимания и воспроизведения человеческой речи.
Слушать в iTunes и Overcast
Apple Podcasts
Проветримся!: Творческий искусственный интеллект on Apple Podcasts
Show Проветримся!, Ep Творческий искусственный интеллект - Dec 11, 2020
data будни
Экстрактор данных из Эгеи Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!). Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.…
Шаблон Tableau для визуализации данных из блога на Эгее
Роман Бунин опубликовал шаблон и написал инструкцию как заполнить его своими данными (которые предварительно достали из БД Эгеи с помощью простого кода ^)
Роман Бунин опубликовал шаблон и написал инструкцию как заполнить его своими данными (которые предварительно достали из БД Эгеи с помощью простого кода ^)
Tableau Public
Roman Bunin - Profile | Tableau Public
Hi! I'm Roman Bunin dataviz enthusiast and BI engineer keen on design, user experience and Agile approach to BI systems and dashboards.
на данных из моего блога получилось такая визуализация
Блог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.
По динамике просмотров выделяются три заметки:
1. Детективная история как я делал тестовое задание по анализу данных
2. Моё резюме в виде большой заметки (на момент обучения в Яндекс.Практикуме)
3. Отчёт-инструкция как я парсил сайт через встроенные функции в Гугл-таблицах (ещё до того как познакомился с Python)
Ещё заметил, что постов стало в принципе меньше (как и свободного времени, хе-хе)
А список тэгов, отсоритрованный по количеству заметок, напомнил, что когда-то у меня даже хватало времени выпускать еженедельную подборку интересных ссылок.
Блог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.
По динамике просмотров выделяются три заметки:
1. Детективная история как я делал тестовое задание по анализу данных
2. Моё резюме в виде большой заметки (на момент обучения в Яндекс.Практикуме)
3. Отчёт-инструкция как я парсил сайт через встроенные функции в Гугл-таблицах (ещё до того как познакомился с Python)
Ещё заметил, что постов стало в принципе меньше (как и свободного времени, хе-хе)
А список тэгов, отсоритрованный по количеству заметок, напомнил, что когда-то у меня даже хватало времени выпускать еженедельную подборку интересных ссылок.
data будни pinned «Экстрактор данных из Эгеи Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!). Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.…»
Как в Postgres раздать юзерам выборочные права на разные схемы:
https://towardsdatascience.com/how-to-handle-privileges-in-postgresql-with-specific-use-case-and-code-458fbdb67a73
https://towardsdatascience.com/how-to-handle-privileges-in-postgresql-with-specific-use-case-and-code-458fbdb67a73
Medium
How to Handle Privileges in PostgreSQL
A Case Study
Data Science — это направление знаний
это что-то такое крупное; типа «медицины».
в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.
но вот если какая-нибудь больница опубликует вакансию о поиске «медика», то к ним придут все: от акушера до нейрохирурга — спасибо, что не администратор в приёмную!
это что-то такое крупное; типа «медицины».
в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.
но вот если какая-нибудь больница опубликует вакансию о поиске «медика», то к ним придут все: от акушера до нейрохирурга — спасибо, что не администратор в приёмную!
В компании с налаженными процессами порог входа ниже
Сидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.
Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас что?»
Если в компании налажены процессы онбординга, то в новенького сразу прилетает куча пошаговых инструкций: куда писать код, к кому идти за менторством, где оформлять отпуск и брать печеньки.
Если же процессов нет, то адаптация идёт в ручном режиме: старичок проводит новенького за ручку по всем углам и знакомит с порядками (а мог бы свой код писать, да). И хорошо, если ещё старичок ничего не забудет! Хотя в любом случае новичок поначалу будет упираться в неизвестность и спрашивать совета.
Почему же не наладить процессы? Всё банально — это надо кому-то делать: решить, придумать, спланировать, реализовать. Поэтому в среднем у компаний процессы не описаны — так тупо проще.
И поэтому компании не любят нанимать джунов (пусть даже с горящими глазами) — ведь на них придётся выделять отдельного старичка, чтобы водить за ручку.
---
вдохновлено подкастом Moscow Python
https://news.1rj.ru/str/data_days/135
Сидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.
Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас что?»
Если в компании налажены процессы онбординга, то в новенького сразу прилетает куча пошаговых инструкций: куда писать код, к кому идти за менторством, где оформлять отпуск и брать печеньки.
Если же процессов нет, то адаптация идёт в ручном режиме: старичок проводит новенького за ручку по всем углам и знакомит с порядками (а мог бы свой код писать, да). И хорошо, если ещё старичок ничего не забудет! Хотя в любом случае новичок поначалу будет упираться в неизвестность и спрашивать совета.
Почему же не наладить процессы? Всё банально — это надо кому-то делать: решить, придумать, спланировать, реализовать. Поэтому в среднем у компаний процессы не описаны — так тупо проще.
И поэтому компании не любят нанимать джунов (пусть даже с горящими глазами) — ведь на них придётся выделять отдельного старичка, чтобы водить за ручку.
---
вдохновлено подкастом Moscow Python
https://news.1rj.ru/str/data_days/135
Telegram
data будни
Послушать:
Самат Галимов (Запуск Завтра) про технический консалтинг. Как устроено, сколько стоит (много!) и зачем это нужно бизнесу. Полезно послушать, если работаешь в агентстве с разными проектами; при работе в продукте тоже полезно — понимать, что делать…
Самат Галимов (Запуск Завтра) про технический консалтинг. Как устроено, сколько стоит (много!) и зачем это нужно бизнесу. Полезно послушать, если работаешь в агентстве с разными проектами; при работе в продукте тоже полезно — понимать, что делать…
Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов
[оригинал, перевод]
интересен общая схема и список всех участников. Выписал ребят из последней колонки:
Output — итог, «конечная станция» для данных
Dashboards
Looker
Superset
Mode
Tableau
Embedded Analytics
Sisense
Looker
cube.js
Augmented Analytics
Thoughtspot
Outlier
Anodot
Sisu
App Frameworks
Plotly Dash
Streamlit
Custom Apps
…
via @data_days
[оригинал, перевод]
интересен общая схема и список всех участников. Выписал ребят из последней колонки:
Output — итог, «конечная станция» для данных
Dashboards
Looker
Superset
Mode
Tableau
Embedded Analytics
Sisense
Looker
cube.js
Augmented Analytics
Thoughtspot
Outlier
Anodot
Sisu
App Frameworks
Plotly Dash
Streamlit
Custom Apps
…
via @data_days
data будни
Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов [оригинал, перевод] интересен общая схема и список всех участников. Выписал ребят из последней колонки: Output — итог, «конечная станция» для…
Data-Report-Martin-Inline-Graphics-R8-1.pdf
273.6 KB
хайрезы в ПДФ