пока разбираюсь с вопросом, насколько глубоко нужен питон дата-инжеренеру-аналитику, смотрю курс Яндекса по бэкенду. Там-то люди точно умеют в питон. Можно подсмотреть на их кухню и представить, что там делается — и что из этого может пригодится в работе аналитика.
а первой части рассказали про основные понятия в БД, а во второй начался уже полный хардкор:
⁃ драйверы (psycopg2, pg8000 и другие)
⁃ подключения, сессии, курсоры, транзакции
⁃ SQL Alchemy и её query builder
⁃ ORM и миграции
а первой части рассказали про основные понятия в БД, а во второй начался уже полный хардкор:
⁃ драйверы (psycopg2, pg8000 и другие)
⁃ подключения, сессии, курсоры, транзакции
⁃ SQL Alchemy и её query builder
⁃ ORM и миграции
Классная заметка про нулевой тариф в Яндекс.Драйве. Показывает, как принимать нетривиальные решения и потом оценивать итоги, закапываясь на несколько уровней вглубь
https://news.1rj.ru/str/UnderTheHood/29
https://news.1rj.ru/str/UnderTheHood/29
Telegram
Под капотом Яндекс.Такси
Две мысли:
1. Иногда продавать что-то за 0 рублей может быть выгодно.
2. Вот вам отличный пример, как аналитики, умеющие глубоко копать, помогли принять верное решение, в то время как неверное решение лежало на поверхности и манило своей простотой.
Коллеги…
1. Иногда продавать что-то за 0 рублей может быть выгодно.
2. Вот вам отличный пример, как аналитики, умеющие глубоко копать, помогли принять верное решение, в то время как неверное решение лежало на поверхности и манило своей простотой.
Коллеги…
Forwarded from Инжиниринг Данных (Dmitry Anoshin)
Крутой контент теперь бесплатно. Я проходил Tabular Data, 3х дневный курс, все по полочкам разложили.
Amazon Science
Amazon's Machine Learning University is making its online courses available to the public
Classes previously only available to Amazon employees will now be available to the community.
EDA — вебинар от karpov.courses
тот самый Анатолий Карпов из курса по статистике на Степике делает свою школу по работе с данными. Ребята провели полезный вебинар по анализу данных. Вебинар полезен чтобы познакомиться и разобраться с нуля или чтобы вспомнить основы.
Exploratory Data Analysis — разведывательный анализ данных — первое, что надо сделать с данными.
данные почти всегда «грязные»
нужны метаданные — описания к признакам
могут быть пропуски — отвалилось устройство сбора или просто криво собрали данные
есть интересные применение pd.crosstab, .style.background и pandas profiling
https://youtu.be/wKrsanSXzk0
тот самый Анатолий Карпов из курса по статистике на Степике делает свою школу по работе с данными. Ребята провели полезный вебинар по анализу данных. Вебинар полезен чтобы познакомиться и разобраться с нуля или чтобы вспомнить основы.
Exploratory Data Analysis — разведывательный анализ данных — первое, что надо сделать с данными.
данные почти всегда «грязные»
нужны метаданные — описания к признакам
могут быть пропуски — отвалилось устройство сбора или просто криво собрали данные
есть интересные применение pd.crosstab, .style.background и pandas profiling
https://youtu.be/wKrsanSXzk0
YouTube
Exploratory data analysis в Pandas | Вебинар Лаврентия Данилова | karpov.courses
Курс «Аналитик данных»: https://bit.ly/3zExQ5c
EDA — первая, и пожалуй, самая важная часть анализа данных. Перед тем, как приступить к построению сложных моделей и поиску инсайтов в данных, нужно убедиться, что с данными всё хорошо, в них нет ошибок и противоречий.…
EDA — первая, и пожалуй, самая важная часть анализа данных. Перед тем, как приступить к построению сложных моделей и поиску инсайтов в данных, нужно убедиться, что с данными всё хорошо, в них нет ошибок и противоречий.…
студия Лебедева применила машинное обучение в дизайне — даже в творческих профессиях есть автоматизируемая рутина
Forwarded from Подкасты евридей (Саша Михайлов)
Николай Иронов
Студия Лебедева разработала «нейросеть», которая рисует дизайны для клиентов. Да, реальные дизайны за реальные деньги. Для Николая сделали почтовый адрес и страницу в интранете — всё это время ни клиенты, ни сотрудники думали, что это просто ещё один сотрудник на удалёнке.
«Нейросеть» в кавычках, потому что там не просто одна какая-нибудь GPT3 под капотом, а целый набор инструментов.
Заменит ли компьютер белковых дизайнеров? Полностью — нет; но работа дизайнеров в будущем будет сильно отличаться. Скорее всего будет меньше рутины.
В целом, Иронов — это ещё один инструмент арт-директора. В принципе, арт-директора всё равно кому давать задание; только вот Иронов справиться быстрее)
Телеграм подкаста
https://news.1rj.ru/str/habrpodcast/111
Слушать в iTunes и Overcast
Работы Н. Иронова на сайте Студии
https://www.artlebedev.ru/ironov/
Студия Лебедева разработала «нейросеть», которая рисует дизайны для клиентов. Да, реальные дизайны за реальные деньги. Для Николая сделали почтовый адрес и страницу в интранете — всё это время ни клиенты, ни сотрудники думали, что это просто ещё один сотрудник на удалёнке.
«Нейросеть» в кавычках, потому что там не просто одна какая-нибудь GPT3 под капотом, а целый набор инструментов.
Заменит ли компьютер белковых дизайнеров? Полностью — нет; но работа дизайнеров в будущем будет сильно отличаться. Скорее всего будет меньше рутины.
В целом, Иронов — это ещё один инструмент арт-директора. В принципе, арт-директора всё равно кому давать задание; только вот Иронов справиться быстрее)
Телеграм подкаста
https://news.1rj.ru/str/habrpodcast/111
Слушать в iTunes и Overcast
Работы Н. Иронова на сайте Студии
https://www.artlebedev.ru/ironov/
Telegram
Хабр ▶️ Подкасты
Неожиданно держите спешал!
К нам в гости зашли ребята из Студии Лебедева: арт-директор Сергей Кулинкович и технолог Роман Косовичев. Мы поговорили с ними о том, что такое Николай Иронов вообще и что он значит для индустрии. Чисто бытовые вопросы тоже, конечно…
К нам в гости зашли ребята из Студии Лебедева: арт-директор Сергей Кулинкович и технолог Роман Косовичев. Мы поговорили с ними о том, что такое Николай Иронов вообще и что он значит для индустрии. Чисто бытовые вопросы тоже, конечно…
Forwarded from Графики и жизнь
Если карта хочет показать пространство, из которого состоит страна, на ней должны быть:
🗺 ГОРОДА. Люди живут в городах или на территориях, которых к тому или другому городу неизбежно тяготеют.
🗺 ДОРОГИ между ними. Бывают автомобильные и железные. Для дорог немаловажно — куда по ним можно доехать, и поэтому на карте без ближнего зарубежья не обойтись.
🗺 РЕКИ как естественные дороги и рубежи (что особенно актуально для речной страны Россия).
🗺 РЕЛЬЕФ как естественные рамки всего происходящего.
Мне такой карты не хватало, поэтому вот.
#география #транспорт #города #карта
🗺 ГОРОДА. Люди живут в городах или на территориях, которых к тому или другому городу неизбежно тяготеют.
🗺 ДОРОГИ между ними. Бывают автомобильные и железные. Для дорог немаловажно — куда по ним можно доехать, и поэтому на карте без ближнего зарубежья не обойтись.
🗺 РЕКИ как естественные дороги и рубежи (что особенно актуально для речной страны Россия).
🗺 РЕЛЬЕФ как естественные рамки всего происходящего.
Мне такой карты не хватало, поэтому вот.
#география #транспорт #города #карта
кстати о картах: у Студии Лебедева был классный проект про площадь суши без искажений проекции Меркатора.
https://www.artlebedev.ru/susha/
самый сок и подробные объяснения в разделе «процесс»:
https://www.artlebedev.ru/susha/process-1/
https://www.artlebedev.ru/susha/
самый сок и подробные объяснения в разделе «процесс»:
https://www.artlebedev.ru/susha/process-1/
www.artlebedev.ru
Суша
На плакате страны упорядочиваются по убыванию, изображаются отдельно от внешних и зависимых территорий и распределяются по континентам согласно классификации макрорегионов ООН. Плакат хочется часами изучать с наслаждением и изумлением.
Сделал отдельный канал про дата-отрасль и всё такое
Изначально не хотел плодить множество каналов: казалось, что будет пусто и там, и там; плюс не хотелось каждый раз запариваться, куда отправить тот или иной пост — нужно было одно место.
Последнее время столкнулся с дилеммой: с одной стороны хочу писать просто про жизнь, про семью и детей, про ментальное и физическое здоровье, собирать скриншоты сайтиков из интернета; а с другой — приводить прям код на питоне и сиквеле или разбираться в тонкостях баз данных и матстатистики. Кажется, что в одном канале таким разным постам будет тесно.
В итоге завёл отдельный канал, куда буду писать про всё связанное с данными. Для начала накидал туда все релевантные посты за последние пару месяцев — чтобы было понятно, что я понимаю под «всё связанное с данными».
В общем, велком!
https://news.1rj.ru/str/data_days
Изначально не хотел плодить множество каналов: казалось, что будет пусто и там, и там; плюс не хотелось каждый раз запариваться, куда отправить тот или иной пост — нужно было одно место.
Последнее время столкнулся с дилеммой: с одной стороны хочу писать просто про жизнь, про семью и детей, про ментальное и физическое здоровье, собирать скриншоты сайтиков из интернета; а с другой — приводить прям код на питоне и сиквеле или разбираться в тонкостях баз данных и матстатистики. Кажется, что в одном канале таким разным постам будет тесно.
В итоге завёл отдельный канал, куда буду писать про всё связанное с данными. Для начала накидал туда все релевантные посты за последние пару месяцев — чтобы было понятно, что я понимаю под «всё связанное с данными».
В общем, велком!
https://news.1rj.ru/str/data_days
Telegram
data будни
работаю инженером данных и пишу в основном про это.
Профильные ссылки с коротким резюме (статьи, доклады, подкасты), иногда «софтовое» — например, про поиск работы.
Профильные ссылки с коротким резюме (статьи, доклады, подкасты), иногда «софтовое» — например, про поиск работы.
Forwarded from data будни
Собрал курсы, которые дополнили знания по аналитике после Практикума.
SQL
Сиквел — основа работы всех сортов аналитиков. И даже видел рекомендации осваивать сиквел продакт-менеджерам. Задачи на SQL мне встречались почти во всех тестовых.
Простота SQL обманчива. Помню как радовался, когда наконец «изучил SQL», пройдя курс по базовым запросам; и как потом «прозрел», когда неделю делал тестовое в SkyEng с оконными функциями и вложенными запросами.
Навык никогда не будет лишним и «перекачать» его сложно. По-моему стоит его делать каждый день по небольшому подходу — мне тут помогает поставить на повтор в трекере задач.
Базовый SQL:
https://mode.com/sql-tutorial/ или https://stepik.org/course/51562
Продвинутый уровень — понимание работы запросов в контексте баз данных:
https://stepik.org/course/55776/syllabus — транзакции, ACID, процедуры, триггеры, представления
https://stepik.org/course/51675/syllabus — проектирование баз данных, четыре нормальных формы, денормализация, удаление данных
Если эти ссылки не зашли (это нормально!), вот ещё была большая подборка курсов в канале у Алексея Никушина
https://news.1rj.ru/str/internetanalytics/3012
SQL
Сиквел — основа работы всех сортов аналитиков. И даже видел рекомендации осваивать сиквел продакт-менеджерам. Задачи на SQL мне встречались почти во всех тестовых.
Простота SQL обманчива. Помню как радовался, когда наконец «изучил SQL», пройдя курс по базовым запросам; и как потом «прозрел», когда неделю делал тестовое в SkyEng с оконными функциями и вложенными запросами.
Навык никогда не будет лишним и «перекачать» его сложно. По-моему стоит его делать каждый день по небольшому подходу — мне тут помогает поставить на повтор в трекере задач.
Базовый SQL:
https://mode.com/sql-tutorial/ или https://stepik.org/course/51562
Продвинутый уровень — понимание работы запросов в контексте баз данных:
https://stepik.org/course/55776/syllabus — транзакции, ACID, процедуры, триггеры, представления
https://stepik.org/course/51675/syllabus — проектирование баз данных, четыре нормальных формы, денормализация, удаление данных
Если эти ссылки не зашли (это нормально!), вот ещё была большая подборка курсов в канале у Алексея Никушина
https://news.1rj.ru/str/internetanalytics/3012
ThoughtSpot
ThoughtSpot SQL Tutorial | ThoughtSpot
Learn to answer questions with data using SQL, no prior coding required, guiding you through foundational to advanced SQL skills.
Паралич выбора
Иногда бывает, что передо мной 10 задач, но никак не получается приступить к делу: не могу решиться, за какую именно взяться.
Вроде это называется паралич выбора. По-английски звучит даже в рифму — analysis paralysis.
Сын сталкивается с такой же проблемой: надо собрать 10 игрушек на свои места. И вот он стоит и в нерешительности смотрит на них. И вроде уже можно было два раза их всех собрать за время стояния... но нет.
Чтобы сдвинуть с места процесс, предлагаю ему начать с одной игрушки: давай возьмём кораблик. Берёт. Отлично! давай теперь пчёлку. Ещё одна есть. Теперь пингвина. И вот уже почти половина игрушек на местах, динамика налицо, процесс запущен, дальше уже собирает сам.
Со «взрослыми» задачами работает так же: надо назначить приоритеты. Можно прикинуть, без чего точно нельзя обойтись. Или же просто тыкнут в таск и назначить его самым главным — конкретный метод приоритизации не важен, главное сам факт приоритета. Хоп! и дело пошло.
Иногда бывает, что передо мной 10 задач, но никак не получается приступить к делу: не могу решиться, за какую именно взяться.
Вроде это называется паралич выбора. По-английски звучит даже в рифму — analysis paralysis.
Сын сталкивается с такой же проблемой: надо собрать 10 игрушек на свои места. И вот он стоит и в нерешительности смотрит на них. И вроде уже можно было два раза их всех собрать за время стояния... но нет.
Чтобы сдвинуть с места процесс, предлагаю ему начать с одной игрушки: давай возьмём кораблик. Берёт. Отлично! давай теперь пчёлку. Ещё одна есть. Теперь пингвина. И вот уже почти половина игрушек на местах, динамика налицо, процесс запущен, дальше уже собирает сам.
Со «взрослыми» задачами работает так же: надо назначить приоритеты. Можно прикинуть, без чего точно нельзя обойтись. Или же просто тыкнут в таск и назначить его самым главным — конкретный метод приоритизации не важен, главное сам факт приоритета. Хоп! и дело пошло.
Канал Саши Михайлова pinned «Сделал отдельный канал про дата-отрасль и всё такое Изначально не хотел плодить множество каналов: казалось, что будет пусто и там, и там; плюс не хотелось каждый раз запариваться, куда отправить тот или иной пост — нужно было одно место. Последнее время…»
Прочитал Яндекс.Книгу, чтобы узнать откуда появился Яндекс
До этого слышал, что поисковик была разработан в комнате у туалета Аркадием Воложем, Ильёй Сегаловичем и некоей Еленой Колмановской. В истории действительно были и комната, и эти ребята, только в немного в другом порядке.
В самом начале даже в голове Воложа не было чёткого плана по захвату интернета: типа «интернет → поисковик → директ → карты, пробки с последующим выходом в селфдрайвинг и доставкой продуктов за 15 минут».
Нет, ничего этого не было. Прототип поиска по интернету был просто индексатором больших текстов — это был сайд-проект, один из многих. Он был глубоко убыточен и финансировался из других источников: сначала первой компании Воложа — КомпТек —, а потом и сторонними инвесторами.
Даже запуск yandex.ru был как демонстрация возможностей поиска по текстам: смотрите как он ищет в интернете и покупайте нашу программу.
Илья Сегалович присоединился к Воложу как рядовой программист для индексатора больших текстов. Но постепенно стал «царицей Яндекса» и правой рукой Аркадия Воложа.
Схема монетизации через поисковую рекламу тоже пришла не сразу; поначалу основной доход Яндекса был от продажи баннеров на главной странице. А идея с покликовым аукционом вместо фиксированной цены была придумана позднее.
В разные времена Яндекс хотели купить и Рамблер, и Гугл, и даже Алишер Усманов с поддердкой правительства. Яндексу удалось всё пройти и остаться независимым.
В посте собрал много цитат из книги
https://sashamikhailov.ru/blog/all/yandex-book/
До этого слышал, что поисковик была разработан в комнате у туалета Аркадием Воложем, Ильёй Сегаловичем и некоей Еленой Колмановской. В истории действительно были и комната, и эти ребята, только в немного в другом порядке.
В самом начале даже в голове Воложа не было чёткого плана по захвату интернета: типа «интернет → поисковик → директ → карты, пробки с последующим выходом в селфдрайвинг и доставкой продуктов за 15 минут».
Нет, ничего этого не было. Прототип поиска по интернету был просто индексатором больших текстов — это был сайд-проект, один из многих. Он был глубоко убыточен и финансировался из других источников: сначала первой компании Воложа — КомпТек —, а потом и сторонними инвесторами.
Даже запуск yandex.ru был как демонстрация возможностей поиска по текстам: смотрите как он ищет в интернете и покупайте нашу программу.
Илья Сегалович присоединился к Воложу как рядовой программист для индексатора больших текстов. Но постепенно стал «царицей Яндекса» и правой рукой Аркадия Воложа.
Схема монетизации через поисковую рекламу тоже пришла не сразу; поначалу основной доход Яндекса был от продажи баннеров на главной странице. А идея с покликовым аукционом вместо фиксированной цены была придумана позднее.
В разные времена Яндекс хотели купить и Рамблер, и Гугл, и даже Алишер Усманов с поддердкой правительства. Яндексу удалось всё пройти и остаться независимым.
В посте собрал много цитат из книги
https://sashamikhailov.ru/blog/all/yandex-book/
sashamikhailov.ru
История Яндекса: книга Дмитрия Соколова-Митрича
Мне трудно представить мир без интернета, а интернет — без поиска в нём. И ещё труднее вообразить путь Яндекса как череду удачных решений без чёткого плана
Мультидневные таски
Разобрались с приоритетами, начали делать. Хорошо, когда дело небольшое: взял и сделал. Написал письмо, сделал отчёт — поставил галочку.
Сложнее, когда дело большое: когда его нельзя просто сделать. Не получится взять и за один присест стать спортивным или выучить новый язык. Эти дела надо делать больше одного дня — такие мультидневные таски.
Когда сменяется день, память будто обнуляется. Уже на следующий бывает трудно вспомнить, чего я там хотел вчера. Да мало ли чего: новый день сваливает кучу новых привлекательных триггеров. Могут пройти месяцы прежде чем вспомню про своё давнее желание быть спортивнее.
Напоминать себе завтрашнему о сегодняшних планах мне помогают два инструмента:
1. Повторяющиеся задачи в трекере задач Things. Там на меня вываливается конкретная задача: заполнить форму, открыть сайт с уроком. Важно, чтобы в задаче было сразу всё необходимое — обычно это прям ссылка.
2. Ежедневный чек лист в обычной Гугл-таблице. Там есть список дел, которые я бы хотел делать почаще: спорт и зарядка, книги и лекции, медитации и антихрупкость. Каждый день я открываю Гугл-таблицу (да, по ссылке из таски в Things) и ставлю галочки напротив совершенных за день активностей.
Разобрались с приоритетами, начали делать. Хорошо, когда дело небольшое: взял и сделал. Написал письмо, сделал отчёт — поставил галочку.
Сложнее, когда дело большое: когда его нельзя просто сделать. Не получится взять и за один присест стать спортивным или выучить новый язык. Эти дела надо делать больше одного дня — такие мультидневные таски.
Когда сменяется день, память будто обнуляется. Уже на следующий бывает трудно вспомнить, чего я там хотел вчера. Да мало ли чего: новый день сваливает кучу новых привлекательных триггеров. Могут пройти месяцы прежде чем вспомню про своё давнее желание быть спортивнее.
Напоминать себе завтрашнему о сегодняшних планах мне помогают два инструмента:
1. Повторяющиеся задачи в трекере задач Things. Там на меня вываливается конкретная задача: заполнить форму, открыть сайт с уроком. Важно, чтобы в задаче было сразу всё необходимое — обычно это прям ссылка.
2. Ежедневный чек лист в обычной Гугл-таблице. Там есть список дел, которые я бы хотел делать почаще: спорт и зарядка, книги и лекции, медитации и антихрупкость. Каждый день я открываю Гугл-таблицу (да, по ссылке из таски в Things) и ставлю галочки напротив совершенных за день активностей.
Telegram
Канал Саши Михайлова
Паралич выбора
Иногда бывает, что передо мной 10 задач, но никак не получается приступить к делу: не могу решиться, за какую именно взяться.
Вроде это называется паралич выбора. По-английски звучит даже в рифму — analysis paralysis.
Сын сталкивается с такой же…
Иногда бывает, что передо мной 10 задач, но никак не получается приступить к делу: не могу решиться, за какую именно взяться.
Вроде это называется паралич выбора. По-английски звучит даже в рифму — analysis paralysis.
Сын сталкивается с такой же…
1. повторяемая задача в Things со всем необходимым; 2. Ежедневный чеклист со списком на делать
Тим Урбан (waitbutwhy.com) прислал визуализацию истории человечества в качестве тизера будущей книги.
Видно, что мы на земле совсем недавно.
(кстати аватарка и адрес этого канала я взял как раз из статьи Тима Урбана о религии)
Видно, что мы на земле совсем недавно.
(кстати аватарка и адрес этого канала я взял как раз из статьи Тима Урбана о религии)
Подкасты евридей
Николай Иронов Студия Лебедева разработала «нейросеть», которая рисует дизайны для клиентов. Да, реальные дизайны за реальные деньги. Для Николая сделали почтовый адрес и страницу в интранете — всё это время ни клиенты, ни сотрудники думали, что это просто…
Эксперимент с «нейронкой», рисующей дизайн, признали удачным и раскатили в прод.
https://www.artlebedev.ru/automation/
https://www.artlebedev.ru/automation/
Устал сбрасывать спам-звонки — перевёл телефон в круглосуточный режим «не беспокоить»
Работа требует сосредоточенности: надо сесть, вникнуть в вопрос, придумать решение и реализовать его. Это всё требует времени — и не просто обрезков, а прямо какого-то достаточного непрерывного отрезка.
Любой звонок вытаскивает из рабочего состояния: «алло? Нет. Нет, спасибо. Не интересно. Пожалуйста, больше не звоните». И всё! — контекст задачи потерян, надо начинать заново.
И ничего, если бы звонки были полезные — нет. Кажется, сейчас звонят только банки, интернет провайдеры и телефонные опросы. Все важные вещи решаются в телеграме и слаке; даже в почте остались только рассылки и служебные письма.
Добавлять номера в общий контакт «спам» уже бессмысленно: звонить каждый раз с нового номера — кажется вообще не проблема. Чёрный список уже не работает.
Устал сбрасывать — ведь даже это вытаскивает из потока! — и поставил в телефоне расписание «не беспокоить» с 10:00 до 9:59 каждый день. И теперь звонки не сбивают рабочий процесс. Просто потом видишь пропущенные — всегда ведь можно перезвонить, если что.
Работа требует сосредоточенности: надо сесть, вникнуть в вопрос, придумать решение и реализовать его. Это всё требует времени — и не просто обрезков, а прямо какого-то достаточного непрерывного отрезка.
Любой звонок вытаскивает из рабочего состояния: «алло? Нет. Нет, спасибо. Не интересно. Пожалуйста, больше не звоните». И всё! — контекст задачи потерян, надо начинать заново.
И ничего, если бы звонки были полезные — нет. Кажется, сейчас звонят только банки, интернет провайдеры и телефонные опросы. Все важные вещи решаются в телеграме и слаке; даже в почте остались только рассылки и служебные письма.
Добавлять номера в общий контакт «спам» уже бессмысленно: звонить каждый раз с нового номера — кажется вообще не проблема. Чёрный список уже не работает.
Устал сбрасывать — ведь даже это вытаскивает из потока! — и поставил в телефоне расписание «не беспокоить» с 10:00 до 9:59 каждый день. И теперь звонки не сбивают рабочий процесс. Просто потом видишь пропущенные — всегда ведь можно перезвонить, если что.