Да-да, я в последнее время много читаю разных статей, поэтому вот вам еще одна замечательная.
https://erikbern.com/2021/07/07/the-data-team-a-short-story.html
Хороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компаниях, какой творится беспорядок и как это все превратить в более-менее работающую машину.
Скажем так, отличное чтиво для тех, кто планирует становиться CDO или что-то в этом роде. Оч похоже на книжку "Проект Феникс" (кстати, тоже советую прочитать).
#инженерные_практики
https://erikbern.com/2021/07/07/the-data-team-a-short-story.html
Хороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компаниях, какой творится беспорядок и как это все превратить в более-менее работающую машину.
Скажем так, отличное чтиво для тех, кто планирует становиться CDO или что-то в этом роде. Оч похоже на книжку "Проект Феникс" (кстати, тоже советую прочитать).
#инженерные_практики
Erik Bernhardsson
Building a data team at a mid-stage startup: a short story
You are brought into a startup to run their three-person data team. This is a story about teams and organization, and how you spend a year getting the team to a good place.
Хехе, я прошляпил тут. Уже сегодня в 18-30.
У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем.
У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем.
Forwarded from Citymobil Tech
🚨25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.
Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с какими проблемами столкнулись и как их побороли.
Максим Шевченко из MTS BigData расскажет про интересный и одновременно простой способ проверки некоторых гипотез валидности таргетинга в наружной рекламе и о том, как его можно использовать в других реальных задачах.
🗓Расписание:
👉18:30 - 18:40 – Вступительное слово
Алексей Чернобровов | Head of Data Science | Ситимобил
👉18:40 - 19:10 – Как мы качество данных проверяем
Олег Стрельников | Руководитель команды Data Quality | Ситимобил
👉19:10 – 19:40 – Проверка гипотезы валидности таргетинга в наружной рекламе
👉Максим Шевченко | Ведущий ML разработчик | MTS BigData
19:40 – 20:10 – Дискуссия со спикерами.
Участие бесплатное.
РЕГИСТРАЦИЯ.
Ждем вас!
Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с какими проблемами столкнулись и как их побороли.
Максим Шевченко из MTS BigData расскажет про интересный и одновременно простой способ проверки некоторых гипотез валидности таргетинга в наружной рекламе и о том, как его можно использовать в других реальных задачах.
🗓Расписание:
👉18:30 - 18:40 – Вступительное слово
Алексей Чернобровов | Head of Data Science | Ситимобил
👉18:40 - 19:10 – Как мы качество данных проверяем
Олег Стрельников | Руководитель команды Data Quality | Ситимобил
👉19:10 – 19:40 – Проверка гипотезы валидности таргетинга в наружной рекламе
👉Максим Шевченко | Ведущий ML разработчик | MTS BigData
19:40 – 20:10 – Дискуссия со спикерами.
Участие бесплатное.
РЕГИСТРАЦИЯ.
Ждем вас!
Ребята, привет!
Тут понял, что хочется написать большой, качественный материал в виде обзора и гайда на какой-нибудь фреймворк / тулзу из мира инженерии данных. 👷
Ибо качественных материалов на русском мало, мне хочется нанести пользу и причинить добро, а вот фигачить контент ради контента не хочется. Не делать же очередное видео на тему: «Junior / Middle / Senior. В чем разница?» (😆 pun intended).
Поэтому нужна ваша помощь! У меня есть наброски для пары тем, но вы можете посоветовать что-нибудь в комментариях)
Тут понял, что хочется написать большой, качественный материал в виде обзора и гайда на какой-нибудь фреймворк / тулзу из мира инженерии данных. 👷
Ибо качественных материалов на русском мало, мне хочется нанести пользу и причинить добро, а вот фигачить контент ради контента не хочется. Не делать же очередное видео на тему: «Junior / Middle / Senior. В чем разница?» (😆 pun intended).
Поэтому нужна ваша помощь! У меня есть наброски для пары тем, но вы можете посоветовать что-нибудь в комментариях)
🔋 Труба данных via @vote
Какая тема вам более интересна?
anonymous poll
dbt – 90
👍👍👍👍👍👍👍 57%
Trino (оно же Presto) – 38
👍👍👍 24%
Prefect – 23
👍👍 15%
Другое (напишите в комментариях) – 7
👍 4%
👥 158 people voted so far.
anonymous poll
dbt – 90
👍👍👍👍👍👍👍 57%
Trino (оно же Presto) – 38
👍👍👍 24%
Prefect – 23
👍👍 15%
Другое (напишите в комментариях) – 7
👍 4%
👥 158 people voted so far.
В прошлых сериях: я написал заметку о том, что в современном потоке контента, который генерирует интернет становится очень сложно понимать, где что-то новое, полезное и интересное, а где - набор булшита и баззвордов. К сожалению, автор удалил статью и нам не удалось подискутировать.
Но ничего, я принес новое)
https://techcrunch.com/2022/02/09/census-confirms-it-has-raised-a-60m-series-b-on-630m-valuation
Итак, из заголовка видно, что очередной data стартап поднял 60 миллионов на раунде при оценке в 630 миллионов. Что можно прочитать про этот стартап?
“А startup building a data layer between business operations and a company’s data warehouse”
Ничего не понятно, но очень интересно. Почитаем дальше..
CEO Boris Jabes said that from the start he wanted to build something that would allow mostly nontechnical users to build queries that made sense to them and get back data that would help them do their jobs without a middleman driving that access.
Мне казалось, что все кто хоть как-то касается данных, знает SQL, а если нет (какой-нибудь CEO), то все отчеты и данные сделают для него.
Business operations people can pull data from various sources based on data types and build a kind of application to deliver that data to them.
Еще одна тулза в итак набитом до отказа modern data stack? Сколько уже таких, подключашек?
The company reports it has now raised over $80 million, including a $4.3 million seed in 2020 and a $16 million A round in 2021.
80 миллионов, за 2 года, команда в 40 человек и интерес от инвесторов из A-list (ну типа крутых и умных).
Что я не понимаю, чего понимают они?
Это ведь очередная тулза, которая призвана remove the middleman, но на самом деле она становится им. Неужели эти все инвестиции ради игры “вдруг выйдем на IPO и акции выростут или кто-нибудь купит, мы окешимся”?
Это и так красный океан уже (модное слово из биздева), куда еще то?
Вот и сидишь, как с NFT (я не могу отпустить эту шутку, да😁): понимаешь, что вроде бы это бред и истерия с обезьянами, но надо бы потрогать, вдруг за этим будущее, которое оставит тебя без работы?
Сам стартап - https://www.getcensus.com/
Искренне не понимаю, поясните в комментариях, чем это будет полезно пользователю и компании. Как среди этого всего не упустить следующий dbt? Или просто не переживать, хорошие инструменты набирают популярность и ты узнаешь про них естественным путем?
Но ничего, я принес новое)
https://techcrunch.com/2022/02/09/census-confirms-it-has-raised-a-60m-series-b-on-630m-valuation
Итак, из заголовка видно, что очередной data стартап поднял 60 миллионов на раунде при оценке в 630 миллионов. Что можно прочитать про этот стартап?
“А startup building a data layer between business operations and a company’s data warehouse”
Ничего не понятно, но очень интересно. Почитаем дальше..
CEO Boris Jabes said that from the start he wanted to build something that would allow mostly nontechnical users to build queries that made sense to them and get back data that would help them do their jobs without a middleman driving that access.
Мне казалось, что все кто хоть как-то касается данных, знает SQL, а если нет (какой-нибудь CEO), то все отчеты и данные сделают для него.
Business operations people can pull data from various sources based on data types and build a kind of application to deliver that data to them.
Еще одна тулза в итак набитом до отказа modern data stack? Сколько уже таких, подключашек?
The company reports it has now raised over $80 million, including a $4.3 million seed in 2020 and a $16 million A round in 2021.
80 миллионов, за 2 года, команда в 40 человек и интерес от инвесторов из A-list (ну типа крутых и умных).
Что я не понимаю, чего понимают они?
Это ведь очередная тулза, которая призвана remove the middleman, но на самом деле она становится им. Неужели эти все инвестиции ради игры “вдруг выйдем на IPO и акции выростут или кто-нибудь купит, мы окешимся”?
Это и так красный океан уже (модное слово из биздева), куда еще то?
Вот и сидишь, как с NFT (я не могу отпустить эту шутку, да😁): понимаешь, что вроде бы это бред и истерия с обезьянами, но надо бы потрогать, вдруг за этим будущее, которое оставит тебя без работы?
Сам стартап - https://www.getcensus.com/
Искренне не понимаю, поясните в комментариях, чем это будет полезно пользователю и компании. Как среди этого всего не упустить следующий dbt? Или просто не переживать, хорошие инструменты набирают популярность и ты узнаешь про них естественным путем?
TechCrunch
Census confirms it has raised a $60M Series B on $630M valuation
Census, a startup building a data layer between business operations and a company’s data warehouse, confirmed an Axios story from earlier this week that it has raised a $60 million Series B on a valuation of $630 million. CEO Boris Jabes said that from the…
👍1
Ребята из Тинькофф на своем недавнем митапе IT's Tinkoff Data Meetup говорили про устройство и процессы Data warehouse, а так же про инструменты в Data Governance.
Две темы:
- Data Governance в Тинькофф
- Подходы к внедрению платформы управления данными в крупной компании
https://meetup.tinkoff.ru/event/tinkoff-data-meetup/
Записи презентаций и слайды по ссылке выше.
Две темы:
- Data Governance в Тинькофф
- Подходы к внедрению платформы управления данными в крупной компании
https://meetup.tinkoff.ru/event/tinkoff-data-meetup/
Записи презентаций и слайды по ссылке выше.
Т-Банк Митапы
Митап IT's Tinkoff Data Meetup
Митап про управление данными
Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…
Ребята из CityMobil проводят очередной Data Meetup.
Темы снова две:
- Сбор и валидация субъективных данных на примере заказов по пути домой
- Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездок
Регистрация доступна по ссылке тут
Ребята из CityMobil проводят очередной Data Meetup.
Темы снова две:
- Сбор и валидация субъективных данных на примере заказов по пути домой
- Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездок
Регистрация доступна по ссылке тут
Так, среди всех новостных подписок и ресурсов мне очень нравится The Pragmatic Engineer. Это тот самый, который про 3-modal компании (tier 1, tier 2, tier 3) популярный пост писал и видео снимал.
У него очень много полезного материала в его рассылке, и часть из них платная. Подписка стоит $15 в месяц (12, если платить за год сразу), но если ему написать на почту hello at pragmaticengineer dot com, чесно признаться, что вы из России, то можно получить скидку в 55%.
Вот такой вот хороший оффер! Подписку честно советую!
Можете в письме мягко упомянуть “Hello from Simon” =)
У него очень много полезного материала в его рассылке, и часть из них платная. Подписка стоит $15 в месяц (12, если платить за год сразу), но если ему написать на почту hello at pragmaticengineer dot com, чесно признаться, что вы из России, то можно получить скидку в 55%.
Вот такой вот хороший оффер! Подписку честно советую!
Можете в письме мягко упомянуть “Hello from Simon” =)
The Pragmatic Engineer
The Perfect Storm Causing an Insane Tech Hiring Market
We are in the most heated tech hiring market of all time. Here’s what you need to do and what companies do which are still growing.
Всем привет!
С 28 числа в этом канале не было сообщений. Сами знаете почему.
Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.
“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая ситуация рождает боль, боль рождает желание её уменьшить.“
и
"Может ли булочник печь булки во время войны?".
Так вот, у меня есть продолжить желание писать сюда в канал. Мне нужен этот выход энергии.
Странно, конечно, спрашивать “А вы не против, если я продолжу писать сюда?”, ведь это мой канал 😁
Но я понимаю, что есть люди, которые могут не разделить мою позицию, мол “Почему ты продолжаешь писать про айтишку, когда идетспециальная военная операция война?”
Наша жизнь продолжается, в каком-то новом измерении, и в этом измерении я все еще хочу быть дата инженером и заниматься своими любимыми вещами. Поэтому я хочу продолжить писать про DE и вокруг.
Поэтому если вы не разделяет мою позицию по прекращению тишины в канале, сейчас самое время отписаться. Я буду скучать по вам, я люблю каждого своего подписчика.
Если вам есть что сказать, приходите в комментарии, там можно меня даже послать куда подальше за такое, никаких репрессий за это не будет =)
С 28 числа в этом канале не было сообщений. Сами знаете почему.
Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.
“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая ситуация рождает боль, боль рождает желание её уменьшить.“
и
"Может ли булочник печь булки во время войны?".
Так вот, у меня есть продолжить желание писать сюда в канал. Мне нужен этот выход энергии.
Странно, конечно, спрашивать “А вы не против, если я продолжу писать сюда?”, ведь это мой канал 😁
Но я понимаю, что есть люди, которые могут не разделить мою позицию, мол “Почему ты продолжаешь писать про айтишку, когда идет
Наша жизнь продолжается, в каком-то новом измерении, и в этом измерении я все еще хочу быть дата инженером и заниматься своими любимыми вещами. Поэтому я хочу продолжить писать про DE и вокруг.
Поэтому если вы не разделяет мою позицию по прекращению тишины в канале, сейчас самое время отписаться. Я буду скучать по вам, я люблю каждого своего подписчика.
Если вам есть что сказать, приходите в комментарии, там можно меня даже послать куда подальше за такое, никаких репрессий за это не будет =)
https://drecon.org/
Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)
Темы, правда, пока не известны…
Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)
Темы, правда, пока не известны…
👍1
Стабильно, несколько раз в неделю мне пишут с запросом на рекламу и денег предлагают.
Но нет, в этом канале платной рекламы не будет никогда, а если я закидываю какую-то ссылку, то это потому, что у меня у самого возник к этому интерес и мне захотелось с вами этим поделиться.
Рубрика #НамБыДжуна давно себя изжила, и мне бы не хотелось превращать свой канал в джоб борд (у нас для этого есть (@datajobs чат и @datajobschannel фид). Но, в виде исключения, хочу запостить две вакансии.
Но нет, в этом канале платной рекламы не будет никогда, а если я закидываю какую-то ссылку, то это потому, что у меня у самого возник к этому интерес и мне захотелось с вами этим поделиться.
Рубрика #НамБыДжуна давно себя изжила, и мне бы не хотелось превращать свой канал в джоб борд (у нас для этого есть (@datajobs чат и @datajobschannel фид). Но, в виде исключения, хочу запостить две вакансии.
Первая от Ивана, просто потому что это очень классное описание вакансии, без всякого булшита корпоративного, честно и прямо. Стек, что делать, с кем и как работать - такое описание читать приятно и сразу понимаешь, что и куда. Контакты, собственно, в сообщении. Ну и на канал советую подписаться 🤪
Forwarded from Ваня инженер 🇸🇪
Всё ещё го дата-инжинирить
Оказывается, прошло уже почти три месяца после моего поста, где я ищу дата инженера в команду в fishbrain.com 🇸🇪. Тяжко идёт найм: перспективные кандидаты чаще всего хорошо умеют либо в дата моделлинг, либо в ETL/ELT/платформу; но не то и другое вместе. А хочется, чтобы умели, чтобы было чему поучиться, да ещё и чтобы произошло культурное совпадение!
В общем, я всё ещё ищу DE, который согласится работать с таким фриком как я. Будем клепать ELT, дорабатывать дата модели в обожаемом мной dbt, покрывать тестами, запилим гугловский стриминг, а в перерывах будем ходить на фику по гугл митс и рассказывать друг другу восхитительные истории.
По технологиям: Python, SQL, облако преимущественно GCP, но есть немного AWS; BigQuery, Airflow, dbt. В компании английский язык и полный интернационал: шведы (в меньшинстве, хех), славяне, турки, филиппинцы, американцы и другие. Работа удалённая, платят валютой.
Ништяки
— Кайфовая культура. Бирюза, Servant Leadership, взаимоуважение и поддержка безо всякого унылого корпо-буллшита. Слово пацана даю. Собственно, это даже на найм влияет — много кандидатов с улицы отсеиваются именно по культуре — так что всё это не случайность.
— Кайфовый стек. Последние/предпоследнии версии питона/эйрфлоу/дибити и всего, до чего мои руки уже дотянулись. Модели данных жирно обмазаны тестами. Для страждущих говнокод найдётся, но его реально мало.
Пишите уже короч в личку мне @skatromb. Описание вакансии тут.
Оказывается, прошло уже почти три месяца после моего поста, где я ищу дата инженера в команду в fishbrain.com 🇸🇪. Тяжко идёт найм: перспективные кандидаты чаще всего хорошо умеют либо в дата моделлинг, либо в ETL/ELT/платформу; но не то и другое вместе. А хочется, чтобы умели, чтобы было чему поучиться, да ещё и чтобы произошло культурное совпадение!
В общем, я всё ещё ищу DE, который согласится работать с таким фриком как я. Будем клепать ELT, дорабатывать дата модели в обожаемом мной dbt, покрывать тестами, запилим гугловский стриминг, а в перерывах будем ходить на фику по гугл митс и рассказывать друг другу восхитительные истории.
По технологиям: Python, SQL, облако преимущественно GCP, но есть немного AWS; BigQuery, Airflow, dbt. В компании английский язык и полный интернационал: шведы (в меньшинстве, хех), славяне, турки, филиппинцы, американцы и другие. Работа удалённая, платят валютой.
Ништяки
— Кайфовая культура. Бирюза, Servant Leadership, взаимоуважение и поддержка безо всякого унылого корпо-буллшита. Слово пацана даю. Собственно, это даже на найм влияет — много кандидатов с улицы отсеиваются именно по культуре — так что всё это не случайность.
— Кайфовый стек. Последние/предпоследнии версии питона/эйрфлоу/дибити и всего, до чего мои руки уже дотянулись. Модели данных жирно обмазаны тестами. Для страждущих говнокод найдётся, но его реально мало.
Пишите уже короч в личку мне @skatromb. Описание вакансии тут.
Вторая вакансия: от Semrush😃
Ребята все еще ищут человечка в свою команду и готовы релоцировать в Амстердам.
Писать можно Сереже @Lomdjaria или Софико @sofiko_mh, скажите, что от меня.
Ребята все еще ищут человечка в свою команду и готовы релоцировать в Амстердам.
Писать можно Сереже @Lomdjaria или Софико @sofiko_mh, скажите, что от меня.
Для тех, кто любит dbt, там регистрация на Coalesce открылась.
И Call for Papers тоже.
И Call for Papers тоже.
Тут AirBnB ввел интересную политику про одинаковые зарплаты:
https://news.airbnb.com/airbnbs-design-to-live-and-work-anywhere/
Вот основные пункты:
1. You can work from home or the office
А значит, можно продолжать работать удаленно, а не как Apple всех гонит обратно в офис на 3 дня в неделю.
2. You can move anywhere in the country you work in and your compensation won’t change
This means you can move from San Francisco to Nashville, or from Paris to Lyon. If you move, your compensation won’t change. Starting in June, we’ll have single pay tiers by country for both salary and equity. If your pay was set using a lower location-based pay tier, you’ll receive an increase in June.
То есть если вы жили в Bay Area, а потом переехали к бабушке Элли в Канзас, зарплата у вас останется старая.
3. You have the flexibility to travel and work around the world
Starting in September, you can live and work in over 170 countries for up to 90 days a year in each location.
Ну это с Сбербанка слизали, они тоже разрешали месяц в году работать откуда-то не из домашней локации. 😁
4. We’ll meet up regularly for team gatherings, off-sites, and social events
Ну оффсайты всегда прекрасно!
5. We’ll continue to work in a highly coordinated way
А это классика про core hours вокруг часовых поясов.
В AirBnB работает прикольный чел по имени Zach Wilson, дата инженер (ex-Netflix), который ведет интересный блог на LinkedIn, советую подписаться!
https://news.airbnb.com/airbnbs-design-to-live-and-work-anywhere/
Вот основные пункты:
1. You can work from home or the office
А значит, можно продолжать работать удаленно, а не как Apple всех гонит обратно в офис на 3 дня в неделю.
2. You can move anywhere in the country you work in and your compensation won’t change
This means you can move from San Francisco to Nashville, or from Paris to Lyon. If you move, your compensation won’t change. Starting in June, we’ll have single pay tiers by country for both salary and equity. If your pay was set using a lower location-based pay tier, you’ll receive an increase in June.
То есть если вы жили в Bay Area, а потом переехали к бабушке Элли в Канзас, зарплата у вас останется старая.
3. You have the flexibility to travel and work around the world
Starting in September, you can live and work in over 170 countries for up to 90 days a year in each location.
Ну это с Сбербанка слизали, они тоже разрешали месяц в году работать откуда-то не из домашней локации. 😁
4. We’ll meet up regularly for team gatherings, off-sites, and social events
Ну оффсайты всегда прекрасно!
5. We’ll continue to work in a highly coordinated way
А это классика про core hours вокруг часовых поясов.
В AirBnB работает прикольный чел по имени Zach Wilson, дата инженер (ex-Netflix), который ведет интересный блог на LinkedIn, советую подписаться!
Airbnb Newsroom
Airbnb’s design for employees to live and work anywhere
Co-Founder and CEO Brian Chesky shared our design for living and working anywhere with employees around the globe.
Так, мне тут рассылка от DataTalks.Club (Это те ребята, которые делали Zoomcamp DE - https://news.1rj.ru/str/ohmydataengineer/172) принесла еще одну конференцию про DE - The ML Data Engineering Conference
Ссылка на регистрацию и темы на два дня - тут
Ссылка на регистрацию и темы на два дня - тут