А вот слайды тренинга по Azure Bicep. Вдруг вы очень сильно любите Azure 🤪
👍6👏1🤬1
Мужик рассказывает какой он молодец, пришел на встречу, а на доске нарисованы всякие сервисы модные для стриминга, больших данных и тп. И он спрашивает - а что вы будете делать с данными?
Да ктож его знает, пока не придумали - отвечают инженеры
Тогда смелый мужичек взял стерку и все стер, оставил только S3 и Athena (Serverless SQL engine). И сказал им - раз не знаете, не надо усложнять, начните easy и как поймете, что бизнес хочет делать с данными, так и построите полноценное решение. А если будет все медленно - купите Snowflake.
Мораль простая, мы как инженеры, любим все усложнять, пробовать новые тулы, рисовать красивые архитектуры, и часто забываем, что нужно бизнесу, или вообще зачем мы это делаем. (1й модуль даталерн).
Да ктож его знает, пока не придумали - отвечают инженеры
Тогда смелый мужичек взял стерку и все стер, оставил только S3 и Athena (Serverless SQL engine). И сказал им - раз не знаете, не надо усложнять, начните easy и как поймете, что бизнес хочет делать с данными, так и построите полноценное решение. А если будет все медленно - купите Snowflake.
Мораль простая, мы как инженеры, любим все усложнять, пробовать новые тулы, рисовать красивые архитектуры, и часто забываем, что нужно бизнесу, или вообще зачем мы это делаем. (1й модуль даталерн).
👍89🔥21😁3❤2
А что касается Athena и S3 тут есть другая проблема. У нас как раз такой случай, в течение 2х лет ребята строили решение на Athena + DBT + S3. И теперь это technical debt, и мы не можем перейти на что-то нормальное.
Во 1х, оно и так работает и приносит пользу бизнесу. (c Excel так же можно быть)
Во 2х, бэклог из задач от бизнеса растет и уже задача на пол года вперед. Интересный момент, когда было 3 инженера задач было в 4 раза меньше, чем сейчас с командой из 11 инженеров.
Я несколько раз предпринимал попытка миграции на Databricks, Snowflake и Redshift, но все без успешно. Да что там миграция платформы, мы не можем обновить dbt с версии 0.19 на 1.0.1, потому что у нас есть CUSTOM элементы.
Лично для меня все понятно, решение, мягко говоря, не ice. Я бы все удалил и заново построил🏰 чем продолжать кормить монстра и растить technical debt💣.
В конце-концов мое дело маленькое - получать зарплату и приходить на daily standup😇
Во 1х, оно и так работает и приносит пользу бизнесу. (c Excel так же можно быть)
Во 2х, бэклог из задач от бизнеса растет и уже задача на пол года вперед. Интересный момент, когда было 3 инженера задач было в 4 раза меньше, чем сейчас с командой из 11 инженеров.
Я несколько раз предпринимал попытка миграции на Databricks, Snowflake и Redshift, но все без успешно. Да что там миграция платформы, мы не можем обновить dbt с версии 0.19 на 1.0.1, потому что у нас есть CUSTOM элементы.
Лично для меня все понятно, решение, мягко говоря, не ice. Я бы все удалил и заново построил🏰 чем продолжать кормить монстра и растить technical debt💣.
В конце-концов мое дело маленькое - получать зарплату и приходить на daily standup😇
😁69👏8👍7😢4🥰1
Стоки FAANG компаний продолжают опускаться без лишнего шума. Цифры можете посмотреть и сами, в целом печально, особенно когда это составляющая часть зарплаты. Цены на бензин и продукты выросли, ставка по ипотеки поднялась с 1.6% до 4,5% (это по Канаде), и бум недвижки прошел, когда только ленивый не купил себе 1-2 недвижимости. Кто не успел, тот опоздал. Если раньше можно было выставить дом на продажу и он уйдет в первые выходные на 10-20% больше чем вы хотите, то теперь все наоборот. Это только из моих личных наблюдений.
А если посмотреть на заметки знающих людей из The Information, то там совсем все печально.
Самый топовый VC Sequoia Capital (они инвестировали одни из первых в Google, Apple and Airbnb и знают в этом толк) в 2008 году выпустили известную презентацию из 52 слайдов - RIP Good Times, в которой они объясняли своим подопечным, что происходит и как быть. В 2020 они снова подготовили доклад - “Coronavirus: The Black Swan of 2020.” И снова они говорят о спаде в экономике:
Its latest warning to its portfolio companies takes the form of a 52-slide presentation, a copy of which was viewed by The Information. Sequoia described the current combination of turbulent financial markets, inflation and geopolitical conflict as a “crucible moment” of uncertainty and change. Sequoia told founders not to expect a speedy economic bounceback akin to what followed the start of the pandemic because, it warned, the monetary and fiscal policy tools that propelled that recovery “have been exhausted.” The firm suggested founders move fast to extend runway and to fully examine the business for excess costs. “Don’t view [cuts] as a negative, but as a way to conserve cash and run faster,”
В общем все просто - затяните пояса и не бойтесь увольнять людей пачками, это нормально.
Возможно поэтому мы видим сообщения об увольнении людей и оптимизации бизнеса. Например, PayPal уволил людей - PayPal to cut over 300 jobs from its Irish operations, и это только начало.
• Getir is cutting 14% of staff, or an estimated 4,480 positions, according to Techrunch.
• Gorillas said it would cut 300 employees.
• Bolt is laying off about 230 workers, according to The New York Post.
• Swedish fintech company Klarna said it would cut about 500 employees. (10% сотрудников)
Layoffs and hiring pullbacks have spread throughout the tech industry in recent weeks, a sharp reversal from 2021, when firms hired aggressively. Robinhood, Cameo and Netflix are among the companies that have laid off employees, while Meta Platforms, Uber and Coinbase have said they’ll slow down hiring.
Оказывается есть сервис Layoffs.fyi Tracker, в котором можно найти такую информацию. И почему-то на главной странице я сразу вижу "airtable . com’s server IP address could not be found." - наверно уволили дата инженера.
Даже у Илона дела так себе, не может купить какой-то там твитер. - "deal on hold". 🌚
Если раньше все были успешные инвесторы, крипто бароны и landlordы, то теперь оказывается, что все просто плыли по течению изобилия, которое было создано искусственно. Так что дата и аналитика как обычно смогут прояснить картину и понять, что не так. Легких денег на всех не хватит. 🦥
А есть ли хорошие новости? Конечно есть, скоро лето!☀️
В обще пришел к выводу, что все очень быстро меняется, сегодня может быть все прекрасно, а завтра будет все ужасно, поэтому наслаждайтесь и радуйтесь жизнью пока есть возможность. 😊
Как в песни "Мелочи" группы Ленинград:
Кончилась эпоха – сказал мой корешок
Так-то жили плохо, но как-то хорошо
А если посмотреть на заметки знающих людей из The Information, то там совсем все печально.
Самый топовый VC Sequoia Capital (они инвестировали одни из первых в Google, Apple and Airbnb и знают в этом толк) в 2008 году выпустили известную презентацию из 52 слайдов - RIP Good Times, в которой они объясняли своим подопечным, что происходит и как быть. В 2020 они снова подготовили доклад - “Coronavirus: The Black Swan of 2020.” И снова они говорят о спаде в экономике:
Its latest warning to its portfolio companies takes the form of a 52-slide presentation, a copy of which was viewed by The Information. Sequoia described the current combination of turbulent financial markets, inflation and geopolitical conflict as a “crucible moment” of uncertainty and change. Sequoia told founders not to expect a speedy economic bounceback akin to what followed the start of the pandemic because, it warned, the monetary and fiscal policy tools that propelled that recovery “have been exhausted.” The firm suggested founders move fast to extend runway and to fully examine the business for excess costs. “Don’t view [cuts] as a negative, but as a way to conserve cash and run faster,”
В общем все просто - затяните пояса и не бойтесь увольнять людей пачками, это нормально.
Возможно поэтому мы видим сообщения об увольнении людей и оптимизации бизнеса. Например, PayPal уволил людей - PayPal to cut over 300 jobs from its Irish operations, и это только начало.
• Getir is cutting 14% of staff, or an estimated 4,480 positions, according to Techrunch.
• Gorillas said it would cut 300 employees.
• Bolt is laying off about 230 workers, according to The New York Post.
• Swedish fintech company Klarna said it would cut about 500 employees. (10% сотрудников)
Layoffs and hiring pullbacks have spread throughout the tech industry in recent weeks, a sharp reversal from 2021, when firms hired aggressively. Robinhood, Cameo and Netflix are among the companies that have laid off employees, while Meta Platforms, Uber and Coinbase have said they’ll slow down hiring.
Оказывается есть сервис Layoffs.fyi Tracker, в котором можно найти такую информацию. И почему-то на главной странице я сразу вижу "airtable . com’s server IP address could not be found." - наверно уволили дата инженера.
Даже у Илона дела так себе, не может купить какой-то там твитер. - "deal on hold". 🌚
Если раньше все были успешные инвесторы, крипто бароны и landlordы, то теперь оказывается, что все просто плыли по течению изобилия, которое было создано искусственно. Так что дата и аналитика как обычно смогут прояснить картину и понять, что не так. Легких денег на всех не хватит. 🦥
А есть ли хорошие новости? Конечно есть, скоро лето!☀️
В обще пришел к выводу, что все очень быстро меняется, сегодня может быть все прекрасно, а завтра будет все ужасно, поэтому наслаждайтесь и радуйтесь жизнью пока есть возможность. 😊
Как в песни "Мелочи" группы Ленинград:
Кончилась эпоха – сказал мой корешок
Так-то жили плохо, но как-то хорошо
Sequoia Capital
R.I.P. Good Times
Back in 2008, Sequoia Capital shared with its portfolio companies tips for surviving the economic downturn. Here's the original RIP Good Times presentation.
👍71🤔14🔥7🤬1
Инжиниринг Данных pinned «Про канал: Я (Дмитрий Аношин LinkedIn telegram) уже больше 15 лет занимаюсь аналитикой, из них 5 лет был в Амазоне, работал в нескольких командах, включая Alexa AI (в Бостоне) и Customer Behaviour Analytics (в Сиэтле). Поучаствовал в действительно инновационных…»
Forwarded from Здравый смысл подсказывает
Примерно неделю назад мы — маленькая команда из Сибири со специализацией на трафике в Facebook&Instagram из России, проснулись без работы.
Как многие ребята из digital-мира, наших друзей и коллег.
Это я к тому, что если сейчас вам нужно много решать, думать, учиться и перестраиваться, многое делать с нуля – мы понимаем 🤍
Да, ушли и клиенты, и возможности.
Но не все. Мы уже сориентировались. Выбираем новую стратегию и будем бить в неё каждый день. Важно продолжать действовать.
_____
Полгода до этого утра я учила английский язык, чтобы расти в команде канадского проекта как закупщик и постепенно через UpWork брать все больше клиентов «оттуда».
Из проекта уволили. Отрубили ото всех кабинетов без предупреждения в момент, потому что у меня паспорт гражданки РФ.
Да, неприятно, но пара-тройка идей, что делать дальше, уже есть.
А ещё есть 23 якутские лайки, наша команда трафик-менеджеров, большое желание помочь клиентам как можно скорее адаптироваться к новым условиям и, конечно, готовность много-много работать и учиться каждый день.
А значит, здравый смысл вновь подсказывает, как расставить запятые во фразе:
«Ребята давайте жить нужно»
🤍
P.S.: как-то это был шуточный канал на несколько потосв, а сегодня появились просьбы делиться материалами по адаптации к новым реалиям для диджитал-специалистов, поэтому мы сделаем подборку, которая поможем перейти в VK в ближайшее время.
А ещё постараемся делиться мыслями и шагами, которые помогают нам продолжать решать, думать и действовать 😌
Как многие ребята из digital-мира, наших друзей и коллег.
Это я к тому, что если сейчас вам нужно много решать, думать, учиться и перестраиваться, многое делать с нуля – мы понимаем 🤍
Да, ушли и клиенты, и возможности.
Но не все. Мы уже сориентировались. Выбираем новую стратегию и будем бить в неё каждый день. Важно продолжать действовать.
_____
Полгода до этого утра я учила английский язык, чтобы расти в команде канадского проекта как закупщик и постепенно через UpWork брать все больше клиентов «оттуда».
Из проекта уволили. Отрубили ото всех кабинетов без предупреждения в момент, потому что у меня паспорт гражданки РФ.
Да, неприятно, но пара-тройка идей, что делать дальше, уже есть.
А ещё есть 23 якутские лайки, наша команда трафик-менеджеров, большое желание помочь клиентам как можно скорее адаптироваться к новым условиям и, конечно, готовность много-много работать и учиться каждый день.
А значит, здравый смысл вновь подсказывает, как расставить запятые во фразе:
«Ребята давайте жить нужно»
🤍
P.S.: как-то это был шуточный канал на несколько потосв, а сегодня появились просьбы делиться материалами по адаптации к новым реалиям для диджитал-специалистов, поэтому мы сделаем подборку, которая поможем перейти в VK в ближайшее время.
А ещё постараемся делиться мыслями и шагами, которые помогают нам продолжать решать, думать и действовать 😌
👍43❤6🤬5😁2😢1🎉1
Я выше расшарил пост, и все думал лайки это собаки или это «лайки» под постами. Оказалось собаки для упряжки, даже есть Инстаграм у них https://instagram.com/sibodyssey
Хотелось бы помочь найти контакты для этого агенства, если что пишите хозяйке канала.
Хотелось бы помочь найти контакты для этого агенства, если что пишите хозяйке канала.
😁18❤7👏1
Очень часто замечаю противостояние двух вещей Authority vs Experience. То есть, полномочия против опыта.
Пример 1: товарищ был BI инженером в стартапе. Стартап вырос в 5 раз и стал единорогом. Товарищ стал Директором. Затем он нанимает 10 человек инженеров. Инженеры могут быть опытные или не очень. Но это неважно, так как последнее слово будет за authority.
Пример 2: товарищ за 7 лет выстроил аналитическое решение, потом решает стать менеджером и нанимает еще одного инженера. Все попытки нового инженера что-нибудь изменить обречены на провал, так как товарищ относится к своим поделкам как к своим детям, ведь он вложил в них свой труд и душу. Последнее слово будет за authority.
Оба этих примера влияют негативно на опыт инженеров в команде.
Есть и противоположные примеры.
Пример 3, товарищ четко объяснил конечную цель и ему вообще все равно как это будет сделано. Инженеры сами выбирают путь к достижению цели, они радеют за проекты, которые делают и хотят продемонстрировать хороший результат. Они мотивированы и заряжены на успех. Authority отходит на 2й план и команда работает на доверии и достигает общей цели.
На моем опыте, чаще встречаются примеры 1 и 2, чем 3. Тем самым заставляют пересматривать свое отношение к работе и искать лучшей жизни. 🦧
Примеров может быть много и ситуации разные, но обычно это человеческая природа "я здесь власть".
Конечно это мнение может быть однобоким и очень личным, но что есть, то есть 😉
Пример 1: товарищ был BI инженером в стартапе. Стартап вырос в 5 раз и стал единорогом. Товарищ стал Директором. Затем он нанимает 10 человек инженеров. Инженеры могут быть опытные или не очень. Но это неважно, так как последнее слово будет за authority.
Пример 2: товарищ за 7 лет выстроил аналитическое решение, потом решает стать менеджером и нанимает еще одного инженера. Все попытки нового инженера что-нибудь изменить обречены на провал, так как товарищ относится к своим поделкам как к своим детям, ведь он вложил в них свой труд и душу. Последнее слово будет за authority.
Оба этих примера влияют негативно на опыт инженеров в команде.
Есть и противоположные примеры.
Пример 3, товарищ четко объяснил конечную цель и ему вообще все равно как это будет сделано. Инженеры сами выбирают путь к достижению цели, они радеют за проекты, которые делают и хотят продемонстрировать хороший результат. Они мотивированы и заряжены на успех. Authority отходит на 2й план и команда работает на доверии и достигает общей цели.
На моем опыте, чаще встречаются примеры 1 и 2, чем 3. Тем самым заставляют пересматривать свое отношение к работе и искать лучшей жизни. 🦧
Примеров может быть много и ситуации разные, но обычно это человеческая природа "я здесь власть".
Конечно это мнение может быть однобоким и очень личным, но что есть, то есть 😉
👍70👏8🤔8❤6🔥4
Делаю домашнее задание для одной компании, решил оформить большой док (потом расшарю), пока вот есть пару MindMaps (scope = AWS, другие не включал облака)
👍39🔥9❤5🤔5😁1
Простая задачка - прочитать матрицу по часовой стрелке. Даже есть решение, и не одно, а много. Задачка типа Leetcode. Но мозг со скрежетом решает такие вещи🦥
Есть интересный сайт - https://pythontutor.com/ там можно посмотреть пошаговое выполнение программы, как на картинке.
Есть интересный сайт - https://pythontutor.com/ там можно посмотреть пошаговое выполнение программы, как на картинке.
👍28🔥4🤔4😁2👏1
Walt Disney Big Data Architecture Slides.pdf
1.8 MB
Traditional #Lambda architectures ingest live events, transform and cache these #transformations, and then store them in a data warehouse for #batch-based ML training or BI reporting.
Lambda requires two codebases:
1️⃣ Streaming code base is used to optimize for latency
2️⃣ Batch codebase is used for correctness.
However, #Kappa in general, it is easier to maintain a single code base than to keep up with changing business logic for batch and streaming. Many companies embraced Kappa #architecture such as Uber, Linkedin, Disney and Twitter with different adoption levels
Here is The Walt Disney Company journey to Kappa and the lessons learned. it is a good use that identifies the limitations of Lambda and the journey towards Kappa with its challenges.
Lambda requires two codebases:
1️⃣ Streaming code base is used to optimize for latency
2️⃣ Batch codebase is used for correctness.
However, #Kappa in general, it is easier to maintain a single code base than to keep up with changing business logic for batch and streaming. Many companies embraced Kappa #architecture such as Uber, Linkedin, Disney and Twitter with different adoption levels
Here is The Walt Disney Company journey to Kappa and the lessons learned. it is a good use that identifies the limitations of Lambda and the journey towards Kappa with its challenges.
👍10
Онлайн книга - Efficient Python Tricks and Tools for Data Scientists (написанная в git). В книге много примеров.
The goal of this book is to spread the awareness of efficient ways to do Python. They include:
- efficient methods and libraries to work with iterator, dictionary, function, and class
- efficient methods to work with popular data science libraries such as pandas and NumPy
- efficient tools to incorporate in a data science project
- efficient tools to incorporate in any project
- efficient tools to work with Jupyter Notebook.
The goal of this book is to spread the awareness of efficient ways to do Python. They include:
- efficient methods and libraries to work with iterator, dictionary, function, and class
- efficient methods to work with popular data science libraries such as pandas and NumPy
- efficient tools to incorporate in a data science project
- efficient tools to incorporate in any project
- efficient tools to work with Jupyter Notebook.
🔥33👍8
Мама у меня явно преуспела в телеграмме, пост, где она кормит пеликанов в Московском зоопарке - 500т просмотров, мой пост про Big Data архитектуру 3т просмотров. Надо не данными заниматься, а пеликанами! Папа у меня тоже с пеликанами работает, но работает над изучение поведения пеликанов, их среды обитания и сохранения как вида, вот небольшая статья и видео про экспедицию к пеликанам - Орнитологи Московского зоопарка в гостях у пеликанов
Кстати, если есть энтузиасты ML, то есть задачка - посчитать кол-во пеликанов по фотографиям. Это если кому-то важны научные статьи, то есть вариант сделать такой research, таким образом можно отслеживать численность колонии, отличный и полезный проект.
PS Именно на этот пруд я водил свою будущую жену на свидание, покормить пеликанов, такое вот эксклюзивное свидание было😊
Кстати, если есть энтузиасты ML, то есть задачка - посчитать кол-во пеликанов по фотографиям. Это если кому-то важны научные статьи, то есть вариант сделать такой research, таким образом можно отслеживать численность колонии, отличный и полезный проект.
PS Именно на этот пруд я водил свою будущую жену на свидание, покормить пеликанов, такое вот эксклюзивное свидание было😊
Telegram
Новости Москвы
🐦Завтрак пеликанов Московского зоопарка
👍120🥰51🔥36😁15❤4🤩4
Forwarded from Stanislav Lysikov
Всем привет.
В рамках развития сообщества @dbt_users мы проводим второй митап, затрагивающий уже более технические подробности инструмента.
14 июня в 19-00 в онлайне ребята из Wheely, ADV/web-engineering co., Space307 и NabuMinds расскажут:
- надежанная дружба clickhouse и dbt
- data quality в modern data stack
- куда расти в зрелых dbt-проектах
- dbt для байтовозов с маленьким t в elt
Слоты фиксированы по времени, можно подключаться на любой доклад. Ссылка на ютуб придет как обычно перед началом митапа.
До встречи :)
https://space307.team/dbtmeetup
В рамках развития сообщества @dbt_users мы проводим второй митап, затрагивающий уже более технические подробности инструмента.
14 июня в 19-00 в онлайне ребята из Wheely, ADV/web-engineering co., Space307 и NabuMinds расскажут:
- надежанная дружба clickhouse и dbt
- data quality в modern data stack
- куда расти в зрелых dbt-проектах
- dbt для байтовозов с маленьким t в elt
Слоты фиксированы по времени, можно подключаться на любой доклад. Ссылка на ютуб придет как обычно перед началом митапа.
До встречи :)
https://space307.team/dbtmeetup
👍23🔥9
Amazon_SQL_and_Python_Task.pdf
79 KB
Phone Screening из Amazon - 2 задачки SQL + 1 Python.
🔥43👍16😁7🤩5🤬1