Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Примерно неделю назад мы — маленькая команда из Сибири со специализацией на трафике в Facebook&Instagram из России, проснулись без работы.
Как многие ребята из digital-мира, наших друзей и коллег.
Это я к тому, что если сейчас вам нужно много решать, думать, учиться и перестраиваться, многое делать с нуля – мы понимаем 🤍

Да, ушли и клиенты, и возможности.
Но не все. Мы уже сориентировались. Выбираем новую стратегию и будем бить в неё каждый день. Важно продолжать действовать.

_____

Полгода до этого утра я учила английский язык, чтобы расти в команде канадского проекта как закупщик и постепенно через UpWork брать все больше клиентов «оттуда».

Из проекта уволили. Отрубили ото всех кабинетов без предупреждения в момент, потому что у меня паспорт гражданки РФ.

Да, неприятно, но пара-тройка идей, что делать дальше, уже есть.

А ещё есть 23 якутские лайки, наша команда трафик-менеджеров, большое желание помочь клиентам как можно скорее адаптироваться к новым условиям и, конечно, готовность много-много работать и учиться каждый день.

А значит, здравый смысл вновь подсказывает, как расставить запятые во фразе:

«Ребята давайте жить нужно»

🤍

P.S.: как-то это был шуточный канал на несколько потосв, а сегодня появились просьбы делиться материалами по адаптации к новым реалиям для диджитал-специалистов, поэтому мы сделаем подборку, которая поможем перейти в VK в ближайшее время.

А ещё постараемся делиться мыслями и шагами, которые помогают нам продолжать решать, думать и действовать 😌
👍436🤬5😁2😢1🎉1
Я выше расшарил пост, и все думал лайки это собаки или это «лайки» под постами. Оказалось собаки для упряжки, даже есть Инстаграм у них https://instagram.com/sibodyssey

Хотелось бы помочь найти контакты для этого агенства, если что пишите хозяйке канала.
😁187👏1
Очень часто замечаю противостояние двух вещей Authority vs Experience. То есть, полномочия против опыта.

Пример 1: товарищ был BI инженером в стартапе. Стартап вырос в 5 раз и стал единорогом. Товарищ стал Директором. Затем он нанимает 10 человек инженеров. Инженеры могут быть опытные или не очень. Но это неважно, так как последнее слово будет за authority.

Пример 2: товарищ за 7 лет выстроил аналитическое решение, потом решает стать менеджером и нанимает еще одного инженера. Все попытки нового инженера что-нибудь изменить обречены на провал, так как товарищ относится к своим поделкам как к своим детям, ведь он вложил в них свой труд и душу. Последнее слово будет за authority.

Оба этих примера влияют негативно на опыт инженеров в команде.

Есть и противоположные примеры.

Пример 3, товарищ четко объяснил конечную цель и ему вообще все равно как это будет сделано. Инженеры сами выбирают путь к достижению цели, они радеют за проекты, которые делают и хотят продемонстрировать хороший результат. Они мотивированы и заряжены на успех. Authority отходит на 2й план и команда работает на доверии и достигает общей цели.

На моем опыте, чаще встречаются примеры 1 и 2, чем 3. Тем самым заставляют пересматривать свое отношение к работе и искать лучшей жизни. 🦧

Примеров может быть много и ситуации разные, но обычно это человеческая природа "я здесь власть".

Конечно это мнение может быть однобоким и очень личным, но что есть, то есть 😉
👍70👏8🤔86🔥4
Бесплатно для чтения онлайн - Software Engineering at Google
🔥33👍8
Делаю домашнее задание для одной компании, решил оформить большой док (потом расшарю), пока вот есть пару MindMaps (scope = AWS, другие не включал облака)
👍39🔥95🤔5😁1
Простая задачка - прочитать матрицу по часовой стрелке. Даже есть решение, и не одно, а много. Задачка типа Leetcode. Но мозг со скрежетом решает такие вещи🦥

Есть интересный сайт - https://pythontutor.com/ там можно посмотреть пошаговое выполнение программы, как на картинке.
👍28🔥4🤔4😁2👏1
Walt Disney Big Data Architecture Slides.pdf
1.8 MB
Traditional #Lambda architectures ingest live events, transform and cache these #transformations, and then store them in a data warehouse for #batch-based ML training or BI reporting.

Lambda requires two codebases:

1️⃣ Streaming code base is used to optimize for latency
2️⃣ Batch codebase is used for correctness.

However,
#Kappa in general, it is easier to maintain a single code base than to keep up with changing business logic for batch and streaming. Many companies embraced Kappa #architecture such as Uber, Linkedin, Disney and Twitter with different adoption levels

Here is The Walt Disney Company journey to Kappa and the lessons learned. it is a good use that identifies the limitations of Lambda and the journey towards Kappa with its challenges.
👍10
Онлайн книга - Efficient Python Tricks and Tools for Data Scientists (написанная в git). В книге много примеров.

The goal of this book is to spread the awareness of efficient ways to do Python. They include:
- efficient methods and libraries to work with iterator, dictionary, function, and class
- efficient methods to work with popular data science libraries such as pandas and NumPy
- efficient tools to incorporate in a data science project
- efficient tools to incorporate in any project
- efficient tools to work with Jupyter Notebook.
🔥33👍8
Мама у меня явно преуспела в телеграмме, пост, где она кормит пеликанов в Московском зоопарке - 500т просмотров, мой пост про Big Data архитектуру 3т просмотров. Надо не данными заниматься, а пеликанами! Папа у меня тоже с пеликанами работает, но работает над изучение поведения пеликанов, их среды обитания и сохранения как вида, вот небольшая статья и видео про экспедицию к пеликанам - Орнитологи Московского зоопарка в гостях у пеликанов

Кстати, если есть энтузиасты ML, то есть задачка - посчитать кол-во пеликанов по фотографиям. Это если кому-то важны научные статьи, то есть вариант сделать такой research, таким образом можно отслеживать численность колонии, отличный и полезный проект.

PS Именно на этот пруд я водил свою будущую жену на свидание, покормить пеликанов, такое вот эксклюзивное свидание было😊
👍120🥰51🔥36😁154🤩4
Forwarded from Stanislav Lysikov
Всем привет.
В рамках развития сообщества @dbt_users мы проводим второй митап, затрагивающий уже более технические подробности инструмента.
14 июня в 19-00 в онлайне ребята из Wheely, ADV/web-engineering co., Space307 и NabuMinds расскажут:
- надежанная дружба clickhouse и dbt
- data quality в modern data stack
- куда расти в зрелых dbt-проектах
- dbt для байтовозов с маленьким t в elt
Слоты фиксированы по времени, можно подключаться на любой доклад. Ссылка на ютуб придет как обычно перед началом митапа.
До встречи :)
https://space307.team/dbtmeetup
👍23🔥9
👍48🤬8👏5😢5🔥2
Amazon_SQL_and_Python_Task.pdf
79 KB
Phone Screening из Amazon - 2 задачки SQL + 1 Python.
🔥43👍16😁7🤩5🤬1
Новости из мира аналитики

The evolution of event data collection at Vimeo, part 1: the Fatal Attraction era - статья про аналитическое решение для сбора данные в Vimeo, используют Looker, Snowflake, Kafka, Airflow.

Software Architectural Patterns in Data Engineering - попытка натянуть Software Development практики и архитектуры на аналитические решения.

Meet Dash-AB — The Statistics Engine of Experimentation at DoorDash - культура экспериментирования очень важна, door dash рассказывает про свою реализацию.

This is how I onboarded more than 10 Data Engineers and got excellent reviews and feedback. - менеджер рассказывает про свой подход в развитии команды и найме инженеров.

A PySpark style guide for real-world data scientists - примеры оформления и написания читаемого PySpark кода.

Data Science on AWS - множество примеров для AWS на питоне.
👍31🔥7😢1🤩1
Nice project where modern meets retro
👍5810👏2🤔2