Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Forwarded from Мендрелюк
Это странное слово ДЖУН

Я никогда особенно не задумывался, в какой момент на ИТ рынке появилась эта странная градация на джунов, мидлов и синьоров, но вот сейчас тут и там натыкаешься на вселенский вой и заламывание виртуальных рук: джунов перестают брать на работу.

Причины называются разные и все они разной степени фантазийности. Особенно доставляет сваливать все на ИИ (хотя сейчас все на него сваливают). Но нигде не звучит гипотеза, что процесс был изначально предопределен без всякого ИИ и что ситуация развивается вполне гармонично.

Причина, как мне представляется, проста – в какой-то момент на рынке разработчиков возник дефицит рабочих рук и компании начали нанимать, грубо говоря, кого попало. А еще точнее – от безысходности брать учеников и доучивать их за свой счет.

Так было в моем, еще советском детстве, когда на каждой промышленной проходной требовались токари и фрезеровщики, а про инженеров часто вообще не было ни строчки. Потому что рабочих не хватало, а инженерами (о деятельности которых одних анекдотов было почти как про Чапаева и Петьку) были все укомплектованы под завязку.

Как следствие – заводы и фабрики набирали учеников слесаря или токаря, чтобы учить его, пришедшего с улицы, за свой счет (допускаю, что иногда на зарплату больше инженерной), а вот учеников инженера никто не звал.

С программистами происходило приблизительно так же. С массовым сумасшествием в виде срочных курсов подготовки «кого хочешь, но шо б в ИТ». А уж HR-ы постарались придать всему этому некий лоск (согласитесь, что стрёмно как-то заявлять о том, что занимаюсь наймом ученика программиста, а вот джун – уже звучит гордо и солидно. Не говоря уже о самих учениках).

А потом спрос начал падать (масса объективных факторов) и вдруг оказалось, что ученики уже не требуются. Ну и крупные компании, конечно, сумели худо бедно выстроить системы подготовки нормальных инженеров и разработчиков под себя (как раньше при заводах и фабриках были просто собственные ПТУ и техникумы) и перестали брыть тех, кто ничего толком не умеет + еще и не знает предметной области.

И это хорошо.

Потому как профессии в ИТ это ж не только про опыт. Это еще и про талант. Про склонность. Просто про способность. Пусть будет деление на сильных, нормальных и непригодных (иди доучивайся до нормальности), а не вот это все.

Я когда то тоже получал диплом программиста в ВУЗе, где преподавание программирования было на высоком уровне. Мой факультет (курс 50 человек), например, например, заканчивали и Сергей, и Борис Нуралиевы. И свои пятерки по этим профильным специальностям я имел. И даже был готов связать свою судьбу с программированием... Но ровно до того момента, когда я столкнулся с настоящими программистами. По таланту и призванию.

И мне быстро стало ясно, что для меня это вообще недостижимый космос. И это не был вопрос времени, «когда я научусь так же». Было понятно, что не научусь никогда, потому как мы с ними просто в разных плоскостях, в разных измерениях и разных лигах. И буду я, в лучшем случае, не очень счастливым программистом-ремесленником.

А сейчас на улице окажутся толпы неприкаянных, поверивших в то, что «спрос на ИТ будет всегда» и будут всячески оправдывать свой неправильный выбор массой глупостей. А журналисты будут эти глупости транслировать. А курсы переподготовки для получения новой «манны небесной» выкатят убедительные доказательства новых профессий будущего.

Я бы, как футбольный болельщик, конечно же, предложил бы им переключиться с ИТ на обучение футболу. Вы каждого первого болельщика или футбольного функционера спросите и он вам расскажет, как драматически не хватает хороших российских игроков в нашем футболе. С цифрами и диаграммами.

И дел то всего... Правила простые. Зарплаты огромные. Бегать быстро. Мячик пинать поточнее. Вы что, во дворе в футбол не играли? Просто немного прокачаться на курсах надо. Полугодовых.

В общем жалко джунов. Они, похоже, единственные обманутые в этой истории.
1💯46🙈14🍌97👨‍💻5❤‍🔥3😭2🫡1🙉1
Читерство ради галочки — уже и тут

Кажется, читерят сейчас вообще везде: кто-то резюме раздувает, кто-то с нейросетью по вечерам собесы тренит. Ну ок.

Вот и в тестах на IT-навыки от hh тоже начали. Хотя, казалось бы, просто самопроверка: хочешь — проходишь, смотришь, где норм, а где просадки. А по факту? Ставят расширения, прогоняют вопросы через GPT, зовут друзей пройти за себя.

Всё ради красивой галочки… А потом на собесе выясняется, что без подсказок никак. И что тогда? Ходить с репутацией "На словах ты Лев Толстой, а на деле…" 🤡

Если хочется понять, где ты сейчас по скиллам, то почему бы и не попробовать сдать самому? А если галочка важнее понимания своих скиллов, не удивляйтесь, когда на собесе будет нечем крыть.
🤷209❤‍🔥53🦄2
Media is too big
VIEW IN TELEGRAM
Провели с женой несколько дней без детей в Чикаго, красивый город с настоящей американской архитектурой и богатой историей. Даже встретился с одним подписчиком, который уже 15 лет живет в Чикаго и мы выпили Мичиганского сидра и сравнили Канаду и США в плане жизни и работы.

Музыка Робби Вильямс потому что мы посмотрели классный фильм про него - Быть Лучше.
❤‍🔥6819🐳5🦄3💯1
Bill Inmon написал у себя в LinkedIn откуда появился термин Хранилище Данных, а ChatGPT перевел:)

Много лет назад я работал в консалтинговой компании под названием AMS. Я был у них консультантом и почти всё время проводил в разъездах.

В то время я выполнял проекты по заказу AMS для таких компаний, как Aetna Life and Casualty, Shell Canada и PacTel Cellular. Я проводил неделю в одном месте, затем следующую неделю — в другом. Я консультировал их по вопросам архитектуры данных.

У этих компаний были совершенно разные виды бизнеса. Почти ничего общего не было ни в том, чем они занимались, ни в том, как вели свою деятельность.

Что меня поразило — это то, что архитектура их корпоративных систем была абсолютно одинаковой. Можно было закрыть глаза в Хартфорде, штат Коннектикут, и представить себе архитектуру в Калгари, Канада, или в округе Ориндж, и она выглядела бы точно так же. Меня озадачило то, что архитектура не зависела от самого бизнеса.

Однажды я находился на встрече в Shell Canada. В комнате были Гэри Уорхолм, Донна Корриган, Херман Попго и я. Мы обсуждали архитектуру данных Shell Canada. Мы пытались найти слово, которое бы описывало то, что мы видим.

Я не помню, кто сказал это первым. Возможно, это был я. Возможно, кто-то другой. Я действительно не знаю. Но — как по волшебству — прозвучали слова «хранилище данных» (data warehouse). Они просто вырвались у кого-то с языка.

Эти слова казались отличным описанием того, с чем мы имели дело. И мы начали называть их архитектуру «хранилищем данных».

И с этого скромного и простого начала в Калгари, Канада, термин «хранилище данных» вскоре стал распространяться по стране, а затем и по всему миру.


Кстати Бил живет в Денвере, я там буду в середине августа, ни у кого нет его адреса взять автограф?:) Я еще тут решил взять автограф у самого Джек Ма. У меня товарищ из Гонконга работает на него инвест банкиром в Ванкувере. Товарищ собирается уходить в свой бизнес и полетит к Джеку попрощаться, а я его упрашиваю попросить подписать книгу:)

У кого еще можно взять автограф?!
❤‍🔥37🌚2
Как можно писать про Инжиниринг Данных и не инвестировать в отечественные компании?! Сегодня я купил 1000 акций Аренадата.

Ради эксперимента, я хочу закинуть млн рублей на различный акции Российский компаний через Т-банк приложение. Правда почему-то 50% хочется вложить в Яндекс.

Кто куда инвестирует?
1🙈4830❤‍🔥115🍌3😭3🙊3💯1
Найден годный конспект по LLM на русском языке

Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:

– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.

Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.

Забрать полную pdf-версию абсолютно бесплатно можно здесь
❤‍🔥319🌚4🍌2🦄1
Мой любимый прием для async standup - использовать бота в Slack, который публикует сообщение и дальше все члены команды пишут свой update.

Ответьте в треде:

📝 Что вы успели сделать с момента последней встречи?
📝 Над чем планируете работать дальше?
📝 Какой у вас текущий статус?

Не заблокирован
👋 Нужна помощь
🚫 Заблокирован


В целом мне нравится работать в 2х недельных спринтах (scrum).

Из обязательных встреч:
- Планирование спринта
- Sync в середине спринта

Retro я не люблю. Но в целом при определенных обстоятельствах полезно, если вы хотите докопаться до проблем в процессах и понять, что не работает и почему, чтобы улучшить в следующих спринтах.

В 1м модуле Surfalytics у меня есть урок про Agile для дата команд. Как правило все начинающие аналитики не знают как работать в Jira и аналогах, что такое спринт и другие базовые вещи.

Как у вас организован процесс?
19❤‍🔥4
Forwarded from Клуб анонимных аналитиков (Alex Kolokolov)
Клуб одиноких аналитиков 🔞

Мы тут с Аней обменивались опытом дейтинга, выдвигали гипотезы, как найти нормального мужика целевую аудиторию и повысить конверсию.

Тут непаханое поле для аналитики, много аналогий с бизнесом.

📊Воронка:
Мэтч → Переписка → Первое свидание → "Третье" свидание → Отношения

Один мой друг, назовем его Алексей, делился статистикой:
- конверсия из мэтча в переписку — 42%
- из переписки в первое свидание — 23%
- до "третьего" свидания — 13%

Мы все-таки не просто про секс, а про цель найти вторую половину, серьезные отношения и свадьбу, но тут конверсия 0,01%

Теперь простой расчёт: Хочешь отношения? Будь добр свайпать пока не получишь 400 мэтчей 🤷🏽‍♂️

📊Каналы привлечения
Вместо одного Тиндера теперь стоит пробовать разные приложения: Pure, Mamba, Twinby, VK знакомства. Сравнивать конверсию с учетом вашего возрастного сегмента и интересов. И не забываем про офлайн - там воронка отличается.

А еще по аналогии со старой и новой клиентской базой - френдзона! Все ваши симпатии из прошлого, которые сейчас тоже могут быть в поиске. Иногда достаточно пары сообщений, чтобы дойти до «К тебе или ко мне?» без всех этих свайпов.


В любой непонятной ситуации мы делаем дашборд. Вышло аж в двух версиях (у мужчин и женщин метрики разные)

🤓 Если вы тоже вместо встреч с незнакомыми людьми хотите провести вечер за анализом графиков — ставьте ❤️ и пишите ваши предложения по метрикам любви
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥42🌚19126🍌4🤷1
Несмотря на то, что datalearn уже не развивается, несчитая редких, но очень интересных вебинаров (кстати, когда у нас про Dagster там следующий?☺️) и чата (@datalearn_chat) для студентов, я все еще считаю его отличной базой для самостоятельного изучения и вхождения в профессию связанную с аналитикой и дата инжинирингом для людей, которые не из мира ИТ, как я когда-то был.

PS ничто не принесет вам столько ништяков как создание бесплатных курсов👉 и я не устаю повторять - все самое лучшее бесплатное!💪

Публикую отзыв:

Все время думал, когда наступит тот самый день, когда я смогу написать вам отзыв :)

Зарегистрировался у вас, появился сайт Datalearn 2020, и я всё время мечтал работать в крутых компаниях или пользоваться такими инструментами, как у вас. Смотрел все ваши видео на сайте многое пригодилось, особенно при подготовке к собеседованиям. Всегда хотел быть инженером (как бы странно это ни звучало мне просто хотелось, чтобы в названии моей специальности обязательно было слово “инженер”).
Работал BI-разработчиком и дата-аналитиком (в IT-компаниях и банках), и вот спустя 5 лет, в 2025 году, наконец устроился в новые компании: сейчас работаю сразу в двух местах удалённо в одной аналитиком-инженером, в другой дата-инженером.
Могу с уверенностью сказать: этот путь может повторить любой, даже если идёте к цели очень медленно и не проявляете особой инициативы. Я сам долго не решался и не был самым активным, вокруг было много отличных специалистов и коллег, которые даже не пытались попробовать себя в чем-то новом. Но всё равно получилось главное, не сдаваться.
За 2024 год прошёл огромное количество собеседований примерно 50–60, и, признаюсь, часто “валился” именно на технических этапах. До этого я работал в совершенно других сферах: в банках обычным кредитным менеджером, мувером, менеджером по продажам. В IT пришёл только в 2020 году, когда мне было уже 33, случайно наткнулся на ваш сайт и тогда понял, кем действительно хочу быть.

Спасибо вашей команде и всем, кто развивает Даталерн, за знания и мотивацию. Благодаря вам я поверил, что поменять профессию и добиться своей цели реально даже если ты начинаешь не с нуля, а “с минуса”.

Если мой отзыв сможет вдохновить хотя бы одного человека не бояться перемен значит, всё было не зря!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥103💯2014
Business_Intelligence_Engineer_Role_Guideline.pdf
466.7 KB
Гайд ролей BI разработчиков в Amazon
❤‍🔥25
Лето у членов сообщества surfalytics прям выдалось очень ударным! Люди получили оферы, удвоили доход или просто нашли свою первую реальную работу за достойную зарплату с современным стеком.

Особенно круто это видеть в прогрессе, ведь все активные ребята публикуют Weekly Update каждый понедельник в таком формате.

Как обычно мораль истории простая, будьте проактивны, ставьте реальные достижимые цели и достигайте их, иначе стагнация и деградация относительно рынка труда.

Особенно это важно делать, когда все хорошо - есть работа, стабильный доход и кажется, что настало время расслабиться, аааа нееееет😜

PS это не реклама, так как я на этом не зарабатываю, обычно у меня получается 400-1000CAD в месяц пассивного дохода от Surfalytics. Мне очень нравится сам концепт, что я вижу как ведет себя рынок в Европе, Северной Америке, РФ (если работать на за границей) и тп. Я верю, что чем больше мы даем, тем больше мы получаем обратно.

Сам Surfalytics это как membership в спортзал. Вы можете его купить и у вас будет доступ к лучшему оборудованию и тренерам, но если вам лень туда ходить постоянно, результата не будет. А кто справился с собственной мотивацией и дисциплиной, у того все будет зашибись🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤‍🔥61💯137🫡7🌚11