Дата-инженерские заметки – Telegram
Дата-инженерские заметки
1.47K subscribers
70 photos
18 videos
7 files
55 links
Пытаюсь выжить в корпоративных реалиях, делюсь вопросами с дата-инженерских собеседований и ссылочками для подготовки к ним

Написать мне: @aylin_gee
Download Telegram
доброе утро, пролетариат💗🌟
мне осталось неделю повайбкодить до отпуска🤡

вообще никакой пользы от завода. где путевка в санаторий???
Please open Telegram to view this post
VIEW IN TELEGRAM
14😭3
У меня есть правило соглашаться на все предложения тех собесов, потому что я до сих пор помню какого это искать работу без опыта.

Сегодня ходила в IBS, проект для Сбера.
Вилка до 287 на руки🤩

Вопросы были супер базовые, из +- интересного спросили:

🌟Какие конфигурации выберешь, если нужно будет использовать Spark метод to_pandas
🌟Что такое Pxf?

Также спросили за компоненеты хадуп, архитектуру mpp, вопрос про CTE и оконки, отличие map reduce и спарка.

Самое интересное —собесудущий прям приятный и задавал много личных вопросов. Например, попросил назвать 3 любимых русских фильма. (это самый сложный вопрос эвер)

Софтовая часть была сильно больше технической— мы даже обсудили Рублева и Марата Сафина.🤡

#de_собеседование
Please open Telegram to view this post
VIEW IN TELEGRAM
129🏆4😁2🤔1
Работодатели в России смогут проверять сотрудников на враньё в резюме — Минцифры запустит систему верификации опыта и образования уже в этом году. Работник будет предоставлять доступ к базе, где указаны его стаж, образование и предыдущие места работы. @ecotopor
🔥11😁44
Моя племяшка, начинающий биолог, недавно вернулась из экскурсии в Алабугу с оффером на 170к. Оффер она, конечно же, не приняла.

Даже если убрать пунктик про этику, работа в подобном месте - карьерный суецид. Однако то же самое любят разгонять про Сберы, Иннотехи и другие галеры.

Возможность выбирать карьеру, а не деньги, - огромная привилегия.
Легко говорить о принципах и долгосрочной выгоде, сидя на папенькином попечении, и сложно, не зная как в следующем месяце оплатить аренду.

У меня достаточно гордости, чтобы не окружать себя людьми, пишущими приложеньки для беспилотников, но и достаточно эмпатии, чтобы понять их мотивацию.

Я к тому, что мир далеко не черно-белый, а решения принимаются не в вакууме.
2413🏆6
🟢 Обновление по Apache Spark!

Я расширил Roadmap для Data Engineer — теперь там есть материалы как для начинающих, так и для продвинутых DE по Spark!

📘 Для новичков:
• Папка SPARK/BASE содержит основы Spark. Что это такое, как он работает и т.д.

🚀 Для продвинутых:
• Папка SPARK/ARCHITECTURE - устройство Spark внутри
• Папка SPARK/ADVANCED охватывает темы оптимизации, join, shuffle, data skew, хинты и прочее.

Если ты только начинаешь или уже готовишься к реальным проектам — заходи, изучай, применяй! Буду рад обратной связи и предложениям по улучшению материала. 🚀

Если хочешь стать автором одного из разделов, делай fork репозитория и кидай PR!
Инструкция для новых авторов
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🏆22🍓1
Мои подружки начали составлять свои натальные карты с ИИ

Если ИИ заменил астрологов, думаете не заменит дата-инженеров???🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
😁214🏆1
отныне величайте так:
106🔥4
Прошло 2.5 года, как я в айти. Не с момента, как я начала работать DE, а с момента как я в первый раз написала баш скрипт и узнала, что такое функция.
Все 2.5 года я двигалась на максимальном расслабоне и без надрыва: не училась по 12 часов, не решала ночами на пролет задачки, не перерабатывала. И все это было без привилегий финанасовой безопасности, идеального здоровья и просто поддержки.

И даже в таких условиях и при таких усилиях вполне реально стать DE и даже залелеть в (несуществующий) ‘средний класс’.
Это я к тому, что подобное практически нереально в любой другой сфере и что мы не до конца понимаем, насколько на самом деле это простой труд.

В отличие от большинства тут в 17 лет я не учила вышмат, а читала античную литературу и могу с уверенностью сказать, что стать посредственным разработчиком намного проще чем посредственным переводчиком. Не говоря уже о медиках, биологах и др.

Откуда вокруг айти этот флер высокоинтеллектуальной работы мне непонятно.
44😁11🍓53
Я не знаю, чем руководствуются люди и откуда они берут базис для своего эго, но не вести себя адекватно и социально приемлемо на айти-работе - кринж уровня постов «осознанной меркантильности».

Здороваться в переписке, уважительно вести личную и командную коммуникацию - это минимум, который также входит в рабочие обязанности. Я могу оправдать комплекс бога у хирургов, но у разрабов?

Собирай я команду сама, оценивала бы людей в первую очередь по софтам, так как незаменимых сотрудников нет. Токсичное поведение контрпродуктивно как для бизнеса, так и для ближайших коллег.

При каждой третьей коммуникации с коллегами вне моей команды мне приходится напоминать себе, что посылать людей плохо, я «взрослая» и что перспектива диалога с HR неприкольная.

Оставляйте неудовлетворённость жизнью в кабинете у психолога или выбирайте другую профессию.
2811🔥5🏆4
я убила в себе кринж
привыкайте🤡🙏
Please open Telegram to view this post
VIEW IN TELEGRAM
12
рефералю знакомого в Альфу на разраба
его зовут на собес, кидают ссылочку, в конце собеса происходит диалог:

- а вы сейчас куда собеситесь?
- в Альфа банк
- а мы ВТБ

занавес
24😁163🍓2
Cобеседование в X5 Group на middle DE ❗️
📎ссылка на вакансию

Команда из 15 человек расширяется и ищет нового дата-инженера, планируют расти в сторону стриминга.

Всего пару этапов:
🔴Cобес с hr:
Кроме классических вопросов был и ряд технических: SQL, Python, уточнили знакомство с k8s, Docker, Bash.

🔴Технический собес:
Cобесируют три человека: тимлид, архитектор и инженер по качеству данных.

После обсуждения предыдущего опыта идет лайфкодинг на SQL.

После лайфкодинга —теоретические вопросы по технологиям, с которыми вы работами: Airflow, Spark, вашему БД и хранилищу. Вопросы задают достаточно глубокие, в стиле "почему у вас технология Х и в чем ее преимущество перед технологией Y?".

Также уделили внимание личным достижениям на последнем месте работы —попросили рассказать о вашем личном вкладе в проект.

#de_собеседование
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥116🍓42🏆1
SQL вопросы с HR собеса в Т банк на Middle DE:

🤍Какие оконные функции вы знаете?
🤍Что выполнится последним SELECT, FROM, GROUP BY, ORDER BY?
🤍При каких типах соединения условие из WHERE можно перенести в ON с гарантированным сохранением результата запроса?
🤍Чему будет равно 5 + NULL?
🤍Может ли поменятся количество строк в итоговой таблице, если при LEFT JOIN поменять местами таблицы?
🤍Может ли изменится количество строк после ORDER BY?

#de_тестовое_livecoding
Please open Telegram to view this post
VIEW IN TELEGRAM
14🍓8🏆5
Дуальное отношение к жизни - это самое инфантильное, что я наблюдаю в других и в себе.

Особенно странно слышать такой подход к оценке русского бигтеха, где нет общекорпоративной культуры, а подход к работе в одной команде диаметрально отличается от подхода в другой.

Понятно, что вам может не нравиться продукт, отбор, тенденция к сокращениям и т.д., но
доводить до абсолюта идею о «хороших» и «плохих» компаниях смешно - везде есть как сильные команды и интересные проекты, так и плохо выстроенные процессы и коллеги-накрутчики.
Возможно, реально по месту работы сделать хоть какие-то выводы о человеке как о личности, но как о профессионале… спорно.

💋 В комментах жду топ вашего списка кринж-компаний:)
Please open Telegram to view this post
VIEW IN TELEGRAM
🏆103