Полезно иногда ходить на интервью, даже если вас все устраивает на текущей работе.

Самому объективно оценить свой уровень сложно. Результат подобных интервью в любом случае будет положительным, так как он либо смотивирует вас подтянуть навыки, либо сделает более уверенным в вопросах повышений.

У Яндекса есть диагностика технических навыков🤩🤩.
Из самого близкого к дата инженерингу - диагностика аналитиков - разработчиков.
Хорошая альтернатива реальным интервью.

Также понравилось, что пересдать можно только через месяц, три месяца и полгода - поможет проследить вашу динамику роста.

🔸Билайн🔸

Общие вопросы

⚪️что такое семантика доставки данных?
At-most-once semantics, At-least-once, Exactly-once

⚪️Какие архитектуры хранения знаете?

⚪️Что такое нормализация? чаще всего до какой степени нормализации доходят?

⚪️чем отличается OLAP от OLTP?

SPARK

➡️Что такое драйвер и слейв? что вообще из себя представляют экзекьютеры?

➡️На чем написан спарк?

➡️В чем отличие датасета и датафрейма?

➡️Что такое shaffle

➡️Расскажите про аллокацию контейнеров и память? вот тут имелось в виду как выбрать ресурсы, как выбрать параметры кластера

➡️Расскажите про динамическую аллокацию

PYTHON

📌измененяемые и неизменяемые данные

📌адресные ссылки в питоне

📌знакомы ли с функциями map, filter, reduce, lambda

SQL

📌Расскажите про оконные функции
📌Расскажите про джойны
📌минимальное и максимальное количество строк при left join

LINUX

📌find, grep, cat , chmod

HADOOP

🚀расскажите про HDFS

🚀в чем минус мелких файлов на hdfs?


Спросили как с Докером, попросили рассказать про пайплайны cicd

друзья, посоветуйте ресурсы для изучения data modeling
#de_собеседование

🟠Какой запрос вернет минимальное значение?

id
1
2
3
4
5
Null
Null

Запрос:

Count(id)
Count (1)
Count('id')
Count(*)
Count(null)

🟠 Ответ: Count(null)

В документации Postgresql:

count(*) -> bigint
number of input rows
count(expression) -> bigint
number of input rows for which the value of expression is not null

При указании * , возвращается количество строк, учитывая null'ы, при указании названия колонки без их учёта.

Если же мы указали любое выражение в count, то проходясь по каждой строке проверяется является ли это выражение null'ом.

То есть проходясь по 7 строкам, 7 раз 1 и 'id' являются не null, и 0 раз null является не null.

#de_обсуждение