🔸Билайн🔸

Общие вопросы

⚪️что такое семантика доставки данных?
At-most-once semantics, At-least-once, Exactly-once

⚪️Какие архитектуры хранения знаете?

⚪️Что такое нормализация? чаще всего до какой степени нормализации доходят?

⚪️чем отличается OLAP от OLTP?

SPARK

➡️Что такое драйвер и слейв? что вообще из себя представляют экзекьютеры?

➡️На чем написан спарк?

➡️В чем отличие датасета и датафрейма?

➡️Что такое shaffle

➡️Расскажите про аллокацию контейнеров и память? вот тут имелось в виду как выбрать ресурсы, как выбрать параметры кластера

➡️Расскажите про динамическую аллокацию

PYTHON

📌измененяемые и неизменяемые данные

📌адресные ссылки в питоне

📌знакомы ли с функциями map, filter, reduce, lambda

SQL

📌Расскажите про оконные функции
📌Расскажите про джойны
📌минимальное и максимальное количество строк при left join

LINUX

📌find, grep, cat , chmod

HADOOP

🚀расскажите про HDFS

🚀в чем минус мелких файлов на hdfs?


Спросили как с Докером, попросили рассказать про пайплайны cicd

друзья, посоветуйте ресурсы для изучения data modeling
#de_собеседование

🟠Какой запрос вернет минимальное значение?

id
1
2
3
4
5
Null
Null

Запрос:

Count(id)
Count (1)
Count('id')
Count(*)
Count(null)

🟠 Ответ: Count(null)

В документации Postgresql:

count(*) -> bigint
number of input rows
count(expression) -> bigint
number of input rows for which the value of expression is not null

При указании * , возвращается количество строк, учитывая null'ы, при указании названия колонки без их учёта.

Если же мы указали любое выражение в count, то проходясь по каждой строке проверяется является ли это выражение null'ом.

То есть проходясь по 7 строкам, 7 раз 1 и 'id' являются не null, и 0 раз null является не null.

#de_обсуждение

🟡 Почему эти картинки не помогают понять работу JOIN'ов?

Возьмем для примера эти две таблицы:

id  id
1   1
1   1
1   1
2   6
3   7
4   9

Смотря на эту картинку, можно ошибочно прийти к выводу, что при LEFT JOIN в результирующей таблице будет 6 строк, однако их будет 12.
Разобраться тут нужно с тем, как на самом деле работает INNER JOIN.

➡️ Легче всего это визуализировать, представив два цикла for: в первом id таблицы 1, во втором id таблицы 2.
Нам необходимо сравнить каждый элемент первой таблицы с элементами второй и, при их равенстве, вывести эту пару:

for id1 in table1:
  for id2 in table2:
    if id1 == id2:
      print(id1, id2)

Понимание остальных JOIN'ов строится на понимании INNER:

LEFT JOIN = результат INNER + оставшиеся id в левой таблице
RIGHT JOIN  = результат INNER + оставшиеся id в правой таблице
FULL JOIN = результат INNER + оставшиеся id в левой таблице + оставшиеся id в правой таблице
CROSS JOIN = все пары, при CROSS JOIN мы не проверяем равны ли id

#de_обсуждение

select distinct name, row_number() over(order by id)
from table

select name, row_number() over(order by id)
from table

⚡️ Эти запросы вернут равное количество строк?
Ответ : да
Сначала с помощью оконной функции, мы добавим колонку с уникальным порядковым номером, и только после отработает DISTINCT, поэтому каждая строка будет уникальной.

Порядок выполнения команд в SQL:

FROM, including JOINs
WHERE
GROUP BY
HAVING
WINDOW functions
SELECT
DISTINCT
UNION
ORDER BY
LIMIT and OFFSET
#de_обсуждение