В первый день трудоустройства в Альфу просят реквизиты карты, кидаю им реквизиты сбера

Спустя время понимаю, что получать зп на карту сбера, будучи сотрудником Альфы, кринж

В течение 7! дней уговариваю сделать мне зарплатную карту, и в течение 7 дней hr меня посылают🤡

я самый трушный фанат Сбера.

Я не знаю, что за обсессия у интервьюеров на эти NULL'ы, но here we go again🙏

Посмотрим, как работают джойны по условию t1.key = t2.key на примере этих таблиц:

Таблица t1    Таблица t2
+------+             +------+        
| col1 |             | col1 |
|------|             |------| 
| 1    |             | 1    |
| 2    |             | 1    |
| 4    |             | 3    |
| NULL |             | NULL |
+------+             | NULL |
                     +------+   

Джойн происходит, когда условие возвращает TRUE, NULL=NULL же возвращает Unknown, поэтому условие не выполнится.
Писала ранее тут.

🩵Вот как отработает LEFT JOIN:

+------+             +------+        
| t1.col1            t2.col1 |
|------                ------| 
| 1                     1    |
| 1                     1    |
| 2                     NULL |
| 4                     NULL |
| NULL                  NULL |

🩵 и вот так INNER JOIN:

+------+             +------+        
| t1.col1            t2.col1 |
|------                ------| 
| 1                     1    |
| 1                     1    |

Искренне надеюсь, что нам с вами это не попадется✨

Задачи тех скрининга в Купер:

🩵 Даны 2 списка длины n и m, содержащие целые числа.
Выведите на экран элементы, которые встречаются в обоих.

🩵 Перечисли все виды джоинов таблиц и результат джоина таблиц по условию t1.key = t2.key;

Ссылка на буст канала

Оффер в Сбер Инвестиции на 284 net за 3 часа.

🍋‍🟩Ссылка на вакансию

Подразделение занимается инвестициями для физ. и юр. лиц. В команде 5 человек: DE, devops, аналитики. Ищут дата-инженера, так как предыдущий не прошел испыталку.

Собесит продакт, но это его 50ое собеседование, поэтому в технологиях относительно разбирается.
В технической части спрашивали про MPP, про работу со Spark, спросили о спарк конфигурациях при использовании toPandas. Уточнили был ли опыт с k8s.

Было много софт-вопросов из серии "Если бы вы оказались на необитаемом острове, что бы взяли с собой?", "Опиши себя тремя эпитетами", "Какой твой любимый российский фильм или сериал после 2000 года?", "Какой алкогольный напиток предпочитаешь?"
❗️(если честно кринж, но кто я чтоб судить)

О положительном результате сказали прям на собеседовании, оффер оформили через несколько часов.

В целом прошло хорошо, откликайтесь🩵🌟

Тех скрининг в Лигу Цифровой Экономики:

🩵 Для произвольных N и M сформировать целочисленную матрицу A размером N*M и заполнить её числами
# Пример для N = 2, M = 3:
# [[1, 2, 3],
# [4, 5, 6]]

🤍 Описание таблиц
users (user_id, lastname, firstname, birthdate)
sales (sale_id, user_id, num, date_, sum)

🤍Вывести всех пользователей с указанием количества покупок, сделанных в 2025 году

🤍Вывести пользователей, не сделавших ни одной покупки в 2025 году

🤍Вывести всех пользователей с именем Дмитрий

🤍Вывести всех пользователей, которые делают только покупки стоимостью только свыше 1000 денег

🌟напоминаю ставить лайки, кидать бусты и респекты!

Тех скрининг на позицию DE в Lamoda Tech💛

🤍 Как вывести содержимое файла logs и затем отфильтровать его содержимое по наличию в строках ключевого слова foo?
cat logs | grep "foo"

🤍 Опиши что происходит в каждой строке:

def foo(): # название функции и нет входых аргументов 
    for i in range(1, 10): # цикл, i присваивается значение от 1 до 9
        value = str(i) * i  # для 1:  ['1']*1
        value = "".join(value) # '1' # '22' # '333' 
        yield value 
p = set(i for i in foo())
print(p)  # {'1', '22', '333', ..., '999999999'}

🤍 Как вывести план запроса в СУБД?

Explain, Explain analyze

🤍 Правильно ли составлен следующий запрос? Если нет, то как исправить?

Хотим выбрать уникальные имена кастомеров из sales1 с total_sum больше 500 и всех из sales2,
отсортировать по customer_name

SELECT total_sum, customer_name  FROM sales1  
HAVING total_sum >= 500 
ORDER BY customer_name 
Union all 
SELECT customer_name  FROM sales2  
ORDER BY customer_name

ответ:

select customer_name
from sales1 
where total_sum >= 500
union 
select customer_name
from sales2 
order by customer_name

🤍 Дана Таблица_А, содержащая 10 записей и Таблица_Б, содержащая 100 записей.
Какое минимальное и максимальное количество записей может получиться в результате FULL OUTER JOIN этих таблиц?

a = 10 строк
b = 100 строк

min case = 100 str
max case = 110 str
при одинаковых значениях - 1000

🤍 Какие виды физических джойнов есть в Spark?

1. broadcast
2. nested loop
3. sort merge join
4. hash join
5. cartesian product

🤍 Опиши ситуацию при которой возможен перекос данных?

жду ваш ответ в комментах☺️

🤍Количество партиций по умолчанию?

200

🤍 Можно ли увидеть на физическом плане запроса операцию Hash Join на запросе:

SELECT t1. ip
FROM Table1 t1 JOIN Table2 T2
on t1.ip >= t2.ip_from AND t1.ip <= t2.ip_to

🤍Что стоит исправить в коде:

users = spark.table("users")
men = users.filter(col("gender") == "MAN")

men
.filter(…)
.write.mode().parquet(…)

men
.filter(…)
.write(…)

3 ий раз пытаемся созвониться

и каждый раз в назначенное время начинает игнорить🤡

У людей есть ложное мнение, что дата-инженер с каналом = крутой дата-инженер.

Учитывая, что вы активно покупаете учебные материалы и менторство, вот на что я лично бы обратила внимание:

🩵 человек открыто говорит о своем карьерном пути

🩵 в резюме компании и/или учебные организации с высоким порогом входа(например указан шад, работа в каком-нибудь констракторе, интересные проекты)

🩵 был или есть карьерный рост внутри одной организации (расти внутри намного сложнее, чем апать грейд сменой работы)

🩵 у вас есть позитивные отзывы от знакомых о продукте/менторстве

🩵 у вас схожий карьерный путь. Например, вы оба сменили работу, вы начинали карьеру в схожих компаниях, вам просто близок человек по вайбу и ценностям(этот пункт относится именно к менторству)

все это, конечно, не гарантирует успех, но как по мне увеличивает его вероятность

я junior cdo тогда🤡

Вопросы на позицию инженера данных в Gamedev
(вопросы от подписчика, название компании попросили не называть)

Оффер дали на 200к

🤍 Как бы ты защитился от дублей и ошибок при миграции данных?
🤍 Что выберешь для переноса данных — батчи или стрим? Почему?
🤍 С чего начнёшь разбираться, если при миграции данных возникла ошибка?
🤍 К кому обратишься за помощью, если сам не нашёл причину ошибки при миграции?

🤍 Какие тесты будешь использовать при миграции: синхронные или асинхронные? Почему?
🤍 Как проверишь, что все данные корректно и полностью перенеслись?
🤍 В какой среде запускать такие тесты — тестовой или на проде?

🤍 Какую базу данных выберешь для проекта на старте и почему?
🤍 На что будешь смотреть при выборе между разными СУБД?
🤍 Если пришёл алерт о проблеме с репликацией данных — какие твои первые шаги?
🤍 Что может быть причиной проблем с репликацией?
🤍 Как можно заранее уменьшить риск таких проблем с репликацией?

🤍 Зачем нужна гранулярность в ClickHouse и как она влияет на производительность?
🤍 Что считаешь слабыми местами Greenplum, где у него могут быть узкие места?
🤍 В каких ситуациях Greenplum масштабируется плохо?

#de_собеседование