Дата-инженерские заметки – Telegram
Дата-инженерские заметки
1.47K subscribers
70 photos
18 videos
7 files
55 links
Пытаюсь выжить в корпоративных реалиях, делюсь вопросами с дата-инженерских собеседований и ссылочками для подготовки к ним

Написать мне: @aylin_gee
Download Telegram
Forwarded from slavadenisov
бывает грустишь немного тоскуешь а потом как вспоминаешь что где-то в интернете тебя ненавидят и сразу становится легче
🍓742😁2🏆2
на этой неделе вместо тиктока:
🍓16😭8😁62
разве это так сложно??
28😁10🍓6🔥3
Ментор на созвоне задала казалось бы простой вопрос:
"Чему будет равно NULL = NULL в SQL”

Интуитивным ответом был False. Но это не совсем так.

NULL в SQL - это маркер отсутствия значения, поэтому результатом на самом деле будет не TRUE и не FALSE, а UNKNOWN.
Большинство СУБД трактовать такое будут как NULL.

Кстати, так будет при любом сравнении с NULL, например 5 = NULL, тоже Unknown.

Задумалась о том, каким ответ будет в Python.
None - это объект класса NoneType. Это синглтон, то есть класс, у которого не может быть больше одного объекта, поэтому мы будем сравнивать объект с самим собой.

Следовательно None is None и
None == None вернут True.
13922
мне не нравится эта темка
9641
топ кринжа, который я выдавала на собесах:

на вопрос знакома ли я с Билайн, удивленно спросила "С компанией?"
почитать можно тут

не смогла ответить, что делает grep. Я если что ранее реализовывала grep с нуля со всеми флажками на С.

оперативную память назвала операционной

респект каждому, кто напишет в комментах свой кринж😘
Please open Telegram to view this post
VIEW IN TELEGRAM
1895🔥32
вайбы на неделю такие🥰
196511
Мне тут скинули пост из канала, админом которого я была раньше, и он навёл меня на некоторые мысли.

Я не буду писать про гендерный дисбаланс, предубеждения, стеклянный потолок и так далее — всё это уже обсуждалось миллион раз, и потому говорить об этом сейчас неинтересно и бесполезно. Скажу о другом: если вы принадлежите к какой-то непривилегированной группе, цепляйтесь за каждую возможность.

Вам говорят, что вас взяли только потому, что вы женщина? Вспомните, сколько раз это было причиной отказа.

Учитесь по стипендии для женщин в STEM? Вспомните, когда у женщин вообще появилась возможность получать высшее образование.

Руководители проявляют к вам больше лояльности? Вспомните, сколько раз вас называли “сукой” за любое проявление эмоций и с каким количеством предубеждений вы сталкивались раньше.

Справедливости в капитализме нет. Вы либо победитель, либо лузер, а первых, как известно, не судят.
291265😭111
Forwarded from Ебаные идеи для топов
Джун скинул мем. Не понял. Он из этих, поколение альфа банка
8😁8411
This media is not supported in your browser
VIEW IN TELEGRAM
мешают только, какие-то апдейты по задачам ждут…
9😁75211
Хотела написать пост о том, почему у американцев нет накрутчиков
Уточнила у знакомой, а у них тоже самое…

Назаров может начинать строить международную карьеру🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
😁1963😭1
Задачки в букмекерку на вакансию инженера данных(Java)

Вилка: 7000-8000$

ЗАДАЧА1-----------------------
Book:
id, noscript, denoscription
Дано:
Spark DataFrame, имеющий схему id: Int, noscript: String
Напиши функцию, которая принимает DataFrame и возвращает одной строкой все уникальные названия книг, соединенные #~# в любом порядке
Пример:
Input:
id noscript
1 The Lion King
2 Programming architecture
3 The Lion King
4 Scala vs Java
Output: Programming architecture#~#The Lion King#~#Scala vs Java
-----------------------
ЗАДАЧА 2
-----------------------
Есть Spark DataFrame заказов:
Схема: order_id, user_id, timestamp, item_bought
Нужно вернуть DataFrame с последними 100 заказами для каждого пользователя с полями в отсортированном виде по timestamp.
Input: df: DataFrame (schema: order_id, user_id, timestamp, item_bought)
Output: DataFrame (schema: order_id, user_id, timestamp, item_bought) отсортированный по user_id, timestamp
-----------------------
ЗАДАЧА 3
-----------------------
Given an integer array nums of unique elements, return all possible subsets (the power set).
The solution set must not contain duplicate subsets. Return the solution in any order.
Input: nums = [1,2,3]
Output: [[],[1],[2],[1,2],[3],[1,3],[2,3],[1,2,3]]
Input: nums = [0]
Output: [[],[0]]
-----------------------
12🏆5🔥32
В первый день трудоустройства в Альфу просят реквизиты карты, кидаю им реквизиты сбера

Спустя время понимаю, что получать зп на карту сбера, будучи сотрудником Альфы, кринж

В течение 7! дней уговариваю сделать мне зарплатную карту, и в течение 7 дней hr меня посылают🤡

я самый трушный фанат Сбера.
Please open Telegram to view this post
VIEW IN TELEGRAM
179🔥7
Я не знаю, что за обсессия у интервьюеров на эти NULL'ы, но here we go again🙏

Посмотрим, как работают джойны по условию t1.key = t2.key на примере этих таблиц:
Таблица t1    Таблица t2
+------+ +------+
| col1 | | col1 |
|------| |------|
| 1 | | 1 |
| 2 | | 1 |
| 4 | | 3 |
| NULL | | NULL |
+------+ | NULL |
+------+

Джойн происходит, когда условие возвращает TRUE, NULL=NULL же возвращает Unknown, поэтому условие не выполнится.
Писала ранее тут.

🩵Вот как отработает LEFT JOIN:
+------+             +------+        
| t1.col1 t2.col1 |
|------ ------|
| 1 1 |
| 1 1 |
| 2 NULL |
| 4 NULL |
| NULL NULL |


🩵 и вот так INNER JOIN:
+------+             +------+        
| t1.col1 t2.col1 |
|------ ------|
| 1 1 |
| 1 1 |


Искренне надеюсь, что нам с вами это не попадется
Please open Telegram to view this post
VIEW IN TELEGRAM
2221
Задачи тех скрининга в Купер:

🩵 Даны 2 списка длины n и m, содержащие целые числа.
Выведите на экран элементы, которые встречаются в обоих.

🩵 Перечисли все виды джоинов таблиц и результат джоина таблиц по условию t1.key = t2.key;

Ссылка на буст канала
Please open Telegram to view this post
VIEW IN TELEGRAM
542
рекрутеров заменил ИИ
дальше мы?)
168😁21😭1
проснулась с желанием работать

стоит сходить к терапевту?
2112108
Оффер в Сбер Инвестиции на 284 net за 3 часа.

🍋‍🟩Ссылка на вакансию

Подразделение занимается инвестициями для физ. и юр. лиц. В команде 5 человек: DE, devops, аналитики. Ищут дата-инженера, так как предыдущий не прошел испыталку.

Собесит продакт, но это его 50ое собеседование, поэтому в технологиях относительно разбирается.
В технической части спрашивали про MPP, про работу со Spark, спросили о спарк конфигурациях при использовании toPandas. Уточнили был ли опыт с k8s.

Было много софт-вопросов из серии "Если бы вы оказались на необитаемом острове, что бы взяли с собой?", "Опиши себя тремя эпитетами", "Какой твой любимый российский фильм или сериал после 2000 года?", "Какой алкогольный напиток предпочитаешь?"
❗️(если честно кринж, но кто я чтоб судить)

О положительном результате сказали прям на собеседовании, оффер оформили через несколько часов.

В целом прошло хорошо, откликайтесь🩵🌟
Please open Telegram to view this post
VIEW IN TELEGRAM
24962🔥1
почему вы лайкаете кринж и не лайкаете полезное?

объясните, пожалуйста!!
😁261094🏆21