👩‍💻 👩‍💻Про leetcode

Неделю назад решила достать свой акк на литкоде и начать решать задачки. Потому что когда-нибудь это может пригодиться на лайв кодинге, а я уже буду без стресса и во всеоружии⭐️

🎙️Иногда бывали такие вопросы, когда накатывала внутренняя улыбка и я думала:

Ага, про это я писала в своем канале)

И хочется достичь такого же уровня:

Ага, я уже решала такую задачу и помню, как она решается

Кстати, в самом начале увидела задачку про палиндром, которую спрашивали у моего коллеги на собесе.

📖 Даже если не понадобится, то все равно это основа для моего дальнейшего развития. Я сверяюсь с залайканными решениями, изучаю возможные оптимизации по памяти/месту, запоминаю технические и логические лайфхаки.

Пока решаю простые задачки и планирую их все добить (бесплатные). Python - чтобы подумать, SQL - чтобы отдохнуть😅

А у вас как дела? Есть тут чемпионы?

#️⃣#️⃣#️⃣ Вакансия в нашу команду!🔥

⭐Что делаем:
В команду маркетинга Сбера ищем разработчика продуктовых витрин.
Мы создаем Martech инструменты для сквозной аналитики, позволяющие отследить весь пользовательский путь от просмотра баннера до первой транзакции.

🌷Позиция: Junior/Junior+ DE
Формат: Офис (по болезни можно дома)

📆Чем предстоит заниматься:
• Проектировать и разрабатывать продуктовые витрины данных
• Мониторить и оптимизировать процессы загрузки, преобразования данных и сборки витрин
• Контролить качество данных
• Разрабатывать инструменты для автоматизации рутинных задач, связанных с обработкой данных
• Разрабатывать и поддерживать внутренние сервисы

➡️Требования:
• SQL на продвинутом уровне
• Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД
• Знание понятий и концепций DWH
• Python (PySpark, Pandas, REST API)
• Airflow/Dagster/Oozie
• BitBucket/GitHub
• Bash

⭐Будет плюсом:
• Опыт работы с веб-аналитическими данными, данными мобильных приложений, рекламных кабинетов (YandexMetrica, AppMetrica или др. кликстримы)
• Знание банковского бизнеса
• Опыт работы по Agile

🎈Условия
• Классная и дружная команда
• Непростые задачи и быстрый рост
• Льготные условия кредитования и ипотеки
• Бесплатная подписка СберПрайм+
• Скидки на продукты компаний-партнеров
• ДМС с первого дня и льготное страхование для близких
• Корпоративное обучение, тренинги, митапы, доступ к библиотеке
• Современный офис в центре Москвы

✉️ Писать мне: @aigul_sea

Как написать джойн без джойна?

📃Пусть у нас есть таблица с клиентами (client_id, name) и заказами (order_id, amount, client_id).
Нужно вывести имя клиента и сумму всех его заказов. Если нет заказов - то 0.

🌷Подход №1 - join (все очень просто)

SELECT name, SUM(COALESCE(amount, 0)) AS total
FROM clients c
  LEFT JOIN orders o
    ON c.id = o.client_id
GROUP BY name
ORDER BY name

🌷Подход №2 - union

Когда что-то нужно посчитать

🟢группируем отдельно по датасетам
🟢проставляем null в отсутствующих колонках
🟢юнионим
🟢группируем по ключу, если бы мы джойнили
🟢навешиваем нужные функции сверху

WITH grouped AS (
  SELECT
    client_id AS id,
    null AS name,
    SUM(amount) AS total
  FROM orders
  GROUP BY client_id
),
final AS (
  SELECT id, name, null AS total FROM clients
  UNION
  SELECT id, null AS name, total FROM grouped
)
SELECT
  MAX(name) AS name,
  COALESCE(MAX(total), 0) AS total
FROM final
GROUP BY id
ORDER BY name

На этапе final у нас будет примерно такое:

id name  amount
1  Alice null
2  Bob   null
3  Cathy null
1  null  2000
2  null  5000

✏️ На моем крошечном датасете в плане запросов в постгре косты второго запроса меньше в 2 раза.
В первом почти все ресурсы тратятся на Hash Join.

#sql_tips

repartition vs coalesce

💗 Вопрос у каждого первого.
Нужны для изменения количества партиций в датафрейме. Как итог - файлов на диске.

По умолчанию это 200, можно переопределить при создании спарк сессии конфигом spark.sql.shuffle.partitions

Посмотреть количество партиций можно так:

df.rdd.getNumPartitions()

📚 Пример. У нас есть датафрейм [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] с 4 партициями:

Partition A: 1, 2
Partition B: 3, 4, 5
Partition C: 6, 7
Partition D: 8, 9, 10

Делаем так:

df_nums.repartition(2)

Partition ABC: 1, 3, 5, 6, 8, 10
Partition XYZ: 2, 4, 7, 9

Repartition
🖇делает партиции равномерными
🖇может увеличивать и уменьшать количество партиций
🖇под капотом шафл

В нашем примере циферки из каждой партиции размазались двум финальным партициям - это и есть шафл (перетасовка данных между экзекьюторами).
Именно за счет шафла работает первое и второе.

df_nums.coalesce(2)

Partition A: 1, 2, 3, 4, 5
Partition C: 6, 7, 8, 9, 10

Coalesce
🖇равномерность не гарантирована
🖇может только уменьшать
🖇данные не шафлит, а склеивает

Файлы клеятся друг за другом (без шафла), поэтому умеет только уменьшать (из склеенных файлов обратно расклеить уже нельзя).
В нашем примере B просто приклеилось к A, а D к C

#spark_tips

💡Ответ💡

Коллеги в комментах правильно отметили, что при фулле будет 7 строк, поэтому правильно:

✨0 7 5 7✨

🌿Inner Join
Минимально - если ключи в таблицах разные:

t1: 1, 2, 3, 4, 5, 6, 7
t2: 8, 9, 10, 11, 12

🌿Left Join
По-любому 7 строк точно будет, т.к. left берет все из левой таблицы. Минимально - если строки сметчились 1:1 (каждый id встречается один раз) или не сметчились.

🌿Right Join
По-любому 5 строк точно будет, логика та же.

🌿Full Join
Тут формула: max(n, m) = max(7, 5) = 7

В нашем первом примере хоть и будет 12 (нет ни одного одинакового id), но во втором случае будет меньше:

t1: 1, 2, 3, 4, 5, 6, 7
t2: 1, 2, 3, 4, 5

Спасибо за бдительность🫡

🎤 IT stand-up 🎤

Очень хотела пойти на IT stand-up от яндекса, даже зарегалась за 3 недели, но мою заявочку отклонили(

Зато наконец-то нашла, куда они это все выложили✨
Ну и народу там, конечно... 😮
Всё, пойдёмте смотреть, пока ютуб работает

Тык

Дожила - букирую себе обеды

✨ Недавно снизошло такое озарение:
чёрный ящик -> собес -> светло-серый ящик
Ещё осознала, что вопросы ради вопросов - это скучно, и у каждого должна быть своя цель.

📝Выявила для себя (не знаю, как у других) такие категории вопросов:
- это база, ну просто нельзя не спросить
- на опыт прохождения собесов (то, что все у всех спрашивают)
- на подумать
- на уровень начитанности
- на душноту
- на практический опыт
- на то, что нужно нам

Заметила, что люди сыпятся на опыте. Вроде есть умное слово в резюме, но начинаешь спрашивать детали - становится все понятно. Прикапываюсь к каждому слову, которое не прозвучало в рассказе о себе, но было в резюме 🥰

🔍А мы все еще продолжаем собесить и искать ДЕ к себе в команду.

Тем, кто писал раньше - я должна была вернуться да/нет или hr с деталями. Простите, если затянулось, но мои предложения хр задвинули подальше🌚 Но я настроила пусть побыстрее через PO (Product Owner)

✏️Так что если ещё хотите или если вы остались без ответа, отпишитесь плиз