Дата-инженерские заметки – Telegram
Дата-инженерские заметки
1.47K subscribers
69 photos
18 videos
7 files
55 links
Пытаюсь выжить в корпоративных реалиях, делюсь вопросами с дата-инженерских собеседований и ссылочками для подготовки к ним

Написать мне: @aylin_gee
Download Telegram
Вопросы с технического интервью в Сбербанк.

Python

Что такое lambda фунции?Что такое декоратор?
На чем написаны коллекции в Питоне(list, set, dict)? Что они из себя представляют и почему их 3?
Что такое GIL?
Чем модуль отличается от пакета?

Spark

Что такое Spark? Его архитектура?

Почему спарк называют ленивым? И для чего его сделали таким?

Рассказать про оптимизатор спарка

3 коллекции данных в спарке, в чем их отличие?

джоба на спраке после того как кинули на кластер падает из-за нехватки памяти. какие дейтсвия стоит предпринять?

Нужно обработать огромную витрину в петабайт, в лоб к ней не подойти. Твои дейтсвия?
#de_собеседование
🔥5
How to заботать Python

Пост актуален для желающих разрабатывать сложные программы, в частности для бэкенд-разработчиков и специалистов в области больших данных. Важно отметить, что все представленные темы ниже играют ключевую роль в подготовке к собеседованиям, в том числе и в топовые компании на позиции стажеров и выше.
Автор поста выпускник одного из нашего прошлого курса по алгоритмам, который без труда попал стажером в сбер на позицию питон разработчика, а сейчас работает в Яндексе.

Предполагаем, что вы уже овладели синтаксисом пайтон, если нет то есть всем известный курс на степеки.
Поколение Python: курс для начинающих
Поколение Python: курс для продвинутых
Тут вы изучите типы данных, условия циклы, функции...

ООП
На ютубе рекомендую просмотреть ООП от JimShapedCoding
правда на английском языке, если не знаете английского то можно посмотреть курс и в качестве практики решаем ООП задачи от codewars.
Не стоит тратить на ООП очень много времени, месяц изучения ООП более чем будет достаточно.

Декораторы

Для начало познакомимся с неймспейсами и декораторами
ну и для чуть чуть практики решаем простые задачи и более сложные задачи также будет полезно ознакомиться с замыканием

Bytecode
Очень полезно ознакомиться с Интерпретатор Python.
Понимания bytecode позволит вам лучше понимать сам язык программирования.
В открытом доступе материалов мало но будет полезно почитать habr и прочитать документацию. (вообще уметь читать документацию очень важно)

Виртуальная машина
Отличной практикой после усвоение bytecode является написания виртуальной машины пайтон на языке пайтон.
почитайте статьи часть1 и часть2
И возьмем git из школы анализа данных в котором уже написаны тесты, виртуальная машина и все что нужно для запуска, но эта виртуальная машина написана для более старых версий питона, и ваша задача переписать на новую версию питона

Pytest тестирование
Pytest достаточно знать на базовом уровне, чтобы уметь тестировать ваш код. Для начало читаем статью на habr и будет полезно пройти мини курс на ютубе. В будущем после освоение всех важных тем будет полезно почитать книгу

Поздравляю у вас уже сильный фундамент и готовы прочитать от и до книгу Python - к вершинам мастерства
дальше как и у всех web, http, api и не забываем про Алгоритмы
🔥41
Fundamentals of Data Engineering_docutr.com(1).pdf
6.5 MB
Одна из самых популярных книг по дата-инженерингу
🔥7
https://yandex.ru/yaintern/schools/summer

Яндекс добавил к своим бекенд школам школу аналитиков
1
Задачка с технического интервью ВТБ

ответы пишем в блокнотик 🥰💗😘
#de_тестовое_livecoding
🥰5🤡2🤬1
SQL задачки из ВТБ
Делаем также в блокнотиках
#de_тестовое_livecoding
4👍2🤡2🤬1😢1
Замечаю такую тенденцию, что технические вопросы теперь задают уже на hr созвоне.

В Яндексе спросили как-то сложность нескольких алгоритмов, в МТС прям сделали мини техническое интервью по sql и спарку.

Ещё чуть-чуть и hr'ов будут брать только после алгособеса:)

Вопросы с hr созвона в МТС на позицию дата-инженера:

Spark:

Назовите стандартный уровень параллелизма в спарке.

Сколько приложений запустится одновременно при стандартном уровне параллелизма?

Что делает функция repartition?

SQL:

Для чего используется GROUP BY?
Как отфильтровать сгруппированные данные?
Посчитаются ли null строки функцией COUNT?
Чем отличаются HAVING и WHERE?
В чем отличие UNION и UNION ALL?
Назовите все JOIN?
В чем отличие INNER JOIN от LEFT JOIN?
Какие бывают оконные функции?
#de_собеседование
13
Списки вопросов с курса на Udemy "Как пройти Junior Python собседование":
2