🟢Завтра с Женей @halltape_data снимаем интервью со мной

Напишите вопросы, который хотели бы спросить: про карьерный путь, про работу аналитиком или лидом, про менторство, блогерство, личный бренд и т.д.

Если вам нравится вопрос из комментариев - смело лайкайте💚

🤑 Что именно я делаю на работе?
НИ ЧЕ ГО!

Шутка. Постараюсь рассказать вам так, чтобы не раскрывать никаких внутренних секретов.

Я открываю Jupyter notebook. Запускаю там Spark код. Прям Shift + Enter нажимаю.

Дальше пишу код, читаю кодом таблички с данными (как на pandas, типа pd.read_csv(table)).

📝 Данные в табличках хранятся, к сожалению, не как в учебных курсах.

Например в разных столбцах разных таблиц одна и та же информация может хранится по-разному:

[{genre, rap}, {song, mother}]

[genre_rap_3738dhdb_$song=mother$%urue]

{genre:rap, song:mother}

🏛 И вот вам нужно в каждом случае писать особый код для каждого случая, чтобы вытащить нужные данные. Никто за вас это делать не будет. Собственно, поэтому вы и дата инженеры.

Но я вам показал уже полуготовые строки. На самом деле там может быть список из списков, в которых внутри сложены такие штуки. И если вы хотите отфильтровать таблицу по genre = rap, то вам нужно сначала распарсить все эти монструозные конструкции.

А еще вам потом это все дело соединять с другими таблицами, у которых тоже также могут храниться данные.

⚠️ Плюс, если таблица большая, то после того, как вы запустили запрос, может пройти до часа реального времени. И если вы сделали ошибку, придется все переделывать и снова ждать.

Можно сохранить на диск сэмпл таблицы. Можно увеличить ресурсы на вычисления. Можно много. Выход есть!

⚡️ На SQL это писать конечно уже неразумно. Там до тысячи строк доходит на все эти чтения, трансформации, сохранения временных табличек.

💡 Я уже начал разбивать Python скрипт на отдельные файлики. Чтобы у меня каждая временная таблица собиралась отдельно в своей функции. Есть даже функция, которая отдельно удаляет все временно-записанные файлы с диска.

Плюс, если у меня появится доп данные, я всегда смогу их Union к уже имеющимся таблицам.
Хотите еще таких постов с примитивным объяснением, ставьте огонек! 🔥

🔥В субботу сняли 2 интервью и наснимали со мной 2 часа😂

Рассказала:
• про работу в одной компании 8 лет и как там получала зарплату 25 000 р.
• как и почему решила идти в аналитику, про обучение и мотивацию
• как факапила отклики и собесы, про плохое резюме и самозванца
• как поработала 1 месяц системным аналитиком
• как попала в Сбер и про тестовое задание
• про удаленку в Сбере
• как я стала лидом за 1 год и депрессию
• про команду, про первый набор аналитиков и мои страхи
• зачем мне менторство и личный бренд
• где брать pet-проекты джунам

Осталось понять, что вырезать из него, чтобы остался хотя бы 1 час😁

🟣Шпоры по SQL - Pandas - Python - Docker

Эти шпоры я писал, когда учил SQL - Pandas - Python - Docker и мне хотелось записывать все, что я долго искал в качестве решения.

😥 В итоге я конечно только пару раз туда заходил почитать. Можете также один раз пробежаться. Если что-то зацепит, то супер, если нет, то все равно столкнетесь на рабочих задачах. Просто имейте в виду.

⭕️ Все эти заметки я ввел в Obsidian. Там вы пишете файлы в формате .md(Markdown)
Собственно это очень удобно для заметок, где нужно писать много примеров с кодом. Он автоматически все подсвечивает на всех языках. Есть удобный режим чтения, есть приложение для телефона. Рекомендую, если нужны заметки, где хочется вставлять куски кода и чтобы это выглядело топово.

Шпоры документом ниже 🔽🔽🔽

😐 Что выдаст запрос?

Вы на собесе, вам задали этот вопрос. Ваши действия?


Собеситесь на ЗП 999 990 руб/мес

#sql

🧐 Почему запрос выше непростой


👩‍💻 Представьте простыню кода на SQL. Вы там написали миллион фильтров, разных преобразований, несколько CTE, оконных функций и прочего. И запрос то отработает. Не будет никаких ошибок.

🫥 Но запрос с column != NULL может быть не в основном, а в каком-нибудь подзапросе или в CTE. И эта штука вернет пустую таблицу вместо ошибки. И ничего не присоединится. А что если это не единственная табличка. В запросе же могут быть еще и другие соединения и UNION. А что, если у нас миллионы строк во всех таблицах.

❌ Короче, ошибку заметить будет оч трудно. Эту тему я увидел у Java разработчика, которому прилетела пустая таблица. Кто-то написал такой фильтр, данные покрутились, но ничего не прилетело. В итоге поиск бага занял время. А можно было его потратить например на просмотр YouTube shorts или Тик токов!

Хватит красть у себя время на деградацию! Каждый заслуживает повтыкать в короткие видосы!

🎞  JAVA: с 0 до middle за 3 года

Гость: Роман, Middle Java-разработчик в Сбере✅

В интервью Рома откровенно поделился:
• почему выбрал путь Java-разработчика
• как учился в Школе21
• сколько прошло времени до первой работы
• зачем нужен язык Си, если будешь работать с Java
• зачем нужно знать алгоритмы
• как повышал зарплату
• про команду
• про то, какие навыки нужны Java-разработчику и когда ИИ заменит программистов
И, конечно, ответил на наш любимый вопрос: в IT по любви или по призванию

🎙Подкаст вышел супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://news.1rj.ru/str/Lady_Analyst
Женя: https://news.1rj.ru/str/halltape_data

🫥 Комменты к посту выше!

✅️ Задай вопрос Team Lead Дата инженеру!

Собираю острые, громкие и актуальные вопросы Team Lead Дата инженеру! Снимать с ним интервью будем до НГ! Пишите в комменты свои вопросы!

📝 Я уже подготовил свой список, но возможно есть то, что мог бы упустить! Не теряйте шанс!

🪙 Сегодня ты задаешь вопрос Team Lead'у, а завтра он уже берет тебя на работу!

🔥 Огня всем!

🤖 Благодаря ей у меня есть все!

Хочу порекомендовать канал моей коллеги дата инженера Айгуль.

https://news.1rj.ru/str/data_engineerette

✨ Мы с ней в одной команде, поэтому она видит все мои косяки, а я её косяков не вижу… потому что их нет:) 😂

🤖 Айгуль шарит за многие (все) технологии и я часто (всегда) спрашиваю у нее свои глупые вопросы. И она всегда знает ответ. Кажется нет того, чего она не знает. Только если не квадратный корень из буквы У. Этого не знает никто…

🧐 У Айгуль контент будет посерьезнее. Например я жду пост про настройки spark session. А то нет нет, да иногда я занимаю до 40% ресурсов кластера и у нас остается «свободно» минус 7%. Да да, минус бывает не только зимой на улице.

⚙️ Айгуль недавно проводила deep dive по dbt. Если не знаете что это – бегом к ней на канал и ждите пост.

🔵 Короче, если вам уже понятен этот мир sql и pandas и вас совершенно не пугают слова партиционирование, джоба и даги в airflow, значит вы готовы переходить на следующий уровень преисполнения!

Аминь! Т.е. Айгуль!


P.s. И да, AI – это просто совпадение имени. Она живой человек:)

⚠️ HR накрутила опыт!

В ответ на такие требования можно написать:

Про Python узнал вчера. Программирую на Python с пяти лет.

🎞 DATA АНАЛИТИК: Как из зарплаты в 25 000 ₽ войти в IT в BIG DATA
Готово наше новое интервью со мной в роли Героя)

Я поделюсь с вами:
• про работу в одной компании 8 лет и как там получала зарплату 25 000 р.
• как и почему решила идти в аналитику, про обучение и мотивацию
• как факапила отклики и собесы, про плохое резюме и самозванца
• как попала в Сбер и про тестовое задание
• про удаленку в Сбере
• как я стала лидом за 1 год, самозванца и депрессию
• про команду, про первый набор аналитиков и мои страхи
• зачем мне менторство и личный бренд
• где брать pet-проекты джунам

💚Подкаст вышел как обычно супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

✈️Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://news.1rj.ru/str/Lady_Analyst
Женя: https://news.1rj.ru/str/halltape_data