⚡️ Конференция МатеМаркетинг прошла, а эмоции остались!
Встречайте наше видео о ней!

🎞 https://youtu.be/415tegXryak?si=YUaQLH5UWd8PGmrN

Это история о том, как:
● Мы встретили на стройке МатеМаркетинга '23 первого античного спикера и не смогли взять у него интервью
● Заключили важную сделку и подсекли крупную рыбу
● Порешали вкусные кейсы у СберМаркета и поняли почему у них все упало
● Облажались на собесе у Авито, потому что хотели быть пожарными
● Немножечко душнили

Мы решили заколлабиться с Женей и продолжить работу над youtube-подкастом «За пределами {кода}» вместе. Уже запланировали несколько тем и гостей. Если вам интересно/полезно/весело, то поддержите наш тандем донатами на любую сумму🤑 и ни один DE или DA не пострадает😁

😬 Как бросить это гребанное программирование?

☺️ Очень просто. Вам надо начать устанавливать какую-нибудь базу данных, чтобы просто покрутить одну гребанную табличку на 5 строчек. Вам надо узнать сначала, как работает этот гребанный GitHub. Никто же не пишет сразу, что надо сначала какой-то ssh ключ подключить. Типа ЭТО ОЧЕВИДНО! Нам же в роддоме об этом говорят.

🤔 Надо начать читать книжку по программированию на каком-нибудь Си и не печатать при этом. Надо сначала понять, как работает транзистор в процессоре, а потом уже, возможно, после успешной сдачи экзамена по computer science, можно переходить на Python, Java.

😶 Короче, человеку надо просто программку написать, которая считает, как калькулятор, а ему вместо этого приходится настраивать кучу барахла, которое еще и непонятно как должно работать.

🐡 Чтобы открыть дверь, надо сначала построить дом.

Поэтому, если надо писать код, то используйте сначала онлайн программки. Даже sql можете тестить на сайтах, где за вас все это барахло настроено. Ваша задача разобраться с базовым функционалом, а потом уже будете лезть в настройки окружения, докеры, образы и так далее.

Если времени у вас не сильно много, но потратьте его на печатание базового кода. Посидеть с настройками вы еще успеете! Особенно на Windows!🖥

🟢Завтра с Женей @halltape_data снимаем интервью со мной

Напишите вопросы, который хотели бы спросить: про карьерный путь, про работу аналитиком или лидом, про менторство, блогерство, личный бренд и т.д.

Если вам нравится вопрос из комментариев - смело лайкайте💚

🤑 Что именно я делаю на работе?
НИ ЧЕ ГО!

Шутка. Постараюсь рассказать вам так, чтобы не раскрывать никаких внутренних секретов.

Я открываю Jupyter notebook. Запускаю там Spark код. Прям Shift + Enter нажимаю.

Дальше пишу код, читаю кодом таблички с данными (как на pandas, типа pd.read_csv(table)).

📝 Данные в табличках хранятся, к сожалению, не как в учебных курсах.

Например в разных столбцах разных таблиц одна и та же информация может хранится по-разному:

[{genre, rap}, {song, mother}]

[genre_rap_3738dhdb_$song=mother$%urue]

{genre:rap, song:mother}

🏛 И вот вам нужно в каждом случае писать особый код для каждого случая, чтобы вытащить нужные данные. Никто за вас это делать не будет. Собственно, поэтому вы и дата инженеры.

Но я вам показал уже полуготовые строки. На самом деле там может быть список из списков, в которых внутри сложены такие штуки. И если вы хотите отфильтровать таблицу по genre = rap, то вам нужно сначала распарсить все эти монструозные конструкции.

А еще вам потом это все дело соединять с другими таблицами, у которых тоже также могут храниться данные.

⚠️ Плюс, если таблица большая, то после того, как вы запустили запрос, может пройти до часа реального времени. И если вы сделали ошибку, придется все переделывать и снова ждать.

Можно сохранить на диск сэмпл таблицы. Можно увеличить ресурсы на вычисления. Можно много. Выход есть!

⚡️ На SQL это писать конечно уже неразумно. Там до тысячи строк доходит на все эти чтения, трансформации, сохранения временных табличек.

💡 Я уже начал разбивать Python скрипт на отдельные файлики. Чтобы у меня каждая временная таблица собиралась отдельно в своей функции. Есть даже функция, которая отдельно удаляет все временно-записанные файлы с диска.

Плюс, если у меня появится доп данные, я всегда смогу их Union к уже имеющимся таблицам.
Хотите еще таких постов с примитивным объяснением, ставьте огонек! 🔥

🔥В субботу сняли 2 интервью и наснимали со мной 2 часа😂

Рассказала:
• про работу в одной компании 8 лет и как там получала зарплату 25 000 р.
• как и почему решила идти в аналитику, про обучение и мотивацию
• как факапила отклики и собесы, про плохое резюме и самозванца
• как поработала 1 месяц системным аналитиком
• как попала в Сбер и про тестовое задание
• про удаленку в Сбере
• как я стала лидом за 1 год и депрессию
• про команду, про первый набор аналитиков и мои страхи
• зачем мне менторство и личный бренд
• где брать pet-проекты джунам

Осталось понять, что вырезать из него, чтобы остался хотя бы 1 час😁

🟣Шпоры по SQL - Pandas - Python - Docker

Эти шпоры я писал, когда учил SQL - Pandas - Python - Docker и мне хотелось записывать все, что я долго искал в качестве решения.

😥 В итоге я конечно только пару раз туда заходил почитать. Можете также один раз пробежаться. Если что-то зацепит, то супер, если нет, то все равно столкнетесь на рабочих задачах. Просто имейте в виду.

⭕️ Все эти заметки я ввел в Obsidian. Там вы пишете файлы в формате .md(Markdown)
Собственно это очень удобно для заметок, где нужно писать много примеров с кодом. Он автоматически все подсвечивает на всех языках. Есть удобный режим чтения, есть приложение для телефона. Рекомендую, если нужны заметки, где хочется вставлять куски кода и чтобы это выглядело топово.

Шпоры документом ниже 🔽🔽🔽

😐 Что выдаст запрос?

Вы на собесе, вам задали этот вопрос. Ваши действия?


Собеситесь на ЗП 999 990 руб/мес

#sql

🧐 Почему запрос выше непростой


👩‍💻 Представьте простыню кода на SQL. Вы там написали миллион фильтров, разных преобразований, несколько CTE, оконных функций и прочего. И запрос то отработает. Не будет никаких ошибок.

🫥 Но запрос с column != NULL может быть не в основном, а в каком-нибудь подзапросе или в CTE. И эта штука вернет пустую таблицу вместо ошибки. И ничего не присоединится. А что если это не единственная табличка. В запросе же могут быть еще и другие соединения и UNION. А что, если у нас миллионы строк во всех таблицах.

❌ Короче, ошибку заметить будет оч трудно. Эту тему я увидел у Java разработчика, которому прилетела пустая таблица. Кто-то написал такой фильтр, данные покрутились, но ничего не прилетело. В итоге поиск бага занял время. А можно было его потратить например на просмотр YouTube shorts или Тик токов!

Хватит красть у себя время на деградацию! Каждый заслуживает повтыкать в короткие видосы!

🎞  JAVA: с 0 до middle за 3 года

Гость: Роман, Middle Java-разработчик в Сбере✅

В интервью Рома откровенно поделился:
• почему выбрал путь Java-разработчика
• как учился в Школе21
• сколько прошло времени до первой работы
• зачем нужен язык Си, если будешь работать с Java
• зачем нужно знать алгоритмы
• как повышал зарплату
• про команду
• про то, какие навыки нужны Java-разработчику и когда ИИ заменит программистов
И, конечно, ответил на наш любимый вопрос: в IT по любви или по призванию

🎙Подкаст вышел супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://news.1rj.ru/str/Lady_Analyst
Женя: https://news.1rj.ru/str/halltape_data

🫥 Комменты к посту выше!

✅️ Задай вопрос Team Lead Дата инженеру!

Собираю острые, громкие и актуальные вопросы Team Lead Дата инженеру! Снимать с ним интервью будем до НГ! Пишите в комменты свои вопросы!

📝 Я уже подготовил свой список, но возможно есть то, что мог бы упустить! Не теряйте шанс!

🪙 Сегодня ты задаешь вопрос Team Lead'у, а завтра он уже берет тебя на работу!

🔥 Огня всем!

🤖 Благодаря ей у меня есть все!

Хочу порекомендовать канал моей коллеги дата инженера Айгуль.

https://news.1rj.ru/str/data_engineerette

✨ Мы с ней в одной команде, поэтому она видит все мои косяки, а я её косяков не вижу… потому что их нет:) 😂

🤖 Айгуль шарит за многие (все) технологии и я часто (всегда) спрашиваю у нее свои глупые вопросы. И она всегда знает ответ. Кажется нет того, чего она не знает. Только если не квадратный корень из буквы У. Этого не знает никто…

🧐 У Айгуль контент будет посерьезнее. Например я жду пост про настройки spark session. А то нет нет, да иногда я занимаю до 40% ресурсов кластера и у нас остается «свободно» минус 7%. Да да, минус бывает не только зимой на улице.

⚙️ Айгуль недавно проводила deep dive по dbt. Если не знаете что это – бегом к ней на канал и ждите пост.

🔵 Короче, если вам уже понятен этот мир sql и pandas и вас совершенно не пугают слова партиционирование, джоба и даги в airflow, значит вы готовы переходить на следующий уровень преисполнения!

Аминь! Т.е. Айгуль!


P.s. И да, AI – это просто совпадение имени. Она живой человек:)

⚠️ HR накрутила опыт!

В ответ на такие требования можно написать:

Про Python узнал вчера. Программирую на Python с пяти лет.