🔵BIG DATA для самых маленьких и тех, кто еще не родился

🗣 Начал писать свой deep dive гайд по Hadoop в стиле, чтобы поняла даже бабушка, но при этом затрагивая все нюансы и тонкости. Начиная от того, как работает жесткий диск и заканчивая распределенными вычислениями. В супер ненужные дебри я конечно не полезу, цель пройти этот путь от Экселя до БИГ ДАТА и понять, почему оно опять работает ТАК МЕДЛЕННО!

📂 Все собираю из личной практики, нескольких сберовских курсов, а также рекомендаций коллег. Процесс вообще небыстрый. Ждите в 2024 году.

✖️ Аналогично интересно сделать по Spark, Airflow. И потом естественно я запакую это всё в супер курс и продам за столько денег, что можно будет купить OpenAI и переименовать её в «Как тебе такое Илон Маск?»

P.S. Забавно, что этот пост я писал вчера, а сегодня вижу новость, что Сэма Альтмана уволили из OpenAI 📹

⚡️ Конференция МатеМаркетинг прошла, а эмоции остались!
Встречайте наше видео о ней!

🎞 https://youtu.be/415tegXryak?si=YUaQLH5UWd8PGmrN

Это история о том, как:
● Мы встретили на стройке МатеМаркетинга '23 первого античного спикера и не смогли взять у него интервью
● Заключили важную сделку и подсекли крупную рыбу
● Порешали вкусные кейсы у СберМаркета и поняли почему у них все упало
● Облажались на собесе у Авито, потому что хотели быть пожарными
● Немножечко душнили

Мы решили заколлабиться с Женей и продолжить работу над youtube-подкастом «За пределами {кода}» вместе. Уже запланировали несколько тем и гостей. Если вам интересно/полезно/весело, то поддержите наш тандем донатами на любую сумму🤑 и ни один DE или DA не пострадает😁

😬 Как бросить это гребанное программирование?

☺️ Очень просто. Вам надо начать устанавливать какую-нибудь базу данных, чтобы просто покрутить одну гребанную табличку на 5 строчек. Вам надо узнать сначала, как работает этот гребанный GitHub. Никто же не пишет сразу, что надо сначала какой-то ssh ключ подключить. Типа ЭТО ОЧЕВИДНО! Нам же в роддоме об этом говорят.

🤔 Надо начать читать книжку по программированию на каком-нибудь Си и не печатать при этом. Надо сначала понять, как работает транзистор в процессоре, а потом уже, возможно, после успешной сдачи экзамена по computer science, можно переходить на Python, Java.

😶 Короче, человеку надо просто программку написать, которая считает, как калькулятор, а ему вместо этого приходится настраивать кучу барахла, которое еще и непонятно как должно работать.

🐡 Чтобы открыть дверь, надо сначала построить дом.

Поэтому, если надо писать код, то используйте сначала онлайн программки. Даже sql можете тестить на сайтах, где за вас все это барахло настроено. Ваша задача разобраться с базовым функционалом, а потом уже будете лезть в настройки окружения, докеры, образы и так далее.

Если времени у вас не сильно много, но потратьте его на печатание базового кода. Посидеть с настройками вы еще успеете! Особенно на Windows!🖥

🟢Завтра с Женей @halltape_data снимаем интервью со мной

Напишите вопросы, который хотели бы спросить: про карьерный путь, про работу аналитиком или лидом, про менторство, блогерство, личный бренд и т.д.

Если вам нравится вопрос из комментариев - смело лайкайте💚

🤑 Что именно я делаю на работе?
НИ ЧЕ ГО!

Шутка. Постараюсь рассказать вам так, чтобы не раскрывать никаких внутренних секретов.

Я открываю Jupyter notebook. Запускаю там Spark код. Прям Shift + Enter нажимаю.

Дальше пишу код, читаю кодом таблички с данными (как на pandas, типа pd.read_csv(table)).

📝 Данные в табличках хранятся, к сожалению, не как в учебных курсах.

Например в разных столбцах разных таблиц одна и та же информация может хранится по-разному:

[{genre, rap}, {song, mother}]

[genre_rap_3738dhdb_$song=mother$%urue]

{genre:rap, song:mother}

🏛 И вот вам нужно в каждом случае писать особый код для каждого случая, чтобы вытащить нужные данные. Никто за вас это делать не будет. Собственно, поэтому вы и дата инженеры.

Но я вам показал уже полуготовые строки. На самом деле там может быть список из списков, в которых внутри сложены такие штуки. И если вы хотите отфильтровать таблицу по genre = rap, то вам нужно сначала распарсить все эти монструозные конструкции.

А еще вам потом это все дело соединять с другими таблицами, у которых тоже также могут храниться данные.

⚠️ Плюс, если таблица большая, то после того, как вы запустили запрос, может пройти до часа реального времени. И если вы сделали ошибку, придется все переделывать и снова ждать.

Можно сохранить на диск сэмпл таблицы. Можно увеличить ресурсы на вычисления. Можно много. Выход есть!

⚡️ На SQL это писать конечно уже неразумно. Там до тысячи строк доходит на все эти чтения, трансформации, сохранения временных табличек.

💡 Я уже начал разбивать Python скрипт на отдельные файлики. Чтобы у меня каждая временная таблица собиралась отдельно в своей функции. Есть даже функция, которая отдельно удаляет все временно-записанные файлы с диска.

Плюс, если у меня появится доп данные, я всегда смогу их Union к уже имеющимся таблицам.
Хотите еще таких постов с примитивным объяснением, ставьте огонек! 🔥

🔥В субботу сняли 2 интервью и наснимали со мной 2 часа😂

Рассказала:
• про работу в одной компании 8 лет и как там получала зарплату 25 000 р.
• как и почему решила идти в аналитику, про обучение и мотивацию
• как факапила отклики и собесы, про плохое резюме и самозванца
• как поработала 1 месяц системным аналитиком
• как попала в Сбер и про тестовое задание
• про удаленку в Сбере
• как я стала лидом за 1 год и депрессию
• про команду, про первый набор аналитиков и мои страхи
• зачем мне менторство и личный бренд
• где брать pet-проекты джунам

Осталось понять, что вырезать из него, чтобы остался хотя бы 1 час😁

🟣Шпоры по SQL - Pandas - Python - Docker

Эти шпоры я писал, когда учил SQL - Pandas - Python - Docker и мне хотелось записывать все, что я долго искал в качестве решения.

😥 В итоге я конечно только пару раз туда заходил почитать. Можете также один раз пробежаться. Если что-то зацепит, то супер, если нет, то все равно столкнетесь на рабочих задачах. Просто имейте в виду.

⭕️ Все эти заметки я ввел в Obsidian. Там вы пишете файлы в формате .md(Markdown)
Собственно это очень удобно для заметок, где нужно писать много примеров с кодом. Он автоматически все подсвечивает на всех языках. Есть удобный режим чтения, есть приложение для телефона. Рекомендую, если нужны заметки, где хочется вставлять куски кода и чтобы это выглядело топово.

Шпоры документом ниже 🔽🔽🔽

😐 Что выдаст запрос?

Вы на собесе, вам задали этот вопрос. Ваши действия?


Собеситесь на ЗП 999 990 руб/мес

#sql

🧐 Почему запрос выше непростой


👩‍💻 Представьте простыню кода на SQL. Вы там написали миллион фильтров, разных преобразований, несколько CTE, оконных функций и прочего. И запрос то отработает. Не будет никаких ошибок.

🫥 Но запрос с column != NULL может быть не в основном, а в каком-нибудь подзапросе или в CTE. И эта штука вернет пустую таблицу вместо ошибки. И ничего не присоединится. А что если это не единственная табличка. В запросе же могут быть еще и другие соединения и UNION. А что, если у нас миллионы строк во всех таблицах.

❌ Короче, ошибку заметить будет оч трудно. Эту тему я увидел у Java разработчика, которому прилетела пустая таблица. Кто-то написал такой фильтр, данные покрутились, но ничего не прилетело. В итоге поиск бага занял время. А можно было его потратить например на просмотр YouTube shorts или Тик токов!

Хватит красть у себя время на деградацию! Каждый заслуживает повтыкать в короткие видосы!

🎞  JAVA: с 0 до middle за 3 года

Гость: Роман, Middle Java-разработчик в Сбере✅

В интервью Рома откровенно поделился:
• почему выбрал путь Java-разработчика
• как учился в Школе21
• сколько прошло времени до первой работы
• зачем нужен язык Си, если будешь работать с Java
• зачем нужно знать алгоритмы
• как повышал зарплату
• про команду
• про то, какие навыки нужны Java-разработчику и когда ИИ заменит программистов
И, конечно, ответил на наш любимый вопрос: в IT по любви или по призванию

🎙Подкаст вышел супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://news.1rj.ru/str/Lady_Analyst
Женя: https://news.1rj.ru/str/halltape_data