👍 Мы вас видим насквозь!

📌Давайте тезисно внесу вас в курс дела! Конференция о том, как понять, сколько вы (или компания) зарабатываете, имея на руках БОЛЬШИЕ ДАННЫЕ. Не секрет, что ВСЕ компании так или иначе собирают о нас с вами данные. Наши цифровые двойники уже давно живут в сети и именно на них и охотятся рекламные кампании (Кому показать рекламу, чтобы он точно купил).

❌ Но вы-то не такие простые... мы знаем, что вы все поставили себе блокировки рекламы. А не тут-то было...скажу я вам. Алгоритмы тоже не дураки и найдут вас там, где вы и не ждете. Потом не удивляйтесь, почему вдруг вам начнет показываться реклама о товаре, о котором вы лишь устно беседовали на кухне, сидя за столом. Машины не спят, в отличие от вас. Все на крючке)))

💻 Сегодня было больше про воронки, оптимизацию рекламы, метрики. Завтра будут более технические выступления с нашими DWH, ETL, ChatGPT + Data и работу с данными. Я стараюсь фиксировать моменты, которые мне слышатся впервые. Буду порционно делать посты. Вообще реклама - это прям НЕТРИВИАЛЬНО. И много много слов, типа мэтчинг, косты, cpa, cpc, utm метки, куки
(если 90% слов вы поняли - респект)

P.S. Кстати, можете еще следить за моими сториз - @halltape
Туда я выкладываю видосы с конфы, фотки и вообще рабочие будни...
P.S.S. Еще проходили сегодня тест от Яндекса и нашли ошибку! Все в next постах

👍 Мой вопрос спикеру на ММ23!

Когда я проходил onboarding (вникал в работу на первых неделях), мне часто приходилось тревожить коллег по разным мелочам (А зачем это? А это для чего? А откуда это брать? А кто держит эти данные и т.д.).

❕Так вот мне постоянно приходила мысль, а почему условный GigaChat не обучить на документации Сбера и поначалу тормошить именно его, а не свою команду. "Чат" никогда не устанет и не утратит энтузиазм в общении. При этом мы сократим время на onboarding нового сотрудника и даже обезопасим человека от страха задать глупый вопрос по предметной области.

☹️ Я прекрасно понимаю, что чувствует человек, когда его отвлекают на середине написания кода или мыслительного процесса, где нужно быть довольно сосредоточенным. Хоть chatGPT – это больше Т9 на стероидах, но все же умная машина. Давайте побережем психическое здоровье людей.
Пусть вкалывают роботы, а не человек.

🔵BIG DATA для самых маленьких и тех, кто еще не родился

🗣 Начал писать свой deep dive гайд по Hadoop в стиле, чтобы поняла даже бабушка, но при этом затрагивая все нюансы и тонкости. Начиная от того, как работает жесткий диск и заканчивая распределенными вычислениями. В супер ненужные дебри я конечно не полезу, цель пройти этот путь от Экселя до БИГ ДАТА и понять, почему оно опять работает ТАК МЕДЛЕННО!

📂 Все собираю из личной практики, нескольких сберовских курсов, а также рекомендаций коллег. Процесс вообще небыстрый. Ждите в 2024 году.

✖️ Аналогично интересно сделать по Spark, Airflow. И потом естественно я запакую это всё в супер курс и продам за столько денег, что можно будет купить OpenAI и переименовать её в «Как тебе такое Илон Маск?»

P.S. Забавно, что этот пост я писал вчера, а сегодня вижу новость, что Сэма Альтмана уволили из OpenAI 📹

⚡️ Конференция МатеМаркетинг прошла, а эмоции остались!
Встречайте наше видео о ней!

🎞 https://youtu.be/415tegXryak?si=YUaQLH5UWd8PGmrN

Это история о том, как:
● Мы встретили на стройке МатеМаркетинга '23 первого античного спикера и не смогли взять у него интервью
● Заключили важную сделку и подсекли крупную рыбу
● Порешали вкусные кейсы у СберМаркета и поняли почему у них все упало
● Облажались на собесе у Авито, потому что хотели быть пожарными
● Немножечко душнили

Мы решили заколлабиться с Женей и продолжить работу над youtube-подкастом «За пределами {кода}» вместе. Уже запланировали несколько тем и гостей. Если вам интересно/полезно/весело, то поддержите наш тандем донатами на любую сумму🤑 и ни один DE или DA не пострадает😁

😬 Как бросить это гребанное программирование?

☺️ Очень просто. Вам надо начать устанавливать какую-нибудь базу данных, чтобы просто покрутить одну гребанную табличку на 5 строчек. Вам надо узнать сначала, как работает этот гребанный GitHub. Никто же не пишет сразу, что надо сначала какой-то ssh ключ подключить. Типа ЭТО ОЧЕВИДНО! Нам же в роддоме об этом говорят.

🤔 Надо начать читать книжку по программированию на каком-нибудь Си и не печатать при этом. Надо сначала понять, как работает транзистор в процессоре, а потом уже, возможно, после успешной сдачи экзамена по computer science, можно переходить на Python, Java.

😶 Короче, человеку надо просто программку написать, которая считает, как калькулятор, а ему вместо этого приходится настраивать кучу барахла, которое еще и непонятно как должно работать.

🐡 Чтобы открыть дверь, надо сначала построить дом.

Поэтому, если надо писать код, то используйте сначала онлайн программки. Даже sql можете тестить на сайтах, где за вас все это барахло настроено. Ваша задача разобраться с базовым функционалом, а потом уже будете лезть в настройки окружения, докеры, образы и так далее.

Если времени у вас не сильно много, но потратьте его на печатание базового кода. Посидеть с настройками вы еще успеете! Особенно на Windows!🖥

🟢Завтра с Женей @halltape_data снимаем интервью со мной

Напишите вопросы, который хотели бы спросить: про карьерный путь, про работу аналитиком или лидом, про менторство, блогерство, личный бренд и т.д.

Если вам нравится вопрос из комментариев - смело лайкайте💚

🤑 Что именно я делаю на работе?
НИ ЧЕ ГО!

Шутка. Постараюсь рассказать вам так, чтобы не раскрывать никаких внутренних секретов.

Я открываю Jupyter notebook. Запускаю там Spark код. Прям Shift + Enter нажимаю.

Дальше пишу код, читаю кодом таблички с данными (как на pandas, типа pd.read_csv(table)).

📝 Данные в табличках хранятся, к сожалению, не как в учебных курсах.

Например в разных столбцах разных таблиц одна и та же информация может хранится по-разному:

[{genre, rap}, {song, mother}]

[genre_rap_3738dhdb_$song=mother$%urue]

{genre:rap, song:mother}

🏛 И вот вам нужно в каждом случае писать особый код для каждого случая, чтобы вытащить нужные данные. Никто за вас это делать не будет. Собственно, поэтому вы и дата инженеры.

Но я вам показал уже полуготовые строки. На самом деле там может быть список из списков, в которых внутри сложены такие штуки. И если вы хотите отфильтровать таблицу по genre = rap, то вам нужно сначала распарсить все эти монструозные конструкции.

А еще вам потом это все дело соединять с другими таблицами, у которых тоже также могут храниться данные.

⚠️ Плюс, если таблица большая, то после того, как вы запустили запрос, может пройти до часа реального времени. И если вы сделали ошибку, придется все переделывать и снова ждать.

Можно сохранить на диск сэмпл таблицы. Можно увеличить ресурсы на вычисления. Можно много. Выход есть!

⚡️ На SQL это писать конечно уже неразумно. Там до тысячи строк доходит на все эти чтения, трансформации, сохранения временных табличек.

💡 Я уже начал разбивать Python скрипт на отдельные файлики. Чтобы у меня каждая временная таблица собиралась отдельно в своей функции. Есть даже функция, которая отдельно удаляет все временно-записанные файлы с диска.

Плюс, если у меня появится доп данные, я всегда смогу их Union к уже имеющимся таблицам.
Хотите еще таких постов с примитивным объяснением, ставьте огонек! 🔥

🔥В субботу сняли 2 интервью и наснимали со мной 2 часа😂

Рассказала:
• про работу в одной компании 8 лет и как там получала зарплату 25 000 р.
• как и почему решила идти в аналитику, про обучение и мотивацию
• как факапила отклики и собесы, про плохое резюме и самозванца
• как поработала 1 месяц системным аналитиком
• как попала в Сбер и про тестовое задание
• про удаленку в Сбере
• как я стала лидом за 1 год и депрессию
• про команду, про первый набор аналитиков и мои страхи
• зачем мне менторство и личный бренд
• где брать pet-проекты джунам

Осталось понять, что вырезать из него, чтобы остался хотя бы 1 час😁

🟣Шпоры по SQL - Pandas - Python - Docker

Эти шпоры я писал, когда учил SQL - Pandas - Python - Docker и мне хотелось записывать все, что я долго искал в качестве решения.

😥 В итоге я конечно только пару раз туда заходил почитать. Можете также один раз пробежаться. Если что-то зацепит, то супер, если нет, то все равно столкнетесь на рабочих задачах. Просто имейте в виду.

⭕️ Все эти заметки я ввел в Obsidian. Там вы пишете файлы в формате .md(Markdown)
Собственно это очень удобно для заметок, где нужно писать много примеров с кодом. Он автоматически все подсвечивает на всех языках. Есть удобный режим чтения, есть приложение для телефона. Рекомендую, если нужны заметки, где хочется вставлять куски кода и чтобы это выглядело топово.

Шпоры документом ниже 🔽🔽🔽