🔤🔤🔤🔤
Код писать недостаточно!

Вот вы пишите код, крутите таблички свои, но задаетесь ли вопросом:

«А для кого это делаете?»
«А нужна ли эта штука в целом?»
«А как ей будут пользоваться?»

Любые витрины данных или приложения имеют человека, который будет ими пользоваться. Может это даже вы сами или ваш коллега. И всегда есть тех задание. Вот выдуманный пример:

Сделать витрину данных, где будут продажи молочных продуктов, а также наименования банков, по которым люди оплачивали покупки во всех магазинах сети.

И вот здесь мы выходим за пределы знаний join или spark. Это вообще не имеет смысла, если мы в душе не знаем, откуда брать данные по банковским картам. Причем источник может быть еще и составным. И нельзя найти просто таблицу с картами и банком. Может нам сначала надо как раз и собрать этот источник. А таблицы огромные и широкие и быстро их не прощелкать. И столбцы называются как-нибудь «yup_amt». Это что?

Плюсом сложность добавляется, если у нас строки с вложенностью. Какой-нибудь json или список. Это надо еще распарсить.

А по какому полю соединять? А может нужно по двум ключам соединять? А может вообще anti join нужен?

Поэтому нужна грамотно и понятная расписанная документация, ибо без бутылки водки точно не разберешься. А если это сквозная аналитика по рекламе, то надо понимать, как работает CPA сеть, Яндекс Метрика. Иначе все превращается в обезличенный текст на питоне без смысла.

Документация пишется в Confluence. Это что-то типа GitHub, только там текст. Можно делать ссылки на главы, страницы. А также всевозможное форматирование, возможность рисовать схемки, как в draw.io.

И желательно, чтобы документация была написана для бабушки, чтобы экономило время на изучение и не долбить коллег с вопросами.

🟢Анонс интервью!

Подписывайтесь, кстати на канал Ии.

Ну что, уже завтра буду выкладывать видео с новым подкастом, он получился очешуенным!

Гость: Евгений, Junior Data Engineer, сегодня закончился его испытательный срок и началась настоящая игра). Женя, поздравляю!

Женя поделится:
• как выбирал между DE и Кино
• почему не продолжил обучение в Школе21
• что помогло ему найти работу
• как он отказал Центробанку в собесе
• как работается в Сбере и как проходит адаптация
• какие инструменты сейчас использует
• и ответит на главный вопрос: по любви в профессии или за деньги

💚Подкаст вышел супер емким, независимо от IT-профессии

🎞 DATA ENGINEER: ПО ЛЮБВИ ИЛИ ЗА ДЕНЬГИ
https://youtu.be/tltPPLTemzE

Гость: Евгений, Junior Data Engineer в Сбере✅

В интервью Женя делится:
• как выбирал между DE и Кино
• почему не продолжил обучение в Школе21
• что помогло ему найти работу
• как он отказал Центробанку в собесе
• как работается в Сбере и как проходит адаптация
• какие инструменты сейчас использует
• и ответит на главный вопрос: по любви в профессии или за деньги

💚Подкаст вышел супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://news.1rj.ru/str/Lady_Analyst
Женя: https://news.1rj.ru/str/halltape_data

P.S.: А еще Женя просто огненный спец по видео: он снял и смонтировал крутой подкаст, даже находясь в кадре🔥 Женя, восхищаюсь твоим талантом! Искреннее благодарю тебя за участие!🔥

🟢 Всем, кто здесь впервые!
.
👨‍💻 Кем ты хочешь стать и что надо учить?
1) BI аналитик
2) Data Аналитик
3) Data Инженер

👩‍💻 Все твои проекты лучше оформить на GitHub

👩‍💻 Ты все выучил? Тогда начинай решать задачи

👩‍💻 Что спросят на собесах?
Вот теоретические вопросы, а вот задачи.
А вот ответы.

💰 Готов искать работу? Все про резюме.

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

💬 Как написать telegram бота?

Смотрите, рассказываю на пальцах вариант в лоб. Подходов просто несколько и они разные.

Сначала вам нужно создать телеграм бота в самой телеге. Надо написать @BotFather и там по инструкции придумать имя, псевдоним, описание и задать команды. Команды - это типа /start. Про первом запуске бота мы все с вами нажимаем эту кнопку.

👍Отлично. Бот готов. Но он ничего не делает. Теперь надо написать сам код. Код проще писать на python. Но можете хоть на си, хоть на йопта скрипт, если вы мазохисты.

Чтобы наш бот работал нам надо написать код. Поэтому создаем на компьютере файл любого имени, например nagibator_777.py. Дальше пишем свой код, который будет работать в терминале локально. А вот, чтобы бот работал, надо в коде написать строчку типа bot_API_token: “37484948bfjxbeii374849”, где в кавычках надо вставлять токен, полученный от @BotFather.

Так наш питоновский код будет напрямую обращаться к нашему боту по уникальному ключу.

Но теперь надо будет написать специальные функции и методы для телеграм бота. Для этого есть как минимум две библиотеки: telebot и aiogram. Я использовал telebot. Она проще.

С ней вы можете уже принимать на вход сообщения от пользователя, печатать и выводить разные кнопки. Если что, ChatGPT может накинуть вам рыбу кода для этого.

‼️Кстати, как только вы запускаете свой питоновский файл, ваш бот начинает работать. Но как только вылетает ошибка по коду или вы отключаетесь от интернета, то бот автоматически теряет связь и все. Поэтому для работы бота 24/7 нужно использовать сервер - они платные, либо всегда держите включенный компьютер. Самый простой сервак - 200₽/мес. Либо можно использовать Яндекс.Функцию. Но это еще не всё. На сервере надо же скачать telebot как минимум, а может и другие недостающие библиотеки и подобное. Не будете же вы это все заново устанавливать, как у себя на компе.

👩‍💻 Я рекомендую использовать docker для запаковки вашего кода. Докер это все равно, что ваш exe-файл с counter-strike 🎮. Нажал одну кнопку, он сам все собрал, скачал нужные файлы и запустил. Т.е. грубо говоря, вы делаете еще один файл, где пишите инструкцию, типа

Скачай питон
Скачай telebot
Сделай папку
Запусти код

💿 Можете скачать себе код моего бота и запустить у себя

Если есть вопросы, пишите их в комменты к этому посту.

👍 Мы вас видим насквозь!

📌Давайте тезисно внесу вас в курс дела! Конференция о том, как понять, сколько вы (или компания) зарабатываете, имея на руках БОЛЬШИЕ ДАННЫЕ. Не секрет, что ВСЕ компании так или иначе собирают о нас с вами данные. Наши цифровые двойники уже давно живут в сети и именно на них и охотятся рекламные кампании (Кому показать рекламу, чтобы он точно купил).

❌ Но вы-то не такие простые... мы знаем, что вы все поставили себе блокировки рекламы. А не тут-то было...скажу я вам. Алгоритмы тоже не дураки и найдут вас там, где вы и не ждете. Потом не удивляйтесь, почему вдруг вам начнет показываться реклама о товаре, о котором вы лишь устно беседовали на кухне, сидя за столом. Машины не спят, в отличие от вас. Все на крючке)))

💻 Сегодня было больше про воронки, оптимизацию рекламы, метрики. Завтра будут более технические выступления с нашими DWH, ETL, ChatGPT + Data и работу с данными. Я стараюсь фиксировать моменты, которые мне слышатся впервые. Буду порционно делать посты. Вообще реклама - это прям НЕТРИВИАЛЬНО. И много много слов, типа мэтчинг, косты, cpa, cpc, utm метки, куки
(если 90% слов вы поняли - респект)

P.S. Кстати, можете еще следить за моими сториз - @halltape
Туда я выкладываю видосы с конфы, фотки и вообще рабочие будни...
P.S.S. Еще проходили сегодня тест от Яндекса и нашли ошибку! Все в next постах

👍 Мой вопрос спикеру на ММ23!

Когда я проходил onboarding (вникал в работу на первых неделях), мне часто приходилось тревожить коллег по разным мелочам (А зачем это? А это для чего? А откуда это брать? А кто держит эти данные и т.д.).

❕Так вот мне постоянно приходила мысль, а почему условный GigaChat не обучить на документации Сбера и поначалу тормошить именно его, а не свою команду. "Чат" никогда не устанет и не утратит энтузиазм в общении. При этом мы сократим время на onboarding нового сотрудника и даже обезопасим человека от страха задать глупый вопрос по предметной области.

☹️ Я прекрасно понимаю, что чувствует человек, когда его отвлекают на середине написания кода или мыслительного процесса, где нужно быть довольно сосредоточенным. Хоть chatGPT – это больше Т9 на стероидах, но все же умная машина. Давайте побережем психическое здоровье людей.
Пусть вкалывают роботы, а не человек.