👀Вижу, что откликов нет на гайд, но самое интересное покажу.

💚 1. Самый простой способ что-либо переименовать - это переопределить атрибут df.columns или df.index, like this:

df.columns = ['Объем продаж', 'Средний чек']

Количество передаваемых значений в массиве должно совпадать с количеством столбцов/строк в df.

Этот способ топорный, но я лично использую его крайне часто, он удобен, если:
• вы нацелились переименовывать сразу все столбцы и хотите сделать это оптом
• хотите сделать массовые преобразование исходных имен колонок (например, добавить префикс, привести к нижнему регистру или очистить от лишних символов) и перезаписать их
• хотите снести мультииндексы из колонок и не заморачиваться с их переименованием
Все тоже самое касается и значений столбца с индексами

💚 2. Гибкий способ переименовать - воспользоваться методом df.rename().
Метод и ссылка на доку:
DataFrame.rename(mapper, *, index, columns, axis, copy, inplace, level, errors)

Создадим тестовый DF

df = pd.DataFrame({'ID': ['4', '7', '8', '6', '3'],
'Order Date': ['02/08/2016', '24/09/2018', '17/04/2018', '24/10/2017', '02/06/2015'],
'Class': ['Стандарт', 'Стандарт', 'Стандарт', 'Стандарт', 'Стандарт'],
'Region': ['Калиниград', 'Москва', 'Калиниград', 'Москва', 'Москва'],
'Sub-Category': ['Machines', 'Binders', 'Chairs', 'Phones', 'Storage'],
'Sales': [1112.2, 8006.7, 2955.8, 3050.17, 933.8]})

Рассмотрим варианты работы с методом:

#1.1 Классический вариант:
df.rename(columns={'ID':'id', 'Order Date':'order_date', 'Class':'class'}).head()

#1.2 Используем mapper для переименования столбцов
df.rename(mapper=str.lower, axis=1).head()

#1.3 Используем mapper: очищаем от пробела и тире, приводим к нижнему регистру - получаем snake_case
df.rename(mapper=lambda x: x.replace('-', '_').replace(' ', '_').lower(), axis=1)

Тоже самое можно проделать и с index. Сделаем все индексы четными, поменяв mapper и axis:

df.rename(mapper=lambda x: x*2, axis=0).head()

Результат вывода на скрине
#hard #py

➡️ Параметр level и мультииндекс в методе df.rename()

# Группируем df, чтобы получить мультииндексы по двум измерениям 
df_multi = df.groupby(['region', 'class'])[['sales']].agg([sum, 'mean'])

# 2.1 Переименовываем мультииндекс у колонок, используя параметр level
df_multi.rename(columns={'sales':'Продажи'}, level=0).rename(columns={'sum':'Объем', 'mean':'Средний чек'}, level=1)

# 2.2 Тоже самое, но с индексами
df_multi.rename(index={'Владивосток':'Владик'}, level=0).rename(index={'Стандарт':'Standard'}, level=1)

level нумеруется сверху вниз, начиная с 0

✍️ Результат вывода на скрине

#hard #py

➡️Напомню, что тут так же можно бахнуть функцию в параметр mapper и получить возможность гибкого преобразования значений столбца с индексами. Тут пример более интересный, чем четные индексы)

df_multi.rename(str.lower, axis=0, level=0)

✍️Результат вывода на скрине

#hard #py

💔 Это разбивает сердечко

Знаете, оказалось, что видеть 💩 на материале, который ты старательно готовил и судя по комментариям не зря, задевает мои чувства😔

Да, возможно, я нежный цветочек и не стоит принимать это близко к сердцу, но пока я не нарастила броню и не стала железной Госпожой

Поэтому подумав, я решила, что часть контента перенесу в boosty (https://boosty.to/lady_analyst) и буду отдавать за донат по цене бургера🍔 в точке.

Туда пойдут разборы ошибок на тестовых заданиях и технические фишки, сможете заказать тему и у вас будет возможность получать ответы на любые вопросы. Пока так. Первый пост уже там:

Как сделать свое тестовое задание лучше, чем у 95% соискателей

Лично я сама доначу блогерам, которых читаю/смотрю/слушаю, потому что знания конвертирую потом в деньги, потому что их опыт дается мне за условные 300р, а они его формировали всю жизнь, а так же площадке getmentor.dev, которая приводит мне учеников. Think about it.

✔️Здесь останется годный контент, но там буду делать самый жирный для тех, кому это действительно важно

Те, кто любят 💩-метания, пожалуйста, покиньте канал, вы портите другим обучение. Я ориентируюсь на джунов и тех, кто готовится ими стать, а если вы из гильдии элитных, все знаете и уже получаете 300к/нсек, то вам тут просто нечего делать.

💚Спасибо всем, кто поддерживает, комментируем, лайкает, пробует кодить и донатит. Это наполняет смыслом то, что я делаю в канале

❌«Я ошибся, меня уволят!»

Вот, что думает джун, когда ошибается. А если еще и опыт с прошлыми руководителями был неочень, то он может быть просто в ужасе перед встречей 1 на 1 с лидом (это личные встречи руководитель и сотрудник в концепции agile), ожидая, что тот будет кричать и грозить увольнением.

Да, так может быть. Но это неадекватное поведение.

Во-первых, мне, конечно, повезло, у нас в кластере так не принято. Во-вторых, это не мешает не переживать, если ты не психопат и нормальный человек.

🐣 Я сама не так давно была джуном и всегда очень волновалась перед встречей 1-1, хотя мой прошлый руководитель чудесный человек и лид.

🗿После каждой ошибки я думала, что всёёё, финита ля комедия, пора искать работу, я облажалась.

⚡️Так происходило из-за высокой значимости первой работы в сфере, тревожности, гипперответственности и излишней драматизации (может быть даже катастрофизации).

🧘‍♂Если у вас так же, то: УЗБАГОЙТЕСЬ, выдохните и включите саморефлексию:

Каков масштаб трагедии?
Что меня привело к этой ошибке?
Как я могу ее исправить?
Как мне ее предотвратить в будущем?
Что можно сделать, чтобы снизить влияние ошибки?
Кто или что мне может помочь?

🌱Джун может ошибаться, на то он и джун. Только, я прошу вас, не укладывайте сервера на лопатки и не удаляйте лишние, на ваш взгляд, таблички. Тут ответственность за это уже ляжет не только на вас, но и на руководителя, на тех кто создавал архитектуру, кто давал доступы и многих других людей.

🦄+1 фобия? В идеальном мире это все предусмотрено и аналитиков пускают только в песочницы или витрины без полных прав. Но бывает всякое.

🌱Самое сложное в ошибках - это признаться себе и руководителю, что ты сделал херню. Поэтому смотри пункт про 🧘‍♂саморефлексию и приходи к лиду уже с ее результатами.

🙆Замалчивать, прятаться - не самая лучшая статегия, особенно, если это аффектит на работу команды или имеет больший радиус поражения. Пора брать ответственность. Именно так начинается рост.

🤫Открою секрет, что и не джун тоже ошибается, но в этом нет уже такой драмы и больше саморефлексии, так как опыт берет свое.

В общем, переживания - это ок, не доводите свою ментальную жвачку до катастрофы - чем больше стресс, тем больше ошибок, чем больше ошибок, тем больше стресс. Выходите из цикла.

Ошибки - это всего лишь часть процесса роста и получения опыта. А ваша задача извлечь из них этот опыт😉

#soft

🟢Завтра с Женей @halltape_data снимаем интервью со мной

Напишите вопросы, который хотели бы спросить: про карьерный путь, про работу аналитиком или лидом, про менторство, блогерство, личный бренд и т.д.

Если вам нравится вопрос из комментариев - смело лайкайте💚

🔥В субботу сняли 2 интервью и наснимали со мной 2 часа😂

Рассказала:
• про работу в одной компании 8 лет и как там получала зарплату 25 000 р.
• как и почему решила идти в аналитику, про обучение и мотивацию
• как факапила отклики и собесы, про плохое резюме и самозванца
• как поработала 1 месяц системным аналитиком
• как попала в Сбер и про тестовое задание
• про удаленку в Сбере
• как я стала лидом за 1 год и депрессию
• про команду, про первый набор аналитиков и мои страхи
• зачем мне менторство и личный бренд
• где брать pet-проекты джунам

Осталось понять, что вырезать из него, чтобы остался хотя бы 1 час😁

👨‍💻Ну вот и дожили до этого, в Я.Метрике включили сэмплирование.

Если коротко, то сэмплирование - это когда берется часть данных (выборка) и на их основе строится отчет по всем данным.
Ребята из команды Метрики пишут, что алгоритм умный и корреляцию и распределения все сохраняет и выборка равномерная (в ga тоже есть такая тема, кстати)

Механизм включается, если в отчете более 500к визитов или период больше 6 месяцев. Это касается и интерфейса и API Report. Однако, обещают, что через API Logs (да-да, у метрики 2 апи) сэмплирования не будет, но, возможно, это пока.

С этой штукой живём уже неделю и я заметила, что при одних и тех же условиях в разных счетчиках где-то я могу выставить точность, а где-то нет, при том что визитов там на тысяч 20, а где-то на миллионах визитах выборка 100% 🤷‍♀ понятно, что механизм пока сырой, но он явно начал портить жизнь аналитиков и маркетологов😁

Если вы маленькая компания, то это не должно сильно влиять на вашу работу, а если большая, то пора еще вчера было делать свой кликстрим😀

👀Из этого всего я увидела даже один плюс: сырые данные с данными интерфейса могут расходиться до 10% (что вообще-то много. Это же подтверждают и ребята из Я.Метрики, а не потому что мы криво с данными работаем😂) и заказчикам очень сложно объяснить разницу между интерфейсом и дашбордом (что сильно снижает доверие к данным), а с сэмплированием это будет теперь легко объяснять неточностью данных в интерфейсе😁

Плюс есть, но очень маленький, конечно. Кому-то все-таки придётся покупать Метрику Про... Мы, как аналитики, пока думаем, что делать и какой источник данных использовать как целевой, так как не Метрикой единой, как говорится)

✍️Если у вас есть вопросы и что-то непонятно из моего птичьего языка - пишите, спрашивайте

#hard

🎞Нет разницы в какую сферу в IT вы в катываетесь, хоть в DE/DA, хоть в разработку: придется пройти все круги ада при обучении и поиске работы.

Независимо от сферы вас может заменить ИИ, вы можете факапить собесы, HR может лютовать, а мотивация нестись по склону вниз со скоростью несвободного падения

В новом интервью с Java разработчиком Романом говорим про опыт перехода в айтишечку, так что смотреть всем вкотикам)

#ЗаПределамиКода

🎞  JAVA: с 0 до middle за 3 года

Гость: Роман, Middle Java-разработчик в Сбере✅

В интервью Рома откровенно поделился:
• почему выбрал путь Java-разработчика
• как учился в Школе21
• сколько прошло времени до первой работы
• зачем нужен язык Си, если будешь работать с Java
• зачем нужно знать алгоритмы
• как повышал зарплату
• про команду
• про то, какие навыки нужны Java-разработчику и когда ИИ заменит программистов
И, конечно, ответил на наш любимый вопрос: в IT по любви или по призванию

🎙Подкаст вышел супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://news.1rj.ru/str/Lady_Analyst
Женя: https://news.1rj.ru/str/halltape_data

🚀Рабочий кейс. Часть 1. Определения

Наша команда много работает с веб-данными. Вот вы тыкнули кнопку на сайте Сбербанка, а мы видим, что это кнопка была ткнута и следим за вами😁

Конечно, все эти данные обезличины, по первичным веб-данным мы не знаем, что это Василий Петрович ткнул или конкретная Маша из Петрозаводска.

Если вы слышите в разговоре что-то про хиты или события - это как раз оно - ваш тык по кнопке и есть событие🎉

По всему интернету вы видите рекламные баннеры на сайтах и соц сетях, текстовые объявления в поиске и т.д. Нам как аналитикам из маркетинга интересно, что именно приводит к нам клиентов, чтобы на хороших сайтах рекламу размещать, а на плохих - не размещать😁

Так вот чтобы различать источники, объявления, акции и кампании на каждую ссылку навешиваются GET-параметры.

GET-параметры в url - это все, что вы видите после знака вопроса, например:

url.ru/analyst?p1=сновым2024

p1 - это параметр, а
сновым2024 - его значение.

В digital-рекламе зарезервированы определенные имена этих параметров:

utm_source - источник,
utm_medium - тип трафика,
utm_campaign - рек. кампания,
utm_term - ключ слова,
utm_content - параметры объявления

Подробный гайд на хабре

Пример ссылки с рекламными параметрами:

url.ru/analyst?utm_source=telegram&utm_medium=cpc&utm_campaign=lady_analyst

Параметры могут быть и не быть.

Кроме хитов, есть еще визиты. Визиты - это некоторая последовательность событий, ограниченная временем и источником. Понятие "визит" ушло из GA4, а в Метрике он все ещё есть. В Метрике визит заканчивается, если пользователь бездействует на сайте больше 30 мин или пришел из нового источника.

Если прям по-простому, то у пользователя сменились utm-метки или он пришел с какого-то сайта, соц сетей или с поиска. Это важно для объяснения рабочего кейса.

✍Если тут надо что-то еще рассказать - пишите. В следующем посте продолжу, пока пропитывайтесь маркетинговыми данными😁

#hard

🚀Рабочий кейс. Часть 2.
Представим взаимодействия пользователя с сайтом:

1. Пришел из поиска -> побродил по сайту
2. Пришел по рекламе Яндекс -> оставид заявку

🦄В идеальном мире это 2 визита в яндекс метрике и 2 источника. В неидеальном: в одном из визитов мог произойти разрыв (тут мне вспоминается мем из бородатых 2000х про не единого разрыва! - это не про этот случай😅)

🤔Когда такое происходит?
Если внутри сайта на внутренние ссылки вешаются utm-метки. Например, часто когда хотят отследить, что по баннеру на главной странице перешли в раздел. И все, у вас перетирается источник

🤬НЕ НАДО ТАК ДЕЛАТЬ. Это bad practice!

❌На что это влияет?
1. Сложнее становится отследить откуда все-таки изначально пришел пользователь. Частично можно решить с помощью моделей атрибуции, но не всегда можно и не всегда корректно

2. Рекламные кампании в Яндексе не смогут оптимизироваться на заявку. Если пользователь пришел с рекламы, перешел по баннеру с метками и оставил заявку, то визит порвется на баннере и конверсия припишется не рекламной кампании и в кампании будет 0. Так можно и совсем отключить хорошую кампанию, потому что не увидите в ней лидов, хотя они были

✍Что можно сделать, чтобы все-таки отследить источник перехода на раздел из баннера:
1. Использовать отправку события в аналитические системы
2. Использовать другие get-параметры (любые не utm)

👇Есть вопросы - го в комменты

#hard

🐥Где брать пет-проект для вашего резюме:

1️⃣Самое простое - это взять данные на текущем месте работы.

Тут есть важный момент:
• соблюдайте этику работы с данными: или согласуйте с руководителем или преобразуйте их, чтобы потом не было конфликта с утечкой данных. Я бы ещё указала на материале, что данные преобразованы и не отражают реальности
• если данные есть, но их мало я бы попробовала сгенерировать на основе имеющихся данных синтетику

На своей предыдущей работе, когда я еще не была аналитиком, я пробовала работу с дашбордами, пробовала применять навыки с курса на тех задачах, которые у меня были. Так у меня появился кейс по ранжированию объявлений по недвижимости и кейс с дашбордом по маркетинговым метрикам

2️⃣ Взять любой открытый датасет. Я советую поискать ритейл и еком и провести исследование на этих данных.

Почему именно эта сфера:
• просто найти метрики и примеры. Да и сами показатели +/- понятные и миллион раз уже обсуждались в кругу аналитиков
• популярная сфера на рынке вакансий, где есть биг дата

Примеры датасетов с kaggle:
• eCommerce behavior data from multi category store
• eCommerce Events History in Cosmetics Shop
• eCommerce purchase history from electronics store
• Ecommerce Product dataset
В поиске более 1000 результатов)

3️⃣Вы можете взять проект с обучающего курса, но есть одно НО:
• они все у всех одинаковые
Лично я в этих проектах смотрю на выводы и на то как пишут код. Глубоко не вникаю, так как 100 раз их уже видела. Каких-то преимуществ ваш код скорее всего не даст среди других таких же соискателей.

Я бы допилила хотя бы один проект до крутого результата: сделала бы дашборд и результат исследования сформировала в виде презы или в виде сайта на тильде

✍В любом случае, когда делаете любой проект, посмотрите примеры или сделайте так, как вас учили на Я.Пактикуме/Карпов курсах. В ЯП, я точно знаю, там неплохая структура закладывается, используйте ее.

✍Можно еще прийти к ментору, чтобы получить обратную связь по работе и дотюнить кейс. Ко мне запись осталась только на январь, в декабре уже нет возможности взять новеньких😁

👇Есть вопросы? Го в комментарии

#hard

🐣 Продолжаем про пет-проекты. Судя по вашим репостам тема актуальная.

Я подумала и вот ещё несколько вариантов, где взять данные:

3️⃣Спарсить ФНС, Вики, Yahoo! финансы (возможно, там даже есть апи), Яндекс вордстат, youtube и др. У меня даже папа в эксель получал данные по стоимости акций, уверена, вы тоже справитесь

4️⃣Получить данные с помощью api: я.метрика, вк, youtube и др. Но для этого вам там нужны данные, конечно, в кабинетах.
Нашла для вас на хабре список сервисов с api

5️⃣В каком-то выступлении слышала ещё по открытые счетчики яндекс метрики, но я знаю только про демо счетчик, остальные, кажется, непросто найти

6️⃣В Google Big Query есть открытые датасеты. Был квест до них дойти, но это точно возможно без привязки платежной карты

👇 Если собрались пробовать или пробовали один из вариантов, пишите в комментах, очень интересно

#hard