А/Б в маркетинге или пачка факапов

До 2022 мы пользовались Google Optimize и тесты проводили пачками. Было удобно и мы не парились над расчётами: сервис помогал и задизайнить тест, и контент на странице поменять, и результаты подбить

Но Google прикрыл нам все наши аккаунты и мы остались ни с чем. Я тогда ещё была джуником и не вникала сильно, к тому же не было еще такого ажиотажа. Ну тесты и тесты. Ну концепция понятна, чего так носятся с ними😁

Мы попытались затащить в банк внешнее решение, но у безы очень много требований, в том числе и на запрет стороннего изменения контента сайта

Тогда ребята-аналитики из соседней команды пришли к разрабам сайта и сказали: сделайте нам сплит трафика.

Сплит сделали на основе ClientID Яндекс Метрики и слали события с вариантом теста. У нас неавторизованный трафик, поэтому других стабильных идентификаторов нет

📈Что в таких случаях стоит проверить:
1. Есть ли пользователи, у которых и А и Б вариант
2. Есть ли пользователи, у которых вариант один, а контент (страница) относится к другому варианту.
3. Есть ли пользователи у которых ни один из вариантов не проставился
4. Есть ли пользователи, которые увидели 2 варианта, но проставился один

И какая доля таких аномалий от общего трафика⬆️

Я столкнулась со всеми этими болячками😁. Тут важно понять их природу и принять решение принимаем мы такую погрешность или нет. У нас была проблема в моменте загрузке скрипта сплита: он ждал загрузки всей страницы. Я очень рада, что среди разработчиков сплита, оказался неравнодушный человек, который помог найти и пофиксить баг

Ну и, конечно, на таких решениях обязательно стоит проводить А/А тесты, чтобы понять адекватность инструмента

А если у вас есть возможность все-таки пользоваться рыночными (Varioqub, Trisigma, Sigma, UX Rocket и др.) решениями, то используйте их. А в маркетинге, кроме всего прочего, А/Б можно сделать на стороне рекламной площадки. Яндекс Директ, Нельзяграм позволяет сделать эксперимент внутри площадки. Да будет распределяться только рекламный трафик, но иногда бывает полезно сделать изолированный тест

🧭Что по метрикам:
Мы пока смотрим только CR в заявку. Цель сделать дизайн посадочных страниц раздела b2b Сбера более привлекательным. Чуть позже будем ориентироваться на CR в сделку

Много чего умного уже понаписано по тестам, но пока сам не начнёшь ковырять данные - все слишком красивые и оптимистичные истории😁 да, мы в маркетинге только развиваем это направление из-за миллион ограничений, но зато есть уже на ком учиться в рынке😂

🌸Компетенции Лидера в Сбере не заканчиваются hard навыками своей проф. области.

Каждый руководитель в технологичных направлениях сейчас должен верхнеуровневого разбираться в:

• Архитектуре систем и платформ: знать производстенный процесс разработки и учитывать архитектурные стандарты при разработке продукта (а вы спрашивали зачем я училась на Архитектора систем😁)

• Кибербезопасности: понимать и оценивать риски, принимать меры по их снижению

• Развитии продукта: использовать продуктовый подход и управлять разработкой и масштабированием продуктов

• AI и работе с данными: знать принципы обработки данных, построения моделей, понимать как работают генеративные модели и уметь вписывать весь AI-зоопарк в продуктовые задачи и операционные процессы

И это реально описанный у нас стандарт компетенций🙈

Звучит как очень долго, тяжело и неподъемно. Лично я вижу как все неизбежно несётся в сторону AI и советую начинать разбираться с него. Бигтехи (наши и зарубежные) сейчас создают агентов и co-pilot, вся работа направлена на сокращение рутины и передачу её на AI.

А лучший способ научиться применять генеративный AI в работе — это не читать о нем, а решать практические бизнес-кейсы.

Ребята из GoPractice завернули такой бизнес-кейс в мини-симулятор. За пять часов вы научитесь применять генеративный AI для создания продуктов — без навыков программирования и продвинутых знаний в математике.
По сюжету вы станете частью команды аналитиков известного продукта и будете отвечать за автоматизацию анализа отзывов пользователей.

Если раньше такая задача требовала участия продвинутой команды, то теперь вы можете реализовать ее самостоятельно. Полученные навыки позволят вам применять генеративный AI и для других задач в вашей работе.

Для подписчиков моего канала — бесплатный недельный доступ к симулятору (при обычной его стоимости 9900 рублей)! Этого точно хватит, потому что пройти симулятор можно за несколько часов.

Активировать доступ можно по ссылке: нажмите кнопку «Начать обучение», затем войдите или зарегистрируйтесь и на открывшейся странице нажмите «Получить бесплатно».

Предложение действует до 31 марта 2025.

⚡️Вакансии в команду аналитической платформы.

Работаем с маркетинговыми данными, цифровыми следам пользователей и данными клиентов. Платформа строится для стратегической и аналитической отчетности по маркетингу

У нас сложно (зоопарк из инструментов и технологий, высокая скорость, работа со смежниками, бюрократия), но скучно точно не будет.

Поэтому ищем живых, активных спецов с хардами, которые хотят челленджа и драйва

📍Работа в офисе, Оружейный 41

☑️Junior Data Engineer
5️⃣Требования:
• Можно без опыта
• SQL, Spark, работа с оркестраторами, Git (аналогами)
• Будет плюсом:
понимание web/app аналитики, построение сквозной аналитики, моделей атрибуций, работа с маркетинговыми данными, техническое высшее образование.

💡Задачи:
• Разработка ETL-процессов
• Сборка витрин Spark/Scala по ТЗ от команды аналитиков
• Оптимизация работы таблиц

☑️Middle Data Engineer
5️⃣Требования:
• Опыт от 2 лет
• Опыт работы Spark, Hadoop
• Опыт работы с BigData, построение и оптимизация хранилищ, вывод витрин
• Будет плюсом:
понимание web/app аналитики, построение сквозной аналитики, моделей атрибуций, работа с маркетинговыми данными.

💡Задачи:
• Разработка и построение витрин и хранилищ данных
• Разработка интеграций с другими платформам и системами
• Интеграция аналитических инструментов в платформу

🔘🔘🔘🔘🔘
⚡️Вакансии в команду аналитиков сайта sberbank.ru раздела b2b.

💡Задачи:
• Исследования пользовательских путей, анализ лендингов
• Проведение а/б тестов страниц сайта
• Создание дашбордов и отчётности
• Разработка методологий расчёта эффективности сайта

Нужны специалисты, которые готовы занять активную позицию, хотеть во всем разобраться, быть самостоятельным и не безразличным. За командой сейчас присматриваю я, буду помогать освоиться

📍Работа в офисе, Кутузовский 32, к2

☑️Junior+ Data/Web Analyst. Декретная ставка.
5️⃣Требования:
• Опыт от 6 месяцев
• SQL, Py, мат.стат
• Будет плюсом знание веб-аналитики, экономическое/техническое высшее образование

☑️Middle Data/Web Analyst
5️⃣Требования:
• Опыт от 1,5 года
• SQL, Py, мат.стат
• Будет плюсом работа с системами и данными веб-аналитики, построение сквозной аналитики


🔘🔘🔘🔘🔘
👨‍💻Стек:
Sql, Py, SuperSet, Clickhouse, Hadoop, Spark

✈️Присылайте резюме в личку @IyaZotova

🤢 Брунгильда-токсик

Не тот токсик, про которого постоянные приколы, а прям неприятный. Ни команде, ни стейкхолдерам, ни себе.

А ведь она была хорошей девочкой, заряженной, когда только пришла в команду, во всем участвовала, задачи закрывала.

Сначала Брунгильда бежала на работу, с горящими глазами бросалась в омут задач, но постепенно стала чувствовать нотки усталости после выходных, 2 дня ей стало мало.

Время шло, усталость накапливалась, вместе с ней начала проявляться раздражительность и любое слово от коллег становилось триггером для вывода Брунгильды из равновесия.

Зря потраченное время на никому ненужные задачи (по её мнению), парочка неудач, бесконечная работа, отсутствие отдыха...
... и вот раздражение становилось уже совершенно несдерживаемым: то там кусь, то здесь кусь. Так и покусвала Брунгильда окружающих.

И теперь все задачи выглядят бессмысленными и места для неё, Брунгильды, в этой команде, компании совсем не осталось.

И нет сил ни то чтобы работать, но и вставать с кровати по утрам. Потихоньку Брунгильда начала терять и смысл своей жизни. Безразличие стало просачиваться во все сферы её жизни

Потому что Брунгильда катается на экспрессе «Выгорание»

Причин выгорания может быть большое количество: от непризнания и изоляции коллективом до нарушения lifetime balance и драм в личной жизни.

🚞Экспресс «Выгорание» имеет 4 станции (стадии)

Первые две слабо идентифицируются (даже самим человеком), а на третьей и четвёртой может быть поздно и команда может потерять одну звезду.

1. Станция «Усталость»
Внутри: стадия, когда ты после выходных все ещё усталый, хотя ел, пил, спал, ничего не делал, но так и не «надышался». Внутри появляются первые тревожные нотки

Снаружи: пренебрежение жизнью в сторону работы и нарушенный life-time-balance, снижение внимания, в работе начинают появляться ошибки

🚑 Первая помощь: отправить(ся) на парочку дней в отпуск, чтобы немного выдохнуть и прийти в себя. Пересмотреть свой lifetime

2. Станция «Раздражение»
Внутри: снидение интереса к работе, трудности со сном

Снаружи: рост раздражительности и снижение мотивацию, кусь других

🚑 Первая помощь: тут уже пару днями не обойтись и надо отправлять в полноценный отпуск. Можно предложить некоторое время поработать удаленно (если вы работвет в офисе, конечно)

3. Станция «Токсик»
Тяжёлая стадия для всех участников в команде, а не только для токсика).

Внутри: отстранение от работы, высокий уровень раздражения и недовольства работой. Не хочется вставать по утрам и заниматься работой

Снаружи: токсичность. Особенно, если человек был нормальный и стал токсично-раздраженным (некоторые перманентно в состоянии токсичности и дело не в выгорании😁 )

🚑 Первая помощь: тут отпуск (длительный) может помочь 50 на 50. Либо человек отдохнёт и восстановится, либо покинет команду. Я бы порекомендовала ментора, психолога (и себе, и сотруднику)

4. Станция «Дистресс и апатия»
Внутри: ещё больше не хочется вставать по утрам, депрессия, полная потеря интереса к работе, распространение обреченности на все сферы жизни

Снаружи: безразличие, отстранненность. Отсутствие мотивации, активности

🚑 Первая помощь: только психолог и длительный отпуск

---
Как обычно на Брунгильде показываю вам все краски путешествия на экспрессе «Выгорание», я лично несколько раз доезжада до станции «Токсик» или двигалась по направлению к ней😁. Сейча мне больше всего помогает работа с психологом, регулярно хожу и, несмотря на трудности на работе, я нахожусь в ресурсном состоянии, хочу и жить и работать.

На мой взгляд, проблема с выгоранием ещё и в том, что вот вы сменили работу, компанию, но если вы не проработали причину, то выгорание случится снова и снова придётся менять работу, а то и сферу

С точки зрения Лидера, простые меры снизить риск пропустить момент, когда ваши звёздочки в команде начали угасать – это постоянные 1+1 с каждым (сама не всегда успеваю, но стараюсь исправляться), отмечать первые признаки выгорания и предлагать помощь.

На какой вы станции?
❤️ - все ок, радуюсь жизни
😢 - на первой/второй
😭 - на третьей/четвертой

Поздравляю, вас повысили! И вы теперь тим лид.

Есть 2 варианта:
1. Вас повысили насильно и вы не планировали там быть. Такое происходит, если некому было передать полномочия, а вы в команде самый умный, или руководитель видит в вас потенциал, который не видите вы

2. Вас повысили и вы хотели там быть. Такое просто происходит😁 ладно, не просто, а скорее всего до этого вы работали в этом направлении, были активны, брали на себя ответственность не только за свои задачи, но и за задачи команды и т.п.

Лично я всегда хотела расти в менеджера, поэтому в первом случае могу только догадываться о ваших чувствах на основе чужого опыта. И для вас скорее новость может оказаться не самой приятной. В этом случае будет тяжелее и работать придется больше и внутри и снаружи)

Не важно какие причины привели вас к lvl up. Важно, что как прежде вы работали – работать не будет. А как по новому работать – вы ещё не знаете. После повышения ответственность за выплывание лежит на двух сторонах: руководителе и новоиспеченном Лиде.

Руководителю нужно теперь уделять больше времени своему новобранцу: передавать опыт и методы управления, быть более эмпатичным и отслеживать знаки выгорания, давать лично обратную связь и отправлять своего новичка учиться и общаться с теми, кто этот опыт проходит или проходил недавно и у кого свежи еще эти воспоминания. А ещё брать обратную связь о лиде к его подчиненных (до меня это дошло буквально недавно, ахаха)

А самому тим лиду дать себе возможность разобраться в своих чувствах, дать себе время на попробовать.

У любого бизнес-проекта должны быть критерии выхода из него. Критерии по которым проект считается не жизнеспособным и должен быть прекращён (напр., не выход на окупаемость, отсутствие спроса, невозможность технической реализации, время и т.п.), как бы много сил в него не было вложено.

Ваша новая должность такой же бизнес-проект. Получится или нет – вы все равно возьмете бесценный опыт и станете лучше понимать себя и свои желания.

Ставьте критерии времени, например, что пол года вы пробуете и если вам нравится (и не обязательно, что все получается, так скорее всего не будет😁), то делаете пролонгацию.

Ключевой критерии нравится/не нравится.

Если не нравится, то что именно не нравится, какая часть и можно ли что-то сделать чтобы начало нравиться.

Это будет сложный период перестройки. После эйфории и радости от новости может накрывать тревожность: а примут ли меня, а получится ли, а прошлый лид знал больше (делал лучше), а я вообще рядом не стою и куча подобных мыслей. Я надеюсь, что вы в это же время не будете переезжать или писать диплом, чтобы совсем не накрыло😁

Ваша задача в этот период себя поддерживать, разрешить ошибаться и найти дополнительные опоры (психолог, ментор или наставник, друзья с похожей ситуацией и т.п.).

А самое главное, будьте бережнее и прислушивайтесь к себе. 💚

Интересные мысли на счет AI теперь не покидают никак мою голову, хочу поделиться с вами😁:

Людей не станет меньше, кода станет драматично больше. Люди, не использующие ИИ, будут заменены людьми использующие его

...Сам по себе код перестанет быть ценен, а важна обогащенная постановка с виденьем результата, которая генерирует код

Хотя великие умы ещё не решили откуда браться миддлам, справляющимся с потоком кода и программирующих тот самый AI, если джуны будут заменены😁 змея, кусающая себя за хвост🐍

На одном собесе девочка сказала, что те, кто работает фулл тайм офис, у того нет ничего в жизни, кроме рабты

И я такая: я что шутка для тебя какая-то😂 ахаха

И нет, это не поменяло впечатления о ней – я б взяла ее)

Что вы думаете об этом? Есть ли жизнь после работы в офисе?)

P.S.: Всех причастных с праздником Пасхи✨🧁🥚

Мама, я ИТ-лид😅

Началась новая эра моей карьеры, я теперь ИТ-лид кластера (направления), хотя всегда себя недооценивала на эту роль, но вот, кажется, доросла😁

Абсолютный интерес к новой должности и снова переживаю на собесах (потому что собешу теперь и SA, и DE, и QA, и MLOps, и пр., и пр.)😁

Есть, конечно, и другие переживания: неизвестные стеки и технологии, непростые решения, влияние на развитие направления и людей!, ответственность перед нашим Лидером, да и как там мои звездочки-аналитики справятся, и куча всего ещё). Но у кого этого не было на новом месте?

Очень рада, что у нас команда классных ребят и на них можно опереться, если что-то не понятно или нужна помощь❤️

Чувство, что, когда я пришла в Сбер, я пересела с велосипеда на болид🏎