🎙 Запись мок-интервью на продуктового аналитика в inDrive (кейсы на А/В)

Егор – старший аналитик данных. Он уже проводит А/В тесты на текущем месте, но хотел бы перейти на позицию продуктового (в идеале – growth) аналитика.

На мок-интервью Егор проверит ширину своих знаний в методологии проведения А/В экспериментов на базе inDrive как продукта.

Запись будет полезна как тем, кто готовится к А/В кейсам для собеседований, так и кто хочет больше узнать о подходах в тестировании.

Ссылка на видео:

🔗 https://youtu.be/0lpzZ0nw6-k

На какую тему хотите следующее мок-интервью? Поставьте посту реакцию:

⛄️ – live-кодинг на SQL;
🎄 – live-кодинг на алгоритмы на Python;
💅 – теория вероятностей и мат. задачи;
🐳 – больше продуктовых кейсов;
✍️ – больше кейсов на А/В.

И приятного просмотра!

⚖️ Как деление 90/10 может убить репрезентативность А/В теста

Предположим, мы хотим протестировать изменение в продукте с помощью А/В теста. Самый быстрый способ набрать выборку нужной мощности – сразу делить трафик 50/50 между A и B.

Но иногда это слишком рискованно: если в тесте окажется баг, мы в моменте поломаем опыт половине аудитории. Поэтому для управления рисками часто делят, например, 90/10.

Статистические критерии не требуют, чтобы A и B были одинакового размера. Но при делении 90/10 тесту нужно значительно больше времени, чтобы набрать ту же мощность при прочих равных, что при 50/50.

Чтобы не ждать вечность, обычно приходят к гибридному варианту – Ramp Up: постепенно наращиваем долю тестовой группы, чтобы ускорить набор данных.

И вот тут появляется соблазн «включить всех» и идти, например, по схеме: 90/10 → 70/30 → 50/50. Т. е. весь трафик участвует в эксперименте, просто меняются доли A и B.

Звучит логично, но есть ловушка 🕸

Если посмотреть на пример из картинки выше, видно, что при таком подходе (см. вариант 1) мы теряем репрезентативность. Доли временных когорт в контроле и тесте не будут совпадать.

Решение – наращивать трафик симметрично (см. вариант 2): 10/10 → 30/30 → 50/50. Т. е. отказаться от части пользователей в начале. Так мы всё ещё управляем рисками (подвергаем изменению лишь небольшую часть пользователей), но при этом сохраняем репрезентативность.

#абтесты

🎉 Пятый поток интенсива подготовки к собесам на аналитика стартует уже на следующей неделе

Собесы – это навык. И он не прокачивается на рабочих задачах. Поэтому даже опытные аналитики «сыпятся» на продуктовых кейсах, A/B, live-coding’е и мат. задачах.

Осталось 2 дня, чтобы занять оставшиеся 8 мест на потоке интенсива по подготовке к собесам и основательно прокачаться к горячему весеннему сезону найма.

На интенсиве ты научишься:

🔹 структурно отвечать на продуктовые вопросы;
🔹 уверенно подбирать метрики и гипотезы;
🔹 дизайнить корректные эксперименты, обходя ловушки;
🔹 щёлкать SQL и Python на live-кодинге, а не пугаться редактора;
🔹 решать задачи на тервер и статистику без флэшбеков с универа;
🔹 составлять резюме и презентовать себя, чтобы тебя приглашали.

Интенсив особенно зайдет, если ты:

🔸 хочешь вырасти в зарплате через смену работы;
🔸 переходишь в продуктовую аналитику из смежной роли (аналитики данных, маркетинговой, игровой);
🔸 прошел курсы, а хочешь проходить собесы;
🔸 возможно, доходишь до финалов, но без офферов.

Со следующего года цены на все программы вырастут ~ на 20%. Сейчас можно зайти по текущим.

Оставь заявку на интенсив по ссылке:

🔗 https://nodatanogrowth.com/product-analyst-interview

Если сомневаешься – тоже оставляй: созвонимся, разберём ситуацию и решим, подойдёт ли интенсив под твои цели.

🚀 Выступил на Матемаркетинге'25

Спасибо большое всем, кто пришел на мой доклад! ❤️‍🔥 Вас было так много, что вместе с полной посадкой, образовалось еще и несколько стоячих рядов. В след. раз нужен будет зал побольше.)

Тема доклада, конечно же, была про А/В: «Почему 9 из 10 А/В бесполезны».

По статистике компаний, которые активно проводят эксперименты, только 1 из 10 А/В дает положительный результат в виде роста бизнес метрик. Означает ли это, что остальные 9 из 10 – бесполезны?

В своем выступлении я раскрываю, как нужно относиться к своим А/В, чтобы выжимать максимум пользы из каждого. Надеюсь, что скоро доклад появится в открытом доступе, и я смогу поделиться записью с вами.

На выступлении я упоминал свой чеклист полного цикла А/В. Его можно найти по ссылке:

🔗 https://nodatanogrowth.com/ab-checklist

Веб. версия подходит для быстрой проверки теста. В конце чеклиста можно найти ссылку на Google Sheet формат – его легко адаптировать под себя. Там же есть шаблон дизайна А/В и пример его заполнения.

Чеклист включает в себя 64 пункта, которые нужно учитывать на разных этапах проведения теста. С одной стороны, он позволяет поддерживать корректность методологии А/В, с другой – стимулирует развитие аналитической культуры.

---

Сегодня я также весь день на конференции. Если хотите увидеться – пингуйте меня в личку @pbukhtik.

🤔 Как развивать продуктовое мышление

Продуктовое мышление – это умение видеть проблемы пользователей, превращать их в гипотезы, а затем в ценность и рост продукта.

Для его прокачки нужно пропускать через себя чем больше разнообразных продуктовых кейсов.

Откуда брать кейсы

Как база – из текущей работы: задачи текущей команды, эксперименты, фейлы, успешные релизы.

Но есть две проблемы:

1) Не у всех на работе есть такие задачи. А кто-то вовсе не на продуктовой роли.

2) Кейсы могут быть слишком узкими. Вы видите только один продукт и его часть, одну индустрию, один тип монетизации.

А между тем кейсы бывают очень разными:

- по индустрии: FinTech, Ecom, RideTech, EdTech и т. д.;
- по монетизации: подписка, транзакции, реклама, freemium;
- по стадии компании: поиск product-market fit, масштабирование, плато, pivot;
- по типу продукта: B2C / B2B / marketplace / платформы.

У вас может быть специализация. Это нормально. Но широкий кругозор:

- ощутимо упрощает переход между компаниями и индустриями;
- помогает находить неожиданные решения, комбинируя чужой опыт со своими задачами.

Второй путь: формировать насмотренность на чужих кейсах

Если своих кейсов мало, их можно «подсматривать» у других.

🔸 Смотреть продуктовые доклады и разборы с конференций / митапов. Обращать внимание не только на решение, но и на нюансы: формулировку проблемы, контекст, ограничения, метрики.

🔸 Читать продуктовые статьи и кейс-стади. Разбирать: какая была гипотеза, как её проверяли, почему выбрали именно такой подход, какие выводы сделали.

🔸 Изучать продукты: какие фичи есть и как они устроены, что работает хорошо и что плохо, какие подходы используются. В блогах и changelog'ах продуктов можно также найти много полезностей.

🔸 Изучать отчётность публичных компаний (earnings calls, презентации для инвесторов). Это топ-уровень продуктового мышления: какие сегменты растут, куда компания смещает фокус, как она объясняет свои продуктовые решения.

Главное не просто «потреблять контент», а каждый раз прогонять его через себя: я понимаю, почему сделали именно так? Что бы я сделал иначе? И в идеале вести дневник с идеями на основе изученного.

Развитие продуктового мышление – это бесконечный процесс. Но, как и любой навык, он растёт только там, где вы регулярно сталкиваетесь с разными кейсами, осознанно их разбираете, фиксируете выводы и применяете их на практике.

Хотите подготовлю конкретные упражнения для развития продуктового мышления? Тогда поддержите пост огоньком 🔥

🔥 Сборник популярных софтовых вопросов с разборами

Когда на собеседовании задают заезженные софтовые вопросы, порой хочется отвечать примерно так:

– Кем ты видишь себя через 5 лет?
– Сейчас мне 27. Вероятно, 32-летним человеком.

– Как ты относишься к переработкам?
– У меня есть компостер для органики.

– Расскажи о конфликте на работе и как ты его решил.
– Перенёс дедлайн. Конфликт решился естественным путём.

– Почему ты ушёл с прошлой работы?
– Они перестали платить, я перестал работать.

– Твоя самая большая ошибка?
– Согласился катить А/В в пятницу. Зато со всеми познакомился.

Шутки шутками, но их задают. И отвечать на эти вопросы всё равно нужно уметь:

🔹 Какими-то вопросами вас проверяют на риски;
🔹 Через какие-то вы можете классно раскрыть свой опыт;
🔹 А какие-то сами по себе – красный флаг о работодателе.

Я собрал в одном месте разбор 20-ти самых популярных софтовых вопросов. Для каждого вопроса есть описание того, что хочет услышать интервьюер, а также как стоит и не стоит отвечать с примерами.

Сборник доступен по ссылке:

🔗 https://docs.google.com/spreadsheets/d/1VyLDhiHsm2sLa2Rhfh_x23O7MMakwuFnMCS5Qm2Hq_A

Это первая версия сборника, и вы можете помочь его наполнить. Каких вопросов в нем не хватает? Поделитесь в комментариях 👇

💡 Как простой трюк избавляет от подглядывания в А/В

Продакты любят «подглядывать» в А/В тесты:

День 3: «О, p-value 0.049, может выкатим?»
День 4: «Эээ, уже 0.12… Ладно, подождём»
День 7: «0.01! Завершаем 🚀»

При таком «мониторинге» теста ошибка первого рода становится гораздо больше заявленных 5%.

Неплохой способ борьбы с этим – объяснить менеджеру, что так делать нехорошо. Например, на примере симуляций. И порой это срабатывает.

Но часто этого оказывается недостаточно. И вот лайфхак, который не раз выручал меня против слабой аналитической культуры:

Спрятать p-value на время эксперимента.

Что это значит на практике:

🔹 Не отображать в дашборде во время теста p-value, значимо / не значимо и зелёных / красных маркеров успешности;

🔹 Вместо этого показывать трафик по веткам, метрики и прогресс до нужного объёма выборки (например: набрали 63% от плана);

🔹 Показывать p-value только после того, как наберется выборка и можно подводить итоги.

Таким образом мы стимулируем соблюдение методологии, а также избегаем вредных триггеров и дискуссий.

Типовые возражения можно парировать так:

❓ «Но мне нужно знать, как идёт тест!»

– Без проблем: вот метрики и графики. На них видна реальная картина. Просто без преждевременного ярлыка значимо / незначимо.

❓ «Вы же специально скрываете информацию!»

– Нет, мы показываем все данные, просто откладываем решение по статистической значимости до момента, когда тест действительно дозрел. Собственно, как диктует методология.

❓ «А если тест очевидно провален / успешен? Зачем тянуть?»

– Можем предусмотреть правила ранней остановки. Но они должно быть определены на этапе дизайна.

Объяснения и симуляции – это про обучение. Не показывать лишнего – это про систему, которая учитывает человеческую природу. И пока менеджер не открыт к обучению – временно поможет второй подход.)

#абтесты

😰 Начнем неделю с кринжовых историй с собесов

Иногда собеседование – это не шанс попасть в компанию, а шанс вовремя оттуда сбежать.

Я собрал три истории из своего опыта, где «всё понятно» стало ясно ещё до оффера:

1️⃣Маркетинговое агенство

Когда я искал свою первую работу, я ходил на разные собесы. И вот однажды на интервью на маркетингового аналитика я приехал в какую-то глубокую промзону. Окружение было такое, будто меня ограбит первый же прохожий.

«Офис» компании оказался в подвале заброшенного цеха. Длинный узкий опенспейс, низкий потолок.

На входе меня встретил парень, завёл в переговорку и посадил за стол для блэкджека. Диалог начался прямолинейно:

– Сколько денег хочешь?
– от 100к, – твердо ответил я.

Лицо парня мигом сменилось с нейтрально-уставшего на возмутительно-вопросительное:

– Круто для начинающего... Ну ладно...

Дальше – стандартные вопросы. В конце выяснилось, что фиксированного оклада нет: всё зависит от количества задач и проектов. На мой логичный вопрос «А если задач не будет?» последовало неубедительное «задачи всегда есть».

На следующий день мне перезвонили с «оффером». Сказали, что вот парень, который меня собесил, даже 130 зарабатывает по такой системе. Я решил, что все это один сплошной ред флаг, и сразу же отказался.

2️⃣ Консалтинговая компания

Когда-то давно я собеседовался на Data Scientist в консалтинг. Тогда я был максимум крепким мидлом. А консалтинг – это классика жанра: нанять джуна/мидла подешевле, а клиенту продать как сеньора.

Схема была такая: 3 этапа на стороне компании и 1-2 на стороне клиента. Компания проверяет, что не опозорится, показав тебя заказчику. А клиент в основном хочет посмотреть, нормальный ли ты человек и можно ли с тобой работать.

Меня насторожило ещё на скрининге: роль Data Scientist была для них новой. Мне прямо сказали, что у них никто в этом не шарит.

«Окей, а кто тогда будет меня собесить?» – подумал я.

Ответ оказался простым: по ML меня гоняли бэкендер и iOS-разработчик 🤯

По их реакциями было очевидно: они не понимают, что я говорю. Но у них были заготовленные формулировки «правильных ответов». И пока я дословно не попаду в ожидаемую фразу – мы никуда не двигаемся.

Работу в консалтинге я тогда тоже не выбрал.

3️⃣ Быстрорастущий стартап

Менеджерское собеседование с будущим руководителем. Обычный на первый взгляд собес. Только много мата в каждом предложении.

«Ну бывает, человек или коллектив привыкли так общаться» – подумал я.

В конце прозвучал вопрос (почти дословно):

– Готов ху$@ить как не в себя? У нас пи&%ец как нужно перерабатывать. Те, кто не ху$@ит, быстро вылетают.
– Да, конечно – ответил решительно я.
– «Ну их нафиг» – решил для себя я.

На следующий этап я не пошел. Фильтр сработал.

Руководителя, кстати, через полгода уволили. Видимо, тоже недостаточно «ху$@ил».

💡 Итог

Всегда помните: не только компания выбирает вас – вы тоже выбираете компанию. Плохое место с мутными условиями, странными задачами и слабым окружением не даст вам расти. В лучшем случае вы застынете, в худшем – начнёте откатываться назад и терять ценность как специалист.

А у вас были кринжовые истории на собеседованиях? Поделитесь в комментариях 👇

🚂 Разбор задачи про бесконечный поезд

Даже если вы уже знаете решение этой распространенной на собесах задачи, я на 95% уверен, что вы знаете популярное, но неоптимальное решение.

Хотите удивить интервьюера оптимальным решением? Тогда давайте разбираться. Звучит задача так:

Представьте себе замкнутую по окружности железную дорогу. По ней едет поезд, последний вагон которого скреплён с первым так, что внутри можно свободно перемещаться между вагонами. Вы оказались в одном случайном вагоне и ваша задача — подсчитать их общее количество. В каждом вагоне можно включать или выключать свет, но начальное положение переключателей случайное и заранее неизвестно.

Все вагоны внутри выглядят строго одинаково, окна закрыты так, что невозможно посмотреть наружу, движение поезда равномерное. Помечать вагоны как-либо, кроме включения или выключения света, нельзя. Количество вагонов конечно (не верьте заголовку).

Как посчитать количество вагонов?

Если видите задачу впервые, то попробуйте сначала решить ее сами.

А популярный алгоритм решения заключается в следующем:

Пусть в стартовом вагоне включен свет (иначе решаем от обратного):

1. Идём от стартового вагона в одном направлении и считаем шаги, пока не попадём в вагон со включённым светом.

2. В этом вагоне выключаем свет.

3. Возвращаемся назад ровно на столько шагов, сколько прошли вперёд.

4. Проверяем свет в стартовом вагоне. Если он выключен, значит мы случайно погасили именно стартовый вагон, и пройденное число шагов – это и есть число вагонов. Если включён, повторяем процесс.

По этой ссылке можно найти мой шортс с визуальным объяснением решения.

Но у такого решения есть нюанс. Если подойти к этой задаче не как к логической, а как к алгоритмической, то алгоритмическая сложность решения в худшем случае будет ~O(n^2) 🤯. Есть много схожих решений с микрооптимизациями, но порядок сложности они не меняют.

Можно ли решить задачу за линейную O(n) сложность? Сначала также подумайте сами.

А идея решения такая:

1. Включаем свет в стартовом вагоне.

2. Начинаем ходить влево и вправо на отрезки длиной 1, 2, 4, 8, 16, 2^N вагонов. При каждом проходе во всех вагонах слева от стартового включаем свет, а во всех вагонах справа от стартового – выключаем.

В какой-то момент отрезки слева и справа пересекутся: мы окажемся в вагоне, где ожидался уже включенный или выключенный свет, а в реальности окажется наоборот.

Это значит, что круг вагонов замкнулся в этой точке, и мы нашли точное число вагонов.

В комментариях к посту прикрепил визуальный пример.

Итоговое решение имеет линейную сложность. Вуаля ⭐️

Продолжаю разбирать популярные задачи с собеседований? Тогда поддержи рубрику огоньком под этим постом 🔥

#задачиссобеседований

🏆 5 причин, почему стоит перерабатывать на работе

В своей карьере я много перерабатывал. В каких-то компаниях от меня этого требовали ультимативно: «не работаешь в выходные/отпуске – не соответствуешь культуре». А в каких-то я делал это добровально, хотя от меня этого не ожидали.

Я не призываю к переработкам. Но вот 5 причин, почему это иногда может быть оправданно:

1️⃣ Ускорение развития

Если переработка нужна не для закрытия дыр и рутины, а для того, чтобы вникнуть глубже, разобрать сложный кусок или изучить новое — это реально ускоряет рост.

Я часто замечал за собой: если задачу надо закрыть быстро, я делаю её на том уровне, на котором уже умею. А если выделить чуть больше времени и сделать чуть лучше – то с каждым разом скилл будет расти.

Да, полезность дополнительного времени убывает. Но всё равно ты будешь расти ощутимо быстрее, чем тот, кто работает строго по 8 (и тем более 4–6) часов в день.

2️⃣ Инвестиция в свою цель

Можно перерабатываешь не «для начальника», а для себя:

-> Ты начинающий специалист, и хочешь быстрее дорасти до мидла/сеньора с хорошей зарплатой;
-> Хочешь уверенно закрыть испытательный срок и зацепиться за роль с её возможностями;
-> Освоить новый навык (или углубить текущий), чтобы быстрее перейти на другую позицию;
-> Взять на себя больше, чтобы стать руководителем.

3️⃣ Заметность и репутация

Люди запоминают не идеальные планы, а того, кто вытащил сложную ситуацию.

Иногда один вечер, когда ты:

-> взял на себя и потушил неприятный «пожар»;
-> додавил проблему до результата;
-> спас релиз / клиента / команду

делает для репутации больше, чем месяц спокойной работы «как положено».

Тонкий момент: репутация строится не на том, что ты «страдаешь» и «всегда онлайн», а что ты надёжен в критические моменты и умеешь доводить дела до конца.

4️⃣ Когда сейчас нет лучшей альтернативы

Звучит прагматично, но бывает период, когда:

-> ты всё равно дома залипаешь в ленту;
-> нет ресурса/желания на хобби;
-> или это просто «переходный этап».

И в такие окна переработка может стать полезным использованием времени. Это не «работа вместо жизни», это «я сейчас временно делаю ставку на это, потому что мне так выгодно».

5️⃣ Снижение стресса в будущем

Парадоксально, но иногда лишний час сегодня – это минус три часа тревоги или возвращения в контекст завтра. Когда ты понимаешь, что ключевое сделано, мозг наконец перестаёт держать вкладку «надо не забыть».

---

НО! Чтобы переработки не стали дорожкой к выгоранию, должны совпасть три вещи:

✔️ Есть причина (не «так принято», а конкретная цель);
✔️ Есть лимит по времени (например, две недели до релиза);
✔️ Есть компенсация (деньги/отгулы/повышение/опыт/ощутимый результат).

Если хотя бы одного пункта нет, велик шанс, что ты просто поддерживаешь системную проблему: недооценку сроков, нехватку людей, хаос в планировании.

---

Перерабатывать стоит только когда это осознанный выбор с понятной выгодой и сроком. Иначе это просто слив жизненной энергии. А если от вас требуют переработок – пушбэчьте или задумайтесь о смене работы.

📉 Заметили, как на HeadHunter стали реже отвечать на отклики?

Отклики все чаще не просматривают, игнорируют, или прилетает шаблонный авто-отказ.

И пока эффективность HH заметно падает, узкие ТГ-каналы с вакансиями становятся только актуальнее.

Почему?

–> Выше конверсия из отклика в ответ: вы пишете напрямую рекрутеру или нанимающему менеджеру, а не в «чёрную дыру» перегретых входящих и ИИ-алгоритмов;

-> Быстрее цикл: переход сразу к диалогу по делу без бюрократии;

-> Больше прозрачности: можно сразу спросить про задачи, формат, вилку, приоритеты, и без лишних недель ожидания понять, есть ли смысл продолжать.

-> Нанимающие тоже в выигрыше: вместо сотен случайных откликов получают более точный и мотивированный поток кандидатов.

С такой обратной связью ко мне возвращаются по No Data No Jobs – моему телеграм каналу с вакансиями для продуктовых аналитиков. Он дает короткий путь к людям, которые реально принимают решения: заинтересованным руководителям и рекрутерам.

Хочешь также откликаться напрямую – подпишись и не теряй:

🔗 https://news.1rj.ru/str/nodatanojobs

Это не значит что «HH мертв». Это значит, что сегодня выигрывает тот, кто не ограничивается одним источником.

А канал, кстати, уже перешагнул 2500 подписчиков 🚀❤️‍🔥