Запись стрима «Как проходит собеседование на продуктового аналитика в Авито?»

Вместе с Вовой Камчаткиным, продуктовым аналитиком в компании inDrive, увидите, какие вызовы и задачи ждут вас и как к ним лучше подготовиться

Самое интересное:
Рассказ про опыт и вопросы: SQL, Python, ML, продуктовые кейсы
Пример задачи со сложными аналитическими подходами
Техническая задача про кубик (теорвер)
Продуктовый кейс на примере Telegram
Фидбек Вове по итогам собеседования по матрице компетенций аналитиков Авито

Это очень вдохновляюще. Выход из рутины, работа на вечные ценности, вот это всё

https://vc.ru/design/112303-veb-dizayner-prevrashchaet-starinnye-knigi-i-broshyury-19-veka-v-interaktivnye-sayty

via

Недавно прочитал у Романа Нестера пост «Прощай, объективность» про то, что OpenAI планирует внедрить в ChatGPT рекламу и продвижение "партнерского" контента от избранных издателей

При условии, что эта задумка реализуется, высок риск, что ответы модели будут смещены в сторону маркетинговых интересов спонсоров. И это вызывает некоторые опасения, что реклама, интегрированная в ответы ChatGPT, будет казаться органичной частью ответа, и не вся «маркетинговая выдача» будет явно промаркирована как реклама. Тем самым это по сути усиливает манипулятивный потенциал такого ответа от LLM и скрытое влияние на пользователей.

В целом, такой шаг довольно-таки ожидаем и неизбежен. Не хочу звучать как левак, но прозвучу как типичный левак: это закономерный шаг в логике капиталистической системы, задача которой подчинять сущности некоторому императиву прибыли. ИИ-сервисы пойдут таким же путем как и в своё время поисковые системы — включать рекламу для того, чтобы окупить операционные издержки

Кажется в этой же логике может находится и открытие доступа всем желающим к GPT-4o. Видимо, в юнит-экономике монетизация через рекламу потенциально приносит существенно больше, чем платная подписка

Интересно пофантазировать к чему это вообще может привести. Увидим ли мы LLM, в которой будет через аукционную модель реализовываться возможность для рекламодателей изменять веса выходного слоя? То есть не просто рекламные вставки, а непосредственное подмешивание рекламного контента в результаты генерации. В теории это возможно, хотя и сложно, а ещё вызывает кучу этических вопросов

Я думаю, что всё это будет иметь ряд долгосрочных последствий. Попробую попрогнозировать и пофантазировать:
1. Дерьмофикация (такой новоязовский термин действительно существует) ИИ-сервисов — мы все больше будем видеть растущий класс пользователей, которые будут ругаться на обилие рекламы и «раньше было лучше»
2. Попытки со стороны регуляторов явно промаркировать рекламный контент, а также создать рамки, которые призваны бороться с манипулирование поведением потребителя через ИИ
3. Модели ИИ будут обучаться за счет данных, предоставляемых рекламодателями (возможно, как часть сделки). Что в перспективе приведет к тому, что качество моделей будет находится в некоторой корреляции от количества рекламодателей
4. Создание инструментов, которые позволяли бы проверять «объективность» ответов от ИИ — то есть нужны будут какие-то алгоритмы, чтобы чекать некоторый bias моделей в сторону наличия рекламного контента (тут можно дальше уйти и вообще пофантазировать о том, что появятся анализаторы контента, которые будут определять некоторое «намерение» самого контента по отношению к пользователю, например, чтобы чекать политическую пропаганду)
5. Появление аналога адблокеров для LLM
6. Рост open-source моделек как попытки сделать «чистый ИИ». Но тут вопрос опять же о том, что такое этот самый «чистый ИИ» и как может быть ИИ вне идеологии. То есть фантазии об объективном ИИ — это всегда будут некие фантазии на тему объективности, а не объективность
7. Разные виды API. Если OpenAI предложит два вида API - с рекламными механизмами и без них - то вторые могут стоить существенно дороже. Это повысит порог входа и затраты на ИИ для бизнеса.

Внедрение рекламы в ИИ-сервисы, подобно поисковым системам, неизбежно повлечёт за собой значительные изменения в их функционировании и восприятии пользователями. Тут возникает много этических вопросов и открывает путь к новому витку борьбы за "чистый" и объективный контент (хах, верните старый интернет по диалапу). Так что в будущем мы точно ещё увидим интересные события в ходе балансирования между коммерциализацией и прозрачностью и объективностью.

Больше про ИИ читайте у меня в AI FORGE

📊 Хотите прокачать свои навыки в прикладной статистике? Тогда этот пост для вас! 🚀

Открытый курс от создателей Академии Аналитиков Авито 💸

Чему вы научитесь:
✅ Применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат
✅ Использовать специализированные библиотеки Python
✅ Разрешать спорные ситуации при анализе данных
✅ Экспериментировать, выводить критерии, доказывать формулы

🌟 Особенность курса в том, что уроки построены на примере реальных данных и показывают, как решать задачи бизнеса с применением прикладной статистики.

https://avito.tech/education/statistics

Прорыв в прогнозировании погоды: модель Aurora от Microsoft Research

Microsoft Research представили модель искусственного интеллекта Aurora - первую foundation-модель для работы с прогнозированием атмосферных явлений

И новость в целом для меня не столько про метеорологию, сколько про то, что в будущем мы будем видеть всё больше foundation-моделек под соверешенно-разные потребности. В контексте аналитики данных и продуктовой аналитики ждём появления таких моделей для задачек прогнозирования продуктовых метрик (не удивлюсь, если какой-нибудь Amplitude обучит такое на своих данных) на малых и грязных выборках данных

В чем преимущество foundation-модели Aurora:

1. Быстрота и точность: Точные операционные прогнозы с высоким разрешением и ускорением вычислений в 5000 раз по сравнению с традиционными системами

2. Меньшая чувствительность к данным на входе: Универсальная архитектура 3D Swin Transformer с кодировщиками и декодировщиками, позволяющая эффективно работать с гетерогенными данными, минимизируя ручную предобработку.

3. Работа с малыми выборками: Благодаря предварительному обучению на разнообразных датасетах Aurora демонстрирует высокую точность даже на малых выборках при дообучении под конкретные задачи.

Внедрение подобных foundation моделей открывает доступ к надежным метеоданным даже в регионах с их нехваткой. Это открывает новые возможности для аналитики в сельском хозяйстве, энергетике, логистике и управлении рисками стихийных бедствий.

Aurora задает новый стандарт анализа данных в науках о Земле и может стать основой будущих операционных систем прогнозирования погоды и климата.

🎁 Павел Бухтик сделал бесценный подарок всем начинающим продуктовым аналитикам - пошаговое руководство по проведению А/Б-тестов! 📚 Это настоящий клад знаний, который редко встретишь на курсах или в книгах.

🧭 Паша создал этот роадмап, опираясь на свой богатый опыт и лучшие материалы по теме. Он пересматривал проверенные временем видео, перечитывал любимые статьи из закладок и по кусочкам собирал мозаику знаний. Результат - четкая пошаговая инструкция, которая проведет вас через все этапы А/Б-тестирования.

🎯 Каждый шаг руководства состоит из тем-ссылок, нажав на которые вы попадете на конкретный учебный материал. Это как квест, где каждая подсказка ведет вас к новому уровню мастерства. И самое приятное - большинство ресурсов на русском языке, так что языковой барьер не помешает впитывать знания.

💡 Чем это руководство может быть полезно для вашего карьерного роста? А/Б-тестирование – это мощный инструмент продуктовой аналитики. Освоив его, вы сможете на данных проверять гипотезы по улучшению продукта, находить инсайты, влиять на продуктовые решения. Вы станете ценным партнером для продуктовой команды и будете напрямую влиять на бизнес-метрики. А это уже новый уровень в карьере аналитика!

Также подписывайтесь на канал Павла — @nodatanogrowth

Недавно наткнулся на одно утверждение про работу, которое навело меня на мысли про стратегии личного роста внутри коммерческих компаний

Звучало это утверждение так: «Ты – это инвестиционный проект. Ты должен зарабатывать компании деньги. А она будет платить тебе зарплату, засыпать плюшками и обещать уверенность в завтрашнем дне. Для этого нужно постоянно показывать, что ты – выгодная инвестиция»

Немного категорично, но здравое зерно есть. Капитализм — это ведь про бабки, ты — часть капитализма как часть корабля коммерческой организации, а значит твоя работа должна выражается в деньгах. Но есть одно но: не все категории деятельности сводятся к деньгам

Поэтому при всей любви меня как руководителя к цифрам (потому что на цифрах проще принимать решения), я не соглашусь, что любую свою деятельность я должен отражать в количественном показателе, который в итоге переводится в табличку доходов и расходов

Представим, я занимаюсь обучением сотрудников и благодаря моему обучению продакт-менеджеры и аналитики гипотетически могут быстрее выдвигать и валидировать гипотезы. Внёс ли я дополнительную ценность в компанию? Да. Заработал ли я в тактическом горизонте компании больше денег? Сомнительно. Я, конечно, могу организовать двойное слепое рандомизированное плацебо-контролируемое исследование, чтобы определить влияет ли моё обучение действительно на скорость выдвижения, выбора и валидации гипотез и дальше сделать оценку в деньгах. Но в реальности организация — это настолько сложный механизм с таким количеством факторов и переменных, что сделать такую оценку в категориях метрик бизнеса — просто не получится. Я работаю в edtech и знаю, что если концентрироваться только на метриках бизнеса, то мы провалим качественную ценностную компоненту, при этом эта компонента очень сложно проксируется на бизнес-метрику

Поэтому мне кажется, что переформулировать это можно как «ты должен приносить компании ценность»

Офигенно, если эта ценность измеряется в деньгах. И надо признать, что ценность, выразимая в деньгах — это сильный аргумент, который лучше всего работает на руководителей, собственников бизнеса, инвесторов. Но при этом ценность не всегда выражается именно в деньгах. Я могу научиться лучше общаться со стейкхолдерами и как следствие быстрее и эффективнее решать задачи, я могу обучать, выстраивать и оптимизировать процессы, влиять на качественную компоненту бизнеса, организовывать отличные тимбилдинги, быть лучшим в проведении собеседований и тащить в этом всю команду (да ещё и так, что чтобы побывать на собеседовании со мной будет выстраиваться очередь кандидатов на входе) — всё это приносит ценность компании

Поэтому я бы сказал, что для руководителей важно слышать о том, что сотрудник приносит ценность, что у него есть намерение эту ценность наращивать и что сотрудник понимает как эта ценность влияет на общее дело и он может явно это аргументировать. С этого начинается любой продуктивный диалог про повышение, который заинтересует меня как руководителя. И если ко мне придут с тезисом «я тут уже 2 года сижу, а повышения не было», то я постараюсь зафреймить именно в разговор «я готов повышать, но давай подумаем как это повышение будет завязано на рост твоей ценности на горизонте N месяцев, поставим с тобой четкие договоренности и критерии достижения результата, а я со своей стороны буду готов идти обсуждать твоё повышение и пересмотр фот»

Так что тезис «Ты должен зарабатывать компании деньги» я бы переформулировал как «Если хочешь расти в компании, то подумай как ты можешь реализовать себя, чтобы приносить компании больше ценности»

А что вы думаете: лучше зарабатывать деньги, приносить ценность или просто сидеть таски в джире перекладывать?

Я сначала немного приуныл по результатам опроса. А потом подумал «А чё мне приунывать?»: стратегия роста через смену компании — вполне себе ок. Каждый сам кузнец своего счастья

Какой же непрошенный совет я могу дать людям, которые выбирают для себя стратегию частой смены работ?

Обращать внимание на то, насколько текущие рабочие приоритеты соответствуют вашим собственным долгосрочным целям. Долгосрочные личные цели в профессиональном развитии — это то, что позволяет наделять работу смыслом и уменьшать риск того, что работа в какой-то момент начнёт восприниматься как «перекладывание задачек в джире»

Аспект долгосрочного планирования должен быть на переднем плане, в независимости от того какая стратегия выбрана: будь то при частой смене работы ради карьерного роста или намеренном развитии внутри одной компании

Очень важно иметь четкий карьерный вектор и соизмерять свою деятельность с ним. Регулярно задавайте себе вопрос: «где я сейчас?». Например, хочу ли я развиваться в лидера или в принципала? Какие навыки и качества мне необходимо развить для этих ролей? Что важно для моего роста как лидера или какими специализированными знаниями мне нужно овладеть? Как я донесу до стейкхолдеров, что теперь обладаю этими важными качествами?

Не следует работать «наскоками», реагируя только на входящие задачи. Можно и нужно учиться через входящие задачи. Но если вы не смотрите на это обучение через призму ваших долгосрочных целей, то такое обучение получается как бы реактивным (в противовес проактивному) и вы не управляете своей карьерой. Ваши скиллы развиваются «как попало». Важно держать в фокусе свои цели и мотивироваться их достижением, обеспечивая соответствие этих целей вашему внутреннему компасу. Это помогает быстрее расти через входящие задачи

А ещё лучше ставить тебе дополнительные задачи, которые будут продиктованы только вашими стратегическими целями. Попробовать выбить у руководителя немного времени на них. И тогда появляется возможность самому управлять своим бэклогом, что добавляет в работу больше контроля и элемента некоторого творчества

Для того, чтобы успевать думать о своём карьерном развитии, можно выделять раз в месяц в календаре время для вот такого простого процесса:

1. Остановиться — Приостановить деятельность и дать себе время для размышлений
2. Чекнуть ожидания — Сформировать стратегические карьерные ожидания (если ещё не сформированы) или обновить предыдущие ожидания. Лучше их прям фиксировать письменно. Лично я это делаю через голосовое во время прогулки, а потом голосовое перевожу в текст и структурирую через GPT — на то, чтобы начать говорить мне нужно меньше когнитивного ресурса, чем на то, чтобы писать, поэтому голосовое тут хороший icebreaker, чтобы запустить эту работу
3. Зафиксировать разницу — Проанализировать свои ожидания и текущие результаты. Сравнивая первоначальные цели с текущими достижениями, важно понять, в каком направлении вы движетесь и где вам потребуется корректировка стратегии. Разбить результаты на ключевые показатели: что достигнуто, что требует доработки. Зафиксировать, в каких навыках и знаниях вы преуспели, а какие области требуют больше внимания. Хорошим инструментом здесь может быть SWOT-анализ (сильные и слабые стороны, возможности и угрозы). Это позволяет выявить расхождения и планировать действия для их устранения
4. Анализ и планирование — После этого можно отприоритизировать расхождения в соответствии с вашей стратегией. И дальше сформулировать план работы для дальнейшего личного роста. При этом тут можно опираться на текущее представление о планах компании, оценить возможности для использования корпоративных ресурсов (если есть внутренние обучения), свериться с планами развития по грейдам (если они есть), узнать у команды или лида какие сейчас существуют проблемы, где может быть важна ваша включенность. То есть ключевое тут — не смотреть на развитие «в вакууме», а попытаться включить его в окружающую вас среду и возможности этой среды. В итоге, на этом этапе у нас появляется план, который позволит систематически приближаться к своим карьерным целям

Таким образом, не важно планируете ли вы пойти на рынок труда и апнуть себе зарплату в 2 раза или нацелены на развитие внутри текущей компании — вы всегда через стратегическое планирование будете возвращаться к удержанию фокуса на собственном развитии. Это позволит сохранять мотивацию, добиваться поставленных целей и обеспечивать согласованность вашей текущей деятельности с личными карьерными устремлениями

Базовый анализ продуктовых фичей

В статье автор делится своим опытом анализа интерфейсных решений и отдельных фичей продуктов. Основной вопрос, с которым ему приходится сталкиваться: "Зашла ли фича пользователям и приносит ли она доход?"

Автор разработал компактный фреймворк, который помогает планировать исследования и адаптируется под разные продукты

В статье он кратко рассказывает о своём подходе и объясняет, почему важно разбирать продукт на отдельные фичи. Улучшая каждую часть, можно улучшить весь продукт в целом

Основная идея заключается в создании системы метрик для оценки фичи — от её заметности до экономического эффекта. Это помогает сравнивать ожидания с реальными результатами и принимать дальнейшие решения

Обязательно прочтите статью "Базовый анализ продуктовых фичей", чтобы узнать, как шаг за шагом улучшать свой продукт

Opportunity sizing — способ управлять развитием продукта через бизнес-ориентированное мышление

Если коротко и по-простому, opportunity sizing – это количественная оценка гипотезы/фичи/продукта с точки зрения влияния на бизнес (будь то выручка, EBITDA, объем продаж или объем потенциальных рынков сбыта). Вот пришел к вам продакт и говорит, что гипотеза пушка-бомба и надо дизайнить эксперимент, opportunity sizing позволяет оценить потенциальный финансовый эффект от этой гипотезы, затраты на проектирование эксперимента для тестирования гипотезы, а также определить место этой гипотезы среди других гипотез

Подход opportunity sizing позволяет лучше отприоритизировать усилия, оценить потенциал идей, перевести инсайты и идеи на язык бизнес-импакта, что точно увеличит вашу договороспособность со стейхлодерами

В общем, полезный инструмент в арсенале аналитика. Подробнее про opportunity sizing можно почитать в статьях:
🔗Shopify Data’s Guide To Opportunity Sizing
🔗Intro to Opportunity Sizing (by Giovanni Fernandez-Kincade)

Тем временем Anthropic зарелизили Claude 3.5 Sonnet и цифры по математическому бенчмарку GSM8K переваливают за 95%

Надо признать, что GSM8K не только проверяет способность модели выдавать правильный ответ на задачку, но и ее способность правильно решать эту задачу

Вот кстати интересная статья про то как SurgeAI помогали OpenAI в создании бенчмарка GSM8K – https://www.surgehq.ai//blog/how-we-built-it-openais-gsm8k-dataset-of-8500-math-problems

#статья: Как сделать А/B-тест в офлайне, на примере ускорения доставки в Самокате.

В офлайне существуют особенности и ограничения для продуктовой аналитики.
Как же провести А/B-тест в физическом мире? Продуктовый аналитик Илья Лоладзе в своей статье поделится, как с этим попыталась справиться его команда из samokat.tech.

Автор расскажет:

- С какими особенностями и ограничениями может столкнуться продуктовый аналитик в офлайне.
- Стоит ли рассчитывать на интуицию в поисках главной метрики в таком нетипичном эксперименте.
⁃ К каким издержкам нужно быть готовым, учитывая человеческий фактор / Какие подводные камни ожидают продуктовую аналитику в ходе работы офлайн.

Данная статья будет интересна всем продуктовым аналитикам, которые хотят узнать больше о работе с А/В тестами офлайн. А также тем, кто любит эксперименты, внося небольшие изменения в привычный процесс.

https://habr.com/ru/companies/samokat_tech/articles/821777/

Многие спрашивают на консультациях: зачем аналитику развивать продуктовое мышление?

Нанимающие менеджеры ищут аналитиков, способных уточнять задачи через продуктовое мышление. Поэтому, чтобы оставаться востребованным специалистом, аналитику нужен рост «вширь», и развитие продуктового мышления пойдет ему только в плюс

Такое мышление помогает анализировать деятельность с точки зрения пользы для продукта в целом.🔎 Аналитик здесь может увидеть и подсветить важные точки развития продукта через призму своих компетенций и «приближенности» к raw data

Аналитик помогает сгенерировать и приоритизировать гипотезы, оценить потенциал фич и измерить результаты экспериментов 🧮

Аналитик может помочь с определением вектора развития продукта и говорить на языке бизнес-импакта 📈. Когда аналитик говорит: «Эта фича может принести Х миллионов дохода», это резонирует с бизнесом намного больше, чем технические детали. А ещё аналитик может подсветить какие-то тонкие моменты для реализации фичи или проверки гипотезы, чтобы сделать ее успешной или более быстро валидируемой 💸

Со временем у такого специалиста формируется интуиция, что может «выстрелить», а что нет. Поэтому продуктовое мышление делает аналитика полноценным бизнес-партнером и ценным советником для продакт-менеджеров и CPO 🤝

Продуктовое мышление аналитика является инструментом оптимизации дорожной карты развития продукта и влияет на формирование стратегии 📊

Я считаю, что эти навыки делают аналитика более влиятельным в рамках компании и в дальнейшем помогут ему расти и в зоне ответственности, и в зарплате