🅰️🅱️Увеличение чувствительности в A/B с помощью CUPED

Замечательный доклад от Валеры Бабушкина про технику А/Б экспериментов CUPED (Controlled-experiment Using Pre-Experiment Data), которая позволяет увеличить чувствительность метрик за счёт использования данных, полученных ранее. Чем больше чувствительность, тем более слабые изменения можно замечать и учитывать в эксперименте.

В своем выступлении Валерий Бабушкин объяснил, в чём заключается смысл CUPED и каких результатов можно достичь с помощью него, перед этим разобрав метод стратификации, который тоже помогает улучшить чувствительность.

Запись доклада можно посмотреть здесь, а текстовую версию со слайдами тут.

Ставь 🔥, если скучал по постам с Валерой)

🖥 Что могут спросить на собеседовании на Data Scientist’a

Глобально, есть всего несколько типов вопросов, которые могут встретиться вам на собеседовании. И если хорошо заботать каждый пункт, то с очень большой вероятностью вы сможете пройти в любую компанию.
Какие же бывают типы вопросов на собеседовании?

Алгоритмы
– Конечно, в большинстве компаний отсутствуют алгоритмические секции. Но, так как в крупные IT-компании по типу Гугла, Яндекса рвутся все, им надо было придумать какой-то дополнительные критерий отбора. Поэтому, если вы хотите двигаться в эту сторону, то алгоритмы необходимы. Хороший структурированный материал по ним есть тут

Технические вопросы
– Это есть везде. Задачи на статистику, теорию вероятностей, вопросы на знание библиотек для анализа данных и машинного обучения и т. д.

Анализ реальных бизнес кейсов
– Вас могут попросить решить реальную бизнес задачу. Например, могут дать текст, по которому генерилась картинка через нейросеть. Какие-то картинки с очевидной лажей, а какие-то нет. И нужно придумать схему, чтобы выбирать из нескольких картинок более хорошую.
И здесь нет правильного ответа - нужно мыслить вне рамок задачи и предлагать как можно больше вариантов решения. Чтобы прокачать такой подход, возможно, стоит посмотреть лекции Школы менеджеров Яндекса

Решение прикладных задач (тестовое задание)
– Иногда либо на собесе, либо на дом могут дать задание, схожее с теми, которые вам нужно будет делать на работе. Чтобы подготовиться к этому, можно поделать пет-проекты, которые заодно можно будет включить в резюме. Идеи для них можно поискать на Kaggle, либо поспрашивать ChatGPT 🙂

Все эти сферы вопросов очень обширны, поэтому для начала стоит определиться с компанией, в которую вы хотите попасть, и узнать, какие типы вопросов встречаются там.

А еще лучше побывать на собеседовании в эту компанию, чтобы точно знать, к чему готовиться в следующий раз. Но, к сожалению, во многих компаниях действует фриз после неудачного собеседования. И чтобы подготовиться и не словить фриз, можно попробовать сходить на тестовое интервью 🙂

Ставьте огонёчки 🔥 на этот пост, если он был полезен, и включайте уведомления, чтобы читать наши посты первыми))

🏆 Тренировки по ML и Yandex Cup!

Этой осенью Яндекс запускает 2 классных движа, в которых стоит поучаствовать:

1. Тренировки по Machine Learning
Помимо классических тренировок по алгоритмам, в этом году запускается новое направление тренировок по ML, созданное совместно с ШАДом.
Начало 30-го октября, успевайте зарегистрироваться!

2. Yandex Cup
В этом чемпионате стоит поучаствовать как продвинутым data scientist’ам, так и новичкам, чтобы прокачать свои навыки (а возможно и выиграть приз). Всего есть 6 направлений, в которые входят Аналитика и Машинное обучение. Соревнование делится на 3 этапа:
1) 23-29 октября - Квалификация
2) 4 ноября - Полуфинал
3) 2-3 декабря - Финал

Примеры задач на аналитику: *тык*
Аннотации к ML задачам: *тык*
Регистрация открыта до 23:00 29 октября по МСК!

Ставьте:
❤️ – если записались на тренировки
🔥– если зарегались на Yandex Cup
❤️‍🔥 – если зарегистрировались и туда, и туда

Про ML-секции в Яндексе

Нашлось старое, но вполне ещё актуальное видео про то, как проходить ML-секции в Я.
На примере кейса (система подсказка географических объектов) разбирается то, какие вопросы задавать и на что обращать внимание.

Короткий план решения:
1. Стоит уточнить постановку задачи и узнать, где решение будет использовать реализованы ли уже какие-то элементы решения
2. Метрики: бизнес-метрики и технические метрики
3. Что делать на старте? Нужно ли здесь вообще машинное обучение?
4. Если всё-таки хотим обучать модель: данные для обучения, разбиение на train-test, какую модель стоит обучать, как её принимать

Видео тут

Если хотите больше историй про прохождение собеседований - накидайте 🔥 этому посту!)

​​🎨 Классный ресурс, чтобы освежить в памяти темы по ML

Если вы более-менее знаете английский и хотите быстро повторить темы по Machine Learning - вам сюда
Всего тут три больших блока, в каждом из которых есть много интересных визуализаций:
– ML
– ML-Engineering
– Проективная геометрия
– Еще немного по DL

Ставьте огоньки 🔥, если штука и вправду полезная, и сердечки ❤️, если добавили пост себе в избранное))

🎲 50 задачек по теории вероятностей с решениями

В дополнение к посту с подборкой задачников по теории вероятностей делимся с вами оригиналом книжки с 50-ю задачами на тервер и их решениями! Если вы не боитесь английского, то хорошей идеей перед собеседованием будет сесть и прорешать десяток таких задачек, чтобы освежить свои знания по теорверу 🙂. А если боитесь - то в посте с подборкой есть перевод задачника

Вот одна из задачек оттуда:
Купоны в коробках с хлопьями пронумерованы от 1 до 5, и для получения приза требуется набор из 5 различных купонов (1, 2, 3, 4 и 5). Если в каждой коробке по одному купону, то сколько коробок в среднем потребуется для того, чтобы получить такой набор?

Ответ:
≈ 11.42. А решение можно найти на 29-й страничке сборника

Кстати, некоторые задачки из сборника встречаются в бесплатном курсе по теории вероятности от Computer Science Club, который оочень рекомендуется к прохождению

Зажигайте огоньки 🔥 под этим постом и делитесь в комментариях своими любимыми задачками по теории вероятностей)

Воскресили ссылку в закрепленном сообщении 🙂
В ближайшее время докинем туда в том числе и последние посты!

Ребята, очень хочется как-то оживить наш канал, что-то в последнее время больно мало активности здесь. Это можно сделать как внутренне (проводя прямые эфиры-мероприятия), так и внешне (устраивая розыгрыши с другими каналами)

В связи с этим, решили провести пару опросов:

⏳ Несколько хороших статей про метрику Retention

Наверное, одна из важнейших метрик у любого продукта - Retention. Если вы еще не знаете, что это такое - бегом читайте статьи ниже! А если думаете, что знаете, - читайте тем более, ведь всего за полчаса можно получить столько интересных мыслей 🙂

– Как считать Retention rate: про разницу между N-day retention и Rolling Retention + еще несколько способов расчета метрики
– Рычаги влияния на Retention: на примере Uber'a показывают, какие ключевые факторы определяют Retention и как можно повлиять на них
– Долгосрочный Retention Matter: на примере мобильных игр разбирают, почему нужно учитывать долгосрочный Retention и как именно это можно делать

Мы заметили, что посты про метрики собирают маловато реакций(
Давайте исправим это – если вам заходят такие посты, жмите огонёк 🔥 под ними!

🎻 Ансамбли машинного обучения за 30 минут

Недавно лазили по блогу Александра Дьяконова и наткнулись на статью 2019 года про ансамбли, которая и по сей день остаётся одним из самых подробных обзоров про ансамблирование в рунете.

Ансамблем (Ensemble, Multiple Classifier System) называется алгоритм, который состоит из нескольких алгоритмов машинного обучения

В посте рассматриваются:
– Комитеты (голосование) / усреднение
– Бэггинг
– Случайные леса
– Бустинг
– Стекинг и блендинг
– Однородные ансамбли
– Ансамбли старой школы

Чтобы полностью понять публикацию, достаточно базовых знаний ML и теории вероятностей.
Читайте статью, и не забывайте ставить огоньки под нашими постами! 🔥