Доступно и просто о статистике A/B-тестов.
Несколько примеров:

https://medium.com/@rezwan.islam99

via @ABtesting

Анекдот из жизни про A/B тесты: https://www.facebook.com/454859268600716/posts/746949199391720/?sfnsn=scwspmo&extid=LuBD7LdYGbc1Uj8R

Бывает трудно без помощи разработчика отслеживать отправку формы. Частично проблему можно решить отслеживаем видимости элемента в GTM: https://bit.ly/3kPSXIN

Mail.ru Group и hh.ru составили портреты российских специалистов по анализу данных (Data Science) и машинному обучению (Machine Learning). Аналитики выяснили, где они живут и что умеют — а также чего ждут от них работодатели и как меняется спрос на таких профессионалов.

https://habr.com/ru/company/mailru/blog/511104/

Predictive Power Score (PPS) — это метрика, позволяющая определять степень линейной и нелинейной зависимости между двумя колонками, в том числе для ассиметричной зависимости. Эта метрика может быть отличной заменой коэффициента корреляции Пирсона. Пример реализации подсчета Predictive Power Score на Python и сравнение с Пирсоном:

https://www.kaggle.com/frtgnn/predictive-power-score-vs-correlation

Также рекомендую почитать статью про PPS:

https://towardsdatascience.com/rip-correlation-introducing-the-predictive-power-score-3d90808b9598

Вдохновлено постом https://news.1rj.ru/str/ProductAnalytics/249

Увеличиваем чувствительность экспериментов при помощи ранговой трансформации

Мы перевели статью Booking про методику трансформации метрик, которая позволяет сократить время на проведение эксперимента.

Благодаря методики ранжирования значений метрики, можно добиться увеличения чувствительности. Т.е. на меньшем объеме выборки фиксируется меньший MDE.

Встает вопрос с интерпретацией результатов полученой величины. Но об этом в самой статье

Читать статью на Медиуме

Недавно Павел Левчук прошлеся по некоторым стереотипам продуктовой аналитики. И вот №1 - использование сессий в отчетах. И вот сегодня слышу на планерке "Мой бизнес-заказчик привык работать с сессиями". Несмотря на то, что все неплохо размечено событиями и нет большой проблемы добавить еще. И это ни хрена не смешно.

​​Быстро и просто предсказываем временные ряды

Одна из частых задач в работе дата аналитика или дата саентиста это прогнозирование временных рядов. Например: количество выданных кредитов, количество платных подписок, объем экспорта в страну и т. д.

Мой, уже теперь бывший коллега Тимур Фаткулин сделал классный репозиторий с примерами подходов для прогнозирования временных рядов. С помощью этих подходов можно быстро и просто сделать первую модель и затем улучшать.

- Prophet - библиотека Facebook. Очень удобно использовать для первой версии модели, посмотреть тренды: годовые, месячные, недельные

- Long short-term memory (LSTM) - разновидность архитектуры рекуррентных нейронных сетей. Сложно интерпретируемый подход, на большом временном ряде может дать очень хороший результат

- ARIMA - интегрированная модель авторегрессии. Классический метод предсказания временных рядов

- Обучение регрессора c извлечением признаков. Например: XGBoost, RandomForestRegressor и другие. Можно извлекать любые признаки из даты и времени: день недели, праздник, выходной и т.д. Так же для увеличения числа признаков используют и множество других метрик. Например: максимальное/минимальное значение, наблюдавшееся в скользящемпо ряду окне, медианы, число пиков, взвешенные дисперсии и многое другое. Автоматически этим можно сделать с помощью библиотека tsfresh.

Дополнительный материал:
- Prophet - https://facebook.github.io/prophet/docs/quick_start.html
- Лекция - Прогнозирование временных рядов https://www.youtube.com/watch?v=u433nrxdf5k
- tsfresh - https://tsfresh.readthedocs.io/en/latest/

Отличный мануал настройки обновления отчетов в Power BI из Google Analytics: https://bit.ly/2EhsoeY

Автор статьи показывает, как можно преобразовать записи речи в текст с помощью Python.

https://proglib.io/w/412ab455

Такой вот алгоритм из Макса Планка и Facebook Reality Lab, который позволяет через ре-рендеринг текстуры переодевать людей в новую одежду, и даже применять это к видео! Пока качество хромает (очень), но вот перспективы у последнего великие, только представьте, как легко и дешево можно будет генерить видео-демонстрацию одежды для e-commerce.
Жду с нетерпением.

Data Science Projects with Python (2019)
Автор: Stephen Klosterman
Количество страниц: 374

Данная книга является практическим руководством по стандартным инструментам анализа данных и машинного обучения на Python. Она поможет вам понять, как можно использовать pandas и matplotlib для изучения наборов данных со сводной статистикой и графиками, а также для извлечения полезной информации, которую вы хотите получить.

Скачать книгу

Байесовское тестирование: https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python

​​А вот и пример использования динамических параметров Data Studio в SQL-запросах BigQuery.

@BigQuery

Bootstrap - один из интереснейших методов анализа A/B тестов. На мой взгляд, он недооценен и не так широко применяется, как мог бы.
Немного полезностей про использование bootstrap для A/B тестов:

Текст про процентильный bootstrap: https://bit.ly/32gIr4W
Пример проверки проведенного АА-теста с помощью bootstrap: https://bit.ly/2EyXC0Z
Рассчитываем канибализацию трафика спомощью A/B-теста и метод bootstrap: https://bit.ly/3hrfwl9
И видео:
Разбор метода: https://bit.ly/3gp8T1e
Запись недавнего стрима от ExperimentFest, куда же без них: https://bit.ly/3jaVUC2

#abtest

​​В аккаунтах Google Analytics App+Web уже начали появляться новые Ecommerce отчеты. Так же, есть несколько изменений в трекинг коде: добавились новые «системные» события purchase (вместо ecommerce_purchase), add_payment_info и add_shipping_info, добавился новый параметр товара discount и affiliation (в UA этот параметр был на уровне всей транзакции).

Подробнее о новой отчетности в блоге Krista Seiden: https://bit.ly/3ht8RHd

via @WebAnalyst

"Ну, а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте, а чтобы попасть в другое место, нужно бежать вдвое быстрее."
Эта цитата из "Алисы в Зазеркалье" отлично характериpует современную IT область: чтобы продолжать быть конкурентноспособным, нужно постоянно развиваться, а, чтобы конкурировать на другом уровне, нужно развиваться намного быстрее.

Но вот с какой проблема. Звонит мне прекрасная девушка из одной компании. И предлагает купить один из обучающих курсов по аналитике, к тому же со скидкой. Иду на сайт. И что вижу. Есть несколько неплохих (по вывеске) курсов, но ни один не подходит. И вот почему. Какой курс ни возьми: аналитика данных, продуктовый аналитик, A/B тесты, Data Science - везде мы изучаем, начиная с основ. Например, A/B тесты. Мне не нужно введение в статистику, расчет продолжительности теста и прочие полезности. Мне, например, нужна только та часть, когда мы уже "считаем результаты" нужно четко понимать, какой метод, стат. критерий, поправку когда применить, и как делать правильный вывод. И этого там нет.
И, вообще, мне не нужны курсы целиком - я не новичек (почти маргинальное слово) - мне нужны некоторые отдельные части.
Как я это вижу: есть полный большой курс, а есть тот же курс, но поделенный на изолированные куски, каждый из которых можно покупать отдельно. Хочется "нарезать" этот торт кусками нужного размера.
Понимаю, что все наше образовательные компании любят LTV, им нравятся длинные курсы на полгода, и поэтому они рады меня обучить с 0 до среднего специалиста. Ведь рынок растет, можно стричь деньги.
Но это не везде так работает. Мне нужно "добрать" ту часть, которой мне не хватает - часть здесь, часть там. Я не готов тратить лишние деньги, и, что самое главное - время, а меня его нет. Готов платить вот прямо за то, что подходит, а подходит мало что.
Со временем образовательные платформы дорастут до этого, а пока каждый необходимый блок ищу там, здесь, собираю как мозаику.
Сильно сомневаюсь, что я в этом одинок.
Да, и та девушка потом спросила у меня, выбрал я что или нет. Конечно, не выбрал.

Вот это значительное ближе к образованию здорового человека - cps.

В среду карета превратится в тыкву

1. Послезавтра заканчивается прием заявок на бесплатную программу обучения на продакт-менеджера.

2. Это самая быстрая возможность всего за 8 недель сделать скачок в своей карьере от аналитика, проджект-менеджера, разработчика, евент-менджера или кем вы сейчас работаете.

3. Главное отличие нашей программы — мы готовим внутренних предпринимателей, а не офисный планктон.

4. Хотите найти интересную работу? Тогда вам сюда: https://bit.ly/3e0TeV9

Нашёл на Kaggle микрокурс по изучению Pandas, оформленный в виде ноутбуков. Включает в себя разбор всех базовых функций, так что для ознакомления с возможностями библиотеки отлично подходит

https://www.kaggle.com/learn/pandas