Недавно Павел Левчук прошлеся по некоторым стереотипам продуктовой аналитики. И вот №1 - использование сессий в отчетах. И вот сегодня слышу на планерке "Мой бизнес-заказчик привык работать с сессиями". Несмотря на то, что все неплохо размечено событиями и нет большой проблемы добавить еще. И это ни хрена не смешно.

​​Быстро и просто предсказываем временные ряды

Одна из частых задач в работе дата аналитика или дата саентиста это прогнозирование временных рядов. Например: количество выданных кредитов, количество платных подписок, объем экспорта в страну и т. д.

Мой, уже теперь бывший коллега Тимур Фаткулин сделал классный репозиторий с примерами подходов для прогнозирования временных рядов. С помощью этих подходов можно быстро и просто сделать первую модель и затем улучшать.

- Prophet - библиотека Facebook. Очень удобно использовать для первой версии модели, посмотреть тренды: годовые, месячные, недельные

- Long short-term memory (LSTM) - разновидность архитектуры рекуррентных нейронных сетей. Сложно интерпретируемый подход, на большом временном ряде может дать очень хороший результат

- ARIMA - интегрированная модель авторегрессии. Классический метод предсказания временных рядов

- Обучение регрессора c извлечением признаков. Например: XGBoost, RandomForestRegressor и другие. Можно извлекать любые признаки из даты и времени: день недели, праздник, выходной и т.д. Так же для увеличения числа признаков используют и множество других метрик. Например: максимальное/минимальное значение, наблюдавшееся в скользящемпо ряду окне, медианы, число пиков, взвешенные дисперсии и многое другое. Автоматически этим можно сделать с помощью библиотека tsfresh.

Дополнительный материал:
- Prophet - https://facebook.github.io/prophet/docs/quick_start.html
- Лекция - Прогнозирование временных рядов https://www.youtube.com/watch?v=u433nrxdf5k
- tsfresh - https://tsfresh.readthedocs.io/en/latest/

Отличный мануал настройки обновления отчетов в Power BI из Google Analytics: https://bit.ly/2EhsoeY

Автор статьи показывает, как можно преобразовать записи речи в текст с помощью Python.

https://proglib.io/w/412ab455

Такой вот алгоритм из Макса Планка и Facebook Reality Lab, который позволяет через ре-рендеринг текстуры переодевать людей в новую одежду, и даже применять это к видео! Пока качество хромает (очень), но вот перспективы у последнего великие, только представьте, как легко и дешево можно будет генерить видео-демонстрацию одежды для e-commerce.
Жду с нетерпением.

Data Science Projects with Python (2019)
Автор: Stephen Klosterman
Количество страниц: 374

Данная книга является практическим руководством по стандартным инструментам анализа данных и машинного обучения на Python. Она поможет вам понять, как можно использовать pandas и matplotlib для изучения наборов данных со сводной статистикой и графиками, а также для извлечения полезной информации, которую вы хотите получить.

Скачать книгу

Байесовское тестирование: https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python

​​А вот и пример использования динамических параметров Data Studio в SQL-запросах BigQuery.

@BigQuery

Bootstrap - один из интереснейших методов анализа A/B тестов. На мой взгляд, он недооценен и не так широко применяется, как мог бы.
Немного полезностей про использование bootstrap для A/B тестов:

Текст про процентильный bootstrap: https://bit.ly/32gIr4W
Пример проверки проведенного АА-теста с помощью bootstrap: https://bit.ly/2EyXC0Z
Рассчитываем канибализацию трафика спомощью A/B-теста и метод bootstrap: https://bit.ly/3hrfwl9
И видео:
Разбор метода: https://bit.ly/3gp8T1e
Запись недавнего стрима от ExperimentFest, куда же без них: https://bit.ly/3jaVUC2

#abtest

​​В аккаунтах Google Analytics App+Web уже начали появляться новые Ecommerce отчеты. Так же, есть несколько изменений в трекинг коде: добавились новые «системные» события purchase (вместо ecommerce_purchase), add_payment_info и add_shipping_info, добавился новый параметр товара discount и affiliation (в UA этот параметр был на уровне всей транзакции).

Подробнее о новой отчетности в блоге Krista Seiden: https://bit.ly/3ht8RHd

via @WebAnalyst

"Ну, а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте, а чтобы попасть в другое место, нужно бежать вдвое быстрее."
Эта цитата из "Алисы в Зазеркалье" отлично характериpует современную IT область: чтобы продолжать быть конкурентноспособным, нужно постоянно развиваться, а, чтобы конкурировать на другом уровне, нужно развиваться намного быстрее.

Но вот с какой проблема. Звонит мне прекрасная девушка из одной компании. И предлагает купить один из обучающих курсов по аналитике, к тому же со скидкой. Иду на сайт. И что вижу. Есть несколько неплохих (по вывеске) курсов, но ни один не подходит. И вот почему. Какой курс ни возьми: аналитика данных, продуктовый аналитик, A/B тесты, Data Science - везде мы изучаем, начиная с основ. Например, A/B тесты. Мне не нужно введение в статистику, расчет продолжительности теста и прочие полезности. Мне, например, нужна только та часть, когда мы уже "считаем результаты" нужно четко понимать, какой метод, стат. критерий, поправку когда применить, и как делать правильный вывод. И этого там нет.
И, вообще, мне не нужны курсы целиком - я не новичек (почти маргинальное слово) - мне нужны некоторые отдельные части.
Как я это вижу: есть полный большой курс, а есть тот же курс, но поделенный на изолированные куски, каждый из которых можно покупать отдельно. Хочется "нарезать" этот торт кусками нужного размера.
Понимаю, что все наше образовательные компании любят LTV, им нравятся длинные курсы на полгода, и поэтому они рады меня обучить с 0 до среднего специалиста. Ведь рынок растет, можно стричь деньги.
Но это не везде так работает. Мне нужно "добрать" ту часть, которой мне не хватает - часть здесь, часть там. Я не готов тратить лишние деньги, и, что самое главное - время, а меня его нет. Готов платить вот прямо за то, что подходит, а подходит мало что.
Со временем образовательные платформы дорастут до этого, а пока каждый необходимый блок ищу там, здесь, собираю как мозаику.
Сильно сомневаюсь, что я в этом одинок.
Да, и та девушка потом спросила у меня, выбрал я что или нет. Конечно, не выбрал.

Вот это значительное ближе к образованию здорового человека - cps.

В среду карета превратится в тыкву

1. Послезавтра заканчивается прием заявок на бесплатную программу обучения на продакт-менеджера.

2. Это самая быстрая возможность всего за 8 недель сделать скачок в своей карьере от аналитика, проджект-менеджера, разработчика, евент-менджера или кем вы сейчас работаете.

3. Главное отличие нашей программы — мы готовим внутренних предпринимателей, а не офисный планктон.

4. Хотите найти интересную работу? Тогда вам сюда: https://bit.ly/3e0TeV9

Нашёл на Kaggle микрокурс по изучению Pandas, оформленный в виде ноутбуков. Включает в себя разбор всех базовых функций, так что для ознакомления с возможностями библиотеки отлично подходит

https://www.kaggle.com/learn/pandas

Работая в Google Tag Manager некоторые привычные операции можно выполнить несколько иначе. Я описал несколько таких действий
https://bit.ly/31NCnSl

via @prometriki

🥁В преддверии нового учебного года мы вновь публикуем ежемесячный дайджест конференций, митапов, хакатонов и прочих образовательных событий по направлениям Data Science, Machine Learning и Big Data. Многие из этих мероприятий проводятся в 2020 году онлайн и доступны для удаленного участия:
• 1 сентября в 11:00 МСК - вебинар компании «Неофлекс» «ML, который работает «по-взрослому» для ИТ-директоров/CIO, руководителей подразделений Data Science, а также для тех, кто занимается оптимизацией и автоматизацией процессов организаций, связанных с моделями машинного обучения. https://globalcio.ru/web-conference/7925/
• 3 сентября в 14:45 SberCloud проведет первый митап по Data Science: разработка и масштабирование AI-сервисов в облаке. Офлайн событие состоится в пространстве Deworkacy (Москва, Русаковская, 1), регистрация не более 50 человек. Количество регистраций на онлайн-трансляцию не ограничено. https://sbercloud.ru/ru/warp/meetups/ds-cloud
• 4 сентября в 11:00 МСК состоится вебинар "Искусственный интеллект в медицине": как ИИ-сервисы могут повысить точность диагностики, автоматизировать рутинную часть работы врача, подобрать оптимальный метод лечения и даже помочь в создании новых лекарств. https://celsus.ai/webinar/
• 8 и 10 сентября в 10:00 МСК в онлайн-формате состоится Scoring Case Forum 2020 - ежегодный форум скоринговых технологий, источников данных, anti-fraud решений и оценки физических лиц и МСБ в online и offline-каналах. В программе интервью с признанными экспертами, аналитические обзоры, кейсы лидеров рынка, панельные дискуссии, практикумы и мастер-классы. Стоимость участия 10 000 рублей. http://scoring-forum.ru/
• 9 сентября в 10.00 МСК состоится вебинар компании Qualcomm Technologies о разработке безопасных и многофункциональных систем автоматического управления и высокопроизводительных вычислительных архитектурах следующего поколения. Регистрация доступна по ссылке https://www.scale-up-360.com/en/automotive-imaging/register
• 10-11 сентября в Москве пройдет III Конференция «Прогнозирование и планирование 2020» - интенсив по получению практических навыков и углубленных компетенций в прогнозировании и планировании. Адрес: Москва, Максима Заря Отель, ул. Гостиничная, д. 4, корп. 9. Стоимость участия: 25 000 рублей. https://forecasting-conference.ru/
• 10 сентября в 11.00 МСК начнется вебинар "BigData в Azure. Какие сервисы подобрать для работы с большими данными, преимущества и отличия". https://softline.ru/events/web_2020_bigdata_azure_200910
• 14-18 сентября в 10.00 МСК состоится профессиональная онлайн-конференция для Python-разработчиков Russian Python Week 2020. Стоимость участия: 5900 рублей. https://conf.python.ru/moscow/2020
• 17 сентября в 09:00 МСК в оффлайн- и онлайн-формате пройдет конференция ScoringDay 2020 с практическими кейсами по ML-моделям https://scorconf.ru/
• 17-18 сентября в 12:43 МСК в режиме онлайн пройдет BIG DATA & AI CONFERENCE, где можно узнать о современном состоянии дел в анализе данных и машинном обучении, познакомиться с лучшими практиками и понять, как их применять в собственном бизнесе. Все кейсы и технические решения, которые будут представлены на конференции, реализованы в 2019-2020 годах и прозвучат для широкой публики впервые. Традиционно Big Data&AI Conference поделена на несколько треков: «Бизнес», «Технический», а также научный семинар. Ученые представят свои доклады во второй день конференции — 18 сентября. Стоимость участия: 5000 рублей. http://ai-conf.org/
• 19-20 сентября с 11:00 до 19:00 МСК в режиме онлайн пройдет мега-конференция DataFest по DS, ML, анализу и обработке больших данных. Youtube трансляция докладов и нетворкинг в сотне тематических комнат spatial.chat, доступных по профилю на ods.ai. https://datafest.ru/2020/
• 22 сентября в Москве CNews проводит конференцию «Искусственный интеллект 2020». Стоимость участия для представителей ИТ-компаний, Телеком и консалтинговых компаний – 18 000 рублей. https://events.cnews.ru/events/iskusstvennyi_intellekt_2020.shtml

▪️ Уроки Django

Урок 1. Создаем пустой проект - Смотреть
Урок 2. Создаем модели базы данных - Смотреть
Урок 3. Создаем админку - Смотреть
Урок 4. Выводим записи в браузер. - Смотреть
Урок 5. Фильтрация по категориям - Смотреть

#python #django

@itlecture

Немного про градиентный спуск: https://neurohive.io/ru/osnovy-data-science/gradient-descent/

Диалог @a_nikushin и @data_karpov о доступном образовании для аналитиков на Youtube вдохновил меня рассказать одну свою историю и поделиться ссылками.

Так сложилось, что в Университете мне очень повезло с преподавателями (от линейной алгебры до баз данных и языков программирования). Один из них, В. Л. Аббакумов, разжег настоящую страсть к методам анализа данных своими лекциями и лабораторными заданиями. В. Л. — практик и был моим научным руководителем по дипломной работе (мы делали кластеризацию данных Ленты), а затем и по кандидатской диссертации (строили нейронную сеть специальной архитектуры, тогда еще в Matlab).

Уже несколько лет назад в рамках ШАД и Computer Science Яндекса у него был записан курс Анализ данных на Python в примерах и задачах в двух частях. Настало время поделиться ссылками на первый и второй плейлисты на Youtube.

Первая часть посвящена описательным статистикам, проверке статистических гипотез, иерархическому кластерному анализу и кластерному анализу методом к-средних, классификационным моделям (деревья, Random Forest, GBM). В целом, весь плейлист достоин внимания без отрыва 🤓
Во второй части более глубокое погружение в нейронные сети, keras, deep learning, xgboost и снова все лекции крайне рекомендованы.🎖
Смотреть можно смело на 1.5x.

Материалы к видео:
— Часть 1. Занятия и материалы
— Часть 2. Занятия и материалы

Ребята из product sense собрали фильмы, из которых можно чему-то научиться. Для аналитиков они тоже будут полезны.

Особо обращаю внимание на эти:
- Человек, который изменил все (Moneyball), 2012
- Основатель (The Founder), 2016
- Скрытые фигуры (Hidden Figures), 2016
- Остановись и гори (Halt and Catch Fire), 2014

https://productsense.io/productmovies

Пример автоматизации ежедневной задачи при формировании отчета с помощью Google Cloud
https://bit.ly/2ZlwwlJ

via @prometriki