Коронавирус: первые итоги пандемии и карантина. Осознайте цифры и ужаснитесь. Хотя, если вы читали мои предыдущие статьи по теме и вас что-то удивляет, то читали вы, вероятно, невнимательно. Последние официальные данные от различных государственных ведомств лишь детализируют то, о чём я всех предупреждал ещё весной.

https://habr.com/ru/post/511968/

​​Особенности метрик отчетов по страницам Google Analytics и как их рассчитывать по данным в BigQuery. Примеры SQL-запросов.

@BigQuery

Вы являетесь представителем самой сексуальной профессии XXI века (по мнению Harvard Business Review) если специализируетесь на больших данных и умело их анализируете.

Cобрали 12 курсов по анализу больших данных — и для тех, кто только начинает осваивать профессию, и для тех, кому необходимо прокачать уже имеющиеся навыки:

https://bit.ly/2x6cDEq

👨🏻‍💻 Профессия в IT - рассмотрим каждого!

▪️ Профессия Data Scientist: кто это? - Смотреть
▫️ Профессия тестировщик программного обеспечения: кто это? - Смотреть
▪️ Профессия Веб разработчик: кто это?  - Смотреть
▫️ Как стать разработчиком игр - Смотреть
▪️ Python-разработка. Как стать программистом - Смотреть
▫️ Профессия разработчик iOS-приложений - Смотреть
▪️ Специалист по информационной безопасности — кто это и как им стать - Смотреть
▫️ DevOps-инженер — кто это и как им стать - Смотреть
▪️ Веб дизайнер - что за профессия - Смотреть
▫️ Кто такой Java-разработчик - Смотреть
▪️ Golang-разработчик – кто это?  - Смотреть
▫️ Как стать Android-разработчиком и создавать приложения  - Смотреть

@itlecture

🗣️Объектно-Ориентированное Программирование

1. Инкапсуляция - Смотреть
2. Наследование - Смотреть
3. Дочерний класс в памяти - Смотреть
4. Агрегация и Композиция - Смотреть
5. Класс Обёртка - Смотреть
6. Множественное Наследование - Смотреть
7. Анонимный Объект - Смотреть
8. Раннее и Позднее Связывание - Смотреть
9. Functor или Объект-Функция - Смотреть
10. Двойное наследование в памяти - Смотреть

@itlecture

​​Особенности метрик отчетов по страницам Google Analytics и как их рассчитывать по данным в BigQuery. Примеры SQL-запросов.

@BigQuery

🐍Программы на Python (подборка)

▪️ Распознавание лиц на Python | Аналог FindFace - Смотреть
▪️ Telegram бот на Python - Смотреть
▪️ Поиск девушек Вконтакте - Смотреть
▪️ Автоматический поиск SQL инъекций на Python - Смотреть
▪️ Hotword для windows - Смотреть
▪️ Telegram бот модератор - Смотреть
▪️ Синтез речи на Python. Качественный голос - Смотреть
▪️ Качаем файлы с открытых веб-директорий - Смотреть
▪️ Бот ВКонтакте на Python - Смотреть

@itlecture

Как правило Яндекс Метрику внедряют копируя код в пользовательский HTML тег, однако сегодня это уже не единственный способ ее внедрения на сайт
https://bit.ly/3isq2Zp

via @prometriki

Статья про конкурентный анализ средствами Python. Я уже кидал предыдущую часть статьи, в которой рассматривались особенности парсинга. В этой же части автор рассказывает об организации хранения полученных данных с помощью простой SQLite-базы

https://habr.com/ru/post/512208/

Доступно и просто о статистике A/B-тестов.
Несколько примеров:

https://medium.com/@rezwan.islam99

via @ABtesting

Анекдот из жизни про A/B тесты: https://www.facebook.com/454859268600716/posts/746949199391720/?sfnsn=scwspmo&extid=LuBD7LdYGbc1Uj8R

Бывает трудно без помощи разработчика отслеживать отправку формы. Частично проблему можно решить отслеживаем видимости элемента в GTM: https://bit.ly/3kPSXIN

Mail.ru Group и hh.ru составили портреты российских специалистов по анализу данных (Data Science) и машинному обучению (Machine Learning). Аналитики выяснили, где они живут и что умеют — а также чего ждут от них работодатели и как меняется спрос на таких профессионалов.

https://habr.com/ru/company/mailru/blog/511104/

Predictive Power Score (PPS) — это метрика, позволяющая определять степень линейной и нелинейной зависимости между двумя колонками, в том числе для ассиметричной зависимости. Эта метрика может быть отличной заменой коэффициента корреляции Пирсона. Пример реализации подсчета Predictive Power Score на Python и сравнение с Пирсоном:

https://www.kaggle.com/frtgnn/predictive-power-score-vs-correlation

Также рекомендую почитать статью про PPS:

https://towardsdatascience.com/rip-correlation-introducing-the-predictive-power-score-3d90808b9598

Вдохновлено постом https://news.1rj.ru/str/ProductAnalytics/249

Увеличиваем чувствительность экспериментов при помощи ранговой трансформации

Мы перевели статью Booking про методику трансформации метрик, которая позволяет сократить время на проведение эксперимента.

Благодаря методики ранжирования значений метрики, можно добиться увеличения чувствительности. Т.е. на меньшем объеме выборки фиксируется меньший MDE.

Встает вопрос с интерпретацией результатов полученой величины. Но об этом в самой статье

Читать статью на Медиуме

Недавно Павел Левчук прошлеся по некоторым стереотипам продуктовой аналитики. И вот №1 - использование сессий в отчетах. И вот сегодня слышу на планерке "Мой бизнес-заказчик привык работать с сессиями". Несмотря на то, что все неплохо размечено событиями и нет большой проблемы добавить еще. И это ни хрена не смешно.

​​Быстро и просто предсказываем временные ряды

Одна из частых задач в работе дата аналитика или дата саентиста это прогнозирование временных рядов. Например: количество выданных кредитов, количество платных подписок, объем экспорта в страну и т. д.

Мой, уже теперь бывший коллега Тимур Фаткулин сделал классный репозиторий с примерами подходов для прогнозирования временных рядов. С помощью этих подходов можно быстро и просто сделать первую модель и затем улучшать.

- Prophet - библиотека Facebook. Очень удобно использовать для первой версии модели, посмотреть тренды: годовые, месячные, недельные

- Long short-term memory (LSTM) - разновидность архитектуры рекуррентных нейронных сетей. Сложно интерпретируемый подход, на большом временном ряде может дать очень хороший результат

- ARIMA - интегрированная модель авторегрессии. Классический метод предсказания временных рядов

- Обучение регрессора c извлечением признаков. Например: XGBoost, RandomForestRegressor и другие. Можно извлекать любые признаки из даты и времени: день недели, праздник, выходной и т.д. Так же для увеличения числа признаков используют и множество других метрик. Например: максимальное/минимальное значение, наблюдавшееся в скользящемпо ряду окне, медианы, число пиков, взвешенные дисперсии и многое другое. Автоматически этим можно сделать с помощью библиотека tsfresh.

Дополнительный материал:
- Prophet - https://facebook.github.io/prophet/docs/quick_start.html
- Лекция - Прогнозирование временных рядов https://www.youtube.com/watch?v=u433nrxdf5k
- tsfresh - https://tsfresh.readthedocs.io/en/latest/

Отличный мануал настройки обновления отчетов в Power BI из Google Analytics: https://bit.ly/2EhsoeY

Автор статьи показывает, как можно преобразовать записи речи в текст с помощью Python.

https://proglib.io/w/412ab455

Такой вот алгоритм из Макса Планка и Facebook Reality Lab, который позволяет через ре-рендеринг текстуры переодевать людей в новую одежду, и даже применять это к видео! Пока качество хромает (очень), но вот перспективы у последнего великие, только представьте, как легко и дешево можно будет генерить видео-демонстрацию одежды для e-commerce.
Жду с нетерпением.