Обнаружил, что давненько ничего не писал. Вроде проснулся уже.
Сделал небольшой скрипт для импорта контентной статистики из Яндекс Метрики и загрузки ее в Google BigQuery: https://github.com/a-efimov/api-yandex-metrica-content.
Может, кому-то пригодится.

Наверное, это брюзжание, но все же правильно называть теория вероятностей, но не вероятности. Мелочь, но выдает отношение к делу и уровень компетенций. Особенно, если кто-то кого-то чему-то пытается обучить.
Скриншот с сайта одного такого обучальщика.

​​Возможно, вы уже слышали, что австрийский надзорный орган по GDPR признал незаконной установку Google Analytics Universal и передачу данных европейских пользователей в US. Подробнее об этом (есть даже ссылка на оригинал решения суда) можно почитать здесь: https://tutanota.com/blog/posts/google-analytics/.

Ребята из Telegram-канала LEFT JOIN изучили интересный тред о различных open-source аналогах для Google Analytics и поделились такими находками (если вы тоже знаете классные аналоги GA — пишите о них в комментариях):

▪️PostHog — наверное, самая известная и нашумевшая сейчас платформа для продуктовой аналитики, анализа воронки, записи сеансов, пометок функций и многого другого.

▪️GoatCounter — удобная платформа для веб-аналитики без отслеживания личных данных пользователей. Бесплатна для некоммерческого использования.

▪️Piwik — достаточно олдскульный уже инструмент для анализа пути клиента по веб-сайтам и приложениям. Вновь важной частью является акцент на конфиденциальность пользователей и безопасность данных и отказ от продажи данных третьим лицам.

▪️Plausible — инструмент, который не использует cookie и полностью соответствует GDPR, CCPA и PECR. Гораздо быстрее, чем Google Analytics (как заявляют создатели: скрипт в 45 раз меньше), а, значит, сайт с 10 000 посетителей в месяц может сократить выбросы CO2 на 4,5 кг в год за счет перехода.

▪️Matomo — 100% точные отчеты, рекомендации от службы поддержки, которая отвечает очень быстро а также возможность импортировать данные GA непосредственно в свой Matomo. Нет ограничений на количество сайтов, пользователей, сегментов и объем хранимых данных.

▪️Open Web Analytics — полностью бесплатная платформа веб-аналитики, которая позволяет вам строить аналитические дашборды, изучать тепловые карты кликов пользователей и изучать сведения об использовании любой веб-страницы, включая предыдущие и следующие просмотренные страницы.

▪️Countly — аналитическая платформа для понимания и оптимизации пути клиентов в веб-приложениях, настольных и мобильных приложениях. Countly можно установить локально или в безопасном частном облаке. В любом случае вы сохраняете 100% права собственности на собранные данные и получаете прямой доступ к детализированным необработанным аналитическим данным о продукте.

▪️Umami — простое и удобное в использовании решение для веб-аналитики с собственным хостингом. Цель состоит в том, чтобы предоставить вам более удобную, ориентированную на конфиденциальность альтернативу Google Analytics и бесплатную альтернативу платным решениям с открытым исходным кодом. Umami собирает только те показатели, которые вам интересны, и все умещается на одной странице.

▪️Ackee — аналитический инструмент на основе Node.js для тех, кто заботится о конфиденциальности. Работает на вашем собственном сервере, анализирует трафик ваших сайтов и предоставляет полезную статистику. Позволяет анализировать столько доменов и приложений, сколько вы хотите. Интерфейс Ackee поможет вам оставаться сосредоточенным, не путаться в сотнях диаграмм и параметрах фильтрации.

▪️Fugu — аналитический инструмент с платной (managed version) и бесплатной (self-hosting) версией. Как и все остальные, Fugu не отслеживает какую-либо личную информацию пользователей. Fugu создан для людей, которым не нужны причудливые инструменты аналитики продуктов, но которые предпочитают набор простых в использовании функций сложному пользовательскому интерфейсу. Fugu полностью финансируется исключительно из собственных средств. Единственным источником дохода является абонентская плата в размере 9 долларов США в месяц за сервис с поддержкой.

Нашел у себя ссылки с информацией о том, как настроить стриминг данных с сайта в BQ, аналогично тому, как работает Google Analytics.
Пару лет назад эксперимент прошел вполне удачно, но многих данных, которые есть при стриминге из GA, не будет.
https://web-analytics.me/streaming_in_bigquery
https://websitelytics.top/blog/bigquery-streaming/

Послушал предпоследний выпуск подкаста Айтишниками на рождаются с Андреем Кротких. Отличный гость, отличный выпуск.
Помимо других интересных штук отмечу два важных нюанса в работе для Андрея:
- в процессе работы нужно генерировать новое знание, не только для себя
- и нужно пробивать потолок
И то, и другое он повторил несколько раз.

Почему это важно?
Потому что просто выполнять задачи - это немного грустно. И, если ты не приносишь никакой пользы и постоянно не развиваешься профессионально, ни к чему это все.

Небольшой чек-лист для проведение АБ теста. Полезно им руководствоваться, чтобы не упустить какую-нибудь "мелочь".
https://www.notion.so/AB-dc3c2f5b1c394124ba65ef7f6100bbee

Прекрасно, когда руководитель говорит подчиненному (который что-то рабочее делает, в чем-то копается) что-то типа:
- а вот так ты можешь?
- а вот это сможешь сделать?
- а давай попробуем вот такую штуку.

Однажды мне сказали что-то подобное, и вскоре я стал аналитиком.

Мораль здесь проста - иногда способности и потенциальные возможности сотрудника неочевидны, и огромный плюс в том, чтобы их заметить, выявить, развить. На словах это нужно всем, а на деле - конечно, нет.

Отличная реклама, а главное, креативная!

Немного спортивной аналитики:
- рассказ сотрудников Hudl о построении аналитики данных в футбольном клубе: https://www.youtube.com/watch?v=WoWQCsbwsdg
- подкаст о применении Data Science в футболе: https://www.youtube.com/watch?v=MsuLggu3hu4

Во всем этом очень огорчает уровень проникновения Data Science в спорт.
В обычном бизнесе все давно привыкли к скорингу, рекомендательным системам, временным рядам и многим другим вариантам использования данных для увеличения эффективности.
Спорт намного более консервативен в этом плане, и в эту область работа с данными только приходит. И, скорее всего, будет ходить, танцевать на тех же граблях, что 10 и более лет назад в других областях нашей жизни. А жаль.

Выводы климатологов ошибочны.

6 февраля этого года в The Wall Street Journal опубликована статья Роберта Хоца (Robert Lee Hotz) Climate Scientists Limits of Computer Models, Bedeviling Policy, в которой на основе многочисленных комментариев ученых говорится, что все предыдущие прогнозы глобального потепления были ошибочными.

🔹 даже самые лучшие имеющиеся инструменты не могут моделировать климат с той уверенностью, которая необходима миру;

🔹 по меньшей мере 20 старых, более простых моделей климата давали результаты, отличающиеся от того, что говорит новая модель с открытым исходным кодом NCAR;

🔹 повышенная чувствительность климата от облаков ошибочна;

🔹 модели по-прежнему подвержены техническим сбоям и их работу затрудняет неполное понимание переменных, содержащих реакцию планеты на парниковые газы;

🔹 «ретроспективное прогнозирование» (ледниковый период, пр.) дало неверные заключения;

🔹 в зависимости от облаков будущие температуры могут бы как выше, так и ниже;

🔹 ученые обнаружили ошибку в том, как базовая модель CESM2 моделировала взаимодействие влаги с сажей, пылью или частицами морских брызг;

🔹 климатическая модель, способная уловить эффекты облачных систем, штормов, лесных пожаров и океанических течений, потребует в тысячу раз больше компьютерной мощности.

Парижское соглашение по климату 2015 г. и Декларация саммита в Глазго 2021 г. составлены по неверным климатическим моделям и прогнозам. Что только подтверждает тезис о финансово-спекулятивной природе климатической озабоченности.

Мы боремся неизвестно с чем.

Очень показательная история про то, как в угоду распилу инвестиций и прочих бюджетов зеленое лобби подгоняет факты под идею. А потом вдруг оказывается, что это все неправда. Ну надо же!

Интересную штуку нашел в контентных отчетах Яндекс Метрики. Есть показатель Доля просмотров материалов с дочтением. Рассчитывается как просмотры с дочтением / все просмотры. Но не все так просто
Вот есть статья. У нее 2030 просмотров и 334 просмотра с дочтением, получаем 16%. Но не все так просто. Переходим не страницу подробной статистикой по статье. Здесь этот показатель указан 2 раза.

И в одном 16%, а в другом 70%. И вот в чем вопрос: это баг или все же какие-то разные показатели? Пока ответа не нашел.

🐍 После длительного перерыва вернулся с хорошими новостями.

Разместил свой полный курс видео по Python и анализу данных: https://dfedorov.spb.ru/python3/

Недавно прошел вебинар по теме продуктовой аналитики https://youtu.be/oquId6GPadw. Новичкам будет полезно, чтобы понять, что это такое и что значит быть продуктовым аналитиком.
Ниже основные тезисы вебинара

Что делает продуктовый аналитик:
- исследует поведения пользователей
- контролирует корректность сбора данных
- проверяет гипотезы
- разрабатывает систему метрик
- строит дашборды

Что плохо для работы продуктового аналитика:
- быть не в команде продукта
- работать с несвязанными между собой продуктами
- перегрузка ad-hoc запросами

Что хорошо для работы продуктового аналитика:
- работать с одним продуктом или связанными продуктами
- быть частью продуктовой команды
- успевать делать много исследовательских задач

Что важно понимать про компанию:
- подробно про продукт и задачи, от чего зависит круг задач
- орг. структура компании
- зрелость компании, продукта
- размер команды

Какие вопросы задать на собеседовании:
- с каким продуктом буду работать, в какой команде
- какой стек
- кто будет помогать
- что уже есть и что нужно строить
- какова стратегия продукта, куда он движется, какие приоритеты
- для каких задач нужен аналитик

Немного большой перерыв получился, причина простая - "ситуация". Из-за нее некоторые функции отключены. Тем не менее.

Небольшое, но очень полезное видео по настройке и некоторым фичам PyCharm. Не юпитером же, в конце концов, единым.
https://www.youtube.com/watch?v=Z-089JxyUF8

📍Знаешь как вести проект? Умеешь договориться с кем угодно?
📍Имеешь Аналитические способности и математический склад ума?
Тогда тебе к нам! Канал IT Аналитика.
Тут ты найдешь всю доступную и актуальную информацию по данному направлению.
✅ Бизнес-аналитик
✅ Системный аналитик
✅ Дата-аналитик
✅ Web-аналитик
✅ UX аналитик
✅ Продуктовый аналитик
Подписывайся!