Наткнулся на библиотеку pomegranate. Она предоставляет ряд высокоуровневых методов для работы с вероятностными моделями: цепи Маркова, байесовские классификаторы, модели распределения вероятностей, скрытые марковские модели и ещё куча всего. Отдельный плюс библиотеки - доступная документация с множеством примеров, например, вот документация по использованию цепей Маркова со ссылкой на ноутбук с примерами.

https://pomegranate.readthedocs.io/en/latest/index.html

Оказывается QuantStack (это те товарищи, что сделали Voila и приложили большие усилия в развитию экосистемы Jupyter) сделали виджеты для работы с таблицами внутри ноутбуков. Прелесть не только в том, что можно выводить таблицы, но и редактировать в них данные, а также привязывать данные в таблицах к другим виджетам (слайдерам, инпутам и т.д.)

https://towardsdatascience.com/interactive-spreadsheets-in-jupyter-32ab6ec0f4ff

Статья, посвященная не самым распространенным методам Pandas - idxmax(), idxmin(), ne(), nlargest(). В статье приводятся интересные примеры использования этих методов при решении практических задач анализа.

https://habr.com/ru/company/ruvds/blog/479276/

Годнота подъехала! Павел Максимов выложил в открытый доступ библиотеку для получения данных из API Яндекс.Метрики (как Logs API, так и из обычного).

https://github.com/pavelmaksimov/tapi-yandex-metrika

Введение в визуализацию данных с помощью Matplotlib. Достаточно подробно объяснены многие нюансы создания визуализаций, например, объектная модель графиков, построение subplots.

https://pythonlearning.org/2019/12/19/introduction-to-data-visualization-using-matplotlib/

​​«Исследуя ИИ, мы подобны собаке, догнавшей машину».
Отрезвляющая оценка будущего ИИ стала итогом 2019.
Все видели, как дурная дворняга преследует машину. Все понимают, чем для нее это может закончиться, если, не бай бог, догонит. Но она-то не понимает, и тупо продолжает.
Вот и мы – исследователи ИИ - «подобны собаке, догнавшей машину» (“We’re kind of like the dog who caught the car”). Не понимаем, что будем делать, если догоним, и не осознаем, к чему это ведет.
Так сказал Блез Агуэра-и-Аркас – один из ключевых людей по машинному обучению в Google, а ранее в Microsoft, – на только что завершившейся крупнейшей конференции года NeurIPS, собравшей более 13 тыс. исследователей и разработчиков ИИ со всего мира.

Это, своего рода, итог 2019.
Его разделил и Йошуа Бенжио - директор института ИИ в Монреале, недавно получивший высшую награду в области вычислительной техники за начало революции глубокого обучения. Он отметил, - «Глубокое обучение дает узкоспециализированные результаты: система, обученная демонстрировать сверхчеловеческую производительность в одной видеоигре, не способна повторить это в никакой другой».

А директор направления ИИ в Facebook Жером Песенти ранее заявил, что его компания, как и другие, не должны ожидать дальнейшего прогресса в области ИИ, просто создавая бОльшие системы глубокого обучения с бОльшей вычислительной мощностью и объемом данных:
«В какой-то момент мы врежемся в стену… И во многих отношениях, - мы уже врезались».

Громкий призыв Бенджио к размышлениям за пределами недавних узких успехов глубокого обучения поддержали и Джефф Клюн из OpenAI, а ранее Uber. Джефф занимается Metalearning - создание алгоритмов обучения, которые могут разработать свои собственные алгоритмы обучения в системах, генерирующих постоянно меняющиеся среды.

«Глубокое обучение - это здорово, но нам нужен набор различных алгоритмов», - добавила Ирина Риш из универа Монреаля. Но проблема в том, что «сторонники глубокого обучения превратились в подобие секты истинно верующих» и просто не желают слышать об альтернативных путях в области ИИ.

«Пытаясь использовать машинное обучения для создания искусственного интеллекта, нам надо больше задумываться о биологических корнях естественного интеллекта», - призвал участников NeurIPS Блез Агуэра-и-Аркас.

Прошедший крупнейший мировой форум по ИИ показал – исследователи ведущих в области ИИ стран и компаний осознают, что уже поздно «что-то в консерватории подправить». Нужны радинальные изменения в направлениях R&D.

Осознают ли это ведущие российские исследователи и разработчики, а также большие боссы, ответственные за развитие ИИ в стране? Боюсь, что нет.
#ИИ

Основы построения графиков в Matplotlib.

https://youtu.be/UO98lJQ3QGI

Легко писать подводки к новостям — куда сложнее к серьезным сложным лонгридам, смысл чтения которых отнюдь не в том, чтобы вычленить одну главную мысль. Но на этот текст я всё равно сошлюсь, хотя читать его надо медленно и вдумчиво.
Длинное интервью со Львом Мановичем начинается с подробного рассказа о его биографии и творчестве, и это правильно: у него нетривиальная судьба художника и профессора computer science, огромный авторитет в двух этих мирах - и современного искусства, и современных технологий.
Его взгляды иногда бесят традиционный истэблишмент, но он умеет прекрасно обосновывать свою точку зрения, которая часто отличается от принятой в тусовке интеллектуалов. Он не видит большой проблемы в fake news — но видит ее в самой журналистике; он не готов критиковать Википедию за то, что ее редакторы недостаточно diverse и ещё он любит Москву ;) Кстати, он приезжал на Открытые Инновации в Сколково, и очень жаль, что там мало народу его слушали.
Ну хоть сейчас почитайте — его мысли полезно знать, даже если не согласны с ними.

https://www.haaretz.com/magazine/.premium.MAGAZINE-fake-news-isn-t-the-issue-leading-internet-researcher-debunks-what-we-know-1.8291672

Уже выкладывал в канале ссылку на код инструмента для анализа цепей Маркова, но появилась хорошая обзорная статья по мотивам доклада Mark Sysoev на Матемаркетинге. Ссылка на Гитхаб внутри статьи

https://vc.ru/skyeng/92219-besplatnyy-python-skript-kotoryy-pomozhet-vam-uluchshit-analiz-voronok-cjm-i-dazhe-poisk-bagov-v-produkte

Тем кто работает в ecommerce точно пригодится. Статья о том как подготовить товарные cross-sell рекомендации с помощью pandas и алгоритма ассоциативных правил из библиотеки MLextend.

https://pythondata.com/market-basket-analysis-with-python-and-pandas/

Симо Ахава сделал новый custom template tag, который отдает гео данные, что весьма приятно
https://www.simoahava.com/analytics/fetch-ip-geolocation-data-using-google-tag-manager/

Гайд для погружения в машинное обучение: https://foobar167.github.io/page/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html

И еще: https://vas3k.ru/blog/machine_learning/

3 способа отследить источники трафика для мобильных приложений

Одной из наиболее сложных задач при настройке мобильной аналитики является отслеживание источников трафика. Здесь вам не помогут привычные UTM-метки, так как приложение скачивается пользователем из специализированного магазина, например AppStore или Google Play.

В новой статье делимся 3 способами настройки отслеживания источников трафика, которые зачастую требуют от аналитика нестандартного мышления и креативности.

via @analyticsroom

Статья с интересным примером прикладного анализа данных. Автор Олег Юрьев исследует характеристики, рейтинг и стоимость светодиодных ламп, сопровождая всё подробными комментариями.

http://rweather.ru/blog/all/veselaya-analitika-lamptest/

Друзья, смотрим полезный туториал:

https://habr.com/ru/post/483408/

Статья о том как важно для аналитика данных автоматизировать свои рутинные задачи, писать функции, которые будут использоваться из проекта в проект. В статье есть несколько примеров таких функций, например, для объединения csv-файлов или переименования колонок датафреймов.

https://towardsdatascience.com/automate-boring-tasks-with-your-own-functions-a32785437179

Зачем ограничивать себя в точности отчетов, если можно воспользоваться Google BigQuery?

Инструкция, которая поможет вам выгрузить сырые данные из Google Ads в Google BigQuery для более качественной оценки эффективности рекламы.

Сегодня техническо-аналитическая подборка.
🔹 Гайд по GTM в трех частях:

1️⃣ Что это, кому нужно и как начать работу.
https://pengstud.com/blog/gtm-1/

2️⃣ Создание и настройка тегов на примере Google Analytics.
https://pengstud.com/blog/gtm-2/

3️⃣ Миграция установленных напрямую на сайт тегов в GTM.
https://pengstud.com/blog/gtm-3/

Думаю, что будет продолжение. Следите за выпусками.

🔹 Подборка обучающих материалов для начинающего аналитика:
https://netpeak.net/ru/blog/podborka-obuchayushchikh-materialov-dlya-nachinayushchego-analitika/

#Analytics

​​Полезный пример SQL-запроса, позволяющий распарсить и транспонировать данные json-образной структуры из строк в колонки.

via @BigQuery

Как повысить продуктивность при анализе данных? 25 неочевидных инструментов
https://proglib.io/p/kak-povysit-produktivnost-pri-analize-dannyh-25-neochevidnyh-instrumentov-2020-01-16

via @ProductAnalytics