Продолжаем изучать интерфейс Redash. Сегодня пост об использовании параметров инструмента 🎚.

Визуализация и отчеты всегда строятся на аналитической архитектуре. В сегодняшней заметке много технических деталей о Clickhouse и проблемах его подключения к Kafka Cluster на Amazon MSK.
Спойлер: все технические проблемы решены с большой помощью гуру Clickhouse. Как? Подробности в заметке 🔧

Февраль и март выдаются достаточно насыщенными месяцами: например, я участвую в школе наставников от Яндекс.Практикум по направлению данных, поэтому только сейчас восполняю пробел в постах.
Сегодня о когортном анализе в Redash.

О том, как с помощью Python собрать информацию о количестве просмотров, кликов и затрат по рекламным кампаниям Facebook –– в новом материале.

http://leftjoin.ru/all/collecting-costs-from-facebook-api/

Сегодня посмотрим, как выгруженные из Facebook данные по рекламным кампаниям передать в Redash, используя формат json и сервер на aiohttp.

http://leftjoin.ru/all/give-json-data-to-redash/

Смотрим, как арендовать бесплатную машину под управлением Ubuntu с Amazon Web Services и установить туда колоночную СУБД от Яндекса Clickhouse:

http://leftjoin.ru/all/stavim-clickhouse-na-aws/

В новом материале модернизируем наш скрипт, получающий данные рекламных кампаний с Facebook: теперь он будет отправлять их в Clickhouse и собирать в материализованное представление.

http://leftjoin.ru/all/materialized-view-in-clickhouse/

Пробуем себя в новом формате – сегодня у нас пятничный лонгрид. Научимся брать данные с ВК, отправлять их по Spreadsheet API в Google Docs и анализировать в Redash.

http://leftjoin.ru/all/get-data-from-vk/

В далёком 2011 году для отчёта одной телеком-компании мы строили диаграмму «Градусник» — эта диаграмма показывает, насколько фактические данные соответствуют ожиданиям. Сегодня разберём, как построить такую диаграмму в Python при помощи библиотеки matplotlib.

http://leftjoin.ru/all/postroenie-diagrammy-gradusnik/

С 2019 года на каждом чеке должен присутствовать QR-код, по которому можно получить интересную информацию о своих покупках и обрабатать её. Рассказываем, как это сделать на Python. http://leftjoin.ru/all/sobiraem-dannye-s-chekov-gipermarketov-na-python/

Интересовались когда-нибудь, сколько в месяц тратите на молочные продукты или на сладкое? К сожалению, в чеках категории товаров не указываются, а обрабатывать вручную еженедельные покупки — неудобно. В новом пятничном лонгриде обучим модель машинного обучения на Python, которая сама классифицирует товары на категории!

http://leftjoin.ru/all/stroim-model-predskazaniya-kategorii-produktov/

Перевели шпаргалку по оконным функциям от learnsql.com: вспоминаем их синтаксис, отличие от агрегатных функций, а также функции ранжирования, распределения и немного теории о рамках. За cheatsheet спасибо Telegram-каналу @dataeng!

http://leftjoin.ru/all/window-functions-cheatsheet/

Не всегда QR-сканер способен различить код на изображении. Разбираемся, как средствами библиотеки scikit-image провести предобработку изображения так, чтобы выделить на нём QR-код.

http://leftjoin.ru/all/obrabotka-izobrazheniya-s-chekom-dlya-poiska-qr-koda/

Сегодня научимся работать с API социальной сети Untappd, создавать внешние словари для Clickhouse и подключаться к AWS по SFTP:

http://leftjoin.ru/all/untappd-clickhouse-dictionaries/

Мы уже рассказывали, как имитировать скроллинг страницы для прогрузки каталога сайта. Сегодня поговорим, как при помощи Selenium находить и проводить нажатие кнопки на примере Untappd:

http://leftjoin.ru/all/selenium-button/

В одном из прошлых материалов мы показали, как при помощи библиотеки matplotlib в Python построить диаграмму Градусник: сегодня разбираемся, как уже с библиотекой plotly сделать интерактивную диаграмму Водопад, которую затем можно будет встроить к себе на сайт.

http://leftjoin.ru/all/waterfall-chart/

Перевели материал о том, как верно выбрать шрифт для визуализации данных и подобрать подходящую типографскую систему для вашего проекта.

http://leftjoin.ru/all/choosing-font-for-data-vis/

В течение последней недели в России произошло важное событие: голосование за (или против?) принятие поправок к Конституции. В новом материале мы провели семантический анализ мнений пользователей ВКонтакте из постов новостной ленты по ключевому слову «конституция» за последнюю неделю и выяснили, какой процент людей писал об этом событии в положительном тоне, а какой — в негативном.

http://leftjoin.ru/all/constitution-sentiment-analysis/

Во время парсинга больших сайтов на Selenium нередко возникает риск получить бан по IP-адресу: в таком случае лучше использовать прокси. Сегодня пишем скрипт, который сам парсит бесплатные прокси, проверяет их работоспособность и возвращает «живые».

http://leftjoin.ru/all/selenium-proxy/

Поговорили в формате видеоподкаста c Романом Буниным – руководителем команды визуализации данных Яндекс.Такси, автором блога revealthedata и телеграм-канала @revealthedata о визуализации данных и Tableau. Обсудили как аналитика влияет на компанию, как построить карьеру в этой сфере и чего ожидать от области в будущем.