Пробуем себя в новом формате – сегодня у нас пятничный лонгрид. Научимся брать данные с ВК, отправлять их по Spreadsheet API в Google Docs и анализировать в Redash.

http://leftjoin.ru/all/get-data-from-vk/

В далёком 2011 году для отчёта одной телеком-компании мы строили диаграмму «Градусник» — эта диаграмма показывает, насколько фактические данные соответствуют ожиданиям. Сегодня разберём, как построить такую диаграмму в Python при помощи библиотеки matplotlib.

http://leftjoin.ru/all/postroenie-diagrammy-gradusnik/

С 2019 года на каждом чеке должен присутствовать QR-код, по которому можно получить интересную информацию о своих покупках и обрабатать её. Рассказываем, как это сделать на Python. http://leftjoin.ru/all/sobiraem-dannye-s-chekov-gipermarketov-na-python/

Интересовались когда-нибудь, сколько в месяц тратите на молочные продукты или на сладкое? К сожалению, в чеках категории товаров не указываются, а обрабатывать вручную еженедельные покупки — неудобно. В новом пятничном лонгриде обучим модель машинного обучения на Python, которая сама классифицирует товары на категории!

http://leftjoin.ru/all/stroim-model-predskazaniya-kategorii-produktov/

Перевели шпаргалку по оконным функциям от learnsql.com: вспоминаем их синтаксис, отличие от агрегатных функций, а также функции ранжирования, распределения и немного теории о рамках. За cheatsheet спасибо Telegram-каналу @dataeng!

http://leftjoin.ru/all/window-functions-cheatsheet/

Не всегда QR-сканер способен различить код на изображении. Разбираемся, как средствами библиотеки scikit-image провести предобработку изображения так, чтобы выделить на нём QR-код.

http://leftjoin.ru/all/obrabotka-izobrazheniya-s-chekom-dlya-poiska-qr-koda/

Сегодня научимся работать с API социальной сети Untappd, создавать внешние словари для Clickhouse и подключаться к AWS по SFTP:

http://leftjoin.ru/all/untappd-clickhouse-dictionaries/

Мы уже рассказывали, как имитировать скроллинг страницы для прогрузки каталога сайта. Сегодня поговорим, как при помощи Selenium находить и проводить нажатие кнопки на примере Untappd:

http://leftjoin.ru/all/selenium-button/

В одном из прошлых материалов мы показали, как при помощи библиотеки matplotlib в Python построить диаграмму Градусник: сегодня разбираемся, как уже с библиотекой plotly сделать интерактивную диаграмму Водопад, которую затем можно будет встроить к себе на сайт.

http://leftjoin.ru/all/waterfall-chart/

Перевели материал о том, как верно выбрать шрифт для визуализации данных и подобрать подходящую типографскую систему для вашего проекта.

http://leftjoin.ru/all/choosing-font-for-data-vis/

В течение последней недели в России произошло важное событие: голосование за (или против?) принятие поправок к Конституции. В новом материале мы провели семантический анализ мнений пользователей ВКонтакте из постов новостной ленты по ключевому слову «конституция» за последнюю неделю и выяснили, какой процент людей писал об этом событии в положительном тоне, а какой — в негативном.

http://leftjoin.ru/all/constitution-sentiment-analysis/

Во время парсинга больших сайтов на Selenium нередко возникает риск получить бан по IP-адресу: в таком случае лучше использовать прокси. Сегодня пишем скрипт, который сам парсит бесплатные прокси, проверяет их работоспособность и возвращает «живые».

http://leftjoin.ru/all/selenium-proxy/

Поговорили в формате видеоподкаста c Романом Буниным – руководителем команды визуализации данных Яндекс.Такси, автором блога revealthedata и телеграм-канала @revealthedata о визуализации данных и Tableau. Обсудили как аналитика влияет на компанию, как построить карьеру в этой сфере и чего ожидать от области в будущем.

Записал подкаст с Николаем Валиотти — аналитиком и экспертом по работе с данными, автором канала Left Join и основателем компании Valiotti Analytics.

Было интересно по-общаться про построение полного цикла аналитики: от построения dwh до визуализации и поиска инсайтов. Поговорили про роль аналитики в компании, современные open source продукты на примере одного из проектов и обсудили будущее аналитики.

0:37 — Про карьерный путь
3:21 — Как пришёл в аналитику
8:05 — Что нравится в профессии
10:00 — Какие вызовы есть в профессиональной сфере
14:16 — Как выбрать: новые и модные технологии, или старые и надежные
19:05 — Пример проекта по построению полного цикла аналитики
30:51 — Как будет развиваться область BI
33:35 — Про Self-Service аналитику
38:33 — Про роль аналитика в компании
43:17 — Будущее аналитики
50:02 — Про построение хранилища данных и разработку dwh
55:25 — Блиц

Кстати, наш разговор с Ромой совпал с получением мной сертификации Tableau. Экзамен длился почти 2.5 часа (с учетом настройки оборудования), в течение всего экзамена за вами следит наблюдатель, стол должен быть абсолютно чист, в пространстве рядом с вами никого, а все приложения на компьютере завершены. Экзамен довольно детальный и на знание нюансов Tableau. Разобраться в деталях помогают собственные курсы от Tableau.

При успешном прохождении экзамена выдают бейдж 🎖

Тизер: да, это означапт, что в блоге обязательно появятся посты про Tableau 📊☺️

Сегодня пройдём первый этап построения дашборда библиотекой dash от plotly: подготовим график и данные к нему. Строить будем scatter plot, который отобразит отношение количества отзывов пивоварен с Untappd к их средней оценке.

http://leftjoin.ru/all/scatter-plot-untappd/

Коллеги из канала @rockyourdata проводят интересный вебинар по визуализации данных с Ромой из @revealthedata.

Рекомендую к просмотру 👨‍🎓

А вот и ссылка на будущий вебинар! Роман один из топ экспертов по визуализации данных и созданию дашбордов! Такое нельзя пропустить!🤗 Сам с удовольствием посмотрю. Ставьте напоминание в ютубе. 15 июля (уже сегодня вечером). https://youtu.be/xSp5ykKcQho

Вторая часть цикла материалов о библиотеке Dash: сегодня построим простой дашборд с двумя регулируемыми параметрами на основе графика, который мы сделали в предыдущем материале и запустим его на локальном сервере.

http://leftjoin.ru/all/dashboard-python-1/

Продолжаем разбираться с библиотекой Dash: разворачиваем дашборд из прошлого материала на сервисе AWS Elastic Beanstalk.

http://leftjoin.ru/all/dashboard-python-2/