Николай Валиотти:
"В основном мы работаем с различными digital и мобильными стартапами, помогаем им выстроить end-to-end аналитику.
Другими словами, мы работаем со спектром задач от проектирования хранилища / озера данных, построения процессов инжиниринга данных до построения отчетности и иногда даже некоторых моделей машинного обучения.
Персонально я успел поработать в ряде крупных организаций и занимался анализом данных с разнообразным стеком решений, однако в последние годы перед стартом своей компании работал в стартапе, который уже тогда начал работать с так называемым modern data stack. Меня это невероятно увлекло и вдохновило на то, чтобы и другие компании могли компетентно использовать современные облачные решения и получать максимальную пользу от собственных данных.
Мы в некотором смысле стартап (по духу), хотя, конечно, больше развиваемся как традиционная консалтинговая компания. У нас небольшой штат сотрудников и соответствующих ролей, о которых речь пойдет дальше.
Поскольку работаем параллельно с несколькими проектами одновременно бОльшая часть команд кросс-функциональна, что означает, что в каждом проекте есть выделенный сотрудник, который лидирует по проекту, а другие коллеги функционально помогают ему в достижении поставленной цели.

Среди наших сотрудников имеются:
Data Engineer - работы с построением архитектуры хранилища, среди инструментов Kafka, Airflow, среди СУБД: BigQuery, Redshift, Clickhouse, Redshift, Vertica, MySQL, разумеется, SQL и Pythoh.
Analytics Engineer - работы с инструментов dbt, построение моделей данных в Looker, работа с Python для обработки данных, естественно, SQL
2x Data Analyst - мы используем ряд инструментов в зависимости от потребностей и возможностей заказчика: Tableau, Looker, Redash, PowerBI и Metabase, ребята умеют работать в этих инструментах и естественно используют SQL. Ряд задач, например, построение классификационных моделей мы строим с использованием Python, используем Jupyter, в некоторых случаях Collab.
2x Junior Data Analyst - помогают более старшим аналитикам и решают более маленькие кусочки задач с тем же стеком технологий.

В будущем планирую выстраивать организационную структуру, поскольку найм сотрудников горизонтально все-таки невозможен бесконечно и система из более 7 человек будет работать неэффективно"

Интересный тул для любителей PowerBI

В рамках задач self-service возможности Tableau, на мой субъективный взгляд, выше Power BI, но ненадолго. Charticulator позволяет создавать практически любой шаблон диаграммы, который затем можно импортировать в PowerBI.
https://charticulator.com/
Видеоуроки:
https://charticulator.com/docs/video-tutorials.html
Практический пример:
https://youtu.be/xS6GyVpt7lY

Интересное комбо в статье по ссылке: построение моделей машинного обучения на движке BigQuery с использованием dbt

​​Пошаговое руководство запуска моделей машинного обучения в dbt и BigQuery ML без проблем, связанных с управлением инфраструктурой.

@BigQuery

Как-то раз на YouTube мы нашли гайд по Radial Pie Gauge Chart в Tableau. Нам он очень понравился — диаграмма сильно напоминает кольца активности Apple Watch. Но по задумке автора кольца графика останавливаются на 270 градусах, а все цели сравниваются только между собой. Мы доработали график — показываем, как сделать масимально приближенную к кольцам активности реализацию в Tableau:

https://leftjoin.ru/all/radial-pie-v-tableau/

Среди резюме иногда можно встретить совершенно любопытные названия должностей у кандидатов. Вот, например, интересный образец.

Недавно мы завели аккаунт в Instagram (подпишитесь!). В новом материале расскажем о том, как с использованием Python и Selenium можно автоматизировать часть действий в социальной сети.

Что с этим делать — на усмотрение читателя. Решения для масслайкинга и массфоловинга решили не описывать в силу их сомнительной легитимности и эффективности.

https://leftjoin.ru/all/instagram-python-selenium-bot/

Один из самых популярных и известных алгоритмов кластеризации — k-means, его знает каждый, кто хоть как-то начинал работу с методами машинного обучения.
Совершенно понятно, что про k-means уже написано огромное количество материалов, что на R, что на Python, но мне попалась интересная ссылка-визуализация того, как работает алгоритм.

Если только начинаете знакомиться, то можно довольно быстро понять принцип обновления центроидов в кластерах.

Из поста особенно понравилась табличка сравнения (отправлю ниже). Но, кажется, что ошиблись c Redash и not query centric.

Кейс Dropbox по использованию Apache Superset: https://dropbox.tech/application/why-we-chose-apache-superset-as-our-data-exploration-platform

Для планирования своих ежедневных дел я использую приложение Хаос-контроль, которое доступно как на мобильных устройствах, так и на десктопе.
Недавно я давал интервью создателю приложения о том, что такое тайм-менеджмент для меня, как я управляю своими делами и проектами и как использую приложение автора.

Рекомендую само приложение и делюсь своими соображениями в интервью.

#ссылка #интервью

📈 DATAMARATHON.RU 📈

Сегодня расскажу о запуске авторского обучающего проекта для погружения в область аналитики. MVP был в прошлом году опробован на близким круге знакомых, с тех пор был существенно изменен и переработан.

В интернете много клёвого бесплатного контента: наши коллеги из коммьюнити делают курсы, а мировые вузы выкладывают программы обучения в открытый доступ. Для тех, кто хочет получить профессию, поддержку и хорошую подачу материала есть также и море платных курсов. И всё же, иногда совсем не хочется тратить большие деньги и пару месяцев своего времени на полный теоретический курс, чтобы понять, подходит тебе профессия аналитика или нет.

Мы решили, что нужен пробный курс, который позволяет за 7 дней погрузиться в профессию и назвали его «Марафон данных». Получилась целая разработка по-взрослому: фронтенд в виде чат-бота с материалами, видео-лекциями и заданиями, бэкенд и API, рейтинги, несколько тарифов с обратной связью и без — поэтому наш марафон платный.

При этом базовый тариф стоит смешных денег — 2900 рублей, но если нужны персональные консультации — тоже велком в тарифы с поддержкой инструктора и персональной обратной связью.

Внутри — авторские видео по каждой теме из марафона, уникальные задачи из реального опыта, шпаргалки и вспомогательные материалы.

На выходе — ясное понимание, интересно ли вам углубляться в тему анализа данных, базовое владение базами данных, SQL и аналитическим аппаратом Python.
Бонусом: успеем даже собрать аналитический дашборд на Redash.

👉 Ознакомиться с программой марафона и принять участие 🎟.

Ночное чтиво: чувак рассказывает как собрал данные с HackerNews в несколько потоков, загрузил в S3, а оттуда в Snowflake и проанализировал с помощью нескольких SQL-запросов. В частности, изучил упоминания популярных в последние дни тикеров $GME и прочих.

И вышел наиболее крупный релиз NumPy 1.20.0, в котором довольно много разнообразных изменений. Тем, кто использует Python для анализа данных имеет смысл ознакомиться.

Уже продложительное время я слушаю подкаст про технологии Запуск завтра.

Горячо его рекомендую, поскольку в русскоязычном пространстве это самый интересный подкаст, который вообще существует.

Автор подкаста Самат Галимов ведет телеграмм-канал Запуск завтра, в котором пишет про технологии. Кстати, как вы уже догадались, подкаст получил название одноименного канала в телеге.

Помимо этого, Самат вместе с партнером помогают бизнесу с IT, так что если вашей компании что-то нужно профессионально разработать или починить разработку, обращайтесь к Самату!

Спешу рассказать любопытную историю про наше тесное аналитическое коммьюнити. На прошлой неделе присоединился к онлайн-дискуссии в рамках ИНИД (в основном, в качестве слушателя), в которой Настя Кузнецова интересно рассказывала про подход к построению визуализации. Настя ведет телеграмм-канал "Настенька и графики", который я читаю и рекомендую.
После своего выступления Настя написала мне в телеграмм и выяснилось, что мы уже около года заочно знакомы (!), т.к. в рамках одного из проектов мы с командой аудировали аналитический стек компании, в которой работает Настя, и я лично задавал Насте n-ное количество вопросов 🙂
Совпадение? Не думаю!

Офигенный пост и про телеграм, и про аналитику.

Давно известно, что в телеграмме есть фича по поиску ближайших к тебе людей (еще можно организовать чат, основанный на локации), в английской версии это называется Find People Nearby.

Чувак конкретно запарился, сэмулировал свою геолокацию GPS, запилил свою версию приложения телеги (тк под андроид опенсорс), в которой логировал передвижения и определение близлежайших к нему людей.

Из математики в посте — описание как он рассчитывал координаты людей поблизости.

Ключевая суть и его консерн о безопасности телеги в том, что потенциально можно подменить свою геолокацию на желаемую и обнаружить практически точные координаты людей поблизости (актуально не для густонаселенных городов).

Хорошая новость в том, что дефолтно эта опция отключена, но если вы ее ранее включили, проверьте на всякий случай (ниже скриншот где искать) :)