Фото сгенерировано моделью ruDALL-E от Сбера по запросу "LEFT JOIN"

Вчера к одному из ранее написанных мною постов про Data Project Manager развернулась интереснейшая дискуссия в комментариях.

В частности, Александр Писаренко написал несколько крайне полезных с моей точки зрения комментариев, которыми хотел бы поделиться с читателями в канале, поскольку до комментариев к прошлому посту не всегда легко добраться.

Кратко процитирую комментарии Александра:
Я думаю, что нужно определиться, какая ведущая/основная роль вам нужна: аналитик (постановщик задачи / бизнес-аналитик / product owner / data product owner) или человек для управления работами (scrum master / delivery manager / project manager)? Как правило, эти две роли по определению находятся в конфликте: первая пытается хорошо удовлетворить заказчика, а вторая про логистику ресурсов и «чтобы в срок». Чем меньше проект, тем больше вероятность совмещения этих ролей. Если проект большой, то PM будет загружен полностью. Специально привёл разные названия из разных дисциплин в описании ролей. Они по-сути одно и тоже. Безусловно, любому PM-у будет полезно понимать предметную область (в нашем случае, данные). Это даст ему преимущества перед тем, кто этого не знает.

...

Постановка постановке рознь. Я могу поставить задачу «подготовить и согласовать с заказчиком требования». В целом, как PM-у, мне содержательно без разницы, что там написано и кто как это будет выполнять. Я даже могу не сильно быть в теме, что нужно сделать, чтобы требования эти выявить. А вот product owner-у придётся провести какой-нибудь воркшоп, собрать бизнес-заказчиков, раскопать предметную область (привет, domain driven design) и то, как будет использоваться продукт (да хоть и дата-продукт, use cases), оттуда выяснить сценарии использования. И только потом положить это в артефакт. Вот тут разница большая в ролях и в необходимых знаниях / навыках.

Другое дело, что хороший PM спросит «как будешь делать». И при невнятном ответе возьмёт риск на карандаш. А если знает «как надо делать», то сможет и помочь.

И в конце Александр дал прекрасную рекомендацию на книгу от Holistics.io:
Дайте PM-у прочитать вот это https://cdn.holistics.io/guidebook/the-analytics-stack-guidebook.pdf (2 часа внимания) и возможность задать вопросы вам :-). Расскажите, какие типы продуктов вы создаёте, какая специфика выявления требований / проектирования / проверки и приёмки / запуска и эксплуатации. Сделайте «кейс-проекта» и дополняйте его. И если он хоть один ИТшный продукт сдавал заказчику, то он сразу подхватит.

Классный пост про малоизвестные фичи PostgreSQL, особенно понравилось про Match Against Multiple patterns, Get first/last row without sub-queries, сводные таблицы и про OVERLAPS.

#ссылка

Мы собрали уже 250 ответов на опрос 🔥🔥🔥

Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать.

Мне бы очень хотелось собрать как минимум 500 ответов (а лучше 1000), чтобы выборка респондентов была полноценной, поэтому большая просьба принять участие, если вы обучались на каком-либо платном курсе по аналитике / data science / data engineering и поделиться своими впечатлениями.

По планам на результаты: скорее всего, на выходе будет дашборд с ответами в Tableau Public + презентация с выводами, которую можно прочитать.

Помимо этого, мы хотим сделать некоторый выпуск, где голосом обсудим самые интересные случаи как успешного, так и разочаровавшего образования онлайн.

➡️ Поэтому прошу всех пройти опрос про онлайн-курсы и рассказать про свой опыт 📢📢📢

А коллег-авторов телеграм-каналов снова прошу о репосте, чтобы получить побольше охвата и отзывов о курсах.

Вести с полей Excel

Я совершенно точно отстал от того как Excel развивается, а и в нем, как выяснилось, есть интересности. В частности, раньше мы повсеместно использовали ВПР и ИНДЕКС(ПОИСКПОЗ), а сейчас доступна функция ПРОСМОТРX 🦸‍♂️, который с легкостью позволяет решить задачу джойна данных в Экселе.

Матемаркетинг-2021

Анонсы к некоторым конференциям хочется делать максимально подробно. Сегодня как раз такой случай: через неделю, 18 ноября, я буду выступать на самой крупной и, с моей точки зрения, самой качественно организованной конференции по аналитике — Матемаркетинг.

Для меня большая честь быть частью этого события. Огромное спасибо @a_nikushin и всей его команде за организацию мероприятия!

В оффлайне на Матемаркетинге мне хотелось выступить еще в 2019 году, но не сложилось. Поэтому, с учетом COVID-ограничений, я прочитал целых два доклада в 2020 году.

Кстати, вот они:
1) Облачный datastack
2) Сравнение BI-систем

Периодически мне пишут в личку, что данные доклады оказались полезными, и я очень рад поделиться возможностью их еще раз посмотреть. По существу, они практически не потеряли актуальности.

Я уже давно хочу встретиться, поговорить и познакомиться с теми, с кем еще не знаком в оффлайне. Хорошо, что Матемаркетинг состоится вживую (в формате COVID-free!), потому что я очень соскучился по спонтанным встречам, нетворкингу, разговорам в кругу умных и образованных людей.

В этом году от меня будет целых два грандиозных выступления, которые мне хочется проанонсировать.

1️⃣ Мой основной доклад будет о том, как маркетологам и аналитикам строить отчеты без знания SQL. Премьера нашей self-service BI для широкой аудитории. Все важные детали я расскажу на конференции, но главное, что нужно знать: продукт уже работает и используется!

2️⃣ Второй доклад будет в партнерстве с Яндекс.Облаком и лично маэстро DataLens @paveldubinin. Недавно мы выпустили крутой материал на Хабре про построение serverless аналитики на Яндекс.Облаке. В докладе мы постараемся максимально подробно рассказать про кейс, объясним преимущества и интерактивно проиллюстрируем работу элементов архитектуры.

Приятный традиционный бонус для моих подписчиков: промокод LEFTJOIN, который дает скидку 15% 🎟

А в качестве картинки для привлечения внимания — постер из Джеймса Бонда с призывом: Time to meet offline.

Буду рад всех увидеть лично!

Что можно делать с помощью Google App Script?

В блоге мы часто пишем посты для рубрики «How To», чтобы сделать работу аналитика проще и эффективнее одновременно.

Сегодня в посте про Google Sheets мы подробно рассказываем про автоматизацию переноса строк с одного листа на другой и показываем работу этого простого скрипта действии. Переходите в блог, чтобы узнать отличный лайфхак для быстрой работы с Google Sheets.

Классный курс по визуализации данных

Некоторые курсы хочется рекомендовать бескорыстно, сегодня такой случай. Настя Кузнецова (автор канала “настенька и графики“), уже давненько запустила свой курс по Визуализации данных на Stepik с использованием Tableau. Так как сейчас ни одна вакансия BI-аналитика не обходится без этого инструмента, я очень советую присмотреться к этому курсу. Особенно полезно, что Настя объясняет принципы и основные идеи при работе с датавизом.

Я лично поучаствовал в этом курсе и могу смело его рекомендовать за состав, качество контента и отличные примеры. Мне захотелось поделиться с вами своей находкой, но чтобы сделать это приятнее я попросил у Насти промокод для читателей канала.

Поэтому если вы захотите тоже пройти этот курс и прокачать ваши навыки в датавизе и Tableau, то промокод LEFTJOIN сэкономит вам 800 рублей (то есть курс обойдется всего в 2 тыс. руб, я его сам купил дороже 🤣).

Промокод действует до 3 декабря. Расскажите о впечатлениях в комментах, если начнете курс.

На данную минуту мы собрали 406 ответов на опрос про онлайн-курсы по аналитике. Большое спасибо всем респондентам, крайне полезная и очень интересная информация собирается.
Начинаем анализировать и сводить 🔥🤓

Отдельно хочу поблагодарить своих коллег по цеху, авторов телеграмм-каналов за репост и расширение охвата опроса:
* Алексей Макаров @datalytx
* Стас Валуев @AisForAnalytics
* Дима Аношин @rockyourdata
* Денис Соловьев @smart_data_channel
* Рома Бунин @revealthedata
* Андрей Березин @eto_analytica

Последняя возможность пройти исследование есть на этой неделе.
🏁 В пятницу 19го ноября в 23:59 мы перестанем принимать ответы.

Мы с командой постоянно читаем много материалов, книг и блогов по аналитике и технологиям. Решили создать отдельную рубрику с дайджестом любопытных новостей за прошлую неделю. Лавируйте вместе с нами на корабле знаний и постарайтесь не расплескать свой утренний кофе ☕️

☕️Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🗞

🌍 The Product Report 2021
Опубликован продуктовый отчет 2021 Amplitude, в котором много интересных выводов. Например, данные показывают, что отрасль финтех компаний растет чуть ли не по экспоненте. График роста пользователей финтех-инструментов выглядит как постепенное увеличение финтех-активности с января 2020 года по декабрь 2020 года, но нет. 100%-ный рост всего за год — это отнюдь не постепенно! Мы даже не добрались до конца 2021 года, а количество активных пользователей в финтех-индустрии выросло на 337% по сравнению с исходным уровнем.

📝 How I use Notion
Notion, бесплатное приложение для управления личными знаниями, часто используют для организации различных аспектов жизни: управления проектами, чтения, учебы, планов/целей, инвестирования. Возможностей у приложения так много, что Роберт (автор обзора) чувствует, что “лишь прикоснулся” к их многообразию. Тем не менее, он подробно рассказал и показал, как фиксирует и отслеживает долгосрочные и краткосрочные планы, инвестиции, чтение книг, учебные вопросы и рабочие проекты.
Мне кажется, что это отнимает массу времени на поддержку актуальности и обновление планов, а у вас какие приемы на этот счет? Пишите в комментариях.

⚖️ A method for measuring analytical work
В работе аналитика есть одна трудность, о которой не так часто говорят: работу аналитика, как ни парадоксально, бывает трудно оценить. Речь, конечно, не о метриках анализа, которые покажут результативность тех или иных изменений, а об оценке самой работы. Хорошо известный нам по предыдущим ссылкам Benn Stancil рассуждает на эту тему и приходит к интересным выводам: аналитики должны делать других людей более решительными, желательно в кратчайшие сроки. И да, несмотря на то, что анализ должен быть комплексным, важно не совершать лишних действий и найти золотую середину между этими двумя крайностями. Чтож, никто не говорил, что аналитиком быть просто.

🧑🏻‍💻Lesser Known PostgreSQL Features
Уже советовал, но повторюсь: очень полезный пост про малоизвестные фичи PostgreSQL с примерами кода и результатами. Обратите внимание на разборы методов Match Against Multiple patterns, Get first/last row without sub-queries, сводные таблицы и OVERLAPS.

😱 Does data make us cowards?
Еще один (более свежий) пост от Бена, который любит рассуждать на тему аналитики в абсолютно неожиданном и, порой, философском ключе. Бен рассуждает: “Не перекладываем ли мы слишком много ответственности на аналитиков?”. Да, конечно, данные и выводы, сделанные на их основе, могут облегчить процесс принятия решения. Но правда в том, что не всегда анализ может облегчить принятие решения, и сделать выбор будет ничуть не легче. Однако, это совсем не повод не пользоваться анализом данных, вы же согласны? 🙂

#weekly #дайджест

Прямо сейчас в открытом потоке идёт доклад Николая Валиотти, основателя Valiotti Analytics. Николай рассказывает о проектировании BI-платформы для специалистов без знания SQL.

Смотреть тут: https://matemarketing.ru

Ваш новый черный.
Product LIVE+BLACK FRIDAY = скидки до 50% на курсы по управлению!

Полезно узнать, что число специалистов, которые умеют работать с ИИ-продуктами, не так велико, как хотелось бы корпорациям. А значит, у многих читателей канала появился шанс получить востребованную профессию и (кто знает?) начать работать в зарубежной компании уважаемым спецом.
Стать специалистом, который умеет работать с ИИ и получать прибыль от внедрения в бизнес-процессы AI/ML-технологий учат на курсе «Управление AI/ML продуктами» школы Product LIVE.
Курс практический, учат 4 месяца.

Выпускник курса зарабатывает:
— На знании, как работает ИИ и машинное обучение.
— На умении собрать команду и выдать четкое ТЗ каждому сотруднику.
— На внедрении технологии ИИ в реальные производственные процессы.

Компания ощутимо увеличивает прибыль, продакт растет в карьере и зарабатывает деньги — вплоть до перехода на должность Senior product manager в зарубежные компании.

Курс рассчитан на опытных продактов, руководителей и владельцев компаний и стартаперов (и не обязательно уезжать работать в другую страну).

Начните становиться AI-продактом в ЧЕРНУЮ ПЯТНИЦУ, который умеет зарабатывать на деле. Отправьте заявку прямо сейчас и получите скидку 50% и курсы в подарок по промокоду LEFTJOIN до 26 ноября.

#реклама

Про Матемаркетинг
После посещения Матемаркетинга я, конечно же, хотел поделиться своими впечатлениями с вами. Во-первых, ММ – это очень масштабно. Когда огромная толпа экспертов и профессионалов собираются на пару дней вместе, это вдохновляет и придает сил для новых свершений.

Изначально, я думал дождаться списка докладов, отобрать какие-то интересные и прислать на них ссылки, однако поразмыслив, пришел к умозаключению, что бОльшая часть докладов реально крутая, поэтому смотрите все. Конечно, есть ряд фаворитов (типа доклада Ромы Бунина), но в остальном – хороший качественный контент от профессионалов и экспертов.
Однако моя мысль в другом – самый сок конференции все-таки не в самих докладах, а в этом бесконечном нетворкинге, разговорах в кулуарах и знакомствах.

Об этом очень важно сказать: на Матемаркетинге общаться с людьми из индустрии крайне приятно, @a_nikushin с командой магическим образом добился отсутствия хоть какой-то неуклюжей попытки продаж на конференции. Помню, когда еще ранее я выступал в 14-15 годах на РИФе, меня страшно воротило от того, что нельзя пару метров вперед пройти, чтобы к тебе кто-то не привязался. На ММ это отсутствует как класс, поэтому общение максимально ценное и крутое.

Еще вывод такой: никакие онлайн конференции нам все-таки не заменят живое общение в оффлайне, как бы мы ни старались с всевозможными зумами. Возможность подойти, поговорить, обсудить – это очень ценная вещь в 2021 году, и я крайне благодарен тому, что конференция состоялась, несмотря на все риски, которые стояли перед командой.

В следующей заметке я наконец расскажу про что же был рассказ, а также опубликую ссылку на доклад со SmartData, где речь шла об mprove.io со стороны инжиниринга данных.

Вечеринка в баре позволила пообщаться и познакомиться со многими спикерами в уже более неформальной обстановке, так вышло, что я погрузился в общение с командой karpov.courses (ребята, вы крутые!).

P.S. И кратко мое мнение про стендап Усовича: чувак реально максимально решил не париться, взял свой концерт и рассказал его буквально буква в букву. Считаю, что комик плохо подготовился и совершенно не учел того, что его аудитория несколько отличается от той аудитории, к которой он приехал выступать, да и в целом как-то некрасиво себя повел, когда уходил со сцены.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🗣 Новость для тех, кто устал от уведомлений
В мире социальных сетей, новостных ресурсов и других раздражителей бывает непросто сосредоточиться на важных рабочих задачах или отдыхе. Так называемый “fear of missing out” – FOMO – стали замечать все больше и больше пользователей сети. И вот, американские разработчики создали Pony Messenger (хотя больше похоже, что это Turtle Messenger), который присылает (и отправляет, соответственно) все сообщения только один раз в день в установленное время.

📚 OpenAI теперь действительно открыта
OpenAI наконец-то сняла ограничения на доступ к OpenAI API. Теперь любой желающий сможет воспользоваться моделью GPT-3 для генерации текстов и другими моделями библиотеки без необходимости вставать в лист ожидания для получения доступа.

🛠 Apple запускает продажу запчастей для самостоятельного ремонта техники
Буквально несколько дней назад Apple заявили о запуске сервиса Self Service Repair. Теперь каждый, кто захочет отремонтировать свой iPhone 12 или 13 (а чуть позже и компьютеры Mac на процессоре M1) собственноручно и с помощью оригинальных деталей получит такую возможность. Сервис начнет работать в начале следующего года в США, а когда услуга будет представлена в России – пока что неизвестно.

📉 Визуализация для научных работ: Python+Matplotlib
В научных работах не сильно часто используется визуализация в Python, хотя возможности этого инструмента практически не ограничены. В этой книге подробно разобраны основы построения фигур со всеми нюансами, примерами графиков и, конечно, кода. Книгу можно прочесть в веб-версии бесплатно или же купить печатную версию, если хочется иметь качественный гайд по Matplotlib под рукой.

🧑🏻‍💻 Пропавший руководитель отдела аналитики
Конечно, наш утренний дайджест не может обойтись без очередного эссе от Бена. У него получилось необычное рассуждение на тему сложностей карьерного развития senior analysts и препятствий, которые зачастую не дают им подниматься еще выше по карьерной лестнице - попасть за стол руководителей компании. Хотя, рассуждение Бена весьма субъективно, прочесть его будет совершенно не лишним. Возможно, оно вам даже откликнется!

❔ Что мы на самом деле знаем?
В эпоху Интернета и повсеместного доступа к поисковой строке браузера, у людей постепенно отпадает необходимость помнить большое количество информации, ведь ее можно запросто уточнить в сети. В прошлом месяце в журнале PNAS вышла крайне актуальная статья “People mistake the internet’s knowledge for their own”. Результаты исследователей указывают на то, что многие люди самоуверенно заблуждаются и считают, что их знания куда обширнее и точнее, чем они есть на самом деле. Все это происходит потому, что у людей размываются границы между их собственными знаниями и внешними. “When information is at our fingertips, we may mistakenly believe that it originated from inside our heads”, пишут авторы статьи и заставляют нас серьезно задуматься.

#weekly #дайджест

MPROVE.IO

Основным докладом на Матемаркетинге-2021 от меня стала презентация нового инструмента для self-service аналитики: Mprove.io 🦄
Вдохновившись Looker, мы вместе с партнером запустили свежую обновленную версию Mprove — open-source self-service BI.

Краткие преимущества:
* Язык разметки BlockML вместо сотен однотипных query 🧙
* Крутая и мощная визуализация на d3.js ⚡
* Система контроля версий Git 🎛️
* Self-service для всех и каждого 🦸

Недавно мы запустили cloud-версию. Доступ к системе по приглашениям, на сайте можно оставить заявку и обязательно указать LEFTJOIN в качестве референса.

Сейчас мы ищем компании, которые хотели бы поучаствовать в пилоте, с настройкой можем помочь.
А также ищем pre-seed раунд, подробности лично.

Пока мы ждем официальных видео от Матемаркетинга, доступных онлайн, у меня есть шикарная запись с конференции SmartData, где в течение часа я подробно рассказываю про self-service и в целом и показываю Mprove в частности.

Как выбрать самые красивые цвета для визуализации данных? 🎨

В обязанности аналитика входит крайне много задач: обработать данные, посчитать необходимые метрики, провести статистические тесты, выбрать типы диаграмм для дашборда и их расположение. Кажется, что если уделять время еще и нюансам выбора цвета, то работа невозможно затянется. Однако цвет в визуализации так же важен, как и всё остальное, ведь чем лучше презентованы данные, тем легче будет делать выводы на их основе. Лиза Шарлотта Мут из Datawrapper написала лонгрид про цвет в визуализациях, где разобрала самые популярные ошибки и способы их исправления, а мы его перевели для нашего блога.

Например, есть универсальный лайфхак: выбирать желто-красную гамму цветов и добавлять к ней синие оттенки. А также, можно переводить все выбранные оттенки в черно-белый диапазон и проверять, отличаются ли они по яркости. Многие другие советы и разборы ошибок с примерами из популярных изданий и личными примерами автора мы можете увидеть в новой статье блога.

Расскажите в комментариях, уделяете ли вы внимание выбору цветов, когда строите диаграмму? Может у вас есть какие-то свои правила выбора подходящих оттенков?

Crayon создал полезную инструкцию по выбору облачного решения для бизнеса — здесь учтены все нюансы, с которыми может столкнуться отдел IT или отдел закупок при выборе поставщика.

На что стоит обратить внимание, как это работает, какие дополнительные услуги могут вам пригодиться и какие вопросы задавать: многолетний опыт компании на международном рынке облачных решений позволяет учесть все тонкие моменты.

Инструкция помогает получить общее представление, но чтобы получить индивидуальный подход, запишитесь на бесплатную консультацию. Специалисты Crayon проанализируют инфраструктуры вашей компании, предложат вам актуальные решения и расскажут, как сэкономить до 30% на облачных решениях.

Записаться здесь.

#реклама

Отличная инициатива от Антона, мы тоже всегда рады авторам и с удовольствием разместим интересную авторскую статью по теме в блоге.