Про Матемаркетинг
После посещения Матемаркетинга я, конечно же, хотел поделиться своими впечатлениями с вами. Во-первых, ММ – это очень масштабно. Когда огромная толпа экспертов и профессионалов собираются на пару дней вместе, это вдохновляет и придает сил для новых свершений.

Изначально, я думал дождаться списка докладов, отобрать какие-то интересные и прислать на них ссылки, однако поразмыслив, пришел к умозаключению, что бОльшая часть докладов реально крутая, поэтому смотрите все. Конечно, есть ряд фаворитов (типа доклада Ромы Бунина), но в остальном – хороший качественный контент от профессионалов и экспертов.
Однако моя мысль в другом – самый сок конференции все-таки не в самих докладах, а в этом бесконечном нетворкинге, разговорах в кулуарах и знакомствах.

Об этом очень важно сказать: на Матемаркетинге общаться с людьми из индустрии крайне приятно, @a_nikushin с командой магическим образом добился отсутствия хоть какой-то неуклюжей попытки продаж на конференции. Помню, когда еще ранее я выступал в 14-15 годах на РИФе, меня страшно воротило от того, что нельзя пару метров вперед пройти, чтобы к тебе кто-то не привязался. На ММ это отсутствует как класс, поэтому общение максимально ценное и крутое.

Еще вывод такой: никакие онлайн конференции нам все-таки не заменят живое общение в оффлайне, как бы мы ни старались с всевозможными зумами. Возможность подойти, поговорить, обсудить – это очень ценная вещь в 2021 году, и я крайне благодарен тому, что конференция состоялась, несмотря на все риски, которые стояли перед командой.

В следующей заметке я наконец расскажу про что же был рассказ, а также опубликую ссылку на доклад со SmartData, где речь шла об mprove.io со стороны инжиниринга данных.

Вечеринка в баре позволила пообщаться и познакомиться со многими спикерами в уже более неформальной обстановке, так вышло, что я погрузился в общение с командой karpov.courses (ребята, вы крутые!).

P.S. И кратко мое мнение про стендап Усовича: чувак реально максимально решил не париться, взял свой концерт и рассказал его буквально буква в букву. Считаю, что комик плохо подготовился и совершенно не учел того, что его аудитория несколько отличается от той аудитории, к которой он приехал выступать, да и в целом как-то некрасиво себя повел, когда уходил со сцены.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🗣 Новость для тех, кто устал от уведомлений
В мире социальных сетей, новостных ресурсов и других раздражителей бывает непросто сосредоточиться на важных рабочих задачах или отдыхе. Так называемый “fear of missing out” – FOMO – стали замечать все больше и больше пользователей сети. И вот, американские разработчики создали Pony Messenger (хотя больше похоже, что это Turtle Messenger), который присылает (и отправляет, соответственно) все сообщения только один раз в день в установленное время.

📚 OpenAI теперь действительно открыта
OpenAI наконец-то сняла ограничения на доступ к OpenAI API. Теперь любой желающий сможет воспользоваться моделью GPT-3 для генерации текстов и другими моделями библиотеки без необходимости вставать в лист ожидания для получения доступа.

🛠 Apple запускает продажу запчастей для самостоятельного ремонта техники
Буквально несколько дней назад Apple заявили о запуске сервиса Self Service Repair. Теперь каждый, кто захочет отремонтировать свой iPhone 12 или 13 (а чуть позже и компьютеры Mac на процессоре M1) собственноручно и с помощью оригинальных деталей получит такую возможность. Сервис начнет работать в начале следующего года в США, а когда услуга будет представлена в России – пока что неизвестно.

📉 Визуализация для научных работ: Python+Matplotlib
В научных работах не сильно часто используется визуализация в Python, хотя возможности этого инструмента практически не ограничены. В этой книге подробно разобраны основы построения фигур со всеми нюансами, примерами графиков и, конечно, кода. Книгу можно прочесть в веб-версии бесплатно или же купить печатную версию, если хочется иметь качественный гайд по Matplotlib под рукой.

🧑🏻‍💻 Пропавший руководитель отдела аналитики
Конечно, наш утренний дайджест не может обойтись без очередного эссе от Бена. У него получилось необычное рассуждение на тему сложностей карьерного развития senior analysts и препятствий, которые зачастую не дают им подниматься еще выше по карьерной лестнице - попасть за стол руководителей компании. Хотя, рассуждение Бена весьма субъективно, прочесть его будет совершенно не лишним. Возможно, оно вам даже откликнется!

❔ Что мы на самом деле знаем?
В эпоху Интернета и повсеместного доступа к поисковой строке браузера, у людей постепенно отпадает необходимость помнить большое количество информации, ведь ее можно запросто уточнить в сети. В прошлом месяце в журнале PNAS вышла крайне актуальная статья “People mistake the internet’s knowledge for their own”. Результаты исследователей указывают на то, что многие люди самоуверенно заблуждаются и считают, что их знания куда обширнее и точнее, чем они есть на самом деле. Все это происходит потому, что у людей размываются границы между их собственными знаниями и внешними. “When information is at our fingertips, we may mistakenly believe that it originated from inside our heads”, пишут авторы статьи и заставляют нас серьезно задуматься.

#weekly #дайджест

MPROVE.IO

Основным докладом на Матемаркетинге-2021 от меня стала презентация нового инструмента для self-service аналитики: Mprove.io 🦄
Вдохновившись Looker, мы вместе с партнером запустили свежую обновленную версию Mprove — open-source self-service BI.

Краткие преимущества:
* Язык разметки BlockML вместо сотен однотипных query 🧙
* Крутая и мощная визуализация на d3.js ⚡
* Система контроля версий Git 🎛️
* Self-service для всех и каждого 🦸

Недавно мы запустили cloud-версию. Доступ к системе по приглашениям, на сайте можно оставить заявку и обязательно указать LEFTJOIN в качестве референса.

Сейчас мы ищем компании, которые хотели бы поучаствовать в пилоте, с настройкой можем помочь.
А также ищем pre-seed раунд, подробности лично.

Пока мы ждем официальных видео от Матемаркетинга, доступных онлайн, у меня есть шикарная запись с конференции SmartData, где в течение часа я подробно рассказываю про self-service и в целом и показываю Mprove в частности.

Как выбрать самые красивые цвета для визуализации данных? 🎨

В обязанности аналитика входит крайне много задач: обработать данные, посчитать необходимые метрики, провести статистические тесты, выбрать типы диаграмм для дашборда и их расположение. Кажется, что если уделять время еще и нюансам выбора цвета, то работа невозможно затянется. Однако цвет в визуализации так же важен, как и всё остальное, ведь чем лучше презентованы данные, тем легче будет делать выводы на их основе. Лиза Шарлотта Мут из Datawrapper написала лонгрид про цвет в визуализациях, где разобрала самые популярные ошибки и способы их исправления, а мы его перевели для нашего блога.

Например, есть универсальный лайфхак: выбирать желто-красную гамму цветов и добавлять к ней синие оттенки. А также, можно переводить все выбранные оттенки в черно-белый диапазон и проверять, отличаются ли они по яркости. Многие другие советы и разборы ошибок с примерами из популярных изданий и личными примерами автора мы можете увидеть в новой статье блога.

Расскажите в комментариях, уделяете ли вы внимание выбору цветов, когда строите диаграмму? Может у вас есть какие-то свои правила выбора подходящих оттенков?

Crayon создал полезную инструкцию по выбору облачного решения для бизнеса — здесь учтены все нюансы, с которыми может столкнуться отдел IT или отдел закупок при выборе поставщика.

На что стоит обратить внимание, как это работает, какие дополнительные услуги могут вам пригодиться и какие вопросы задавать: многолетний опыт компании на международном рынке облачных решений позволяет учесть все тонкие моменты.

Инструкция помогает получить общее представление, но чтобы получить индивидуальный подход, запишитесь на бесплатную консультацию. Специалисты Crayon проанализируют инфраструктуры вашей компании, предложат вам актуальные решения и расскажут, как сэкономить до 30% на облачных решениях.

Записаться здесь.

#реклама

Отличная инициатива от Антона, мы тоже всегда рады авторам и с удовольствием разместим интересную авторскую статью по теме в блоге.

Если вы написали отличную статью, о которой никто не знает

В русскоязычном айти есть несколько «селебрити», которых все читают и обсуждают. И намного больше малоизвестных ребят, которые пишут классные статьи. У селебрити и так все отлично, а вот остальным я бы хотел помочь найти свою аудиторию.

Поэтому провожу эксперимент! Готов опубликовать ссылку на вашу статью, если она мне понравится. Бесплатно. Знаменитостью это вас не сделает, но статью точно увидит больше людей.

Все условия

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🌈 Make your visualisations great again!
Во вторник в нашем блоге вышел очень полезный лонгрид – перевод статьи о том, как выбрать цвета для визуализации. В нем есть и лайфхаки, которые помогут улучшить уже созданную диаграмму, и разбор часто встречающихся ошибок и множество наглядных примеров. Если вдруг вы раньше не задумывались о том, какие цвета должны быть в вашей диаграмме, то вот вам знак, что стоит это сделать!

👎🏻 Никаких больше дизлайков
YouTube принял решение убрать счетчик дизлайков под видео, оставляя пользователям возможность его поставить, чтобы на платформе было больше свободы для авторов. Аргументов можно привести множество, как в пользу их решения, так и в противовес ему: например, часто лайки/дизлайки были полезны, особенно когда ищешь качественное видео “how-to”. Или, наоборот, этот показатель может “навязать” пользователю мнение, что видео плохое, несмотря на то, что это не так. Однако, только время покажет, хорошее ли это решение.

🎉 Новое в SQLite
Вышла новая версия СУБД SQLite, в которой произошло несколько изменений, основное из которых – «строгий» режим таблиц, в котором движок следит, чтобы данные в столбце соответствовали типу. Подробно про все изменения рассказал Антон Жиянов в посте на Хабре.

😺 Скорость алгоритмов и котики
В своем блоге Антон разобрал достаточно скучную тему скорости выполнения алгоритмов на забавных примерах с котиками. Если вы начинающий программист, возможно, вам будет интересно!

📚 Билл Гейтс рассказал о своих любимых книгах 2021
Тот самый Билл Гейтс ведет свой блог и в недавнем посте он поделился 5 книгами, которые ему понравились за 2021 год. Думаю, никто не удивится, что в списке много достойной научной фантастики, а именно, книг про искусственный интеллект.
#weekly #дайджест

Свежие телеграм-каналы 🥑

Есть несколько свежих (и относительно свежих) телеграм-каналов, на которые я подписан и у которых пока не очень большая аудитория, но про которые хочется рассказать. Делаю это 🙂

* Data Nature 🕊
Александр Бараков и Ксения Агеева пишут про жизнь BI-аналитики. Очень крутой пост про суть курса "Разработка BI стратегии" в виде гайда в MIRO. Рекомендую.

* Datanomix 🍷
Канал ведет Александр Полоротов, который запустил подкаст Датаголики.
С Александром Бараковым, кстати, вышел любопытный выпуск подкаста.

* Data будни 📅
Саша Михайлов ведет свой канал, в котором контент реально эволюционирует, респект. Мы познакомились с Сашей на Матемаркетинге, Саша — молодец, настоящий пример перехода в Data Engineering.
Из последнего Саша зафигачил борду на ресурсе от Вастрика и рассказывает об этом.

* Папка "Избранное" 📁
Канал ведет Олег Агапов, известный своей инициативой про открытый учебник по Data Engineering, у Олега очень интересный набор ссылок и контента, читаю с удовольствием.

* Data Coffee ☕
Ребята делают отличный подкаст про данные, я в нем принимал участие в одном из эпизодов.

* Data comics 🖼
Прикольный комиксы на тему датавиза от Наташи Киселевой

* Technology Enthusiast 👨‍🔬
Канал Артемия Козыря про аналитический инжиниринг. К примеру, из последнего Артемий рассказывал про появление Clickhouse в качестве destination для Airbyte. Тоже очень ждем.

Эмоджи в натуральном масштабе. Залипательно. 🦟 🐜🐞

Клевая штука: визуальный туториал по pandas, в котором по шагам объясняется каждое действие. Есть несколько заранее созданных примеров.
Доступно и понятен объяснены основные принципы работы библиотеки 🐼
Подглядел у @dataeng.

Оказывается, существует российское коммьюнити по dbt в телеге: @dbt_users и они проводят 14го декабря митап: https://space307.team/dbtmeetup.

Ну, и как уже намекнули в комментариях к посту, конечно же, у самих dbt уже традиционно стартовала конференция Coalesce.
EMEA-friendly день — 9ое декабря 🙂

В добавление к посту про способы визуализации деревьев решений: билиотека pybaobab для визуализации деревьев.

Практика в Институте бизнес-аналитики

В работе аналитика очень-очень важно обновлять свои знания и учиться новому, потому что новые знания появляются постоянно. Поэтому, выполнять рутинные задачи и оттачивать навыки – конечно, необходимо, но не достаточно.

Именно поэтому, стоит преодолевать себя и пробовать новые инструменты, подходы и решения. Сейчас как раз есть возможность взглянуть на работу в Power BI по-новому, разобраться в сложных современных инструментах и даже получить хороший оффер.

Институт бизнес-аналитики проводит запись на зимнюю стажировку. Успевайте заполнить анкету, прием заявок идет до 10 декабря!
Старт стажировки – в январе, а сама практика продлится до конца марта.

Что будет на стажировке?
* работа с данными: такими, которые обычно бывают у заказчика;
* решение бизнес-задач с помощью визуализации данных;
* работа с требованиями заказчика и вариантами решений;
* выстраивание коммуникации и презентация своего проекта.

Что нужно для зачисления?
Заполнить форму, прийти на стартовый вебинар и выполнить тестовое задание.

Ссылка на программу и форма здесь https://bit.ly/3prfP4D

Старое (аж 2010го года), но такое правдвивое: иллюстрация-объяснение, что такое получение степени канидата наук / Ph.D (so true!) 🎓

️☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
🎙 Подкаст, у которого нет смысла, но есть цель
Многие люди перед сном слушают успокаивающую музыку, шум природы или голосовые медитации перед сном. Однако, искусственный интеллект добрался и до этой сферы нашей жизни и теперь вы можете засыпать, слушая абсолютно бессмысленные (хотя, возможно, вы найдете в них скрытый смысл) истории под медитативную музыку. Все эти “сказки на ночь” создаются при помощи модели GPT-3.

📊 Стоит ли вообще строить дашборды?
Бен вновь философствует на тему аналитики, задаваясь вопросами о пользе дашбородов. К сожалению, большинство дашбордов содержат в себе кучу лишней информации лишь потому, что в них можно отразить абсолютно все метрики, которые можно посчитать на основе данных. Но, по мнению автора (с которым многие согласятся), аналитики данных должны побуждать руководство к решительным действиям, а это возможно лишь тогда, когда они визуализированы точно, корректно и приводят к конкретным выводам. Кроме того, дашборды должны быть полными, а детали не должны противоречить друг другу. Утопия, конечно, но именно к этому стоит стремиться.

🖤 Хватит использовать черный цвет
Не так давно мы опубликовали перевод большого материала про цвет в визуализациях в нашем блоге. Одним из множества советов был совет избегать черного цвета в визуализациях. Автор сегодняшней новости абсолютно солидарен с этим мнением и аргументацией: черный цвет слишком сильно привлекает внимание на себя. Все дело в том, что чисто черного цвета в природе не существует: от всех черных предметов вокруг отражается немного света, а значит они уже, как минимум, темно-серые. Поэтому, если вы хотите использовать черный цвет, то попробуйте поиграть с его насыщенностью и яркостью.

🌳 Визуализация для модели решающих деревьев из sklearn
Вчера уже писал про то, что в открытый доступ была выложена библиотека pybaobabdt. Коротко повторим, если вдруг вы пропустили: pybaobabdt предоставляет визуализацию деревьев решений на Python. Визуализировать деревья решений можно было и раньше: типичное дерево решений представляют с помощью стандартной диаграммы узловых связей. Однако, проблема в том, что из этих диаграмм трудно извлечь информацию и авторы этой библиотеки предлагают более удобный и наглядный метод.

🔍 Википедия может быть красивой
Не знаю, согласитесь ли вы, но я уже давно замечаю, что сайт Википедии режет глаз своей простотой. Многие сайты давным-давно работают над улучшением UI-показателей, а Википедия выглядит ровно также, как и десятки лет до этого. Если вас это тоже расстраивает, однако перестать заходить туда в поисках полезной информации вы не можете – можно просто установить расширение для браузера и наслаждаться улучшенным интерфейсом. Пользователям Safari пока попробовать нечего, зато если у вас Google Chrome, Firefox или Edge – можете установить расширение (бесплатно, естественно) и потестить.

🤷‍♂️ Все, что вы хотели узнать о dbt
Мы уже рассказывали вам про ежегодную конференцию Coalesce, на которой руководители dbt Labs и компаний-партнеров рассказывают о всех нюансах и преимуществах работы в dbt. Для себя мы уже выделили несколько приоритетных лекций на сегодня: например, о построении dbt-проекта с нуля, о развитии смешанных инструментов и о трендах в аналитике данных. Конференция проводится в онлайн-формате и будет идти еще сегодня и завтра. Она совершенно бесплатна, поэтому, почему бы не преумножить свои знания об этом инструменте и необъятном мире аналитики?

#weekly #дайджест

💥Эксклюзив! Первый мануал по Yandex DataSphere 💥

Наша команда уже несколько месяцев готовит для вас интересный проект, в рамках которого нам нужно было задеплоить модель в облаке. Спустя множество попыток и ошибок, нашей команде (наконец-то!) удалось это сделать, несмотря на недостаток информации в сети. Про сам проект мы расскажем чуть позже, но сейчас (так сказать, по горячим следам) мы создали для вас мануал, в котором рассказали все нюансы деплоя модели в облаке с нуля так подробно, как только смогли.

Очень надеемся, что наша статья будет полезна тем, кто также как и мы попал в тупик на каком-либо этапе работы в Yandex DataSphere, и очень благодарим Александра Волкова из компании Glowbyte за помощь нам, а заодно, и вам!

Наш подписчик @dmi_inod прислал тезисы с одного из докладов конференции Coalesce: Introducing the activity schema: data modeling with a single table.

Делюсь ими и призываю всех, у кого есть чем поделиться, делать это! :)

Три способа рассчитать накопленную сумму в SQL
В блоге вышел новый пост, он точно будет полезен любому начинающему аналитику, который изучает SQL. Часто, на собеседованиях или же в реальной практике вам нужно посчитать накопленную (кумулятивную) сумму. Мы поэтапно рассказали для чего это может быть нужно, а также показали три способа достижения цели: с помощью оконных функций, без их использования и отдельный, если вы пользуетесь Clickhouse.

Может, даже если вы аналитик со стажем, какой-то из этих способов вы еще не пробовали? 🤓

Апдейт к этому посту с учетом комментариев. Спасибо Дмитрию Титову из Altinity за верное замечание про сортировку.
Плюосом бонусный способ с оконными функциями на Clickhouse в статье.