📚🧐🎓#Книги #Полезное (продолжение)
Про коммуникации:
🔸Ненасильственное общение: Язык жизни. 🔗Ссылка
Чем приятнее и проще с вами коммуницировать, тем больше информации вам удастся получить у респондента. Кроме того, есть терапевтический эффект от прочтения 😉
🔸Эмоциональный интеллект руководителя. 🔗Ссылка
Очень много книг про эмоциональный интеллект. Но Гоулман, например, не является автором концепции, а вот эти дядьки являются.
🔸Язык телодвижений. 🔗Ссылка
Невербалика иногда несёт даже больше информации, чем речь, так что не забывайте про это, а то Кэл Лайтман обидится.
🔸Отчаянные аккаунт-менеджеры. 🔗Ссылка
Считаю эту книгу одной из самой полезной в работе с людьми. Конечно, с клиентами нужно правильно взаимодействовать, но как это правильно? В какие каналы и что писать? Как напомнить о себе? Читаем Бориса, он задолбался своих сотрудников учить и написал книжку.
🔸Я манипулирую тобой. 🔗Ссылка
Думаю, что Непряхина многие знают, так что просто скажу, что это выдающийся труд по осознанию манипуляций. Очень помогает в переговорах или на интервью. Вдруг вы вынуждаете респондентов отвечать нужным вам образом?
🔸Пиши, сокращай. 🔗Ссылка
Просто прочитайте эту книгу и улучшите качество своей переписки. Честное слово, иногда так подгорает от писем или чатов, что приходится несколько минут в себя приходить.
🔸Лаборатория презентаций. Формула идеального выступления. 🔗Ссылка
Умеете презентации делать и выступать с ними? Гандапас ваше всё? А может даже Нэнси Дуарте знаете? Эта книга для меня стала базой для подготовки тренингов по разработке презентаций. Очень системно.

Неочевидное:
🔸Стратегическое сафари. 🔗Ссылка
Я остался в восторге от этой книги. В ней по полочкам разложены основные школы стратегирования. Не техники, которые в интернете называются стратегией, а именно концептуальные школы. Пользовательские исследования являются важным этапом формирование стратегии компании, так что хорошо бы понимать их место.
🔸8 важных свиданий. Как создать отношения на всю жизнь. 🔗Ссылка
Странно? А вот вам 8 планов интервью с любимым человеком, чтобы понять, насколько вы друг другу подходите. User Research в лучшем виде. А если ещё продуктовый подход к отношениям применить, то вообще огонь: два продакта, пользователи продукта всегда в доступе. Проводи качественный анализ и планируй изменения в продукте с комфортной периодичностью.

Очень понравилась идея реализовать визуализацию населения городов, что называется, "во плоти".

На картинке часть экспозиции музея "The Museum of Fine Arts in Houston, Texas". Вот тут есть больше фотографий.

Всего тут 24 города, для каждого из которых сделан арт-объект на базе причудливого 3D violin-plot или чего-то похожего на него (поправьте, пожалуйста, если ошибаюсь).

Немного подробностей есть в статье.

🔗Ссылка

#визуализации

Ребята из Lamoda поделились базовым роудмапом для тех, кто хочет вкатиться/перекатиться в инжиниринг данных.

Материалы, в общем-то, не первый день известны в узких кругах, но собрано и описано все очень аккуратно. Могу только присоединиться к рекомендациям коллег.

Многое из этого смотрел или проходил сам, плюс по каждой теме есть материалы на русском.

🔗Ссылка

#учебное

Много страшных слов.

В нашей сфере используется больше количество терминов, аббревиатур, словосочетаний. Многие из них англоязычные и не имеют вменяемого перевода (это боль и тема для отдельного поста).

Дима Аношин написал пост, в котором дал определения для некоторых сложных случаев. За что ему отдельное спасибо.

Я могу только дополнить его взгляд статьей "Data Warehouse vs. Data Lake vs. Data Streaming: Friends, Enemies, Frenemies?". В ней автор раскладывает по полочкам хранилища, озера данных, их гибриды и разные сценарии использования.

Главные мысли:
🔹Data Warehouse - для отчетности и BI;
🔹Data Lake - для анализа больших данных и машинного обучения;
🔹Data Streaming - для сценариев, когда действительно надо в реальном времени делать выводы о каких-то событиях.
🔹Децентрализованные архитектуры (вроде того же Data Mesh) - для всего остального.

P.S. Картинка по самому мудреному способу хранения - LakeHouse - из блога databricks.

🔗Ссылка

Машу я знаю давно, она классно пишет про качество сервиса, всякие руководительские штуки и разбавляет это поучительными историями.

В этот раз история вышла злободневная - про найм джунов-аналитиков в 2022.

В 2014-2015 годах, когда мы нанимали людей в ту же самую, между прочим, группу аналитики, ключевой проблемой кандидатов тоже было фундаментальное непонимание роли аналитики и того, кто и как пользуется ее результатами.

В общем, времена меняются, проблемы остаются.

А вот Excel тогда еще не презирали, правда и такого количества онлайн-школ и курсов с обещаниями зп 100+ к в секунду не наблюдалось.

#компетенции #каналы

Об аналитиках

В этом году мы с @AliceMatiss искали джуниора в группу аналитики, и это было интересно, но непросто.

Кого мы увидели:
➕ Ребят, которым очень хочется освоить новую сферу и которые для этого готовы учиться и много работать.
➕ Ребят, которые уже прошли различные курсы, попробовали хотя бы в учебном формате Python и SQL, визуализацию и рекомендации.
➖ Ребят, которые считают Excel бесполезным инструментом (но мы-то с вами знаем истину!)
➖ Ребят, которые не думают о конечном Заказчике, и о том, чьими глазами стоит смотреть на результат.

В очередной раз утвердилась в том, что аналитики, которые находятся внутри саппорта и регулярно общаются с Клиентами по собственной отчетности, - это замечательно.
Это возможность постоянно замечать, как разные люди смотрят на одни и те же данные, слышать фидбэк от реальных пользователей и иметь возможность вносить корректировки сразу.

▪️ Ведь смысл-то, как известно, не в том, чтобы показать, какими инструментами ты умеешь пользоваться.
А в том, чтобы помогать людям видеть за красивыми дашбордами ответы. Ответы, которые помогают принимать решения.

Ежегодный обзор того, какое количество данных генерируется в интернете за одну минуту.

Если до этого не видели - числа поражают.

Итоги представлены в виде инфографики, к понятности которой есть вопросы, но по цветам красиво (и темная тема - ❤️).

Качество в телеграме будет шакальное, вот прямая ссылка на картинку.

🔗Ссылка

#визуализации

Мне понравилась простая классификация аналитиков из статьи "Storytellers and System Builders".

Автор выделяет 2 мета-роли:

📊 Рассказыватели историй
Они больше про помощь бизнесу в принятии решений, построение дашбордов и визуализаций, донесение информации и убеждение.

🛠 Строители систем
Они больше про аналитические решения и платформы, пайплайны, повышение качества данных, в общем что-то более "дата-инженерное".

Такой подход позволяет:
🔹хоть как-то систематизировать то количество ролей/должностей, которое сейчас существует в профессии (автор насчитал 12 реальных и еще одну шуточную, но я встречал списки и побольше);
🔹лучше распределить задачи в команде исходя из компетенций сотрудников;
🔹строить карьерные пути и планы развития исходя из предрасположенности людей к тем или иным задачам;
🔹заставлять их всех работать вместе на основании более четкого распределения ответственности.

У меня в голове крутится мысль, что это какое-то аналитическое переосмысление ролей фронтенда и бэкенда (но это не точно).

🔗Ссылка

#компетенции

Сегодня и завтра меня, при желании, можно найти на Product Sense.

Четвертый раз подряд и первый раз в оффлайн, удалось выбраться в последний момент.

#конференции

Вопреки всему, что происходит, поеду на Матемаркетинг 2022, второй год подряд в очном формате.

В прошлом году познакомился лично с классными ребятами, в том числе теми, чьи каналы раньше только читал. И даже немного порефлексировали с Сашей про тренды по итогам.

В этот раз тоже попробую. Захотите пообщаться - пишите.

По ссылке ниже Леша раздает бесплатные билеты с онлайн-доступом к части докладов, в том числе и тем, которые стартуют сегодня и завтра.

🔗Ссылка

#конференции

Нашел прикольную штуку для создания дата-пайплайнов прямо из интерфейса JupyterLab - Elyra.

Причем интересно, что собирать их можно не только из готового кода, но еще и из самих ноутбуков, а также каких-то базовых действий над элементами (скачать, сгруппировать, разделить, соединить файлы и тому подобное).
А еще можно пробросить выполнение пайплайна в оркестраторы вроде Airflow или даже (прости, господи) Kubeflow.

Кажется перспективной штукой, буду подробнее изучать.

В статье ниже можно посмотреть как это выглядит в интерфейсе.

🔗Ссылка

#инструменты

Тренды на год по многим темам публикуют уже пару месяцев. Достойных материалов пока не очень много.

Сегодняшняя статья про будущее Data Engineering, тем не менее, в порядке.

7 трендов из нее:
🔹 Команды будут больше фокусироваться на оптимизацию затрат на облака и инфраструктуру (что поделать, кризис);
🔹 Роли аналитиков будут дальше уходить в специализацию;
🔹 Несмотря на децентрализацию и прочие data mesh, общие платформы обработки данных продолжат развиваться;
🔹 Больше половины разрабатываемых ML-моделей успешно дойдут до продакшена;
🔹Начнут внедряться дата-контракты;
🔹Все больше будет размываться грань между DWH и DL-подходами (привет, DataLakeHouse);
🔹Время исправления аномалий и проблем с качеством данных будет снижаться (думаю, это связано с более активных внедрением observability, governance, lineage и всего такого).

🔗Ссылка

#тренды

Любителям разного рода трендов могу также порекомендовать вот такой сайт-агрегатор от компании Spacecadet. Доступны материалы за 2023, 2022 и 2021 годы.

На этот год по нашей предметной области там, кажется, только отчеты Gartner, прикрытые обязательным заполнением формы:
- Gartner’s 100 Data Analytics Predictions 2025;
- Gartner’s IT Roadmap For Data And Analytics 2023 (прямая ссылка на файл, спасибо Максиму из комментов к посту)

Правда мне на корпоративную почту их после заполнения так и не прислали (может она недостаточно корпоративная или я еще чем-то еще не угодил).

Ну и есть что-то красивое с цветами.

Зато много интересного из смежных сфер - технологии, дизайн, маркетинг и прочее (вроде рынка инфлюенсеров Китая). Не все хорошего качества, но ожидать его от большого списка было бы странно.

🔗Ссылка

#тренды

Мой товарищ Антон написал монструозную статью про то, что такое MLOps. Это результат более чем двухлетнего погружения в тему и изучения многочисленных источников.

Для справки: MLOps - это DevOps из мира ML, стандартизация разработки, обслуживания ML-моделей в продакшене или же "операционализация моделей машинного обучения".

По-простому: это когда модель не только накодили, обучили и начали использовать в каком-то боевом приложении, но еще и выстроили пайплайны для ее мониторинга, обновления и переразвертывания.

В статье помимо определений и истории развития MLOps можно найти следующее:
🔹несколько моделей уровней зрелости;
🔹огромную технологическую схему;
🔹описание основных процессов;
🔹генерируемые артефакты;
🔹взгляд на это все как на классическую информационную систему;
🔹мемасики.

В общем, все очень по-взрослому (кроме последнего пункта, конечно).

Я не видел аналогов на русском языке ни по объему, ни по качеству, если они есть - пришлите, пожалуйста.

🔗Ссылка

#MLечное

Обзор российского рынка Business Intelligence от TAdviser, которые, кажется, реально хотят стать еще одним Гартнеро-заменителем (напомню, что есть еще ежегодные обзоры рынка от Сnews).

Правда, итоги и основные числа пока только за 2021 год:
🔹объем рынка около 45 млрд рублей;
🔹рост год к году 16%;
🔹есть топы крупнейших вендоров и интеграторов;
🔹а еще собрана статистика по аудитории телеграм-каналов конкретных решений (и западных и отечественных) - не знаю, что она должна показать, но такого еще не видел.

Тренд года угадать несложно - импортозамещение (прогноз роста выручки российских решений составляет 10-12%)

🔗Ссылка

#исследования #business_intelligence #анализ_рынка

Matt Turck с коллегами запилили ML/AI/Data Landscape по состоянию на начало 2023 года. Теперь у этого артефакта есть классная аббревиатура MAD, которая отлично отражает всю сущность мира инструментов для анализа данных.

Отчет состоит из 4 частей:
🔹Part I: The Landscape;
🔹Part II: Market trends: Financings, M&A and IPOs;
🔹Part III: Trends in data infrastructure;
🔹Part IV: Trends in ML/AI.

В этом году проявилась еще и интерактивная версия.

Про прошлую версию я что-то писал тут.

#инструменты #анализ_рынка

Чем больше я смотрю на плагины и расширения Jupyter Notebook, тем больше убеждаюсь, что аналитиков хлебом не корми - дай пооптимизировать что-то.

Например, c помощью Mito можно работать с датафреймами как с Excel/Google Sheet с кнопочками, фильтрами, сводными таблицами и прочими удобствами.

Эта штука еще и код за тебя попишет. Зачем пихать это все прямо внутрь Jupyter для меня загадка, но какие-то простые вещи действительно удобно делать кнопочками без кода. Кажется, как обычно, лень - двигатель прогресса.

У инструмента есть аналоги, как минимум - bamboolib и dtale. Про различия можно почитать, например, в статье на Хабре.

Пощупал все три и Mito, в итоге, понравился больше (хотя все еще считаю это все извращением). Видео-демка и документация есть на сайте разработчиков. В дополнение можно почитать восторженные отзывы с medium по ссылке ниже:

🔗Ссылка

#инструменты

Собрали с коллегами дайджест материалов про работу с данными и машинным обучением, которые показались нам интересными. Накопилась критическая масса с начала года.

Аналитического и ML-ного примерно серединка-наполовинку, плюс какие-то материалы вы уже могли видеть в моем канале.

Вот то, о чем я мог бы, но не собрался написать подробнее:

🔹Рассуждения Benn Stancil о том, как скоро генеративные модели заменят аналитиков;
🔹Кейсы Леруа Мерлен и Почтатеха о построении enterprise дата-платформ;
🔹Новость о покупке Dbt BI-инструмента Transform;
🔹Итоги 2022 года по версии DB Engines;
🔹Подборки сервисов для исследования/визуализации данных и полезных репозиториев для дата-саентистов;
🔸Много материалов по ML/MLOps, в которых я разбираюсь похуже, но, благо, есть специально обученные люди 😉.

🔗Ссылка

#дайджест #MLечное #инфраструктурное

Продолжаю копаться в новых инструментах для аналитиков.

Если в прошлый раз мы сами заталкивали Google Sheets в Jupyter, то сейчас за нас уже затолкали Python в аналог Google Sheets: Neptyne.

Получается, что у нас обычная электронная табличка с одной стороны, IDE с другой и чуть пониже окно запроса в местный "AI" (куда уж без этого).

То есть в одном окне можно спросить у нейросети население всех стран, написать эксельные формулы для базовых вычислений, а потом кодом переобразовать в dataframe, обработать pandas-ом и вывывести обратно в табличку.

Пока даже пускают бесплатно попробовать. По ссылке ниже чуть подробнее рассказывают про инструмент (хотя на сайте все и так довольно наглядно).

🔗Ссылка

#инструменты

В продолжение темы про новые инструменты.

Интересно понаблюдать за тем, как нейросети начинают экспансию в сервисы для визуализации и аналитики. Например, вот эта штука (Data Prism), найденная @data_csv, умеет генерировать идеи визуализаций по датасету.

По поводу качества полученных результатов уже успел знатно и обоснованно поорать Рома Бунин в комментах. Мне остается только присоединиться.

#инструменты

Теперь можно не страдать с выбором типа визуализации

Директор по инновациям Noteable (это такой онлайн-аналог Jupyter Notebook — платформы для написания кода) анонсировал новый инструмент — Data Prism, который сможет подбирать много вариантов графиков для ваших данных.

В статье есть несколько примеров, а полноценный анонс состоится сегодня в 19:00 по Москве — по крайней мере, об этом гласит прямая трансляция, которая висит на страничке.