Клевая штука: визуальный туториал по pandas, в котором по шагам объясняется каждое действие. Есть несколько заранее созданных примеров.
Доступно и понятен объяснены основные принципы работы библиотеки 🐼
Подглядел у @dataeng.

Оказывается, существует российское коммьюнити по dbt в телеге: @dbt_users и они проводят 14го декабря митап: https://space307.team/dbtmeetup.

Ну, и как уже намекнули в комментариях к посту, конечно же, у самих dbt уже традиционно стартовала конференция Coalesce.
EMEA-friendly день — 9ое декабря 🙂

В добавление к посту про способы визуализации деревьев решений: билиотека pybaobab для визуализации деревьев.

Практика в Институте бизнес-аналитики

В работе аналитика очень-очень важно обновлять свои знания и учиться новому, потому что новые знания появляются постоянно. Поэтому, выполнять рутинные задачи и оттачивать навыки – конечно, необходимо, но не достаточно.

Именно поэтому, стоит преодолевать себя и пробовать новые инструменты, подходы и решения. Сейчас как раз есть возможность взглянуть на работу в Power BI по-новому, разобраться в сложных современных инструментах и даже получить хороший оффер.

Институт бизнес-аналитики проводит запись на зимнюю стажировку. Успевайте заполнить анкету, прием заявок идет до 10 декабря!
Старт стажировки – в январе, а сама практика продлится до конца марта.

Что будет на стажировке?
* работа с данными: такими, которые обычно бывают у заказчика;
* решение бизнес-задач с помощью визуализации данных;
* работа с требованиями заказчика и вариантами решений;
* выстраивание коммуникации и презентация своего проекта.

Что нужно для зачисления?
Заполнить форму, прийти на стартовый вебинар и выполнить тестовое задание.

Ссылка на программу и форма здесь https://bit.ly/3prfP4D

Старое (аж 2010го года), но такое правдвивое: иллюстрация-объяснение, что такое получение степени канидата наук / Ph.D (so true!) 🎓

️☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
🎙 Подкаст, у которого нет смысла, но есть цель
Многие люди перед сном слушают успокаивающую музыку, шум природы или голосовые медитации перед сном. Однако, искусственный интеллект добрался и до этой сферы нашей жизни и теперь вы можете засыпать, слушая абсолютно бессмысленные (хотя, возможно, вы найдете в них скрытый смысл) истории под медитативную музыку. Все эти “сказки на ночь” создаются при помощи модели GPT-3.

📊 Стоит ли вообще строить дашборды?
Бен вновь философствует на тему аналитики, задаваясь вопросами о пользе дашбородов. К сожалению, большинство дашбордов содержат в себе кучу лишней информации лишь потому, что в них можно отразить абсолютно все метрики, которые можно посчитать на основе данных. Но, по мнению автора (с которым многие согласятся), аналитики данных должны побуждать руководство к решительным действиям, а это возможно лишь тогда, когда они визуализированы точно, корректно и приводят к конкретным выводам. Кроме того, дашборды должны быть полными, а детали не должны противоречить друг другу. Утопия, конечно, но именно к этому стоит стремиться.

🖤 Хватит использовать черный цвет
Не так давно мы опубликовали перевод большого материала про цвет в визуализациях в нашем блоге. Одним из множества советов был совет избегать черного цвета в визуализациях. Автор сегодняшней новости абсолютно солидарен с этим мнением и аргументацией: черный цвет слишком сильно привлекает внимание на себя. Все дело в том, что чисто черного цвета в природе не существует: от всех черных предметов вокруг отражается немного света, а значит они уже, как минимум, темно-серые. Поэтому, если вы хотите использовать черный цвет, то попробуйте поиграть с его насыщенностью и яркостью.

🌳 Визуализация для модели решающих деревьев из sklearn
Вчера уже писал про то, что в открытый доступ была выложена библиотека pybaobabdt. Коротко повторим, если вдруг вы пропустили: pybaobabdt предоставляет визуализацию деревьев решений на Python. Визуализировать деревья решений можно было и раньше: типичное дерево решений представляют с помощью стандартной диаграммы узловых связей. Однако, проблема в том, что из этих диаграмм трудно извлечь информацию и авторы этой библиотеки предлагают более удобный и наглядный метод.

🔍 Википедия может быть красивой
Не знаю, согласитесь ли вы, но я уже давно замечаю, что сайт Википедии режет глаз своей простотой. Многие сайты давным-давно работают над улучшением UI-показателей, а Википедия выглядит ровно также, как и десятки лет до этого. Если вас это тоже расстраивает, однако перестать заходить туда в поисках полезной информации вы не можете – можно просто установить расширение для браузера и наслаждаться улучшенным интерфейсом. Пользователям Safari пока попробовать нечего, зато если у вас Google Chrome, Firefox или Edge – можете установить расширение (бесплатно, естественно) и потестить.

🤷‍♂️ Все, что вы хотели узнать о dbt
Мы уже рассказывали вам про ежегодную конференцию Coalesce, на которой руководители dbt Labs и компаний-партнеров рассказывают о всех нюансах и преимуществах работы в dbt. Для себя мы уже выделили несколько приоритетных лекций на сегодня: например, о построении dbt-проекта с нуля, о развитии смешанных инструментов и о трендах в аналитике данных. Конференция проводится в онлайн-формате и будет идти еще сегодня и завтра. Она совершенно бесплатна, поэтому, почему бы не преумножить свои знания об этом инструменте и необъятном мире аналитики?

#weekly #дайджест

💥Эксклюзив! Первый мануал по Yandex DataSphere 💥

Наша команда уже несколько месяцев готовит для вас интересный проект, в рамках которого нам нужно было задеплоить модель в облаке. Спустя множество попыток и ошибок, нашей команде (наконец-то!) удалось это сделать, несмотря на недостаток информации в сети. Про сам проект мы расскажем чуть позже, но сейчас (так сказать, по горячим следам) мы создали для вас мануал, в котором рассказали все нюансы деплоя модели в облаке с нуля так подробно, как только смогли.

Очень надеемся, что наша статья будет полезна тем, кто также как и мы попал в тупик на каком-либо этапе работы в Yandex DataSphere, и очень благодарим Александра Волкова из компании Glowbyte за помощь нам, а заодно, и вам!

Наш подписчик @dmi_inod прислал тезисы с одного из докладов конференции Coalesce: Introducing the activity schema: data modeling with a single table.

Делюсь ими и призываю всех, у кого есть чем поделиться, делать это! :)

Три способа рассчитать накопленную сумму в SQL
В блоге вышел новый пост, он точно будет полезен любому начинающему аналитику, который изучает SQL. Часто, на собеседованиях или же в реальной практике вам нужно посчитать накопленную (кумулятивную) сумму. Мы поэтапно рассказали для чего это может быть нужно, а также показали три способа достижения цели: с помощью оконных функций, без их использования и отдельный, если вы пользуетесь Clickhouse.

Может, даже если вы аналитик со стажем, какой-то из этих способов вы еще не пробовали? 🤓

Апдейт к этому посту с учетом комментариев. Спасибо Дмитрию Титову из Altinity за верное замечание про сортировку.
Плюосом бонусный способ с оконными функциями на Clickhouse в статье.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

💻 Идемпотентность или как писать скрипты в Bash, которые можно вызывать заново
Те, кто часто пишет скрипты в Bash, наверняка сталкивались с такой ситуацией: написали скрипт, запустили его, а где-то в середине скрипта случилась ошибка. Вы её, конечно же, исправляете и снова запускаете скрипт. Но не тут-то было! Половина шагов в вашем скрипте немедленно завершается ошибкой, потому что они уже отработали и действия невозвратны. Для создания отказоустойчивых систем вам необходимо писать идемпотентное программное обеспечение.

🧛🏻‍♂️ Граф Дракула может унифицировать темы ваших приложений
Однажды, Зено Роча был вынужден чем-то занять себя, пока лежал в больнице и создал тему Dracula для одного из приложений. Спустя несколько лет, эту тему можно установить на более 200 приложений для любого ПО: тут вам и новое оформление команд в терминале, и темы для Телеграма и браузеров, и многое-многое другое.

📼 Отчаянная попытка поменьше смотреть YouTube
Разработчик и консультант Павел, будучи раздосадованным количеством потребляемого на YouTube контента, а также недавним решением сервиса скрыть дизлайки, решил проблему гениально и рассказал об этом в своем блоге. Он установил специальное расширение, которое позволяет скрыть определенную часть сайта, и скрыл секцию рекомендаций. Так, можно смотреть лишь интересующие видео, а не пускаться по бесконечному пути рекомендаций, который может привести к трехчасовому видео с милыми котиками.

⏯ Нормально ли отвлекаться от задач, когда работаешь?
Оливер Бакерман – гуру тайм-менеджмента, автор нескольких книг и почтовой рассылки с советами по организации времени – в своем последнем письме решил затронуть важную тему: все мы люди и мы отвлекаемся. Тысячи методик по организации времени советуют нам, как избежать моментов, когда вас кто-то отвлекает, однако никто не говорит о том, что жизнь – это череда событий, сменяющих друг друга. Поэтому, помимо того, чтобы избегать ситуаций, когда кто-то или что-то может вас потревожить – стоит также отнестись к этому с пониманием.

⌨️ Гайд практически по каждому языку программирования
Этот сайт – настоящая находка для того, чтобы разобраться в новом языке программирования, разобраться в теории множеств или динамическом программировании. Здесь собраны англоязычные гайды (многие переведены на французский, испанский, русский и другие языки) в которых с самой базы объясняется синтаксис и показаны примеры использования тех или иных инструментов языка. Если онлайн-курсы вам проходить не хочется и вы уверены в своей мотивации и усидчивости, то такой способ изучения нового вам вполне может подойти.

#weekly #дайджест

Классно и своевременно, Рома — 🔥!

🧑‍🎓 Матрица компетенций BI-аналитика
Сделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто.

Матрица будет полезна и новичкам — есть подсветка проседающих навыков и ссылки на учебные материалы. И компаниям — для составления планов развития сотрудников.

Необходимо оценить себя по 68 навыкам из 6 направлений, которые важны BI-аналитику на мой взгляд. Каждый навык имеет уровень «прокачки» от 1 до 4 и описание, с примером ожиданий знаний от уровня. Но это только пример, при сомнениях, оцените навык по ощущениям от «джун» до «лид».

Матрица – не истина в последней инстанции, а ориентир и быстрый способ оценить себя. В идеале должна заполняться вместе с ментором, кто мог бы валидировать результат и дать практику.

Большое спасибо всем, кто помогал и участвовал в тестировании. Буду рад идеям, ссылкам и примерам результатов в комментариях.

🔗 Ссылка
#избранное

🎬 Отвлечемся от аналитики: подборка фильмов и сериалов

🤖 Совсем недавно компания Engineered Arts потрясла мир своей новой разработкой – роботом, который имеет поистине удивительную человеческую мимику и пластику. Выглядит крайне футуристично, не правда ли? Порой, даже заставляет задуматься над тем, как изменится наш мир, когда такие изобретения будут в каждом доме.
Когда роботы с искусственным интеллектом были лишь мечтами, режиссеры и писатели уже активно описывали свои идеи и видение мира, в котором существует и активно используется искусственный интеллект. Так родились научная фантастика и киберпанк.

🔫 Blade Runner // Бегущий по лезвию (1981)
Оценка IMDb: 8.10
Этот фильм Ридли Скотта является ярким образцом киберпанка. Если вы его еще не видели, то мы вам по-доброму завидуем: он того стоит! Помимо того, что он очень красиво снят и ничем не уступает современному кинематографу с его безумными спецэффектами, в нем уже ставится вопрос этики искусственного интеллекта. Какие права имеют роботы? Могут ли они испытывать эмоции, принимать решения самостоятельно? Автор не отвечает на эти вопросы напрямую, а оставляет право зрителю ответить на этот вопрос самому.

👬 Приключения Электроника (1979)
Оценка Кинопоиска: 7.94
Конечно, киберпанком этот чудесный советский трехсерийный фильм назвать можно с очень большой натяжкой, но если посмотреть внимательно, то его создатели тоже рассуждают на тему искусственного интеллекта. Сыроежкин счастлив, что может ничего не делать, ведь Электроник все сделает за него, а преступник Урри, конечно, хочет воспользоваться роботом, чтобы провернуть ограбление. Классическое рассуждение об искусственном интеллекте: все хотят им владеть и пользоваться преимуществами для достижения собственных целей.

🏞 Westworld // Мир Дикого Запада (2016 - now)
Оценка IMDb: 8.60
Первый сезон этого сериала поистине ле-ген-дар-ный! Сценарист Джонатан Нолан (брат еще более известного режиссера Кристофера Нолана) рассуждает об этике искусственного интеллекта вот в каком ключе: существует новый вид развлечений для богатых людей – искусственный мир, в котором люди могут делать абсолютно что угодно, ведь он населен роботами. Правомерно ли обращаться с ними как с вещами? Что произойдет, если они научатся мыслить, чувствовать, рефлексировать?

🕹 Person of Interest // В поле зрения (2011 - 2016)
Оценка IMDb: 8.40
Если в предыдущих картинах искусственный интеллект был заключен в тело робота-человека, то в этом сериале ИИ приближен к современной технологической реальности – это система, которая обучена на очень больших данных, требует огромных мощностей, но что самое главное – она может предсказывать людей, которые находятся в опасности. Сериал можно отнести к жанру детектива, ведь в каждой серии происходит расследование, однако, основное рассуждение об искусственном интеллекте является лейтмотивом всех 5 сезонов. Главные герои – Гарольд Финч и Джон Риз – идеальная команда, как Шерлок и Ватсон: один из них силен, решителен и практически безэмоционален, другой, наоборот, эмпатичен, бескорыстен и добр.

Если вы смотрели что-то из нашей сегодняшней подборки, делитесь впечатлениями в комментариях! А также пишите свои рекомендации фильмов и сериалов, в которых есть рассуждения об искусственном интеллекте.
#подборка #рекомендации

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🎼 Вы можете быть так же гениальны как Моцарт!
Однажды, когда Вольфганг Амадей был еще очень юн, он пришел на службу в Сикстинскую капеллу и услышал редкое произведение, которое исполнялось лишь дважды в год. Оно считалось собственностью церкви, ноты выносить было запрещено, а также, нельзя было стенографировать музыку под страхом смертной казни. Моцарт, прослушав произведение и придя домой, записал все ноты, чем удивил церковь и она была вынуждена признать, что правил он не нарушал. К чему это мы? Теперь вы тоже можете почувствовать себя Моцартом: появилась библиотека omnizart, которая преобразует любой входящий звук в ноты. Только осторожно, не вызывайте ее в Сикстинской капелле!

🖋 Быть автором на Хабре не так-то просто
WYSIWYG-редактор Хабра – не самая удобная среда для верстки статьи и вот почему. Если вы что-то удалите в процессе верстки, то слезами делу не помочь. И, ничем не помочь, если честно, потому что вернуть написанный текст не получится, если у вас нет бэкапа. Работа с кодом тоже не до конца отстроена, возникают различные баги, когда хочется поправить какой-то момент. Загрузка изображений тоже иногда лагает. В общем, пока еще работает старая версия редактора, лучше пользоваться ей, чтобы поделиться с читателями Хабра своей интересной статьей (спойлер: скоро мы так и сделаем).

💊 Технологии не всегда успевают реагировать на изменения в мире
В недавней статье The Economist авторы обратили внимание, что на приложения для психотерапии стали возлагать слишком большие надежды, а еще – предоставлять им всю личную информацию. Онлайн-терапия иногда может помочь (особенно, в эпоху коронавируса), но не стоит забывать, что такие приложения создавались именно как дополнение к полноценной терапии, поэтому, стоит в первую очередь задуматься о более классических методах. А еще, к сожалению, бум таких приложений и соответствующая ситуация в мире привели к тому, что далеко не все приложения безопасны: данные шифруются недостаточно хорошо и их можно взломать, как уже сделали некоторые шантажисты.

💬 Как добиться желаемого в переговорах?
Переговоры происходят у каждого из нас по нескольку раз в день: по работе, учебе, при любом личном общении нам бывает нужно и важно отстоять свою позицию. Автор написал про свой личный опыт в переговорах и дал много советов тем, кто лишь учится быть крутым переговорщиком. Например, есть теория, что стоит задавать человеку много простых и очевидных вопросов, на которые он ответит “Да“, а это повышает вероятность того, что человек и на интересующий вас вопрос ответит также. Однако, автор не верит в это, аргументируя свою позицию, тем что когда человек говорит “Нет“, он гораздо вероятнее всерьез погружается в вопрос и думает, что контролирует ситуацию, на чем вы можете сыграть в дальнейшем. В переговорах, как и в шахматах – без тактики нельзя!

♟️ Новый год – новое хобби
Кстати, о шахматах: если вдруг вы в числе тех, кому нравится выбирать себе хобби в начале нового года, то стоит задуматься про эту древнейшую игру. Идеальный баланс серьезной умственной нагрузки и игры может стать прекрасной ежедневной привычки и, так сказать, “зарядкой для мозга”. Блоггер с крайне необычным именем Сиддхеш сравнил две самые популярные площадки для игры в шахматы и вынес свой вердикт – Lichess, по его мнению, лучше и удобнее. Возможно среди вас есть и опытные игроки? Что вы думаете на этот счет?

#weekly #дайджест

Свеженький Python cheatsheet onepage 🐍.

🎧 Из новостей из мира русскоязычных подкастов.

Новый подкаст про AWS на русском языке на разных популярных платформах.

Только собирался разместить ссылку на этот пост (Databases in 2021: A Year in Review), а Стас еще и комментарий написал.

Обзор итогов года для мира баз данных от Andy Pavlo.

Отметил для себя:
🔹 PostgreSQL в топе;
🔹 Производители баз данных "мочат" друг друга в ходе сравнительных тестов (без ClickHouse не обошлось);
🔹 Куча инвестиций прилетело в дата-стартапы и производитетелей баз данных, "золотой век", говорят.

#базы_данных