☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🎼 Вы можете быть так же гениальны как Моцарт!
Однажды, когда Вольфганг Амадей был еще очень юн, он пришел на службу в Сикстинскую капеллу и услышал редкое произведение, которое исполнялось лишь дважды в год. Оно считалось собственностью церкви, ноты выносить было запрещено, а также, нельзя было стенографировать музыку под страхом смертной казни. Моцарт, прослушав произведение и придя домой, записал все ноты, чем удивил церковь и она была вынуждена признать, что правил он не нарушал. К чему это мы? Теперь вы тоже можете почувствовать себя Моцартом: появилась библиотека omnizart, которая преобразует любой входящий звук в ноты. Только осторожно, не вызывайте ее в Сикстинской капелле!

🖋 Быть автором на Хабре не так-то просто
WYSIWYG-редактор Хабра – не самая удобная среда для верстки статьи и вот почему. Если вы что-то удалите в процессе верстки, то слезами делу не помочь. И, ничем не помочь, если честно, потому что вернуть написанный текст не получится, если у вас нет бэкапа. Работа с кодом тоже не до конца отстроена, возникают различные баги, когда хочется поправить какой-то момент. Загрузка изображений тоже иногда лагает. В общем, пока еще работает старая версия редактора, лучше пользоваться ей, чтобы поделиться с читателями Хабра своей интересной статьей (спойлер: скоро мы так и сделаем).

💊 Технологии не всегда успевают реагировать на изменения в мире
В недавней статье The Economist авторы обратили внимание, что на приложения для психотерапии стали возлагать слишком большие надежды, а еще – предоставлять им всю личную информацию. Онлайн-терапия иногда может помочь (особенно, в эпоху коронавируса), но не стоит забывать, что такие приложения создавались именно как дополнение к полноценной терапии, поэтому, стоит в первую очередь задуматься о более классических методах. А еще, к сожалению, бум таких приложений и соответствующая ситуация в мире привели к тому, что далеко не все приложения безопасны: данные шифруются недостаточно хорошо и их можно взломать, как уже сделали некоторые шантажисты.

💬 Как добиться желаемого в переговорах?
Переговоры происходят у каждого из нас по нескольку раз в день: по работе, учебе, при любом личном общении нам бывает нужно и важно отстоять свою позицию. Автор написал про свой личный опыт в переговорах и дал много советов тем, кто лишь учится быть крутым переговорщиком. Например, есть теория, что стоит задавать человеку много простых и очевидных вопросов, на которые он ответит “Да“, а это повышает вероятность того, что человек и на интересующий вас вопрос ответит также. Однако, автор не верит в это, аргументируя свою позицию, тем что когда человек говорит “Нет“, он гораздо вероятнее всерьез погружается в вопрос и думает, что контролирует ситуацию, на чем вы можете сыграть в дальнейшем. В переговорах, как и в шахматах – без тактики нельзя!

♟️ Новый год – новое хобби
Кстати, о шахматах: если вдруг вы в числе тех, кому нравится выбирать себе хобби в начале нового года, то стоит задуматься про эту древнейшую игру. Идеальный баланс серьезной умственной нагрузки и игры может стать прекрасной ежедневной привычки и, так сказать, “зарядкой для мозга”. Блоггер с крайне необычным именем Сиддхеш сравнил две самые популярные площадки для игры в шахматы и вынес свой вердикт – Lichess, по его мнению, лучше и удобнее. Возможно среди вас есть и опытные игроки? Что вы думаете на этот счет?

#weekly #дайджест

Свеженький Python cheatsheet onepage 🐍.

🎧 Из новостей из мира русскоязычных подкастов.

Новый подкаст про AWS на русском языке на разных популярных платформах.

Только собирался разместить ссылку на этот пост (Databases in 2021: A Year in Review), а Стас еще и комментарий написал.

Обзор итогов года для мира баз данных от Andy Pavlo.

Отметил для себя:
🔹 PostgreSQL в топе;
🔹 Производители баз данных "мочат" друг друга в ходе сравнительных тестов (без ClickHouse не обошлось);
🔹 Куча инвестиций прилетело в дата-стартапы и производитетелей баз данных, "золотой век", говорят.

#базы_данных

🎄Итоги года
Я люблю итоги года, для меня это время выгрузить данные и поиграться. Сделал дашборд про каналы, по которым были данные за год и я знаком с авторами. Они крутые эксперты, спасибо им, что готовы делиться информацией! Рекомендую. Полный список за чем слежу сам тут.

Виз получился аля «bar-chart race на максималках». Прикольно двигать ползунок. Если выбрать скейл «год», то видно топ постов за все время, есть необычные инсайты. Например, топ-1 это этот пост в канале Андрея Дорожного =) А вот связи между каналами можно увидеть в проекте Left Join и Андрея.

📈 Приятно удивлён приросту подписчиков за год. Мне казалось, что потенциальная аудитория сильно меньше. Рад, что вам полезно и интересно!

📊 Самые-самые материалы за год
— Матрица компетенций
— Зарплаты аналитиков за год
— Визуализация городов России
— Сериал «Залейтай в BI»
— Статьи про анализ стандрт IBCS и Dashboard Canvas
— Выступления на Матемаркетинге 2020 и DataTalks 3.0

П.С. Спасибо Егору Ларину за помощь с парсингом в Knime

Под новогодний бутерброд с красной икрой: еженедельный дайджест о технологиях, данных и аналитике 🗞

🌍 Шикарная визуализация данных мирового ландшафта
Сервис по визуализации геоданных EOX подводит итоги года по-своему: они нарисовали карту мира, некоторых континентов и США, усреднив цвета ландшафта по всей стране. Автор этой статьи – Эрин – приводит весь код в статье для тех, кто хочет разобраться в том, как именно были обработаны и представлены данные.

📊 Все, что вы когда-либо хотели построить в LaTeX
Документы, презентации и статьи в LaTeX выглядят на порядок красивее, чем в привычных программах Microsoft Office. А еще, в них можно вставлять очень много разнообразных визуализаций: таймлайны, флоучарты, деревья решений, диаграммы и еще много-много всего. На сайте latex-codebook вы можете найти гайды и код для построения всего этого и прокачать свой уровень владения LaTeX.

🧠 Как все-таки работает мозг?
Профессор психологии Лиза Фельдман Барретт развеивает мифы о работе мозга, на которых зиждилась нейронаука до недавнего времени. Оказывается, тот факт, что мозг “как пазл” состоит из отделов, каждый из которых отвечает за одну конкретную задачу (зрение, память, эмоции) – это миф. На самом деле, человеческий мозг – это масштабная сеть нейронов, большинство из которых выполняет несколько задач. Например, нейроны в области мозга, называемой anterior cingulate cortex, постоянно участвуют в процессах памяти, возникновения эмоций и при принятии решений. Век живи – век учись.

👨‍🎓 Онлайн-курсы: что делать, если учиться хочется, но преподаватели – зануды?
Просмотр видео с лекциями сейчас является важной частью университетского опыта многих студентов. Но как влияет ускоренный просмотр видеолекций на результаты обучения? Если коротко: отлично влияет. Согласно новой статье, лучше смотреть лекцию дважды с удвоенной скоростью, чем смотреть её один раз с нормальной скоростью. Причем, наилучший результат на экзаменах были именно у тех студентов, которые пересматривали видео не сразу же после первого просмотра, а чуть позже – перед экзаменом. В общем, это новый взгляд на давно известную рабочую методику повторения изученной информации!

💭 И швец, и жнец, и на дуде игрец
В этом коротком эссе автор рассуждает о том, как, собственно, нужно думать. Неожиданный вопрос для размышлений, не правда ли? Недавнее исследование показало, что чем больше человек совмещает задач одновременно, тем хуже он делает вообще все. Уильям Дересевич описал суть мышления точнее всего: «Только сосредоточившись, не отрываясь от вопроса, проявляя терпение, позволяя задействовать все части разума, я прихожу к оригинальной идее. Давая мозгу возможность создавать ассоциации, устанавливать связи, застать меня врасплох». Скоро новогодние выходные, друзья. Так что позвольте себе замедлиться и фокусироваться на одной задаче в один момент времени, тем самым тренируя свой мозг!

#weekly #дайджест

🎄Врываемся в рабочие будни с креативным проектом 🔬

Возможно вы помните, что несколько лет назад Артемий Лебедев презентовал в своей студии алгоритм “Николай Иронов“, который заменил работу множества дизайнеров, создавая креативные решения для логотипов и фирменного стиля компании. Вряд ли он ожидал, что мы сможем создать текстовую модель, которая заменит его самого, да ещё и напишем об этом статью.
Никаких больше спойлеров – скорее читайте статью на Хабре (и голосуйте за нее!) и протестируйте наш сервис генерации постов а-ля Артемий.
Вот, например, что получается у нас – "С Новым Годом…»!

Reverse ETL — один из популярных трендов на Западе.

Кратко о том, что это за класс инструментов. Обратный ETL позволяет забирать данные из DWH и прогружать их в различные CRM / Sales / Support системы (обычно их называют Destination в интерфейсе Reverse ETL), обеспечивая постоянную синхронизацию. Таким образом, например, в инструментах маркетологов создаются или обновляются записи о лидах (различные свойства и параметры лида).

Последний выпуск Data Engineering подкаста как раз об одном из инструментов Grouparoo.

Но есть и другие известные решения по теме:
▪ Hightouch [коммерческий]
▪ Grouparoo и их статья про Reverse ETL [opensource]
▪ Airbyte [opensource]

Сталкивались ли с подобными инструментами в работе? Как используете?

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

💸 Больше никаких фраз “зарплата по итогам собеседования” (пока только в Нью-Йорке)
Поиск работы с каждым днем становится все более сложной задачей: требования к кандидатам растут, вакансий все меньше, а соискателей все больше. Еще сильнее дело усложняется тем, что часть вакансий публикуются без указания ожидаемой зарплаты на старте работы или хотя бы зарплатной вилки. Люди проходят несколько кругов изнурительных собеседований, а затем узнают, что зарплата вообще не соответствует их ожиданиям. И вот, на радость всем желающим найти новую работу, власти Нью-Йорка приняли закон, который запретит публикацию любых вакансий без указания уровня зп, начиная с апреля 2022. Да пребудет с вам открытая информация, Нью-Йоркцы.

😷 Очередная новость про коронавирус
Почему это нас интересует? Конечно, новость не касается исследований болезни, новых вакцин или симптомов (такие темы поднимать сейчас вообще стало опасно!). Однако, если на эпидемию коронавируса смотреть с аналитической точки зрения, то открывается безграничный простор для визуализации данных. В заметке с Medium вы можете увидеть очень нашумевший в Twitter график количества заражений Covid-19 в США. Точнее, целых три версии этого нестандартного спирального графика. Советую присмотреться к такой идее для визуализации временных рядов, выглядит классно! Если хотите узнать, как построить такой график – мы за вас уже погуглили.

🚗 Машина, которая зарабатывает деньги на оплату парковки
Недавно мир наконец увидел первый прототип трехколесного автомобиля Daymak Spiritus, который майнит биткоины во время парковки. Вау! Постарайтесь не думать о собственной бесполезности, потому что эта машина, в отличие от всех нас, зарабатывает пока отдыхает.

🏆 Лучшие исследования в Computer Science
Срочно повышаем уровень собственной осведомленности о событиях в мире, а конкретно – в науке. Джефф Хуанг проделал большую часть труда и отобрал лучшие исследования в теме computer science за 2021 год. Осталось лишь выделить несколько интересных вам статей и прочесть их – вот вам и продуктивный отдых (почти как у машины Daymak Spiritus).

🧠 А думать-то как?
На самом деле, об исследованиях в области искусственного интеллекта не может быть и речи без понимания, как именно мыслит человек. Поэтому Дэвид Чапман посвятил этой теме много лет своей жизни и написал эссе обо всех нюансах мышления. «Учитесь в областях, сильно отличающихся от привычных для вас. В каждой из них есть методы изучения новой информации, которые могут быть полезны в самые неожиданные времена. Научитесь думать как антрополог, психолог или философ, и это крайне сильно разовьет вашу способность размышлять», – пишет Дэвид и трудно с ним не согласиться.

#weekly #дайджест

🎮Wordle – игра, которая быстро завирусилась, а потом собрала волну хейта 🔥
То ли дело в праздничных выходных, то ли это просто удачное стечение обстоятельств, то ли гениальные навыки автора идеи (а может и все вместе), но в начале января за считанные дни игра Wordle набрала огромную популярность. Скорее всего, повлиял тот факт, что создатель в первую очередь отталкивался от собственных желаний, создавая игру для себя и своей подруги. Так ведь часто получаются самые лучшие продукты.

📝 Что это за игра такая?
Суть игры простая – нужно угадать слово из 5 букв за 6 попыток. Если вы угадали букву и место, на котором она должна быть – она становится зеленой, если только букву – желтой, а если такой буквы в слове нет, то она станет серой. Игра разработана только в веб-версии, является бесплатной и в ней можно угадывать по одному слову в день. Никакой рекламы, только искреннее желание угадать слово, поделиться этим в соцсетях и заставить шестеренки в голове скрипеть 💭

🥷 Без скандала – никуда!
С этой популярной игрой уже (конечно же) случился скандал. Другой разработчик Зак Шеккед взял и скопировал ее, создав приложение для iOS + добавил платные фичи. За что он потом и поплатился. Людям, конечно, хотелось бы разгадывать больше слов в день и на этом разработчик и сыграл, однако все не так просто. Компания Apple удалила приложение спустя пару дней , а на Шеккеда обрушилась волна хейта, ведь приложение любили за его доступность и отсутствие рекламы. К слову, игру реплицировали на русском языке, пока без происшествий.

🎯 И причем тут аналитика?
Лично меня игра привлекла тем – каким алгоритмом ее оптимальнее решать. Я даже задумался его писать, но потом понял, что нет смысла изобретать велосипед – такая статья уже есть.

Голосуйте, нужен ли перевод этой статьи в нашем блоге или достаточно оригинала на английском?

В продолжение нашей статьи на Хабре об использовании Яндекс.Облака новая статья на vc.ru уже с цифрами.

Как можно получить максимум от данных из CRM-системы? Обработать их с помощью функций и проанализировать с помощью Yandex DataLens.

В нашем блоге на vc.ru команда дата-аналитиков из Valiotti Analytics делится своим опытом →

#yacloud_news

Недавно рассказывал про наш клевый проект по анализу постов @temablog и про генератор реплик в стиле Артемия 🗣

А сегодня уже сам Артемий Лебедев в выпуске новостей рассказывает про наш труд и генератор! 🎉🎉🎉
Спасибо всей команде, кто принимал участие в проекте: Егор, Света, вы молодцы! 👍👍

Использование регулярок в SQL
Как найти телефонные номера в столбце данных? А e-mail адреса? На помощь приходят регулярные выражения. Понятно, что их можно изучать и отдельно и хорошие референсы я уже давал в канале, но что если регулярные выражения хочется использовать в SQL-запросе? Разбираем несколько типовых примеров в свежей статье в блога LEFT JOIN!

Десять open-source альтернатив вашему Google Analytics

На hackernews был интересный тред, где спрашивали про различные open-source аналоги для Google Analytics. Мы изучили тред и делимся находками. Описание — компиляция заявленного на сайтах платформ + собственное мнение.

▪️PostHog — наверное, самая известная и нашумевшая сейчас платформа для продуктовой аналитики, анализа воронки, записи сеансов, пометок функций и многого другого.

▪️GoatCounter — удобная платформа для веб-аналитики без отслеживания личных данных пользователей. Бесплатна для некоммерческого использования.

▪️Piwik — достаточно олдскульный уже инструмент для анализа пути клиента по веб-сайтам и приложениям. Вновь важной частью является акцент на конфиденциальность пользователей и безопасность данных и отказ от продажи данных третьим лицам.

▪️Plausible — инструмент, который не использует cookie и полностью соответствует GDPR, CCPA и PECR. Гораздо быстрее, чем Google Analytics (как заявляют создатели: скрипт в 45 раз меньше), а, значит, сайт с 10 000 посетителей в месяц может сократить выбросы CO2 на 4,5 кг в год за счет перехода.

▪️Matomo — 100% точные отчеты, рекомендации от службы поддержки, которая отвечает очень быстро а также возможность импортировать данные GA непосредственно в свой Matomo. Нет ограничений на количество сайтов, пользователей, сегментов и объем хранимых данных.

▪️Open Web Analytics — полностью бесплатная платформа веб-аналитики, которая позволяет вам строить аналитические дашборды, изучать тепловые карты кликов пользователей и изучать сведения об использовании любой веб-страницы, включая предыдущие и следующие просмотренные страницы.

▪️Countly — аналитическая платформа для понимания и оптимизации пути клиентов в веб-приложениях, настольных и мобильных приложениях. Countly можно установить локально или в безопасном частном облаке. В любом случае вы сохраняете 100% права собственности на собранные данные и получаете прямой доступ к детализированным необработанным аналитическим данным о продукте.

▪️Umami — простое и удобное в использовании решение для веб-аналитики с собственным хостингом. Цель состоит в том, чтобы предоставить вам более удобную, ориентированную на конфиденциальность альтернативу Google Analytics и бесплатную альтернативу платным решениям с открытым исходным кодом. Umami собирает только те показатели, которые вам интересны, и все умещается на одной странице.

▪️Ackee — аналитический инструмент на основе Node.js для тех, кто заботится о конфиденциальности. Работает на вашем собственном сервере, анализирует трафик ваших сайтов и предоставляет полезную статистику. Позволяет анализировать столько доменов и приложений, сколько вы хотите. Интерфейс Ackee поможет вам оставаться сосредоточенным, не путаться в сотнях диаграмм и параметрах фильтрации.

▪️Fugu — аналитический инструмент с платной (managed version) и бесплатной (self-hosting) версией. Как и все остальные, Fugu не отслеживает какую-либо личную информацию пользователей. Fugu создан для людей, которым не нужны причудливые инструменты аналитики продуктов, но которые предпочитают набор простых в использовании функций сложному пользовательскому интерфейсу. Fugu полностью финансируется исключительно из собственных средств. Единственным источником дохода является абонентская плата в размере 9 долларов США в месяц за сервис с поддержкой.