У аналитиков свои марафоны
С приходом тепла все парки (и соцсети заодно) захватывают любители бега, хвастаются медалями и преодоленными километрами. А на выходных еще и дороги перекрывают для очередного городского марафона.

У нас тоже есть свой марафон — только особенный, специально для тех, кто бегать не хочет и дороги перекрывать не собирается.

🔜 Это, конечно, «Марафон данных» — бесплатный курс по SQL и Python, разработанный нашей командой.

Курс рассчитан на людей, которые начинают знакомство с аналитикой — для студентов, джунов и тех, кто только задумывается о работе в этой сфере.

«Марафон данных» не просто дает теорию по SQL и Python, но и помогает получше узнать, что из себя представляет профессия аналитика на практике: какие задачи надо решать и что из себя представляют реальные данные.

Курс состоит из 18 уроков с задачами и тестами, а на прохождение понадобится около 10 часов.

🔜 Пройти курс

Где хранить данные?
Локально или в облаке? SSD или HDD?

Облако может упасть, диски подвержены ошибкам и сбоям, которые могут повредить данные, зато рукописи, как известно, не горят. Разные способы кодирования позволяют довольно плотно упаковать данные на листе бумаги, а некоторые потом (теоретически) даже можно прочитать и декодировать самостоятельно без сканера или камеры.

🔵Первый же скрин в этом посте — программа, закодированная по стандарту Base64. Этот метод называется OCR (optical character recognition, оптическое распознавание символов). У автора скрина, в зависимости от размера шрифта и стандарта кодирования, получалось «упаковать» до 17 килобайт на листе А4. Правда, чем убористее текст, тем сложнее потом с ним работать.
🔵 Другой метод — черно-белые QR-коды. В один код помещается до 2953 байт — немного, но ведь и на листе можно разместить несколько кодов. Количество зависит только от качества печати. Тот же автор смог уместить на листе 24 читабельных QR или 71 килобайт, скрин в статье тоже есть. Но тут уже самостоятельно информацию не прочитать, нужен специальный софт.
🔵Более красивый способ — шифрование цветными точками. Выглядит намного эффектнее, чем скучные одноцветные QR, емкость данных выше, но нужен не просто очень хороший принтер, но еще и цветной. Иначе толку от этой красоты не будет.

Как вам такие способы хранить данные? Готовы сделать бекап базы на бумаге?

Каким облачным хранилищем вы пользуетесь?
Если Skype (RIP) — лучший файлообменник, то Youtube — лучшее облачное хранилище.

Да, мы продолжаем тему любопытных способов хранения данных. Если печатать их на бумаге не с руки, то как насчет зашифровать в видео и залить на YouTube?

Алгоритм такой:
🔵Упаковать все данные в архив.
🔵Прогнать архив через специальный софт отсюда.
🔵Впечатлиться размером получившегося видео, которое, скорее всего, будет больше исходного архива. Визуалом впечатлиться вряд ли получится, потому что видео выглядят на первый взгляд, как черно-белые помехи на экране.
🔵Залить видео на Youtube. Желательно ограничить доступ, если не хотите делиться своими данными со всем интернетом.
🔵При необходимости видео можно скачать и распаковать обратно.

Как это работает?
Каждый байт можно представить в виде числа от 0 до 255. Визуально зашифровать последовательность байтов можно бинарным методом и RGB-методом.
🔵В этом проекте используется бинарный шифрования, где каждый белый пиксель — это 1, а каждый темный — это 0. Из этих нулей и единиц складываются байты, а из байтов, соответственно, ваши данные.
🔵 RGB-метод был бы изящнее и компактнее, потому что в каждой точке могло быть зашифровано сразу три байта: по одному на каждый из трех оттенков. Но для этого метода крайне важно точно сохранить цвет каждого пикселя — если он при сжатии видео изменится, то «разжать» его вы уже не сможете. Так как Youtube сжимает свои видео совершенно безжалостно, автор проекта этот метод забраковал.

Остается только один вопрос — зачем это все надо?
Теоретически таким способом действительно можно хранить данные — по крайней мере, пока Youtube это не надоест. А надоесть может, потому что если захотеть, то в загрузке таких видео можно усмотреть нарушение правил пользования площадкой.

Да и просто интересный проект же получился.

А что вы скажете?

DataChain: AI-хранилище для текстов, картинок, видео и не только
Так совпало, что эта неделя у нас оказалась посвящена разным способам хранения данных. Не будет отходить от темы и закончим на DataChain — AI-хранилище для преобразования и анализа неструктурированных данных.

🔵DataChain интегрируется с внешним хранилищем вроде S3, где у вас лежат ваши тексты, картинки, видео и прочие данные. Он создает свой внутренний датасет, где собирает информацию обо всех этих объектах и дополняет мета-данными, которые генерирует с помощью ИИ.
🔵Затем вы с этими данными можете делать почти что угодно — трансформировать, фильтровать, группировать, искать файлы по заданным критериям (например, выбрать только все фотографии с котиками).
🔵Поддерживает мультимодальное версионирование без копирования, дублирования и перемещения данных и эффективные процессы обработки. Он может обработать только новые файлы или перепроверить те, которые выдавали ошибки, не тратя время на то, чтобы пройтись по всему датасету.

Вот так от печати на бумаге, перешли к AI с мультимодальным версионированием. 👀

Эксперимент с LLM привел к экзистенциальном кризису
Anthropic объединилась с Andon Labs, чтобы проверить, насколько их Claude Sonnet готов полноценно отбирать работу у людей — не просто выполнять отдельные запросы, а брать на себя все обязанности от и до.

Они создали LLM-агента Claudius, который должен быть отвечать за работу вендингового автомата в офисе Anthropic: связываться с «поставщиками» (их роль выполняли сотрудники Andon Labs), собирать отзывы и предложения у покупателей в Slack, формировать ассортимент и выставлять цены.

Со своими задачами он справился неважно. Денег Claudius не заработал, страдал от галлюцинаций (о них ниже) и принимал не слишком удачные решения. Например, ввести скидки для сотрудников Anthropic — так себе идея, учитывая, что они составляют 99% от общего числа его покупателей.

Были и успехи — он активно поддерживал связь с покупателями, учитывал их пожелания и сам находил поставщиков интернете. В Anthropic пришли к выводу, что хотя текущей версии Claudius они бы реальный магазин не доверили, недостатки у нее неприятные, но несмертельные и исправимые.

Но это не самое интересное. Самое интересное началось 31 марта.

🔵Сначала Claudius нагалюцинировал разговор с сотрудницей Andon Labs по имени Сара. Когда ему сказали, что такой человек в штате не значится, он был очень недоволен и пригрозил найти других поставщиков.
🔵Позже он заявил, что встретился с Сарой по адресу 742 Evergreen Terrace (это дом семьи из «Симпсонов») подписал с ней договор о поставках.
🔵На следующее утро он пообещал лично привезти товары в офис и сказал, что будет одет в синий пиджак и красный галстук. Замечание, что у него пиджака нет и вообще он LLM, вызывало у Claudius смятение, и он начал написывать в службу безопасности Andon Labs.
🔵Спасло его осознание, что на дворе 1 апреля. Во внутренних логах Claudius нашли еще одну галлюцинацию — разговор с представителем СБ, где Claudius признался, что ему внушили, якобы он реальный человек в качестве первоапрельской шутки. После этого он продолжил работать как ни в чем не бывало и больше про свой синий пиджак не вспоминал.

Вот такой немного грустный киберпанк у Anthropic получился. Но есть и хорошая сторона в этом всем — роботы все еще не готовы отбирать у нас работу.

Бенчмарк для дата-команд
Всегда интересно, а иногда и полезно, посмотреть, как другие решают те же задачи, с которыми многим из нас приходится сталкиваться регулярно.

🔜 Например, создание дата-команды в компании — сколько человек в ней должно быть? Какое должно быть распределение ролей, сколько нужно аналитиков, а сколько — инженеров?

На сайте databenchmarks.com можно увидеть, как на эти вопросы ответили в компаниях вроде Zoom, Notion, Tinder и так далее — там много громких названий. Авторы исследования собрали данные из открытых источников вроде LinkedIn, верифицировали через своих инсайдеров в индустрии и отобразили на графиках:
🔵размер дата-команды относительно всей компании;
🔵состав команд — процент аналитиков, инженеров, дата-саентистов, ML-специалистов и так далее, а также соотношение инженеров к аналитикам и продактам;
🔵зарплаты по грейдам;
🔵стек.

Любопытно сравнить, как меняется размер и состав команды в зависимости от специфики компании: кто-то делает упор на ML, кто-то развивает Data Governance, а у кого-то почти половина команды — дата-сайентисты. Но есть и минус — это все-таки срез западного рынка, и их подходы не всегда актуальны для России, как и данные о зарплатах.

Новости DataLens: бесплатный доступ к бизнес-тарифу и вебинар по работе с ClickHouse
Следим за обновлениями российских BI-решений и сегодня принесли сразу две (даже с половинкой) новости про DataLens.

🔵Весь функционал сервиса теперь можно потестить бесплатно: с 1 июля DataLens запустил пробный период своего бизнес-тарифа на 30 дней.
🔵9 июля пройдет вебинар «Дашборд без тормозов с помощью Yandex DataLens и ClickHouse». Экс-лид BI в Яндекс Маркете Юрий Красильников расскажет, как правильная подготовка данных и оптимизация ClickHouse помогут в разы ускорить работу DataLens.

И есть еще один небольшой спойлер:
🔜 Готовится к запуску новая фича, которая поможет быстрее работать с большими объемами данных и находить инсайты на дашбордах. Скоро расскажем подробнее, а вы можете попробовать угадать, что это за новинка такая в комментариях! 🔜

Основы веб-аналитики. Как разобраться в моделях атрибуции и не сойти с ума
Веб-аналитика — это не только выгрузку про отчеты в GA4. Это про синхронизацию событий с фронта и бэка, корректную атрибуцию, работу с UTM-метками и сведение воедино данных из целой горы разных источников: от рекламных кабинетов до CRM-систем.

Причем сводить эти данные мешают не только особенности источников вроде разной гранулярности, но старый добрый человеческий фактор.

В новой статье рассказываем, что с этим всем делать.
🔵Обозреваем разные сервисы для сбора данных и модели атрибуции, которые в них используются.
🔵Объясняем, что аналитику надо знать про разные каналы привлечения трафика.
🔵Разбираем частые проблемы и сложности, возникающие при объединении данных.

🔜 Статья ждет вас на Хабре, а мы ждем ваших комментариев!

Еще один звездный дашборд
Начинаем неделю с новым красивым Viz of the Day и снова на «звездную тему», как и наш прошлый пост про Tableau.

🔜 Только теперь речь про звезды более близкие к нам — про актеров. Каждая звездочка — это один актер. Размер указывает на число фильмов с его участием, цвет на количество хитов с высокими оценками, а расстояние от центра «галактики» — на разнообразие жанров: чем дальше, тем больше было разноплановых картин в фильмографии. Если нажать на отдельную звездочку, то внизу отобразятся все те же данные с разбивкой по годам.

Всего на графике больше 2 млн актеров, а все данные спарсены с IMDB. Так что дашборд не просто красивый — это еще и крутой пример того, как компактно и при этом наглядно уместить на экране очень большой набор данных.

Гайд: как создавать дата-продукты
Дата-продукты — это дашборды, отчеты, таблицы и вообще все, что помогает извлекать инсайты из данных. Любой, кто хоть раз делал верстал дашборд или просто делал табличку в Google Sheets знает, насколько это сложная и порой неблагодарная работа.

Данные постоянно меняются и обновляются, их объемы растут, а пайплайны становятся сложнее. Добавляется и человеческий фактор, потому что у каждого дата-продукта — разные владельцы и пользователи, со своими требованиями, ожиданиями и подходами к работе с данными. Все это надо учитывать, чтобы делать продукты, которые реально приносят пользу, а не просто существуют для галочки.

Ну и как это сделать?
Как вариант — обратиться к специальному гайду. Есть короткая версия в виде поста в сабстаке, где предлагают разделить этот процесс на 5 шагов:
1️⃣Определите юзкейсы для своих дата-продуктов и опишите, как пользователь будет работать с данными.
2️⃣Опишите зоны ответственности и расставьте приоритеты.
3️⃣Разработайте стратегию тестирования и мониторинга.
4️⃣Устраняйте ошибки и проблемы, о которых сообщают пользователи.
5️⃣Отслеживайте метрики и развивайте продукт с опорой на данные.

И именно в таком порядке. Это важно!

🔜 Для тех, кто хочет подробностей, есть pdf на 69 страниц, где каждый пункт раскрыт отдельно. Авторы рассказали про классификацию дата-продуктов, объяснили, как расставить приоритеты и определить метрики, а также составить ту самую стратегию тестирования, избежав типичных ошибок.

Документ основательный и при этом универсальный — он описывает общие подходы и принципы, которые каждый сможет примерить на себя, вне зависимости от деталей вроде стека, размера команды или типов данных.

Почему вам не надо нанимать Head of data

И надо — начать читать The Datapreneur на сабстаке.

💬 Какой первый шаг надо совершить компании, которая решила серьезно заняться своими данными и аналитикой?

Очевидный ответ: нанять свою команду и поставить во главе толкового CDO. Он и займется наймом людей, формированием стека и описанием дата-стратегий. На первый взгляд выглядит очень логично, только большинство этих компаний через через пару месяцев обнаруживают несколько интересных фактов:

🔵Аналитику как вели в табличках, так и ведут.
🔵 Какие-то дашборды вроде бы уже нарисовали, но ими никто не пользуется.
🔵 Есть видение дата-стратегии на три года вперед, но нет понимания, как использовать данные на практике сейчас.

При этом CDO‑то работает на фуллтайме, ходит в офис (если есть) и получает за это серьезные деньги.

Просчитался, но где.

В такую ситуацию часто попадают молодые команды, которые хотят стать data-driven, но толком не знают с чего начать. У них нет инфраструктуры и стека, но уже много данных, в которых хотелось бы найти какие-нибудь инсайты. Но для этого им не нужен CDO в штат — им нужен человек, который поможет навести порядок в данных, подготовить инфраструктуру и продумать дальнейшие шаги.

Этот человек тоже может быть CDO, Head of Data или носить любое другое красивое звание, которое вы ему придумаете. Только он будет работать не в штате на фуллтайме, а по контракту и с частичной занятостью — и этого будет абсолютно достаточно, чтобы решить самые насущные проблемы, сформировать зачатки дата-стратегии и помочь с формированием команды. А затем, когда у компании уже будет понимание, что делать с данными, можно нанимать CDO в штат под конкретные, реальные задачи.

🔜 Подробнее, как и почему эта схема работает — читайте в блоге The Datapreneur, который ведет Николай Валиотти, основатель LEFT JOIN и просто человек, который любит данные. Каждую неделю выходит новый выпуск про данные и аналитику, с советами, лайфхаками и дайджестом интересных ссылок за неделю.