Как подружить ClickHouse с процессором на 100+ ядер
Ядер в процессорах все больше, и в теории это прекрасно: больше ядер — больше производительности. На практике это тоже хорошо, но есть нюанс.

Чтобы на 100% использовать мощности железа, софт нужно под него оптимизировать — и базы тоже. ClickHouses выложили в своем блоге статью, написанную инженерами Intel Shanghai, о том, как преодолеть ограничения БД и «научить» ее использовать вычислительные мощности их процессоров с 100+ ядер.

💬 Всего они выявили 5 ключевых областей, где ClickHouse можно (и нужно) докрутить, чтобы увеличить производительность: прекратить тормозящую всю базу конкуренцию за блокировки, оптимизировать работу с памятью, распараллелить процессы на множество потоков и разобраться с false sharing'ом. Если этого не делать, то вся мощность и многоядерность процессора пойдут только во вред и насоздают боттлнеков на пустом месте.

Сделать это будет совсем непросто — авторы в статье неоднократно предупреждают, что чтобы получить результат, нужно глубоко разобраться в том, как работает база, и некоторые процессы фундаментально пересмотреть.

💬 Хотя статья про ClickHouse, описанные в ней подходы могут быть применимы и к другим базам. По мере того, как мощность процессоров будет расти, будет расти и важность умения оптимизировать софт под них.

Почему Text 2 SQL не работает?
Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать.

И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит.

На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат.

На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным.

Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL.

И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают.

🔜 AI может перевести вопрос в SQL, но не может придумать сам вопрос, который имеет смысл для бизнеса.

Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи.

А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.

Амбассадоры Tableau 2025
Tableau регулярно обновляет список своих амбассадоров— людей, которые делают большой вклад в сообщество, делятся своими знаниями и навыками и вообще всячески популяризуют этот тул. В 2025 году звания удостоились 386 человек из 48 стран.

🔜 Список можно увидеть на сайте, но намного интереснее — потыкать в кнопки на дашборде. Он позволяет отфильтровать людей по странам, городам и специализациям.

Пишут, что в этом году получился самый разнообразный состав амбассадоров с точки зрения географии, и это нагляднее видно на другом дашборде. Он не такой удобный, как первый, зато с картой.

В списке, кстати, вы наверняка заметите какие-нибудь знакомые лица. Возможно, на кого-то из них вы даже подписаны. 👀

Вы аналитик? Расскажите, как вам работается
Старые добрые осенние традиции: готовиться к Хеллоуину (если отмечаете), пересматривать «Сумерки» (если любите такое), участвовать в опросе NEWHR про рынок труда аналитиков (если вы аналитик).

Ребята каждый год проводят исследование, чтобы выяснить:
🔵уровень зарплат,
🔵лучшие места для работы,
🔵какие требования к аналитикам предъявляют работодатели,
🔵каких экспертов читают и смотрят те, кто работает с данными.
А когда они собирают все эти данные вместе с сравнивают с предыдущими годами, это позволяет посмотреть на изменения в динамике и увидеть главные тренды на рынке дата-труда.

Ну а мы их с радостью поддерживаем в этом начинании и приглашаем наших читателей принять участие в опросе. Он займет около 20 минут, а в награду вы получите ранний доступ к промежуточным результатам исследования, инвайт на закрытый стрим сс организаторами и чувство, что сделали хорошее дело.

🔜 Опрос

Valiotti Analytics — 6 лет! 🥳
Наш канал существует не сам по себе — это один из проектов дата-консалтинга Valiotti Analytics.
Мы, конечно, уже про это писали, но вдруг вы пропустили или забыли

🔜 И вот сегодня Valiotti Analytics исполняется 6 лет. За эти годы мы успели поработать над десятками проектов для заказчиков со всего мира, строили системы аналитики с нуля и разбирали тысячи строк legacy кода, радовались успехам и учились на ошибках.

В общем, это были насыщенные 6 лет, за которые компания выросла и сильно изменилась, но суть осталась та же — делать данные ближе и понятнее для бизнеса. Намерены продолжать делать это и дальше, только еще лучше. ❤️

Вайб-кодинг против вайб-инжиниринга
Все мы уже поняли, что такое «вайб-кодинг» — это человек генерирует код с помощью нейросетей, иногда даже не особо вникая, что они ему там пишут. Код работает, и ладно. Быстро, просто, но результат может быть непредсказуем.

Но ведь есть и альтернативный подход — не сваливать на нейросеть всю работу, а использовать ее как помощника. При этом человек все еще руководит процессом и отвечает за качество работы. Получается быстрее, чем все делать руками, уже не так просто, зато за результат не стыдно. Это уже не вайб-кодинг — но что тогда?

Есть вариант называть это «вайб-инжиниринг».

В чем суть?
🔵Чтобы от ИИ получать реальную пользу (а не только едва жизнеспособный код), надо хорошо разбираться, как он работает, понимать его ограничения и выстраивать процесс.
🔵Под «выстраиванием» процесса мы понимаем использование старых добрых практик, которые применяются в нормальной, «безвайбовой» разработке. Составление грамотного плана работы и документации, настройка автоматических тестов, вдумчивое тестирование вручную, код-ревью — это все помогает не только людям, но и ИИ.
🔵Вайб-инженеру также важно реально оценивать возможности ИИ: что ему можно доверить, а что лучше сделать самому, как корректно поставить задачу и проверить качество выполнения. Человек в каком-то смысле занимает роль лида или менеджера, контролирующего своего ИИ-подчиненного.

В общем, слагаемые те же, что при вайб-кодинге, — есть человек, ИИ и какая-то работа, которую этим двоим надо выполнить. Но подход и конечный результат совсем другие.

Вопрос только в названии — как вам оно? Как думаете, пойдет «вайб-инжиниринг» в народ?

OpenAI представила ChatGPT Atlas
Вы никогда не думали, как было бы удобно, если бы кто-то за вас покидал покупки в корзину в онлайн-магазине, а перед этим еще сравнил, чем отличаются два на первый взгляд идентичных товара? Прочитал длинную статью и пересказал содержание? Придумал остроумный ответ в дискуссии в соцсети?

В общем, взял на себя эту сложную, нудную задачу сидения в интернете?

🔜 Что ж, если вы пользуетесь Mac’ом (остальным придется подождать), то теперь можете обзавестись таким помощником. OpenAI представила браузер ChatGPT Atlas, с прикрученным к нему ИИ-ассистентом. На картинке выше вы можете увидеть пример задачи для него — выбрать товары для похода на пляж с семьей.

Пользователь может ограничить доступ ИИ к отдельным сайтам, попросить сделать саммари написанного на экране или «покопаться» в истории браузера и найти там ссылку, которую посещал ранее.

Владельцам платных подписок доступен еще и агентский режим, в котором ИИ может совершать какие-то действия на сайте. Например, не только придумать остроумный ответ, но и отправить его, а потом еще наставить оппоненту дизлайков.

Ну что скажете — будете пользоваться Atlas’ом? Или может уже пользуетесь каким-то другими ИИ-браузерами? 👀

«Мало получить инсайт — надо еще донести его понятным языком»
И другие вызовы в работе аналитика в большой компании.

В подкасте «Потом доделаю» вышел выпуск как раз для нас с вами: Роман Халкечев, руководитель аналитики Яндекс Поиска и Рекламы, рассказал, как в корпорации работают с данными. Многие компании об этом либо ничего не рассказывают, либо говорят насколько общими фразами, что лучше бы ничего не говорили. Что-то реально интересное и полезное на эту тему — как этот подкаст — появляется не так уж и часто.

Про что говорили?
🔵С какими сложностями приходится сталкиваться, как доносить ценность данных до коллег и что делать, если ваши инсайты идут вразрез с решениями бизнеса.
🔵Как ИИ влияет на работу, меняет и продукты Яндекса, и рабочие процессы внутри.
🔵Сколько у него сотрудников в управлении (спойлер: 400), чем все эти люди занимаются и как управлять такой БОЛЬШОЙ командой.
🔵Как в реальности выглядит тот самый data-driven подход, к которому все так стремятся: как принимать решения, когда данных недостаточно (да, и у Яндекса такое бывает) или слишком много.

Для аналитиков, дата-инженеров и всех остальных, кто «про данные», в выпуске много прикладных советов, как работать с бизнес-заказчиками и развиваться в профессии. Для тех, кто с данными связан «косвенно» — например, продактов — это возможность взглянуть на «внутреннюю» кухню аналитики и узнать, почему она так часто не дает однозначных ответов на вопросы бизнеса, но прислушиваться к ней все равно надо.

🔜 Слушаем на Яндекс Музыке.

dbt 101: что нужно знать на старте и лучшие практики
dbt — отличный тул для трансформации данных и заслуженный стандарт индустрии. Мы его часто используем, потому что он сильно упрощает работу на проектах со сложной аналитикой и множеством SQL-скриптов.

Кое-что из своего опыта собрали в новой статье. Это не инструкция, как настроить dbt и начать работу, а вводный материал, где мы решили поделиться, а что это вообще такое: зачем нужно, какие функции выполняет, какие задачи решает.

Ну и заодно добавили парочку лучших практик, которые хорошо показывают себя на проектах. Кстати, один реальный проект тоже чуть-чуть показали.

🔜 Статья уже на Хабре!

Viz of the Day во всем многообразии
Tableau любит показывать возможности своего тула и самые крутые датавизы выставляет на всеобщее обозрение как Viz of the Day, чтобы все смотрели, впечатлялись и вдохновлялись. Эти визы дня бывают кардинально разные: про бизнес, экологию, социальные вопросы, поп-культуру. Визуально они тоже отличаются — от классических лаконичных дашбордов до дизайнерских интерактивных инфографик. Отследить какие-то закономерности в этом разнообразии раньше было не просто, но теперь эта задача стала попроще.

Амбассадор Tableau Хидеаки Ямамото собрал данные о 600 последних Viz of the Day и отобразил на инфографике. И вот на ней тренды уже видны:
🔵Большинство авторов Viz of the Day — из США и Англии, а большая часть работ — на английском языке. Есть только одно исключение на португальском.
🔵2 трети работ принадлежат людям, у которых в портфолио уже есть Viz of Day. У рекордсменки из Англии таких работ аж 11 штук.
🔵Самые популярные цвета — синий, голубой, белый и серый.

К сожалению, выделить конкретные темы по описаниям, которыми сопровождаются визы, сложно — в основном там на все лады повторяются слова «data», «viz», «explore» и так далее. Так что сказать, на какую тему надо сделать дашборд, чтобы повысить шансы засветиться в категории Viz of the Day, не получится. 😕

Очистка ИИ-слопа: современные решения современных проблем
Что мы все о плохом — ИИ отнимает работу, из-за ИИ компании реже нанимают джунов, списки профессий, которые к (тут вставить какой-нибудь год) уничтожит ИИ и так далее. Он вообще-то еще и создает рабочие места вполне успешно.

Современный генеративный ИИ работает быстро, но не очень хорошо. Он действительно может за секунды сделать то, на что люди потратили бы несколько часов или дней: написать текст или код, сделать иллюстрацию или видео. Проблема в том, что тексты у него водянистые и написанные в особом, очень узнаваемом ИИ-стиле, который всем уже приелся. На иллюстрациях и в видео часто встречаются ошибки, хотя рисовать правильное количество пальцев он уже научился. Ну а про качество кода вы наверняка и сами знаете.

🔜 И именно это и привело к появлению новой ниши — очистка ИИ-слопа: так называют низкокачественный контент, сделанный с помощью искусственного интеллекта. Авторы вычитывают и переписывают ИИ-тексты, дизайнеры исправляют картинки, а программисты правят код. Уже даже появился сайт Vibecodefixers.com для поиска специально обученных людей, которые могут навести порядок в чужом вайб-коде.

Так что одну дверь ИИ закрывает, но зато открывает другую. Ждет ли нас за этой дверью что-то хорошее — время покажет.

Как выглядит кошмар аналитика
В честь Хеллоуина решили обсудить с вами кое-что действительно жуткое — страшнее приведений или клоунов.

Плохой SQL. 👻

Потому что приведений не существует, а вот кривой код очень даже реален и иметь с ним дело приходится регулярно. Для затравки нашли для вас целую подборку примеров, среди которых:
🔵нагромождение CASE WHEN, создающее хаос, в котором может разобраться только автор кода (но это не точно),
🔵несколько уровней подзапросов, разобраться в которых не может даже сам автор,
🔵вьюхи поверх вьюх поверх других вьюх — сначала это может быть удобно и красиво, но со временем система рискует стать слишком непонятной, еще и создает нагрузку на базу,
🔵попытки «подчистить» результат запроса с помощью DISTINCT для того, которые прячут проблему вместо того, чтобы ее решать.

Встречались с чем-то подобным? Или даже видели что-нибудь похуже? Делитесь в комментариях! 👀