Docs: как Notion, только open source
Очередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.

🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно правительствами Франции и Германии. Да, это не просто чей-то pet project, сделанный из любви к искусству. Все серьезно.

Визуально Docs выглядит как Notion, но попроще — впрочем, так и надо. Его представляют как бесплатную, удобную и безопасную альтернативу, в которой нет ничего лишнего. Можно писать и форматировать текст одному или вместе с коллегами — как и в Notion, тут есть возможность раздать разные уровни доступа.

Есть даже поддержка AI-функций для перевода или создания краткого саммари документа.

У проекта есть cвой сайт и github.

Каталог чартов Tableau
Tableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инструмента.

🔜 Для случаев, когда надо вдохновиться особенно сильно или подсмотреть, как круче сделать какой-то конкретный график, есть целый каталог чартов.

В нем собрали ссылки на Viz of the Day, где использовали различные виды графиков и визуализаций. Есть и весьма небанальные, так что если вам надо будет посмотреть, как сделать в Tableau прогресс-бар или завернуть линейный график в круг, в этом каталоге вы найдете ответ.

Visual DB — фронтенд для базы данных
Любопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требует знания SQL для работы, а еще предлагает использовать ИИ для создания форм.

🔵Работает с распространенными БД, СУБД и облачными сервисами: MySQL, MariaDB, PostgreSQL, Oracle, Neon, Azure SQL, Amazon RDS, Google Cloud SQL, AlloyDB.
🔵Можно пользоваться облачной версией, можно захостить на своем сервере (или просто на ПК или ноуте).
🔵Инструмент бесплатный, но есть тариф Business аж за 5 долларов в месяц с юзера. Его главное отличие в отсутствии ограничений на количество записей в БД.

Ознакомиться со всеми функциями можно на сайте проекта.

Чему мы можем научиться у Amazon Elastic Block Store
Amazon EBS — сервис блочного хранения. Он входит в экосистему AWS и используется для работы с большими объемами данных. Сейчас это огромная распределенная система SSD, которая обрабатывает 140 триллионов операций.

Сервис начал работу в 2008 году — и тогда, он, конечно, был совсем другим. Марк Олсон, инженер, который работал над EBS больше 10 лет, рассказал, как проект менялся и развивался с годами. Это не только повод поностальгировать по тем далеким временам, но познакомиться с подходом Amazon к решению проблем и внедрению изменений.

Несколько полезных инсайтов из статьи:
🔵Развитие EBS — постоянный и постепенный процесс. Возможно, для кого-то это и так очевидно, но это одна из главных мыслей всего лонгрида: сервис менялся и дорабатывался на протяжении всего времени существования, чтобы в итоге прийти к 140 триллионам операций. Одним героическим рывком к таким масштабам не прийти.
🔵Один из ключевых вызовов перед командой проекта — это найти баланс между надежностью, производительностью и удобством для пользователя. Необходимость заботиться обо всех этих факторах (а не только о надежности в ущерб скорости) обуславливала многие решения и подходы, которых придерживались разработчики.
🔵Производительность системы зависит от множества факторов и изменения только на одном уровне, даже очень масштабные, могут не принести желаемого эффекта. С этим команда столкнулась, когда переехала с HDD на SSD. Пришлось апдейтить остальные компоненты системы, чтобы добиться прироста роизводительности.
🔵Full-stack-инженер, который умеет все, — это, конечно, круто, но когда речь идет про работу над такими сложными системами, как EBS, узкие специалисты, которые детально разбираются в своей конкретной области, могут быть ценнее.
🔵Если хотите, чтобы ваши инженеры (и вообще любые сотрудники) хорошо работали, нужно создать условия, при которых они смогут не бояться экспериментов и выходить из зоны комфорта.

Как вам опыт Amazon EBS?
❤️ — Есть чему поучиться!
🌚 — Ну такое…

Книга «Аналитика для руководителей» — предзаказ открыт!
Совсем скоро книга Николая Валиотти «Аналитика для руководителей» поступит в продажу, а оформить предзаказ на Ozon, Бук-24 и в Читай-Городе вы можете прямо сейчас.

🔵Эта книга — о том, как построить систему аналитики, которая помогает принимать решения на основе данных и увеличивать прибыль. Вы узнаете, из чего состоит эта система и какие люди вам нужны, чтобы она работала правильно, а также — как раскрыть потенциал бизнеса с помощью данных.
🔵«Аналитика для руководителей» написана для людей, которым важно уметь работать с данными и цифрами, но которые при этом не являются аналитиками и дата-инженерами. В ней понятным языком объясняются все технические термины.

🔜 Перейти на лендинг, чтобы узнать о книге больше

Там вы найдете больше подробностей о книге, ответы на часто задаваемые вопросы и первый отзыв.

Что посмотреть в новом сезоне, подскажут ML и матстатистика
Недавно мы делились рекомендацией Бена Стенсила работать над теми проектами, к которым на самом деле лежит душа. Он говорил это про дипломные проекты и вообще те, которые делаются не за деньги, а для практики.

Нашли для вас отличный пример — приложение для прогнозирования популярности аниме.
🔵Каждый сезон в Японии выходит примерно 30 новых сериалов. Пользовательница Хабра решила создать инструмент, позволяющий предсказать, насколько популярным будет новое аниме.
🔵Она написала целое приложение, которое прогнозирует рейтинг сериала, основываясь на математической статистике и машинном обучении. Оно учитывает только показатели, известные до релиза: рейтинги первоисточника (для сериалов, основанных на манге) на сайте MyAnimeList, жанр, название студии, возрастной рейтинг и ЦА. Код можно посмотреть на гитхабе.
🔵Приложение довольно точно предсказывает рейтинг сериала на MyAnimeList, но иногда может ошибаться — обычно, когда речь идет об аномально популярных аниме.

Практическая польза предсказания рейтингов аниме неоспорима: зрителям это поможет выбрать, что посмотреть, а продюсерам — решить, в какие проекты стоит вкладывать деньги. И никаких больше непонятных сериалов с рейтингом ниже 5!

А как вам — стали бы пользоваться таким приложением?
❤️ — Конечно!
🌚 — Нет, спасибо…

Middle Data Engineer в LEFT JOIN
У нас появилось несколько новых проектов, поэтому мы снова ищем дата-инженеров в команду. Хотите работать над интересными и разнообразными кейсами с заказчиками со всего мира? Тогда читайте вакансию ниже, возможно, это именно то, что вам надо!

Обязанности:
🔵Создавать и поддерживать ETL/ELT-процессы.
🔵Обеспечивать корректность работы отчетов и консистентность данных.
🔵Поддерживать и видоизменять имеющиеся модели данных.
🔵Создавать и сопровождать витрины данных.
🔵Вести документацию.

Требования:
🔥Опыт работы от 3 лет.
🔥Очень важно — отличное владение BigQuery, GCP и dbt.
🔵Уверенное владение SQL, Python, Airflow, bash.
🔵Опыт разработки ETL, проектирования и разработки хранилищ данных и аналитической отчетности, а также работы с Kafka и S3.
🔵Высшее техническое или другое релевантное образование.
🔵Английский язык B2 или выше.

Условия:
🔵Full-time занятость. Работа удаленно из любой точки мира по GMT+3.
🔵Оплачиваемый отпуск 20 рабочих дней и больничные 10 дней.
🔵Отсутствие бюрократии и свобода принятия решений.
🔵Корпоративный английский язык.

Откликайтесь на huntflow и, пожалуйста, укажите в сопроводительном письме, чем вас заинтересовала вакансия.

На данной позиции предусмотрено тестовое задание.

О любви к CSV ❤️
Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.

Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все еще часто используется для хранения данных, несмотря на то что за эти 50 лет разработали множество других форматов.

Почему так?
Юзер с гитхаба уже ответил за нас и перечислил целых 9 причин, почему этот формат заслуживает нашей любви. Как любят писать в кликбейтных статьях, пункт 9 вас поразит!

1️⃣ CSV простой — вся суть формата отражена в названии. Ничего лишнего.
2️⃣ CSV никому не принадлежит, а потому навсегда останется бесплатным и доступным.
3️⃣ CSV — это простой текст, который можно открыть и отредактировать в любом редакторе без всяких сложностей. Для этого не нужен никой специальный платный софт.
4️⃣ CSV не требователен к ресурсам и к памяти компьютера.
5️⃣ В CSV-документы можно легко и эффективно дописывать новые строки.
6️⃣ CSV динамически типизирован — тут есть свои минусы, но это делает его очень гибким при работе с разными типами данных.
7️⃣ CSV лаконичен.
8️⃣ Обратный CSV все еще CSV — информация не потеряется, даже если прочитать документ не с начала, а с конца, байт за байтом.
9️⃣ Excel ненавидит CSV — а значит, уже за это формат заслуживает уважения.

Как оптимизировать таблицы в Postgres
А вы знали, что правильный порядок столбцов может на 20% уменьшить размер таблицы в Postgres?

🔜 Минимальный возможный размер строки — 24 байта. Он меняется в зависимости от количества столбцов и типов данных — какие-то весят больше, какие-то меньше. Но на итоговый размер строки влияет также такой момент, как последовательность, в которой идут друг за другом разные типы данных.

Это связано с выравниваем данных на диске — чтобы оптимизировать его, Postgres может добавлять отступы между разными типами данных. Это и приводит к увеличению размера строки. При этом способ выравнивания зависит от типа данных. Эта же логика распространяется и на индексы.

🔜 Разбор реальных примеров показывает, что «правильный» порядок столбцов на 15-20% уменьшает вес и таблицы, и индекса. Там же можно подробнее почитать про то, как этого добиться, но если кратко, то можно придерживаться такого подхода: сначала размещаем «тяжелые» данные вроде int8, float8, timestamp, а затем — более легкие.

Конечно, никто не предлагает начинать срочно переставлять столбцы во всех таблицах в базе, чтобы сэкономить лишние два байта на диске — для многих компаний такие «оптимизации» будут явно избыточны. Но все же это стоит иметь в виду.

А вы учитываете особенности выравнивания данных в работе?
❤️ — Да, конечно!
🌚 — Нет, мне это не нужно

Как на самом деле ИИ может помочь в работе?
Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень понятно. Особенно если вы уже пробовали, потратили кучу времени на написание промптов и получили сомнительный результат, который не стоит затраченных усилий.

Именно для тех, кто хочет научиться решать реальные практические задачи с помощью ИИ, Институт Бизнес-Аналитики Алексея Колоколова проводит свой новый бизнес-квест. Участники попробуют использовать нейросети для решения разноплановых кейсов — от расчета сметы до составления презентации.

🔵Мероприятие пройдет 15 мая в отеле Cosmos Smart Moscow Dubininskaya в Москве и займет примерно 4 часа.
🔵Основной фокус — на решении реальных задач, которыми может столкнуться офисный сотрудник (не считая визита Илона Маска). Делать картинки для соцсетей учить не будут.

🔜 Готовы научиться внедрять ИИ в работу? Читайте программу и регистрируйтесь.

ИИ (не) против таблиц
Сегодня ИИ-агенты — это самое близкое, что у нас есть к умным роботам из книг и фильмов, которые помогают людям в их повседневных делах. Но функционал у них все еще не фантастический — например, многие из них неважно справляются с структурированными данными. Учитывая, что ИИ-агентов часто используют для работы, им нужно уметь эффективно работать с таблицами и не бояться Excel.

С этой проблемой столкнулись в Dust, компании, которая занимается созданием ИИ-агентов. Команда проекта рассказала, как учила искусственный интеллект «понимать» табличные данные.
🔵Все началось с того, что нужно было научить LLM анализировать CSV-файлы. Для этого решили «прикрутить» к ней SQLite, которая отвечала за то распознавание структуры данных и обработку SQL-запросов.
🔵Запросы при этом генерировал сам ИИ-агент на основании промпта пользователя. Он отправлял этот запрос в БД и возвращал ответ от нее.

На одних CSV-файлах не остановились и пошли дальше, постепенно научив своих агентов работать с таблицами в Notion, Google Sheets и Office 365. Эти источники добавили своих сложностей.
🔵Чтобы обрабатывать таблицы в Notion, пришлось научиться гибко работать с данных разных типов.
🔵В Google и Office у файлов часто бывает сложная структура — несколько листов, заголовки, объединенные ячейки, встроенные графики. Все это нужно было быстро (и желательно незаметно от юзера) обработать.

🔜 В итоге в Dust разработали единый уровень абстракции для всех источников, каждый из которых представляли в виде таблицы с несколькими колонками: Уникальным ID, Названием и описанием, Схемой (колонками и их типами), URL-источником.

После этого команда смола пойти дальше и даже начать работать с данными в DWH — для этого пришлось отказаться от SQLite и научить LLM работать с большими объемами строк и разными диалектами SQL.

В посте в блоге немного технической информации, но все же в ней есть интересные мысли и выводы для тех, кто работает с таблицами и ИИ — и хочет их друг с другом подружить.

А вы используете ИИ-агентов для работы?
❤️ — Использую и расскажу про это в комментариях
🌚 — Нет, не приходилось

Кому подойдет Metabase?
К Metabase часто относятся снисходительно и иногда даже не считают этот тул полноценной BI-платформой. Да и мы тоже такие комментарии получали, когда писали, что много с ним работаем…

Metabase действительно достаточно простой инструмент, особенно если сравнивать с чем-то вроде Tableau. Многих это отпугнет, но кого-то это станет главным преимуществом. Рассказываем, кому подойдет Metabase и что вообще можно сделать в этом BI в нашем новом видео.

Что вас ждет?
🔵Обзор интерфейса и демонстрация возможностей по визуализации и написанию SQL-запросов.
🔵Разбор кейса клиента, который ушел с более продвинутого и сложного инструмента на Metabase и остался полностью доволен.
🔵Плюсы, минусы и рекомендации по использованию тула.

🔜 Смотрите на Youtube и в VK

А вы идете на Tech Week?
«Синергия» вновь проводит Tech Week, а LEFT JOIN вновь становится ее инфопартнером!

Как и в прошлый раз, конференция будет посвящена технологиям, инновациям и тому, как подружить их с бизнесом.
🔵Как стремительное развитие технологий влияет на современные подходы к лидерству, управлению и работе с людьми?
🔵Какие инновации стоят вашего внимания (и денег)?
🔵Как новые технологии меняют бизнес, промышленность и торговлю?

И, конечно, не обошлось без ИИ и нейросетей — им выделили сразу несколько треков. Среди спикеров — директора и основатели крупных российских компаний, эксперты по ИИ, маркетингу и даже нейрофизиологии.

🔜 26-27 мая пройдет основная часть с конференциями и выставками, 28 — день обучения, где участникам помогут разработать стратегию развития бизнеса.
🔜 Обещают и другие нестандартные форматы, чтобы посетители не скучали на лекциях — например, быстрые бизнес-свидания, тренинги и мастермайнды.