Новости от Amazon: Aurora DSQL
Amazon многие знают в первую очередь как интернет-магазин, мы-то с вами в курсе, что это еще и крупная технологическая компания, известная своими облачными сервисами — хранилищами, вычислительными мощностями и так далее.

Скоро этот список пополнится распределенной базой данных Aurora DSQL.

💬 Обещают практически неограниченные возможности для масштабирования, абсолютную отказоустойчивость и высокую скорость работы в сочетании с простотой в управлении. Aurora DSQL — бессерверная БД, и пользователю не придется беспокоиться об обновлениях или поддержке инфраструктуры.

💬 Правда, есть и ограничения — например, Aurora DSQL не поддерживает временные таблицы, создание представлений запросов или внешние ключи.

Как это будет  работать на практике, пока неясно  — ни цены, ни дату полноценного релиза нового продукта Amazon еще не объявил.

Логика семплинга в SQL
Кажется, что пятница ­— время расслабиться и почитать что-нибудь легкое?

А вот и нет. 🔥 Принесли вам основательный лонгрид про семплинг с помощью SQL:
🔵 Как работают алгоритмы выборки без замены и с заменой и как реализовать оба.
🔵 Как увеличить скорость обработки запроса, понимая особенности чтения данных в БД.
🔵 Как сделать рандомную выборку чуть менее рандомной.

Автор не пишет «press X to win» — то есть «напишите вот такой запрос, чтобы получить вот такой результат», а подробно объясняет логику их работы с формулами и ссылками на дополнительную литературу. Думаем, будет полезно и новичкам, и тем, кто с SQL работает уже не первый день.

Было полезно?
❤️ ­— Да
🌚 — Не особо

OpenAI представили ChatGPT Pro
🔜 ChatGPT Pro — это платный тариф для тех, кому нужна вся мощь их флагманского продукта OpenAI. Он обойдется в 200 долларов в месяц — в 10 раз больше, чем уже привычный ChatGPT Plus.

За эти деньги пользователи получат неограниченный доступ к o1 (включая режим pro), o1-mini, GPT-4o и голосовому помощнику.

🔜 o1 pro — это самая умная и мощная версия нейросети от OpenAI, которая дает самые точные и надежные ответы на промпты любой сложности. На странице с новостью даже бенчмарки  показали.

В общем, ChatGPT Pro — решение для тех, кто готов платить серьезные деньги за доступ к одному из самых умных ИИ на сегодняшнем рынке. Либо мотивация для тех, кто не решался заплатить за Plus, увидел расценки на новый тариф и понял, что 20 долларов — это не так уж и много. 👀

За что они так любят Excel?
Мемы про сложные отношения аналитиков с Excel появились не на пустом месте. Часто пользователи просто не понимают своего счастья и не ценят все эти прекрасные дашборды, которые для них любовно собирают аналитики, BI-специалисты и дата-инженеры.

«Да, красиво, удобно, но можно те же данные в Excel показать, пожалуйста?»

☝🏻 Знакомо?

Это может раздражать или фрустрировать, но это происходит не без причины. И часто причина — именно в дашбордах, которые сделали именно для того, чтобы сделать жизнь пользователя лучше.

1️⃣ Пользователь не доверяет данным. Ему понятен формат обычной таблички, а с дашбордом он просто может не понимать, откуда взялись данные или как был сформирован график.
🔜 Тут может помочь дополнительное обучение, инструкции и подсказки — все, что сделает дашборд понятнее.

2️⃣ Перемены нервируют или нарушают привычный рабочий процесс. Пользователь привык работать со своими таблицами, даже если они неудобные и громоздкие, а на составление отчетов уходила куча времени. Теперь ему надо привыкать к новому инструменту и менять процессы — это почти никому не нравится. Может быть, этот дашборд вообще ему не нужен был, а сделали его по требованию руководства.
🔜 Тут поможет обмен опытом. С одной стороны стоит привлекать пользователя к работе над дашбордом, чтобы он понимал, что и зачем делается и как это поможет ему в работе. С другой стороны — аналитикам надо понимать, как пользователь будет взаимодействовать с дашбордом, как он встроится в его рабочий пайплайн.

3️⃣ Дашборд просто неудобный. Он непонятный, он долго грузится, на нем миллион фильтров и кнопок, за которыми прячутся нужные данные. Да, так бывает — как бы вдумчиво вы ни подходили к разработке, иногда просто что-то идет не так.
🔜 Что тут посоветовать? Собрать фидбек и вносить правки.

Если хочется почитать подробнее, то вот хорошая статья на эту тему.

Состоялся релиз Sora Turbo
☝🏻 Это видео сгенерировала новая модель OpenAI — Sora.

Sora представили еще в начала года, и вот наконец-то к ней открыли доступ. На этот раз официально, а не как когда ее слили на Hugging Face.

🔥 Публике доступна Sora Turbo — более мощная, чем предыдущая версия. Она умеет генерировать видео с разрешением до 1080p и продолжительностью до 20 секунд на основе текстовых промптов, изображений или других видео.

Правда, это функционал для пользователей с подпиской Pro — на Plus можно генерировать видео с разрешением не больше 720p. По крайней мере, пока, а в начале следующего года обещают представить новые тарифы. Может быть, тогда и бесплатным пользователям что-нибудь достанется — сейчас поэкспериментировать с Sora без подписки нельзя.

Как вам новости?
❤️ — Круто, уже хочу потестить!
🌚 — Не впечатляет…

Ксения Сухова про любовь к Лондону, партнерство в бизнесе и роль мемов в создании бренда
Консалтинг — это развод и скам?

Иногда да. Как понять, какой консалтинг создает ценность для бизнеса, а какой только тратит время и деньги — обсуждаем в новом выпуске LEFT JOIN Partners.

Гостьей второго эпизода Partners стала Ксения Сухова — managing partner в дата-консалтинге ASAO DS.

Про что еще говорили?
🔵 Про жизнь и бизнес за границей, а также риски регистрации компании на Кипре.
🔵 Про то, как отличить хорошего аналитика от так себе специалиста (и каких «аналитиков» вообще лучше не нанимать).
🔵 Про то, как именно консалтинги помогают заказчикам извлекать профит из своих данных.

👀 Смотрите на YouTube и на VK!

А вы используете естественные ключи?
Использование естественных ключей кажется вполне логичным решением. Особенно, если у вас есть простой естественный ключ — что-то вроде ИНН или серийного номера, который в теории должен быть уникальным для каждой сущности в таблице.

💬 Если простого ключа нет, почти всегда можно придумать составной. Например, здесь автор приводит в пример студенческий проект — базу данных для сайта со списком 50 лучших ресторанов, где в качестве ключа предложили использовать сочетание названия заведения и города. Уже можно догадаться, какие минусы есть у такого подхода — чем больше город, тем больше вероятность, что там заведутся два ресторана с одинаковыми названиями. Но для небольшого набора данных, он вполне применим.

Кроме вопросов к уникальности, которые почти неизбежно возникнут при работе с большим датасетом, есть и другие сложности.
🔵 Многие данные, которые можно было использовать в качестве первичного ключа, могут со временем меняться — например, телефон, email, номер и серия паспорта. В той же статье автор приводит пример, когда во время техосмотра выяснилось, что у его машины неправильный VIN. Проблема решилась тем, что механик просто исправил его в системе. То есть даже такие, казалось бы, неизменяемые вещи, как VIN или серийный номер могут в какой-то момент измениться.
🔵Никто не застрахован от ошибок и опечаток, и чем больше датасет, тем выше вероятность, что кто-то неправильно запишет номер или опечатается в собственном имени. Будет неприятно, если такая ошибка закрадется в поле, которое используется как первичный ключ.
🔵 Искусственный (суррогатный) ключ помогает избежать этих проблем, а еще в теории — упростить запросы и внесения изменений в таблицы.

Хотя у них тоже есть минусы — неинформативность или сам факт создания каких-то дополнительных сущностей в таблице вместо того, что навести в данных порядок и обеспечить их точность, актуальность и уникальность.

А какой вариант вам ближе? 👀

Оцифровать нецифруемое: как понять, чем на самом деле робот хуже человека
Обидная особенность аналитики в том, что очень часто сложно доказать прямую связь между работой аналитиков и дата-инженеров и бизнес-результатом компании. Все понимают, что грамотная работа с данными важна для любой компании, но как посчитать точный эффект от нее — сколько именно денег она принесла или сколько времени всем сэкономила?

Тем приятнее читать такие кейсы, где профит от аналитики очевиден и неоспорим, правда же?

💬 И такой кейс у нас есть — история о том, как мы помогли ИИ-стартапу улучшить его продукт, голосового бота-продажника. Мы перелопатили гору данных сразу нескольких компаний, вооружились ML-моделями и алгоритмами и нашли, как же сделать бота умнее и полезнее для владельцев и пользователей.

Подробно расписали, как мы это делали, в новой статье на VC 🔜 https://vc.ru/dev/1703499

Присылайте ваш любимый мем с chill guy в комментарии @leftjoin_career 👀

Почему рекомендации Netflix работают так плохо?
Те, кто с нами давно, знают, что это перезалив.

Если вы подписаны на Netflix, то знаете, что иногда его лента рекомендаций… удивляет. Почему популярный сервис, который собирает гору всевозможной информации о вас и ваших вкусах, так часто советует посмотреть какую-то чушь? Что он делает с этими данными — и что это вообще за данные, на которых строится работа рекомендательных алгоритмов?

Разбираемся в нашем видео:
🔜 YouTube
🔜 VK

Dataviz, Data Science и HR
К традиции подводить итоги в конце года все относятся по-разному: кому-то все равно, для кого-то это повод вспомнить, что хорошего произошло за последние 12 месяцев, а для кого-то —причина для стресса.

В последнюю категорию нередко попадают сотрудники корпораций. Те тоже в конце года подводят итоги и оценивают результаты своих подчиненных. 10% (или 15%, или 20%) лучших получат премии, а 10% со дна рейтинга отправятся искать новое место работы.

Обычно результат этой оценки представляют в виде всем знакомой куполообразной кривой. И это выглядит логично:
🔵 Это универсальный график, уместный для визуализации данных из самых разных областей. Если в компании дела идут нормально, то и результаты сотрудников тоже распределятся по осям нормально.
🔵График четко делит людей на несколько групп: «среднячки» в центре, топы и аутсайдеры по краям. Это наглядный, честный и объективный способ визуализировать, кто работал хорошо, а кто не постарался.

Так ведь?
Ну, не совсем. На графике данные распределяются симметрично, но давайте честно — отражает ли это реальность?
🔵 В любом коллективе почти всегда есть несколько топовых сотрудников, которые и правда «тянут» на себе весь отдел и генерируют львиную долю результата.
🔵 При этом обратной картины не наблюдается — их успехи не нивелируют провалы аутсайдеров из анти-топа. Встречаются люди, которые своей некомпетентностью приносят реальные убытки, но это скорее исключения, а не стабильные 10-20% от всего штата компании.

Если описывать ситуацию так, то это уже не скучное нормальное распределение, а правило Парето про 20% усилий, которые генерируют 80% результата. То есть сотрудники делятся на небольшую долю топ-перформеров, большинство «среднячков» и редких аутсайдеров.

Если интересно почитать подробнее, то в блоге Data Science for Fun and Profit про это есть любопытная статья. А мы просто отметим, что это отличный пример того, как датавиз влияет на восприятие данных и принятие решений.