ML в аналитике: не можешь победить — возглавь
ИИ не со всеми (пока) задачами справляется лучше людей, но в чем он точно нас уже превосходит, так это в обработке больших объемов данных. Он обнаружит тренды и закономерности, поможет составить прогнозы и найти инсайты. И чем больше данных, тем сложнее с ними справиться человеку, и тем лучше будет результат работы ИИ.

💬 Так что же это значит — аналитики больше не нужны? Их всех заменят дата саентисты с их большими зарплатами и ML-моделями?

Не факт. Аналитики все еще нужны, но им предстоит адаптироваться к новым условиям и осваивать Machine Learning — к такому выводу пришел Виктор Кантор, Ex Chief Data Officer МТС, Ex Chief Data Scientist Яндекс.Такси, основатель онлайн школы машинного обучения MLinside.

Как аналитикам стать ценнее в глазах компании — своим опытом Виктор поделился в этом посте.

Data Heroes: Data Science и AI в fashion-ритейле
Представим, что вы решили обновить гардероб и зашли на сайт интернет-магазина одежды. Вы полистали каталог, вбили в поиск название вещи, которая вам нужна, зашли в карточку, посмотрели фотки и описание, присмотрелись к цене, а потом закинули покупку в корзину. Возможно, на странице товара вы увидели еще рекомендации — вещи, которые похожи на выбранную вещь или которые хорошо к ней подойдут.

Как думаете, сколько из этих функций или сервисов на сайте так или иначе «усилены» с помощью ML?

Правильный ответ: все.

Машинное обучение и Data Science применяются почти во всех процессах крупного интернет-магазина: от закупа и поступления товара на склад до продажи и доставки до потребителя. В первом выпуске пятого сезона Data Heroes узнаем, как это работает в Lamoda.

А расскажет нам это Дмитрий Малахов, Direction Lead Ranking & Navigation в Lamoda Tech.
🔵 Как команды DS внедряют новые алгоритмы в работу и оценивают их эффективность?
🔵 В каких процессах в ecom ИИ уже используется, а где еще найдет применение в ближайшее время?
🔵 ИИ-реклама — это обман потребителя или удобный инструмент и для продавца, и для покупателя?
🔵 Чем Data Science и ML в fashion-ритейле отличаются от Data Science и ML в банкинге и других сферах?

Смотреть: YouTube, VK Видео
Слушать: Spotify, Apple Podcasts, Яндекс Музыка

Инструмент, который вытащит нужные данные из PDF
Магия искусственного интеллекта избавляет от необходимости самостоятельно ковыряться в PDF’ках, чтобы найти в них нужные данные.

🔜 Documind — маленький open source инструмент, который сделает это за вас. Он обрабатывает PDF-файлы с помощью API OpenAI и возвращает структурированные данные.

Можно самостоятельно дать задачу, какие данные и в каком формате вам нужны, а можно воспользоваться готовыми шаблонами. Пока их всего три: инвойс, банковская выписка и водительское удостоверение из Великобритании. Не густо, но разработчики обещают добавить еще, а также работают над облачной версией. Пока в нее пускают только после отправки  реквеста через сайт проекта.

Новости от Amazon: Aurora DSQL
Amazon многие знают в первую очередь как интернет-магазин, мы-то с вами в курсе, что это еще и крупная технологическая компания, известная своими облачными сервисами — хранилищами, вычислительными мощностями и так далее.

Скоро этот список пополнится распределенной базой данных Aurora DSQL.

💬 Обещают практически неограниченные возможности для масштабирования, абсолютную отказоустойчивость и высокую скорость работы в сочетании с простотой в управлении. Aurora DSQL — бессерверная БД, и пользователю не придется беспокоиться об обновлениях или поддержке инфраструктуры.

💬 Правда, есть и ограничения — например, Aurora DSQL не поддерживает временные таблицы, создание представлений запросов или внешние ключи.

Как это будет  работать на практике, пока неясно  — ни цены, ни дату полноценного релиза нового продукта Amazon еще не объявил.

Логика семплинга в SQL
Кажется, что пятница ­— время расслабиться и почитать что-нибудь легкое?

А вот и нет. 🔥 Принесли вам основательный лонгрид про семплинг с помощью SQL:
🔵 Как работают алгоритмы выборки без замены и с заменой и как реализовать оба.
🔵 Как увеличить скорость обработки запроса, понимая особенности чтения данных в БД.
🔵 Как сделать рандомную выборку чуть менее рандомной.

Автор не пишет «press X to win» — то есть «напишите вот такой запрос, чтобы получить вот такой результат», а подробно объясняет логику их работы с формулами и ссылками на дополнительную литературу. Думаем, будет полезно и новичкам, и тем, кто с SQL работает уже не первый день.

Было полезно?
❤️ ­— Да
🌚 — Не особо

OpenAI представили ChatGPT Pro
🔜 ChatGPT Pro — это платный тариф для тех, кому нужна вся мощь их флагманского продукта OpenAI. Он обойдется в 200 долларов в месяц — в 10 раз больше, чем уже привычный ChatGPT Plus.

За эти деньги пользователи получат неограниченный доступ к o1 (включая режим pro), o1-mini, GPT-4o и голосовому помощнику.

🔜 o1 pro — это самая умная и мощная версия нейросети от OpenAI, которая дает самые точные и надежные ответы на промпты любой сложности. На странице с новостью даже бенчмарки  показали.

В общем, ChatGPT Pro — решение для тех, кто готов платить серьезные деньги за доступ к одному из самых умных ИИ на сегодняшнем рынке. Либо мотивация для тех, кто не решался заплатить за Plus, увидел расценки на новый тариф и понял, что 20 долларов — это не так уж и много. 👀

За что они так любят Excel?
Мемы про сложные отношения аналитиков с Excel появились не на пустом месте. Часто пользователи просто не понимают своего счастья и не ценят все эти прекрасные дашборды, которые для них любовно собирают аналитики, BI-специалисты и дата-инженеры.

«Да, красиво, удобно, но можно те же данные в Excel показать, пожалуйста?»

☝🏻 Знакомо?

Это может раздражать или фрустрировать, но это происходит не без причины. И часто причина — именно в дашбордах, которые сделали именно для того, чтобы сделать жизнь пользователя лучше.

1️⃣ Пользователь не доверяет данным. Ему понятен формат обычной таблички, а с дашбордом он просто может не понимать, откуда взялись данные или как был сформирован график.
🔜 Тут может помочь дополнительное обучение, инструкции и подсказки — все, что сделает дашборд понятнее.

2️⃣ Перемены нервируют или нарушают привычный рабочий процесс. Пользователь привык работать со своими таблицами, даже если они неудобные и громоздкие, а на составление отчетов уходила куча времени. Теперь ему надо привыкать к новому инструменту и менять процессы — это почти никому не нравится. Может быть, этот дашборд вообще ему не нужен был, а сделали его по требованию руководства.
🔜 Тут поможет обмен опытом. С одной стороны стоит привлекать пользователя к работе над дашбордом, чтобы он понимал, что и зачем делается и как это поможет ему в работе. С другой стороны — аналитикам надо понимать, как пользователь будет взаимодействовать с дашбордом, как он встроится в его рабочий пайплайн.

3️⃣ Дашборд просто неудобный. Он непонятный, он долго грузится, на нем миллион фильтров и кнопок, за которыми прячутся нужные данные. Да, так бывает — как бы вдумчиво вы ни подходили к разработке, иногда просто что-то идет не так.
🔜 Что тут посоветовать? Собрать фидбек и вносить правки.

Если хочется почитать подробнее, то вот хорошая статья на эту тему.

Состоялся релиз Sora Turbo
☝🏻 Это видео сгенерировала новая модель OpenAI — Sora.

Sora представили еще в начала года, и вот наконец-то к ней открыли доступ. На этот раз официально, а не как когда ее слили на Hugging Face.

🔥 Публике доступна Sora Turbo — более мощная, чем предыдущая версия. Она умеет генерировать видео с разрешением до 1080p и продолжительностью до 20 секунд на основе текстовых промптов, изображений или других видео.

Правда, это функционал для пользователей с подпиской Pro — на Plus можно генерировать видео с разрешением не больше 720p. По крайней мере, пока, а в начале следующего года обещают представить новые тарифы. Может быть, тогда и бесплатным пользователям что-нибудь достанется — сейчас поэкспериментировать с Sora без подписки нельзя.

Как вам новости?
❤️ — Круто, уже хочу потестить!
🌚 — Не впечатляет…

Ксения Сухова про любовь к Лондону, партнерство в бизнесе и роль мемов в создании бренда
Консалтинг — это развод и скам?

Иногда да. Как понять, какой консалтинг создает ценность для бизнеса, а какой только тратит время и деньги — обсуждаем в новом выпуске LEFT JOIN Partners.

Гостьей второго эпизода Partners стала Ксения Сухова — managing partner в дата-консалтинге ASAO DS.

Про что еще говорили?
🔵 Про жизнь и бизнес за границей, а также риски регистрации компании на Кипре.
🔵 Про то, как отличить хорошего аналитика от так себе специалиста (и каких «аналитиков» вообще лучше не нанимать).
🔵 Про то, как именно консалтинги помогают заказчикам извлекать профит из своих данных.

👀 Смотрите на YouTube и на VK!

А вы используете естественные ключи?
Использование естественных ключей кажется вполне логичным решением. Особенно, если у вас есть простой естественный ключ — что-то вроде ИНН или серийного номера, который в теории должен быть уникальным для каждой сущности в таблице.

💬 Если простого ключа нет, почти всегда можно придумать составной. Например, здесь автор приводит в пример студенческий проект — базу данных для сайта со списком 50 лучших ресторанов, где в качестве ключа предложили использовать сочетание названия заведения и города. Уже можно догадаться, какие минусы есть у такого подхода — чем больше город, тем больше вероятность, что там заведутся два ресторана с одинаковыми названиями. Но для небольшого набора данных, он вполне применим.

Кроме вопросов к уникальности, которые почти неизбежно возникнут при работе с большим датасетом, есть и другие сложности.
🔵 Многие данные, которые можно было использовать в качестве первичного ключа, могут со временем меняться — например, телефон, email, номер и серия паспорта. В той же статье автор приводит пример, когда во время техосмотра выяснилось, что у его машины неправильный VIN. Проблема решилась тем, что механик просто исправил его в системе. То есть даже такие, казалось бы, неизменяемые вещи, как VIN или серийный номер могут в какой-то момент измениться.
🔵Никто не застрахован от ошибок и опечаток, и чем больше датасет, тем выше вероятность, что кто-то неправильно запишет номер или опечатается в собственном имени. Будет неприятно, если такая ошибка закрадется в поле, которое используется как первичный ключ.
🔵 Искусственный (суррогатный) ключ помогает избежать этих проблем, а еще в теории — упростить запросы и внесения изменений в таблицы.

Хотя у них тоже есть минусы — неинформативность или сам факт создания каких-то дополнительных сущностей в таблице вместо того, что навести в данных порядок и обеспечить их точность, актуальность и уникальность.

А какой вариант вам ближе? 👀

Оцифровать нецифруемое: как понять, чем на самом деле робот хуже человека
Обидная особенность аналитики в том, что очень часто сложно доказать прямую связь между работой аналитиков и дата-инженеров и бизнес-результатом компании. Все понимают, что грамотная работа с данными важна для любой компании, но как посчитать точный эффект от нее — сколько именно денег она принесла или сколько времени всем сэкономила?

Тем приятнее читать такие кейсы, где профит от аналитики очевиден и неоспорим, правда же?

💬 И такой кейс у нас есть — история о том, как мы помогли ИИ-стартапу улучшить его продукт, голосового бота-продажника. Мы перелопатили гору данных сразу нескольких компаний, вооружились ML-моделями и алгоритмами и нашли, как же сделать бота умнее и полезнее для владельцев и пользователей.

Подробно расписали, как мы это делали, в новой статье на VC 🔜 https://vc.ru/dev/1703499

Присылайте ваш любимый мем с chill guy в комментарии @leftjoin_career 👀