ML и нейросети в российских сервисах
Большинство обсуждаемых новостей про нейросети и искусственный интеллект предсказуемо генерируют США и Китай. Но ими дело не ограничивается, поэтому мы решили посмотреть, как дела за их пределами — например, в России.

Самый очевидный пример — маркетплейсы. Они внедряют ИИ, чтобы сделать проще заполнение карточек текстами и картинками.

🔵 «Яндекс Маркет» добавил в личные кабинеты продавцов YandexGPT, создающую описание по информации в карточке. Wildberries тестирует сервис, которому достаточно только названия товара, чтобы составить текст.
🔵 Также внедряют нейросети, генерирующие картинки с товарами. YandexART представили в декабре прошлого года. Она до сих пор в бете и доступна не для всех категорий товаров. У Wildberries и Ozon аналогичные функции тоже пока находятся на стадии тестирования.
🔵 Ozon пошел дальше всех и еще в прошлом году выкатил сервис для генерации обложек на основе ML. Результат работы прикрепили к посту — кажется, дизайнерам бояться пока нечего.
🔵 «Яндекс Маркет» заботится не только о продавцах, но и покупателях — для них нейросеть генерирует персонализированные подборки товаров.

ML‑калькулятор для расчета стоимости квартир. Опять «Яндекс» — на этот раз «Яндекс Недвижимость».
🔵Сервис «Про дом» рассчитывает стоимость покупки или аренды жилья на основе данных в карточке: этаж, площадь, число комнат. Он принимает во внимание также состояние дома и цены на соседние квартиры в моменте и в динамике.

«2ГИС» наводит порядок в карточках.
🔵 Нейросеть собственного изготовления сортирует фотографии по альбомам — отделяет фото интерьера от экстерьера и фото блюд из меню от фото парковки.
🔵 Сберовская GigaChat делает то, что в комментариях на vc.ru метко назвали «жмых по отзывам» — то есть краткое описание места или заведения на основе того, что о нем писали люди.

А нам все не дает покоя ML-обложка от Ozon. Если наберется 100 👍🏻 — наш дизайнер сделает свою версию.

Ставьте лайки, если интересно, что получится!

Ищем спеца по датавизу в команду Valiotti Analytics
Если вы любите дизайн, данные и визуализацию, то у нас к вам деловое предложение.

С нас:
🔵 Разнообразная и интересная работа — надо будет создавать крутые дашборды для наших заказчиков совместно с командой аналитиков, писать стайлгайды и статьи про датавиз.
🔵 Достойная зарплата, классная молодая команда, корпоративный английский и другие плюшки.
🔵Полная удаленка с гибким графиком.

С вас:
🔵 Владение Power Point, Google Slides, Keynote и графическими программами — Figma, PS, Illustrator.
🔵 Опыт работы с визуализацией данных.
🔵 Знакомство с Tableau и аналитикой данных — большой плюс.

Подробное описание вакансии читайте по ссылке.

Это про вас? Тогда пишите скорее нашему HR Татьяне @tanya_zab. Будет классно, если у вас есть портфолио!

Если это не про вас, но у вас есть кандидат на примете — помогите нам найти друг друга и отправьте ему этот пост. ❤️

Мы теряем интернет
«Все, что попадает в интернет, остается там навсегда» — слышали такую фразу? Ее еще любят припоминать, когда заходит речь об эффекте Стрейзанд или той самой фотографии Бейонсе, которую ее адвокат удалил из интернета.

Оказывается, это неправда.

🔜 38% веб-страниц, существовавших в 2013, сегодня уже недоступны — это обнаружила команда дата саентистов из Pew Research Center. Они изучили ссылки на новостных и правительственных сайтах, в примечаниях в «Википедии» и твиты. Последние — чтобы разобраться, как «цифровой распад» сказывается на соцсетях.

Для того, чтобы отследить появление и исчезновение страниц за 10 лет, с 2013 по 2023 годы, они использовали Common Crawl. Это бесплатный архив, который каждый месяц собирает данные об доступных сайтах в интернете. В выборку исследователей попало чуть меньше миллиона разных страниц.

🔵23% новостных страниц и 21% страниц на правительственных сайтах содержат как минимум одну битую ссылку.
🔵 50 000 статей из «Википедии» в сумме содержали больше миллиона ссылок в разделе «Примечания» — то есть они вели на внешние сайты. Из них 11% оказались нерабочими.
🔵 За 10 лет почему-то исчезла половина твитов, написанных на турецком и арабском языках.
🔵 1/5 опубликованных твитов исчезают в течение нескольких месяцев.

Даже немного грустно от мысли, сколько информации — полезной и не очень — потеряно и сколько еще мы потеряем. Может, когда-нибудь и знаменитая фотография Бейонсе исчезнет.

Что получится, если заставить ChatGPT заполнить налоговую декларацию?
Программист Майк Макферсон решил это выяснить, а заодно — взглянуть на нейросети под довольно любопытным ракурсом. Их часто рассматривают как самостоятельный инструмент, который генерирует тексты, картинки, видео, код и так далее. Но что, если воспринимать ИИ как операционную систему, которая связывает несколько элементов вместе и помогает взаимодействовать с ними?

🔜 Возможности нейросетей сегодня впечатляют — и все же они до сих пор ограничены. Но их можно расширить, если «подружить» ИИ с другими приложениями, библиотеками или базами данных.

В 2022 Майк создал библиотеку Python tenforty — она помогает юзерам посчитать, сколько налогов они должны государству в зависимости от доходов, расходов, семейного положения и прочих факторов. Сразу оговоримся — эта штука знакома только с законодательством США.

Он планировал когда-нибудь сделать на ее основе приложение, но вместо этого сделал кастомную GPT Tax Driver. Ее функция та же — считать налоги и вычеты, только при этом она еще понимает запросы на естественном языке, пишет подробные ответы и даже может нарисовать график.

🔵 В целом, она с этими задачами отлично справляется, хотя иногда неправильно понимает суть вопроса или игнорирует некоторые требования пользователя.
🔵Это теоретически удобный инструмент, но он предъявляет высокие требования к пользователю — надо тщательно подходить к написанию промптов и внимательно перепроверять ответы.
🔵 Несмотря на эти недостатки, у подхода «ИИ как ОС» точно есть потенциал — он делает разработку приложений намного проще и быстрее.

Data Heroes с Александром Шестопаловым из BBE
Гостем нового выпуска подкаста стал коммерческий директор Bang Bang Education Александр Шестопалов. Это онлайн-школа дизайна и технологий, где студентов учат дизайну, анимации, монтажу и вот теперь аналитике.

Александр в эдтехе больше 8 лет — он успел поработать в маркетинге GeekBrains и Skillfactory. В BBE он с нуля построил команду маркетинга

Про что говорили?
💬 Про эдтех. Почему эта сфера сложная, но интересная? Чем отличаются массовые онлайн-школы от нишевых в подходах к продвижению и созданию курсов? Почему BBE, онлайн-школа творческих профессий, решила вести курсы для аналитиков?
💬 Про работу с людьми. Как нанимать людей и не ошибаться (или ошибаться, но редко)? Как проверить скиллы соискателя на собеседовании, и почему если человек сделал тестовое с помощью ИИ, это не всегда плохо?
💬 Про аналитику. Как устроена аналитика в эдтехе? За какими метриками следит коммерческий директор?
💬 Про будущее и технологии. С какими задачами ИИ справляется хорошо, а в чем все еще не может заменить человека? И что ждет эдтех ­— уйдем ли вы офлайн или сфера будет расти и дальше?

Выпуск уже на всех платформах: Яндекс Музыка, Apple Podcasts, Spotify.

Пишите, как вам подкаст?

#DataHeroes

OpenAI купила Rockset и Multi
Обе сделки выглядят как acqui-hire — покупка компании в первую очередь для того, чтобы нанять работающих в ней людей.

💬 Rockset — база данных для real-time аналитики. Она умеет оперативно обрабатывать огромные массивы данных и подходит для создания поисковых систем и рекомендательных алгоритмов, мониторинга и алертинга.
💬 OpenAI планирует интегрировать разработки Rockset в свои продукты. Предположительно, это поможет повысить точность ответов ChatGPT.
💬 Это хорошие новости для пользователей нейросети и не очень — для клиентов Rockset. Компания будет постепенно «отключать» их от своих сервисов и полностью сконцентрируется на работе на благо ИИ. Им придется найти новую БД до конца сентября.

Еще сложнее придется клиентам компании Multi.
💬 Multi — платформа для распределенных команд. Она позволяет расшаривать экран во время созвонов сразу нескольким пользователям, всем вместе редактировать документы, писать, рисовать на экране. В общем, работать удаленно, но всем вместе, как будто вы сидите рядом в одном помещении.
💬 Правда, только до 24 июля. После все данные клиентов будут удалены.

Вот такая цена прогресса — в любой момент может прийти OpenAI и присвоить себе ваш любимый сервис, чтобы он улучшал ChatGPT

💙 Новый интересный пост от создателя LEFT JOIN и фаундера Valiotti Analytics на канале Коля Валиотти • Дата консалтинг про данные и внедрение data-driven подхода в компании!

Внедрили аналитику на старте и увеличили прибыль до 1,2M$
Недавно в комментариях попросили «что-нибудь посложнее». Окей, есть и посложнее.

💬 Как с нуля построить аналитику для быстро растущего стартапа?
💬 Как на практике выглядит «data-driven подход», и как данные помогают принимать решения в бизнесе?
💬 Какие знакомые любому предпринимателю проблемы решает аналитика?

Разбираемся на реальном примере кейса Valiotti Analytics — кастомной системе аналитики, которую сделали для EdTeh-стартапа Refocus. Мы присоединились к проекту прямо на старте и построили инфраструктуру по работе с данными, которая росла вместе с компанией. От двух отчетов с данными из AmoCRM она выросла в полноценную систему из 40+ дашбордов по продажам, маркетингу и продуктовому направлению.

🔜 Что мы такого сделали с данными, что компания выросла в 25 раз — в новой статье фаундера Valiotti Analytics на vc.ru. Если интересно заглянуть прямо внутрь системы аналитики и узнать, как и что в ней работает, это отличный шанс!

Postgres против всех
Чем сложнее проект, тем длиннее и запутаннее стек — это не всегда удобно, но неизбежно.

Или нет.

Часто стек растет, потому что под каждую задачу или проблему стараются подобрать наиболее подходящий инструмент. Но как выбрать этот «подходящий инструмент»? На что смотреть — на цену, скорость работы, простоту использования?

Или просто выбрать PostgreSQL? 👀

Нашли для вас короткую статью, почему вместо раздувания списка инструментов иногда можно просто выбрать проверенный временем, универсальный и понятный PostgreSQL.

Хотя по сути дело даже не в конкретной БД — на месте PostgreSQL может оказаться любой другой вариант. Дело в самом подходе — не усложнять себе жизнь, внедряя множество инструментов под разные задачи. И вместо этого стремиться к тому, чтобы ИТ-инфраструктура была понятной и не перегруженной. Так проще с ней работать и поддерживать работоспособность.

🔜 А что вы думаете — как найти баланс между перегруженностью и простотой, которая уже не тянет стоящие перед командой проекта задачи?

Box plots: датавиз не для всех
Смысл визуализации данных — в том, чтобы представить сложную информацию наглядно и понятно. Так, чтобы человек мог быстро в ней разобраться и извлечь что-то полезное для себя.

Но иногда что-то идет не так.

Вот давайте честно, вам нравятся box plots — они же «ящики с усами» или диаграммы размаха?

💬 Если не знаете, что это, то вот объяснение на русском, а вот — видео на английском.

В теории это прекрасный способ визуализации, в который очень плотно упакован большой объем информации:
🔵 максимальное, минимальное и медианное значения;
🔵 квартили и асимметрия данных — если в каком-то квартиле сильный разброс значений, это будет видно по длине «уса» или «ящика»;
🔵 сравнение сразу нескольких сущностей по всем этим показателям.

Проблема в том, что эта информация изображена контринтуитивно. Про это есть длинный материал, но если кратко, то вот главные тезисы.

🔵 Чтобы разобраться в box plots, надо, как минимум, знать, что такое квартиль. Из-за этого возникают сложности с восприятием. Например, если один «ус» очень длинный, подсознательно воспринимается, будто в нем больше всего значений, но на самом деле — в нем просто большая разница между максимумом и минимумом. Число значений во всех частях графика одинаковое.
🔵 Дизайн заставляет думать, что крупная часть в центре, сам «ящик» — самая значимая, а «усы» как бы приложение. Хотя с чего бы?
🔵 К тому же, кажется, будто на графике три элемента: «ящик» и два «уса». На самом деле их 4: два «ящика» разделены медианой.

С одной стороны, все эти недопонимания — проблема зрителя. Box plots существуют давно, инструкций, как их читать — достаточно. Кто захочет, тот вникнет. Но всю ту же информацию, которую содержат «ящики» можно показать более наглядно и доступно. А не в этом ли цель всего датавиза?

По ссылке выше есть примеры — распределение значений показывают «тепловыми картами» и точками. Чем ярче участок на графике или чем плотнее на нем расположены точки, тем больше там значений.

А вы пользуетесь ли box plots в работе? Вам легко в них разбираться?

Data Heroes: интервью с Марией Бородецкой
«Синхронизация» — онлайн-школа, где рассказывают про культуру, искусство, психологию и софт-скиллы. Соосновательница Мария Бородецкая говорит, что это уже не совсем эдтех, а скорее проект по саморазвитию, и его главный конкурент — не другие школы, а Netflix.

Про что еще поговорили?
🔵 Как проект прошел путь от лекций «для себя и для друзей» до успешного стартапа и пережил ковид.
🔵 Почему оффлайн — это лакшери, а за онлайном и искусственным интеллектом будущее.
🔵 Какую роль играет культурный код при выходе на международные рынки.
🔵 Почему маркетинг — это здорово, но учиться лучше на философа, математика или искусствоведа.
🔵 Какие метрики бизнеса самые важные для предпринимателя в онлайн-образовании.
🔵 И причем здесь Юрий Дудь*?..

🔜 Где посмотреть: YouTube

Где послушать: Apple Podcasts, Яндекс Музыка, Spotify

#dataheroes
*Юрий Дудь признан в России иноагентом.

В российских вузах начнут готовить специалистов по ИИ
Роль ИИ постоянно растет, и он постепенно проникает во все сферы деятельности — от науки до повседневной жизни. Так что неудивительно, что в разных странах уже появляются целые программы в вузах, посвященные искусственному интеллекту.  

И в России тоже. 

🔜 В новом учебном году Яндекс и Сбер запускают вместе с НИУ ВШЭ, ИТМО, МФТИ и Университетом Иннополис программу AI360 или ИИ360. Там будут готовить специалистов по ИИ, которые будут двигать вперед науку и технологии. А если конкретнее — ML-исследователей и AI-архитекторов.

Что ждет студентов?  
🔵 Фундаментальная подготовка с углубленным изучением математики.
🔵 Доступ к технологиям от Яндекса и Сбера и изучение лучших мировых практик в сфере ИИ.
🔵 Научная деятельность со второго курса. Студенты смогут присоединиться к исследованиям и посетить международные конференции.

Легко не будет, но чтобы дополнительно поддержать студентов во время учебы, им обещают повышенную стипендию на протяжении всех 4 лет обучения. Подать документы можно до 25 июля.