Нужны ли большие тестовые?

В последнее время провожу много собеседований и задумался: что же все-таки самое главное в командах, которые занимаются ML/AI? Знать больше алгоритмов и все метрики? Понимать в чем отличие kafka от rabbit или, может, чем scrum отличается от kanban?

Понял, что все-таки нет. Алгоритмы, сколько бы ты их ни учил, без повторения забудутся за полгода. Знание конкретного продуктового фреймворка вообще можно за вечер наверстать.

Самое главное, мне кажется, аккуратность. Неаккуратно соберешь данные — не обучится модель. Не учтешь все детали при постановке задачи — внутри компании поедут все сроки.

Человек, который работает с данными должен быть в хорошем смысле педантичен и дотошен. Но возникает вопрос: а как это проверить на собеседовании? Как понять, что человек через месяц после выхода на работу не выкатит в прод модель, которая предсказывает отрицательную цену, но зато самой современной архитектуры?

Единственное, что приходит в голову — хорошее тестовое. Но тестовое, требующее детальной проработки не может занимать только 2 часа работы. А отношение к большим тестовым в индустрии, прямо скажем, так себе.

Так что же делать? Может вы знаете какие-то приемы и готовы поделиться? Или индустрия не права и большие тестовые — наше все?

__
Подписывайтесь: "Как приручить ИИ"

Вопрос из поста и правда сложный.

Время назад не повернуть и факап никак не отменить. Остается только делать выводы и учиться на ошибках: направлять команду решать именно те задачи, которые дают эффект в деньгах. Учиться оценивать метрики GMV и Retention.

__
Подписывайтесь: "Как приручить ИИ"

“Тест человеком”

Есть такое понятие, как магическое мышление. По сути это вера в то, что какие-то определенные мысли, действия, знаки могут влиять на реальный мир. Таких примеров полно вокруг нас. Кто-то верит, что черная кошка, которая перебежала через дорогу может испортить ваш день. А другой верит, что если вернулся домой, забыв ключи, надо посмотреть в зеркало.

В последнее время все чаще наблюдаю, что словосочетания Искусственный интеллект и Машинное обучение превратились в обычные заговоры на финансовую успешность продукта. Но как понять, действительно ли пора внедрять Ml в наш продукт? Не тупо ли мы следуем за трендом или нам это действительно поможет?

Предлагаю такой способ проверить. Посмотрите на ваши данные и ответьте на вопрос: Может ли с помощью этих данных решить задачу человек? Например, вы хотите с помощью модели компьютерного зрения определять бракованные товары на вашей производственной линии. Возьмите фотографии с вашей линии и постарайтесь сами найти на них брак. Если у вас получается, то вероятно, есть смысл вкладываться в разработку модели. А если товары неотличимы для вас, то с вероятностью 99% - товары будут неотличимы и для модели. Такой простой Тест человеком поможет сэкономить вам много часов разработки и сконцентрироваться только на тех задачах, которые вы действительно сможете улучшить с помощью Ml.

Чек-лист для того, кто планирует делать рекомендации

Если вы разрабатываете онлайн-магазин, кинотеатр или другой продукт с тысячами товаров, у вас наверняка есть задача улучшить рекомендационную систему или создать её с нуля. Чтобы через полгода добиться успеха, уже сегодня нужно убедиться, что вы логируете события, полезные для обучения модели. Мы подготовили для вас чек-лист таких событий:

✅ Просмотр страницы товара: пользователь просматривает страницу товара, показывая интерес к нему.

✅ Клик на товар: пользователь переходит к подробной информации о товаре.

✅ Добавление в избранное: пользователь сохраняет товар для дальнейшего рассмотрения или покупки.

✅ Покупка товара: пользователь совершает покупку — сильный показатель интереса.

✅ Глубина прокрутки страницы товара: насколько далеко пользователь прокручивает страницу, демонстрируя интерес к содержимому.

✅ Время на странице товара: продолжительность пребывания на странице, указывающая на заинтересованность.

✅ Добавление в корзину: пользователь помещает товар в корзину, но ещё не совершает покупку.

✅ Удаление из корзины: пользователь удаляет товар из корзины, что может свидетельствовать о сомнениях или изменении предпочтений.

✅ Возврат товара: пользователь возвращает товар, что помогает избегать рекомендаций подобных товаров.

✅ Оставление отзыва или рейтинга: пользователь делится мнением о товаре, оценивает его.

✅ Подписка на уведомления: пользователь хочет получать новости о товарах или акциях, показывая интерес к определённым категориям или брендам.

✅ Взаимодействие с мультимедиа: отслеживайте, если пользователь просматривает видео или слушает аудио о товаре.

✅ Использование фильтров и сортировок: когда пользователь применяет фильтры или сортирует товары, это показывает его предпочтения.

Что еще?

❓Убедитесь, что все эти события логируются и готовы для использования в обучении модели рекомендаций.

❓Убедитесь, что у всех событий есть нужные идентификаторы, все поля заполнены.

❓Адаптируйте события для вашего продукта, например для онлайн-кинотеатра глубину просмотра страницы можно заменить на процент от фильма, который пользователь просмотрел.

__
Подписывайтесь: "Как приручить ИИ"

«Арены», на которых бьются не гладиаторы, а LLM

Как оценить эффективность чатов, основанных на LLM? С помощью специальных сервисов.

Например, Chatbot Arena — самый популярный рейтинг LLM. Ареной ее назвали потому, что чат-боты здесь буквально соревнуются между собой за лучшую оценку зрителей.
В режиме баттла юзеры изначально не знают, какую ИИ оценивают.
В режиме side-by-side можно специально выбрать две интересующие вас ИИ и задать им вопрос, чтобы в итоге выбрать подходящую под ваши бизнес-задачи.

Основной критерий оценки — человеческое предпочтение. Поэтому на арене есть таблица лидеров, в которой можно увидеть, сколько голосов набрала та или иная модель. Хотя есть и свои минусы — оценку ставят живые люди, которые также могут быть субъективны.
Аналог арены — сайт Artificial Analysis. Здесь вы тоже можете увидеть рейтинг моделей: оценивается качество, количество выводимых токенов в секунду и стоимость.

__
Подписывайтесь: "Как приручить ИИ"

Растет спрос на специалистов в области ИИ

Согласно результатам совместного исследования российской платформы онлайн-рекрутинга hh.ru и разработчика платформы для бизнес-коммуникаций и совместной работы "МТС Линк" компании "Вебинар Технологии" в России растет количество вакансий и профессий, связанных с применением искусственного интеллекта (ИИ).

Если верить исследованию, количество вакансий, где требуется навык работаты с ИИ вырос в 3 раза за 3 года.

В частности появились совсем новые профессии, такие как промпт-инженеры.

Остается открытым вопрос: "Когда ИИ заменит промпт-инженеров?"

__
Подписывайтесь: "Как приручить ИИ"

Наводите порядок в экспериментах 🧹

Если вы обучаете ML-модели, то могли заметить, что с ростом количества проектов и задач наводить порядок в экспериментах становится всё тяжелее, как следствие:

1️⃣ Теряются результаты экспериментов
2️⃣ Одни и те же эксперименты проводятся по несколько раз
3️⃣ Разработка моделей становится все дольше

Чтобы поддерживать порядок, существуют различные инструменты. Советую обратить внимание на бесплатное решение — ClearML.

Почему стоит использовать ClearML:

1️⃣ Легко сравнивать результаты экспериментов, не теряются параметры лучших экспериментов.
2️⃣ Простота в управлении ресурсами. В ClearML можно распределять задачи по свободным серверным мощностям. Также видно, чей эксперимент "выжирает" память на определённом сервере.
3️⃣ Лёгкость совместной работы. Всем видно, какие эксперименты уже проводились и какие были получены результаты.

Удачи в экспериментах! 💥

__
Подписывайтесь: "Как приручить ИИ"

Нобелевскую премию по физике и химии присудили за открытия связанные с ИИ.

Лауреатами Нобелевской премии по химии за 2024 год стали Дэвид Бейкер — «за вычислительный дизайн белков», а также Демис Хассабис и Джон Джампер из дочерней компании Google — Google DeepMind — «за предсказание структуры белков».

Лауреатами Нобелевской премии по физике за 2024 год стали американский ученый Джон Хопфилд и британско-канадский ученый Джеффри Хинтон за "основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей".

Теперь ждем, когда ИИ получит Нобелевскую премию по литературе.

__
Подписывайтесь: "Как приручить ИИ"

Три основных подхода к холодным рекомендациям

Холодный пользователь с точки зрения рекомендательных систем — это тот пользователь, о котором мы ничего не знаем.

Мы не знаем, с чем он взаимодействовал, каковы его предпочтения.

В различных сервисах процент таких пользователей может доходить до очень высоких значений, а порой и вовсе до 100%.

Но мы хотим хоть что-то рекомендовать этим пользователям, что же делать? 🤔

Есть три основные идеи:

Популярное.

Давайте показывать холодным пользователям самые популярные товары. Например, товары, которые покупают чаще остальных. Идею можно усложнять, например, показывать по одному популярному товару из каждой категории, чтобы быстрее понять, за какой конкретно категорией товаров пришел пользователь, но суть от этого не меняется.

Общую идею можно сформулировать так: «Если мы не знаем, что тебе нравится, то считаем, что тебе нравится то же, что и всем».


Новое.

Давайте показывать холодным пользователям новинки. Несмотря на то, что эта идея может показаться не такой хорошей, как показывать популярное, она не лишена смысла. Например, если мы делаем онлайн-кинотеатр и к нам зашел новый пользователь, то имеет смысл предположение, что он вероятнее пришел смотреть новый сезон сериала «Триггер», чем «Побег из Шоушенка». Хотя «Побег из Шоушенка» и популярнее.


Новое + Популярное = Тренды.

Третья идея не оригинальна, она просто объединяет в себе первые две. Если мы решили показывать пользователям новинки, то возникает вопрос: «А что конкретно из новинок мы будем ему показывать?». И у нас есть ответ: «Давайте показывать популярные новинки».

Если совсем упростить, то мы делаем следующее: берем последнюю неделю и считаем самые покупаемые/просматриваемые товары только за неё.
Таким образом, мы показываем пользователю не популярные «в целом» товары, а именно те товары, которые популярны сейчас, то есть тренды. 📈

P.S.
Не жалейте времени на разработку холодных моделей, помните, что порой у нас всего один шанс заинтересовать пользователя, ведь в условиях конкуренции на рынке, если мы не заинтересуем пользователя сразу, это сделает наш конкурент.

__
Подписывайтесь: "Как приручить ИИ"