“Тест человеком”

Есть такое понятие, как магическое мышление. По сути это вера в то, что какие-то определенные мысли, действия, знаки могут влиять на реальный мир. Таких примеров полно вокруг нас. Кто-то верит, что черная кошка, которая перебежала через дорогу может испортить ваш день. А другой верит, что если вернулся домой, забыв ключи, надо посмотреть в зеркало.

В последнее время все чаще наблюдаю, что словосочетания Искусственный интеллект и Машинное обучение превратились в обычные заговоры на финансовую успешность продукта. Но как понять, действительно ли пора внедрять Ml в наш продукт? Не тупо ли мы следуем за трендом или нам это действительно поможет?

Предлагаю такой способ проверить. Посмотрите на ваши данные и ответьте на вопрос: Может ли с помощью этих данных решить задачу человек? Например, вы хотите с помощью модели компьютерного зрения определять бракованные товары на вашей производственной линии. Возьмите фотографии с вашей линии и постарайтесь сами найти на них брак. Если у вас получается, то вероятно, есть смысл вкладываться в разработку модели. А если товары неотличимы для вас, то с вероятностью 99% - товары будут неотличимы и для модели. Такой простой Тест человеком поможет сэкономить вам много часов разработки и сконцентрироваться только на тех задачах, которые вы действительно сможете улучшить с помощью Ml.

Чек-лист для того, кто планирует делать рекомендации

Если вы разрабатываете онлайн-магазин, кинотеатр или другой продукт с тысячами товаров, у вас наверняка есть задача улучшить рекомендационную систему или создать её с нуля. Чтобы через полгода добиться успеха, уже сегодня нужно убедиться, что вы логируете события, полезные для обучения модели. Мы подготовили для вас чек-лист таких событий:

✅ Просмотр страницы товара: пользователь просматривает страницу товара, показывая интерес к нему.

✅ Клик на товар: пользователь переходит к подробной информации о товаре.

✅ Добавление в избранное: пользователь сохраняет товар для дальнейшего рассмотрения или покупки.

✅ Покупка товара: пользователь совершает покупку — сильный показатель интереса.

✅ Глубина прокрутки страницы товара: насколько далеко пользователь прокручивает страницу, демонстрируя интерес к содержимому.

✅ Время на странице товара: продолжительность пребывания на странице, указывающая на заинтересованность.

✅ Добавление в корзину: пользователь помещает товар в корзину, но ещё не совершает покупку.

✅ Удаление из корзины: пользователь удаляет товар из корзины, что может свидетельствовать о сомнениях или изменении предпочтений.

✅ Возврат товара: пользователь возвращает товар, что помогает избегать рекомендаций подобных товаров.

✅ Оставление отзыва или рейтинга: пользователь делится мнением о товаре, оценивает его.

✅ Подписка на уведомления: пользователь хочет получать новости о товарах или акциях, показывая интерес к определённым категориям или брендам.

✅ Взаимодействие с мультимедиа: отслеживайте, если пользователь просматривает видео или слушает аудио о товаре.

✅ Использование фильтров и сортировок: когда пользователь применяет фильтры или сортирует товары, это показывает его предпочтения.

Что еще?

❓Убедитесь, что все эти события логируются и готовы для использования в обучении модели рекомендаций.

❓Убедитесь, что у всех событий есть нужные идентификаторы, все поля заполнены.

❓Адаптируйте события для вашего продукта, например для онлайн-кинотеатра глубину просмотра страницы можно заменить на процент от фильма, который пользователь просмотрел.

__
Подписывайтесь: "Как приручить ИИ"

«Арены», на которых бьются не гладиаторы, а LLM

Как оценить эффективность чатов, основанных на LLM? С помощью специальных сервисов.

Например, Chatbot Arena — самый популярный рейтинг LLM. Ареной ее назвали потому, что чат-боты здесь буквально соревнуются между собой за лучшую оценку зрителей.
В режиме баттла юзеры изначально не знают, какую ИИ оценивают.
В режиме side-by-side можно специально выбрать две интересующие вас ИИ и задать им вопрос, чтобы в итоге выбрать подходящую под ваши бизнес-задачи.

Основной критерий оценки — человеческое предпочтение. Поэтому на арене есть таблица лидеров, в которой можно увидеть, сколько голосов набрала та или иная модель. Хотя есть и свои минусы — оценку ставят живые люди, которые также могут быть субъективны.
Аналог арены — сайт Artificial Analysis. Здесь вы тоже можете увидеть рейтинг моделей: оценивается качество, количество выводимых токенов в секунду и стоимость.

__
Подписывайтесь: "Как приручить ИИ"

Растет спрос на специалистов в области ИИ

Согласно результатам совместного исследования российской платформы онлайн-рекрутинга hh.ru и разработчика платформы для бизнес-коммуникаций и совместной работы "МТС Линк" компании "Вебинар Технологии" в России растет количество вакансий и профессий, связанных с применением искусственного интеллекта (ИИ).

Если верить исследованию, количество вакансий, где требуется навык работаты с ИИ вырос в 3 раза за 3 года.

В частности появились совсем новые профессии, такие как промпт-инженеры.

Остается открытым вопрос: "Когда ИИ заменит промпт-инженеров?"

__
Подписывайтесь: "Как приручить ИИ"

Наводите порядок в экспериментах 🧹

Если вы обучаете ML-модели, то могли заметить, что с ростом количества проектов и задач наводить порядок в экспериментах становится всё тяжелее, как следствие:

1️⃣ Теряются результаты экспериментов
2️⃣ Одни и те же эксперименты проводятся по несколько раз
3️⃣ Разработка моделей становится все дольше

Чтобы поддерживать порядок, существуют различные инструменты. Советую обратить внимание на бесплатное решение — ClearML.

Почему стоит использовать ClearML:

1️⃣ Легко сравнивать результаты экспериментов, не теряются параметры лучших экспериментов.
2️⃣ Простота в управлении ресурсами. В ClearML можно распределять задачи по свободным серверным мощностям. Также видно, чей эксперимент "выжирает" память на определённом сервере.
3️⃣ Лёгкость совместной работы. Всем видно, какие эксперименты уже проводились и какие были получены результаты.

Удачи в экспериментах! 💥

__
Подписывайтесь: "Как приручить ИИ"

Нобелевскую премию по физике и химии присудили за открытия связанные с ИИ.

Лауреатами Нобелевской премии по химии за 2024 год стали Дэвид Бейкер — «за вычислительный дизайн белков», а также Демис Хассабис и Джон Джампер из дочерней компании Google — Google DeepMind — «за предсказание структуры белков».

Лауреатами Нобелевской премии по физике за 2024 год стали американский ученый Джон Хопфилд и британско-канадский ученый Джеффри Хинтон за "основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей".

Теперь ждем, когда ИИ получит Нобелевскую премию по литературе.

__
Подписывайтесь: "Как приручить ИИ"

Три основных подхода к холодным рекомендациям

Холодный пользователь с точки зрения рекомендательных систем — это тот пользователь, о котором мы ничего не знаем.

Мы не знаем, с чем он взаимодействовал, каковы его предпочтения.

В различных сервисах процент таких пользователей может доходить до очень высоких значений, а порой и вовсе до 100%.

Но мы хотим хоть что-то рекомендовать этим пользователям, что же делать? 🤔

Есть три основные идеи:

Популярное.

Давайте показывать холодным пользователям самые популярные товары. Например, товары, которые покупают чаще остальных. Идею можно усложнять, например, показывать по одному популярному товару из каждой категории, чтобы быстрее понять, за какой конкретно категорией товаров пришел пользователь, но суть от этого не меняется.

Общую идею можно сформулировать так: «Если мы не знаем, что тебе нравится, то считаем, что тебе нравится то же, что и всем».


Новое.

Давайте показывать холодным пользователям новинки. Несмотря на то, что эта идея может показаться не такой хорошей, как показывать популярное, она не лишена смысла. Например, если мы делаем онлайн-кинотеатр и к нам зашел новый пользователь, то имеет смысл предположение, что он вероятнее пришел смотреть новый сезон сериала «Триггер», чем «Побег из Шоушенка». Хотя «Побег из Шоушенка» и популярнее.


Новое + Популярное = Тренды.

Третья идея не оригинальна, она просто объединяет в себе первые две. Если мы решили показывать пользователям новинки, то возникает вопрос: «А что конкретно из новинок мы будем ему показывать?». И у нас есть ответ: «Давайте показывать популярные новинки».

Если совсем упростить, то мы делаем следующее: берем последнюю неделю и считаем самые покупаемые/просматриваемые товары только за неё.
Таким образом, мы показываем пользователю не популярные «в целом» товары, а именно те товары, которые популярны сейчас, то есть тренды. 📈

P.S.
Не жалейте времени на разработку холодных моделей, помните, что порой у нас всего один шанс заинтересовать пользователя, ведь в условиях конкуренции на рынке, если мы не заинтересуем пользователя сразу, это сделает наш конкурент.

__
Подписывайтесь: "Как приручить ИИ"

На что обратить внимание при работе с асессорами? ⚠️

При разработке ML/AI решений мы можем столкнуться со следующей проблемой: мы хотим протестировать наш алгоритм, но по каким-то причинам мы не можем его тестировать на реальных пользователях. В таких ситуациях ML-команды прибегают к помощи асессоров.

Асессор — человек, который привлекается для независимой оценки качества работы алгоритма.

Мы показываем результат работы нашего алгоритма асессорам и просим их оценить, как хорошо справилась наша модель. Это могут быть как оценки по шкале от 0 до 10, так и бинарная оценка: алгоритм задачу решил/не решил.

Несмотря на простоту идеи «Давайте просто спросим у людей, как хорошо справился наш алгоритм», при работе с асессорами надо обратить внимание на некоторые потенциальные подводные камни:

1. Качество подготовки асессоров 🎓
Асессоры должны чётко понимать, какой результат ожидается от модели. Асессорами должны быть либо профессионалы в области, в которой мы применяем алгоритм, либо мы должны подготовить обучающие материалы, чтобы после их изучения асессоры могли правильно оценивать работу нашего алгоритма.

2. Несогласованность оценок ⚖️
Асессоры — живые люди, и им свойственны субъективность и предвзятость. Нам нужно заранее определить алгоритм действий на тот случай, если для одного примера работы AI-модели разные асессоры будут давать разные оценки.

3. Борьба с недобросовестными асессорами 🕵️‍♂️
Обычно мы платим асессору фиксированную цену за каждый обработанный пример работы AI-алгоритма. Мы должны продумать методы борьбы с теми асессорами, которые будут проверять работу алгоритма недобросовестно, лишь бы заработать больше денег.

4. Безопасность 🔒
При работе с внешними асессорами мы должны убедиться, что к ним не попадают чувствительные данные.


__
Подписывайтесь: "Как приручить ИИ"

Если вы задумываетесь о том, что изучить, чтобы легко войти в мир машинного обучения, мы собрали для вас список бесплатных ресурсов по ML!

1 🎓 https://www.coursera.org/learn/ai-for-everyone - англоязычный курс для людей без технического бэкграунда от, пожалуй, самого известного преподавателя AI/ML в мире Andrew Ng.

2 💎 https://www.kdnuggets.com - крупнейший англоязычный портал по интеллектуальному анализу данных. На сайте публикуются новости отрасли, статьи.

3 📊 https://stepik.org/course/76/syllabus - один из лучших бесплатных русскоязычных курсов по статистике. Если пройдёте, то будете значительно лучше понимать как саму статистику в целом, так и то, как работают A/B тесты (а их очень любят спрашивать на собеседованиях).

4 🤖 https://www.youtube.com/@sim0nsays/playlists - русскоязычный онлайн-курс по нейронным сетям. Да, ему уже много лет, но понять основные идеи поможет.

5 📘 https://education.yandex.ru/handbook/ml - онлайн-учебник от Яндекса по основам ML. Можно читать главы в произвольном порядке в зависимости от текущих интересов.

6 🧪 https://ods.ai/tracks - страница с бесплатными курсами от ODS. ODS - крупнейшее в России сообщество по Data Science.

7 🔮 https://www.aiproductinstitute.com/blog - блог со статьями от AI Product Institute. Можно читать прогнозы о том, как будет меняться профессия AI Product Manager в будущем.

__
Подписывайтесь: "Как приручить ИИ"