Растет спрос на специалистов в области ИИ

Согласно результатам совместного исследования российской платформы онлайн-рекрутинга hh.ru и разработчика платформы для бизнес-коммуникаций и совместной работы "МТС Линк" компании "Вебинар Технологии" в России растет количество вакансий и профессий, связанных с применением искусственного интеллекта (ИИ).

Если верить исследованию, количество вакансий, где требуется навык работаты с ИИ вырос в 3 раза за 3 года.

В частности появились совсем новые профессии, такие как промпт-инженеры.

Остается открытым вопрос: "Когда ИИ заменит промпт-инженеров?"

__
Подписывайтесь: "Как приручить ИИ"

Наводите порядок в экспериментах 🧹

Если вы обучаете ML-модели, то могли заметить, что с ростом количества проектов и задач наводить порядок в экспериментах становится всё тяжелее, как следствие:

1️⃣ Теряются результаты экспериментов
2️⃣ Одни и те же эксперименты проводятся по несколько раз
3️⃣ Разработка моделей становится все дольше

Чтобы поддерживать порядок, существуют различные инструменты. Советую обратить внимание на бесплатное решение — ClearML.

Почему стоит использовать ClearML:

1️⃣ Легко сравнивать результаты экспериментов, не теряются параметры лучших экспериментов.
2️⃣ Простота в управлении ресурсами. В ClearML можно распределять задачи по свободным серверным мощностям. Также видно, чей эксперимент "выжирает" память на определённом сервере.
3️⃣ Лёгкость совместной работы. Всем видно, какие эксперименты уже проводились и какие были получены результаты.

Удачи в экспериментах! 💥

__
Подписывайтесь: "Как приручить ИИ"

Нобелевскую премию по физике и химии присудили за открытия связанные с ИИ.

Лауреатами Нобелевской премии по химии за 2024 год стали Дэвид Бейкер — «за вычислительный дизайн белков», а также Демис Хассабис и Джон Джампер из дочерней компании Google — Google DeepMind — «за предсказание структуры белков».

Лауреатами Нобелевской премии по физике за 2024 год стали американский ученый Джон Хопфилд и британско-канадский ученый Джеффри Хинтон за "основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей".

Теперь ждем, когда ИИ получит Нобелевскую премию по литературе.

__
Подписывайтесь: "Как приручить ИИ"

Три основных подхода к холодным рекомендациям

Холодный пользователь с точки зрения рекомендательных систем — это тот пользователь, о котором мы ничего не знаем.

Мы не знаем, с чем он взаимодействовал, каковы его предпочтения.

В различных сервисах процент таких пользователей может доходить до очень высоких значений, а порой и вовсе до 100%.

Но мы хотим хоть что-то рекомендовать этим пользователям, что же делать? 🤔

Есть три основные идеи:

Популярное.

Давайте показывать холодным пользователям самые популярные товары. Например, товары, которые покупают чаще остальных. Идею можно усложнять, например, показывать по одному популярному товару из каждой категории, чтобы быстрее понять, за какой конкретно категорией товаров пришел пользователь, но суть от этого не меняется.

Общую идею можно сформулировать так: «Если мы не знаем, что тебе нравится, то считаем, что тебе нравится то же, что и всем».


Новое.

Давайте показывать холодным пользователям новинки. Несмотря на то, что эта идея может показаться не такой хорошей, как показывать популярное, она не лишена смысла. Например, если мы делаем онлайн-кинотеатр и к нам зашел новый пользователь, то имеет смысл предположение, что он вероятнее пришел смотреть новый сезон сериала «Триггер», чем «Побег из Шоушенка». Хотя «Побег из Шоушенка» и популярнее.


Новое + Популярное = Тренды.

Третья идея не оригинальна, она просто объединяет в себе первые две. Если мы решили показывать пользователям новинки, то возникает вопрос: «А что конкретно из новинок мы будем ему показывать?». И у нас есть ответ: «Давайте показывать популярные новинки».

Если совсем упростить, то мы делаем следующее: берем последнюю неделю и считаем самые покупаемые/просматриваемые товары только за неё.
Таким образом, мы показываем пользователю не популярные «в целом» товары, а именно те товары, которые популярны сейчас, то есть тренды. 📈

P.S.
Не жалейте времени на разработку холодных моделей, помните, что порой у нас всего один шанс заинтересовать пользователя, ведь в условиях конкуренции на рынке, если мы не заинтересуем пользователя сразу, это сделает наш конкурент.

__
Подписывайтесь: "Как приручить ИИ"

На что обратить внимание при работе с асессорами? ⚠️

При разработке ML/AI решений мы можем столкнуться со следующей проблемой: мы хотим протестировать наш алгоритм, но по каким-то причинам мы не можем его тестировать на реальных пользователях. В таких ситуациях ML-команды прибегают к помощи асессоров.

Асессор — человек, который привлекается для независимой оценки качества работы алгоритма.

Мы показываем результат работы нашего алгоритма асессорам и просим их оценить, как хорошо справилась наша модель. Это могут быть как оценки по шкале от 0 до 10, так и бинарная оценка: алгоритм задачу решил/не решил.

Несмотря на простоту идеи «Давайте просто спросим у людей, как хорошо справился наш алгоритм», при работе с асессорами надо обратить внимание на некоторые потенциальные подводные камни:

1. Качество подготовки асессоров 🎓
Асессоры должны чётко понимать, какой результат ожидается от модели. Асессорами должны быть либо профессионалы в области, в которой мы применяем алгоритм, либо мы должны подготовить обучающие материалы, чтобы после их изучения асессоры могли правильно оценивать работу нашего алгоритма.

2. Несогласованность оценок ⚖️
Асессоры — живые люди, и им свойственны субъективность и предвзятость. Нам нужно заранее определить алгоритм действий на тот случай, если для одного примера работы AI-модели разные асессоры будут давать разные оценки.

3. Борьба с недобросовестными асессорами 🕵️‍♂️
Обычно мы платим асессору фиксированную цену за каждый обработанный пример работы AI-алгоритма. Мы должны продумать методы борьбы с теми асессорами, которые будут проверять работу алгоритма недобросовестно, лишь бы заработать больше денег.

4. Безопасность 🔒
При работе с внешними асессорами мы должны убедиться, что к ним не попадают чувствительные данные.


__
Подписывайтесь: "Как приручить ИИ"

Если вы задумываетесь о том, что изучить, чтобы легко войти в мир машинного обучения, мы собрали для вас список бесплатных ресурсов по ML!

1 🎓 https://www.coursera.org/learn/ai-for-everyone - англоязычный курс для людей без технического бэкграунда от, пожалуй, самого известного преподавателя AI/ML в мире Andrew Ng.

2 💎 https://www.kdnuggets.com - крупнейший англоязычный портал по интеллектуальному анализу данных. На сайте публикуются новости отрасли, статьи.

3 📊 https://stepik.org/course/76/syllabus - один из лучших бесплатных русскоязычных курсов по статистике. Если пройдёте, то будете значительно лучше понимать как саму статистику в целом, так и то, как работают A/B тесты (а их очень любят спрашивать на собеседованиях).

4 🤖 https://www.youtube.com/@sim0nsays/playlists - русскоязычный онлайн-курс по нейронным сетям. Да, ему уже много лет, но понять основные идеи поможет.

5 📘 https://education.yandex.ru/handbook/ml - онлайн-учебник от Яндекса по основам ML. Можно читать главы в произвольном порядке в зависимости от текущих интересов.

6 🧪 https://ods.ai/tracks - страница с бесплатными курсами от ODS. ODS - крупнейшее в России сообщество по Data Science.

7 🔮 https://www.aiproductinstitute.com/blog - блог со статьями от AI Product Institute. Можно читать прогнозы о том, как будет меняться профессия AI Product Manager в будущем.

__
Подписывайтесь: "Как приручить ИИ"