Вопрос-ответ: зачем считать метрики разнообразия?
Очень часто при разработке рекомендательных систем внимание уделяют только оффлайн-метрикам (map@k, ndcg@k и т.д.) или онлайн-метрикам (CTR, Retention и т.д.), но забывают про метрики разнообразия.
У рекомендательных систем существуют определенные проблемы, которые трудно выявить при помощи оффлайн и онлайн метрик. Одна из них — «информационный пузырь»: система начинает предлагать пользователю ассортимент слишком узкого спектра. Например, десять идентичных товаров, но от разных продавцов.
В сегодняшнем посте раскроем некоторые из метрик разнообразия.
🔵 Intra-list diversity (Разнообразие внутри списка)
Зачем используем: Понять насколько разнообразные товары мы рекомендуем пользователю.
За счет расчета ILD мы можем проверить, не рекомендуем ли пользователю слишком похожие товары.
🔵 Item coverage (покрытие товаров рекомендациями)
Зачем используем: Выяснить какой процент от всех товаров попадает в рекомендации.
За счет расчета item coverage мы контролируем, что шанс попасть в рекомендации есть у различных товаров из нашего каталога. Если item coverage метрика стала слишком низкой, это может свидетельствовать о смещении нашей рекомендательной системе в сторону популярных товаров.
🔵 Novelty (Новизна)
Зачем используем: Оцениваем, насколько новые и оригинальные рекомендации получает пользователь.
Например, мы не хотим рекомендовать всем пользователям онлайн-кинотеатра один и тот же популярный сериал. Вместо этого нам нужно показывать пользователям то, что они без нашей помощи не найдут. Оригинальность рекомендаций можно оценить с помощью метрики Novelty.
🔵 Gini index (коэффициент Джини)
Зачем используем: Оцениваем распределение рекомендуемых товаров.
Изначально коэффициент Джини разрабатывался как индикатор неравенства доходов в обществе. В случае рекомендательных систем индекс Джини оценивает разнообразие товаров.
Изменяется от 0 до 1. Индекс Джини равный 0 показывает, что объекты рекомендуются абсолютно равномерно, 1 — распределение объектов в рекомендациях максимально неравномерное.
Ставьте🔥 , если нужно больше гайдов!
__________
Подписывайтесь: "Как приручить ИИ"
Очень часто при разработке рекомендательных систем внимание уделяют только оффлайн-метрикам (map@k, ndcg@k и т.д.) или онлайн-метрикам (CTR, Retention и т.д.), но забывают про метрики разнообразия.
У рекомендательных систем существуют определенные проблемы, которые трудно выявить при помощи оффлайн и онлайн метрик. Одна из них — «информационный пузырь»: система начинает предлагать пользователю ассортимент слишком узкого спектра. Например, десять идентичных товаров, но от разных продавцов.
В сегодняшнем посте раскроем некоторые из метрик разнообразия.
Зачем используем: Понять насколько разнообразные товары мы рекомендуем пользователю.
За счет расчета ILD мы можем проверить, не рекомендуем ли пользователю слишком похожие товары.
Зачем используем: Выяснить какой процент от всех товаров попадает в рекомендации.
За счет расчета item coverage мы контролируем, что шанс попасть в рекомендации есть у различных товаров из нашего каталога. Если item coverage метрика стала слишком низкой, это может свидетельствовать о смещении нашей рекомендательной системе в сторону популярных товаров.
Зачем используем: Оцениваем, насколько новые и оригинальные рекомендации получает пользователь.
Например, мы не хотим рекомендовать всем пользователям онлайн-кинотеатра один и тот же популярный сериал. Вместо этого нам нужно показывать пользователям то, что они без нашей помощи не найдут. Оригинальность рекомендаций можно оценить с помощью метрики Novelty.
Зачем используем: Оцениваем распределение рекомендуемых товаров.
Изначально коэффициент Джини разрабатывался как индикатор неравенства доходов в обществе. В случае рекомендательных систем индекс Джини оценивает разнообразие товаров.
Изменяется от 0 до 1. Индекс Джини равный 0 показывает, что объекты рекомендуются абсолютно равномерно, 1 — распределение объектов в рекомендациях максимально неравномерное.
Ставьте
__________
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤2👍1
Почему — рассказываем в небольшой статье: https://telegra.ph/Case-study-Computer-vision-model-07-12
Хотели бы вы применить Florence-2 в работе?
__________
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯4👍3🔥3❤1
Картинка 👆🏻 — спойлер к нашей новой статье.
Кто догадался, о чем она — ставьте 🔥, а кто нет — скорее переходите по ссылке, чтобы прочитать: https://telegra.ph/Data-Drift-07-15
__________
Подписывайтесь: "Как приручить ИИ"
Кто догадался, о чем она — ставьте 🔥, а кто нет — скорее переходите по ссылке, чтобы прочитать: https://telegra.ph/Data-Drift-07-15
__________
Подписывайтесь: "Как приручить ИИ"
🔥5😁2👍1
Ищем кандидатов на прожарку!
Прожарка — это бесплатный разбор вашего резюме от профессионала в области продуктового менеджмента и найма. Практически мини-карьерная консультация. В одном посте мы:
🔵 Подчеркнем сильные стороны
🔵 Отметим слабые и расскажем о том, как их исправить
Кого ждём:
— Продакт-менеджеров.
— Тех, кто хочет стать ML-продактом.
На прожарку возьмём того, кто первым поставит + в комментариях 👇🏻 под этим постом. Обязательно укажите, на какую должность хотите попасть.
Прожарка — это бесплатный разбор вашего резюме от профессионала в области продуктового менеджмента и найма. Практически мини-карьерная консультация. В одном посте мы:
Кого ждём:
— Продакт-менеджеров.
— Тех, кто хочет стать ML-продактом.
На прожарку возьмём того, кто первым поставит + в комментариях 👇🏻 под этим постом. Обязательно укажите, на какую должность хотите попасть.
Please open Telegram to view this post
VIEW IN TELEGRAM
Не секрет, что у каждого руководителя свое видение должности «ML-продакт». Кто-то ищет сильного менеджера, другим требуется мощный технический бэкграунд. Мы узнали, какие требования сейчас предъявляют крупные компании:
Менеджер продукта в голосовой экосистеме (B2C)
Основное требование — продуктовый опыт и мышление, а работа с ML идет в качестве плюса. Хорошая возможность войти в эту сферу, не имея за плечами уже реализованных AI-продуктов.
Зарплата: 250-350к с учетом годового бонуса.
Product owner (Новые гипотезы AI)
Еще одна вакансия без высоких требований к опыту в AI. Важно: работа проектная, внедрять AI предстоит в бизнесы компаний-клиентов.
Зарплата: 260-370к (11 грейд) + годовой бонус.
Senior Product manager (ML)
Здесь ищут опытного человека по части управления ML-продуктами, нужно быть в теме минимум пару лет. Преимуществом будет опыт запуска продуктов с монетизацией в крупных компаниях.
Зарплата: приблизительно 250-300к
Какие выводы мы можем сделать:
Что важно на старте?
Для начала, определитесь в какой именно технологии в рамках AI вам хочется заниматься (например, рекомендательные системы, речевые технологии, NLP). А потом уже углубляйтесь в эту область — чем раньше, тем лучше.
Можно ли «вкатиться» в сферу без технического опыта?
Да. Некоторые компании выдвигают довольно мягкие требования: они не ожидают от вас уже реализованных крупных проектов в области искусственного интеллекта. Достаточно знать основы.
Новичкам подойдут «смежные» вакансии: на старте вы будете решать задачи бизнеса, и параллельно — продумывать, как закрыть их с помощью ML.
Кстати, о техническом опыте мы недавно рассуждали 👉🏻 тут.
И самое главное: внимательно читайте, на какие скиллы компания делает упор в конкретной вакансии. Да, совет звучит универсально, но внимание к деталям — 50% успеха при откликах.
Как вам рубрика? Идеи, пожелания и благодарности можно оставить в комментах 👇🏻
__________
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍3❤2🤮1
Взяли интервью у Марка Маджидова — Head of AI/ML Product в СберОбразовании.
Марк рассказывает, как сперва стал продакт-менеджером, а потом переквалифицировался в ML. Советует, что бы такого почитать/посмотреть начинающим ML-продактам и оценивает рынок зарплат (ну как же без этого).
Все подробности — в карточках 👆🏻
__________
Подписывайтесь: "Как приручить ИИ"
Марк рассказывает, как сперва стал продакт-менеджером, а потом переквалифицировался в ML. Советует, что бы такого почитать/посмотреть начинающим ML-продактам и оценивает рынок зарплат (ну как же без этого).
Все подробности — в карточках 👆🏻
__________
Подписывайтесь: "Как приручить ИИ"
🔥11👍3👏2
Тестовое задание для ML-продакта: каким оно может быть? 🤔
В качестве примере возьмем реальное тестовое для джуна. Если говорить в общих чертах, мы ожидаем, что кандидат продемонстрирует структурность, понимание жизненного цикла продукта и его улучшений, data-driven подход.
Но лучше разберемся детальнее — в карточках 👆🏻
А если у вас остались вопросы — задавайте их в комментариях 👇🏻
__________
Подписывайтесь: "Как приручить ИИ"
В качестве примере возьмем реальное тестовое для джуна. Если говорить в общих чертах, мы ожидаем, что кандидат продемонстрирует структурность, понимание жизненного цикла продукта и его улучшений, data-driven подход.
Но лучше разберемся детальнее — в карточках 👆🏻
А если у вас остались вопросы — задавайте их в комментариях 👇🏻
__________
Подписывайтесь: "Как приручить ИИ"
👍7🔥4👏2
Поговорили с Сергеем Шелепиным — экспертом в области AI/ML. Узнали, как он попал в Сбер, над какими задачами работает сейчас и стоит ли разработчикам опасаться ИИ:
0:00 — Как пришел в IT и как стал заниматься AI?
2:58 — Как перешел в GigaCode и над чем работает сейчас
09:47 — Заменит ли ИИ айтишников?
13:18 — Про процесс запуска фичей
32:06 — Чем ML-продакт отличается от классического?
41:00 — Какие курсы посмотреть?
42:12 — Про собеседования на позицию ML-продакта и пет-проектах
54:30 — О рынке зарплат ML-продактов
Полное интервью смотрите 👉🏻 по ссылке.
__________
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🤩6👍3