Подготовили гайд по проведению А/Б тестов — удобно использовать как шпаргалку во время собеседований, мы проверяли 🔥
Ссылка на калькулятор:
https://www.evanmiller.org/ab-testing/sample-size.html
Ссылка на калькулятор:
https://www.evanmiller.org/ab-testing/sample-size.html
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍2😍2
#Вопросы на собеседованиях на позицию ML Product Manager
Привет, друзья!
Сегодня запускаем новую рубрику, где будем делиться самыми интересными и полезными вопросами, которые вы можете получить на собеседованиях на позицию ML Product Manager. 💡
Вот первый вопрос на разогрев:
"У вас появилась гипотеза, что нужно сократить время загрузки основной страницы. Как можно максимально быстро и с минимальными ресурсами проверить, стоит ли вкладываться в эту задачу?"
Как бы вы решили эту задачу? Поделитесь своими мыслями в комментариях! Сегодня вечером мы опубликуем наш вариант ответа. Не пропустите! 🔔
Ваши ответы очень важны для нас, давайте учиться друг у друга! 👇
______________
Подписывайтесь: "Как приручить ИИ"
Привет, друзья!
Сегодня запускаем новую рубрику, где будем делиться самыми интересными и полезными вопросами, которые вы можете получить на собеседованиях на позицию ML Product Manager. 💡
Вот первый вопрос на разогрев:
"У вас появилась гипотеза, что нужно сократить время загрузки основной страницы. Как можно максимально быстро и с минимальными ресурсами проверить, стоит ли вкладываться в эту задачу?"
Как бы вы решили эту задачу? Поделитесь своими мыслями в комментариях! Сегодня вечером мы опубликуем наш вариант ответа. Не пропустите! 🔔
Ваши ответы очень важны для нас, давайте учиться друг у друга! 👇
______________
Подписывайтесь: "Как приручить ИИ"
👍6🔥4
AI Решения | Индустрия и бизнес
#Вопросы на собеседованиях на позицию ML Product Manager Привет, друзья! Сегодня запускаем новую рубрику, где будем делиться самыми интересными и полезными вопросами, которые вы можете получить на собеседованиях на позицию ML Product Manager. 💡 Вот первый…
#Правильный ответ
На самом деле, как и любой вопрос на собеседовании, этот имеет несколько возможных вариантов ответа:
1. Анализ текущих данных
У нас уже, вероятно, есть накопленные данные за прошлый период. Можно проанализировать, как время загрузки страницы влияет на поведение пользователей.
- Плюс: Этот метод не требует разработческих ресурсов; нужны только аналитики, которые проанализируют исторические данные.
- Минус: Может быть множество факторов, влияющих на данные, что затруднит установление причинно-следственной связи между временем загрузки страницы и поведением пользователей. Например, плохое интернет-покрытие в определённых регионах может повлиять на результаты.
2. Сбор обратной связи от пользователей
Можно собрать обратную связь напрямую, спросив у пользователей, устраивает ли их скорость работы вашего продукта.
- Плюс: Не требует дополнительных ресурсов от разработки.
- Минус: Данные будут субъективны; обычно оставляют отзывы либо те, кто очень доволен, либо те, кого вообще ничего не устроит. Также потребуется время сотрудников для сбора и анализа обратной связи.
3. АБ-тест с минимальными улучшениями
В вашем плане по улучшению продукта, вероятно, есть шаги, требующие минимальных ресурсов. Можно реализовать их и проверить, как это повлияет на поведение пользователей.
- Плюс: Это честный АБ-тест, который даст понимание, влияет ли время загрузки на поведение пользователей.
- Минус: Всё же требует ресурсов разработки, чего изначально хотелось избежать.
4. Ухудшающий АБ-тест
Часто забывают про такой важный и относительно простой метод как ухудшающий АБ. Давайте одной группе пользователей оставим сайт без изменений, а другой — замедлим загрузку, и посмотрим, как это повлияет на их поведение.
- Плюс: Проверка гипотезы с минимальными ресурсами разработки, так как замедлить проще, чем ускорить.
- Минус: Негативный опыт для части пользователей может привести к увеличению их оттока.
Какой метод вам кажется наиболее эффективным? Делитесь мнениями в комментариях!
__________
Подписывайтесь: "Как приручить ИИ"
На самом деле, как и любой вопрос на собеседовании, этот имеет несколько возможных вариантов ответа:
1. Анализ текущих данных
У нас уже, вероятно, есть накопленные данные за прошлый период. Можно проанализировать, как время загрузки страницы влияет на поведение пользователей.
- Плюс: Этот метод не требует разработческих ресурсов; нужны только аналитики, которые проанализируют исторические данные.
- Минус: Может быть множество факторов, влияющих на данные, что затруднит установление причинно-следственной связи между временем загрузки страницы и поведением пользователей. Например, плохое интернет-покрытие в определённых регионах может повлиять на результаты.
2. Сбор обратной связи от пользователей
Можно собрать обратную связь напрямую, спросив у пользователей, устраивает ли их скорость работы вашего продукта.
- Плюс: Не требует дополнительных ресурсов от разработки.
- Минус: Данные будут субъективны; обычно оставляют отзывы либо те, кто очень доволен, либо те, кого вообще ничего не устроит. Также потребуется время сотрудников для сбора и анализа обратной связи.
3. АБ-тест с минимальными улучшениями
В вашем плане по улучшению продукта, вероятно, есть шаги, требующие минимальных ресурсов. Можно реализовать их и проверить, как это повлияет на поведение пользователей.
- Плюс: Это честный АБ-тест, который даст понимание, влияет ли время загрузки на поведение пользователей.
- Минус: Всё же требует ресурсов разработки, чего изначально хотелось избежать.
4. Ухудшающий АБ-тест
Часто забывают про такой важный и относительно простой метод как ухудшающий АБ. Давайте одной группе пользователей оставим сайт без изменений, а другой — замедлим загрузку, и посмотрим, как это повлияет на их поведение.
- Плюс: Проверка гипотезы с минимальными ресурсами разработки, так как замедлить проще, чем ускорить.
- Минус: Негативный опыт для части пользователей может привести к увеличению их оттока.
Какой метод вам кажется наиболее эффективным? Делитесь мнениями в комментариях!
__________
Подписывайтесь: "Как приручить ИИ"
🔥9💯2
Репортаж с Giga Conf ⚡️
Вчера наша команда посетила Giga Conf от Сбера, посвященную искусственному интеллекту.
На площадке проходила насыщенная программа докладов по нескольким тематикам от ML/AI до кибербезопасности. Также по площадке прогуливался робот и была выставочная зона, где ребята подробно рассказывали про последние достижения в ИИ. Делимся, что нам запомнилось 🙌
Один из интересных докладов — от Федора Минькина, технического директора GigaСhat. Плюс, это широко известный продукт, про обновления которого нам хотелось узнать.
🔵 Федор рассказал, какой путь прошла команда с фокусом на первые 2 стадии обучения LLM: pretrain (обучение базовой модели) и alignment (выравнивание). Простыми словами, суть первой стадии — “скормить” модели огромный массив информации для верного предсказания следующего слова, но у этого мало практической пользы. Для этого нужна стадия выравнивания, когда модель учится исполнять конкретные запросы пользователя, например, отвечать на вопрос, в каком году родился Саша Пушкин
🔵 Из последних достижений: проработка новой архитектуры и увеличение количества токенов, что позволит улучшить качество и точность модели
🔵 Из основных планов на развитие, перейти на новую архитектуру “Mixture of experts” и обеспечить мультимодальность — чтобы пользователь мог общаться с нейросетью с помощью звука, изображений, видео. А также модель сможет кастомизировать ответ в зависимости от возраста и эмоций пользователя, которые она определит по звуку голоса. Например, на просьбу рассказать сказку ответ будет разный в зависимости от голоса взрослого или ребенка
В выставочной зоне нам запомнился стенд от GigaСhat, где ребята показывали последнее обновление для распознавания изображений. Например, загрузили изображение гуся с сигаретой и попросили GigaСhat это прокомментировать😄 Сейчас он доступен в формате бета-теста, а их ребята проводят на сотрудниках Сбера.
И конечно, ценная часть такого мероприятия — нетворкинг. Вас тут стало больше, и благодаря этому скоро появятся выпуски с новыми героями — AI/ML продактами.
Для тех читателей, кто интересуется подобными мероприятиями — недавно увидели, что конференцию про машинное обучение в июле проведет Тинькофф — вот ссылка на регистрацию.
Вчера наша команда посетила Giga Conf от Сбера, посвященную искусственному интеллекту.
На площадке проходила насыщенная программа докладов по нескольким тематикам от ML/AI до кибербезопасности. Также по площадке прогуливался робот и была выставочная зона, где ребята подробно рассказывали про последние достижения в ИИ. Делимся, что нам запомнилось 🙌
Один из интересных докладов — от Федора Минькина, технического директора GigaСhat. Плюс, это широко известный продукт, про обновления которого нам хотелось узнать.
В выставочной зоне нам запомнился стенд от GigaСhat, где ребята показывали последнее обновление для распознавания изображений. Например, загрузили изображение гуся с сигаретой и попросили GigaСhat это прокомментировать😄 Сейчас он доступен в формате бета-теста, а их ребята проводят на сотрудниках Сбера.
И конечно, ценная часть такого мероприятия — нетворкинг. Вас тут стало больше, и благодаря этому скоро появятся выпуски с новыми героями — AI/ML продактами.
Для тех читателей, кто интересуется подобными мероприятиями — недавно увидели, что конференцию про машинное обучение в июле проведет Тинькофф — вот ссылка на регистрацию.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤2
👩💻🧠 Хотите узнать, как создаются умные приложения и системы, которые предсказывают вашу музыку, рекомендуют фильмы и даже управляют автомобилями? 🚀
Читайте, чтобы узнать, как данные превращаются в умные модели и что стоит за магией искусственного интеллекта: https://telegra.ph/Kak-obuchayutsya-ML-modeli-06-08
__________
Подписывайтесь: "Как приручить ИИ"
Читайте, чтобы узнать, как данные превращаются в умные модели и что стоит за магией искусственного интеллекта: https://telegra.ph/Kak-obuchayutsya-ML-modeli-06-08
__________
Подписывайтесь: "Как приручить ИИ"
Telegraph
Как обучаются ML модели?
Если вы планируете работать менеджером в командах, которые занимаются разработкой ML продуктов, стоит разобраться из чего же состоит процесс обучения ML моделей. Можно выделить пять основных этапов разработки модели: Проработка требований Сбор и подготовка…
❤7👍7
Опрос по заработку Product manger
Уважаемые друзья,
Мы начинаем новую инициативу по сбору историй, касающихся заработка и условий труда Product Manager, и просим вас о содействии. Чем больше откликов мы соберем, тем полнее будет наше представление о ситуации.
Пожалуйста, расскажите нам о своем опыте, перейдя по следующей ссылке. Ваша анонимность обеспечена – в форме не будут запрашиваться ваши персональные данные, такие как ФИО или номер телефона.
Как только мы получим ваш рассказ, мы превратим его в публикацию для нашего канала, которую тщательно отредактируем. Если вы хотите опустить какие-либо детали или у вас есть особые пожелания – укажите их в форме.
Если вы не желаете делиться личным опытом, вы всё равно можете помочь, распространяя информацию о нашем проекте среди знакомых.
Ждем с нетерпением вашего участия и поддержки!
__________
Подписывайтесь: "Как приручить ИИ"
Уважаемые друзья,
Мы начинаем новую инициативу по сбору историй, касающихся заработка и условий труда Product Manager, и просим вас о содействии. Чем больше откликов мы соберем, тем полнее будет наше представление о ситуации.
Пожалуйста, расскажите нам о своем опыте, перейдя по следующей ссылке. Ваша анонимность обеспечена – в форме не будут запрашиваться ваши персональные данные, такие как ФИО или номер телефона.
Как только мы получим ваш рассказ, мы превратим его в публикацию для нашего канала, которую тщательно отредактируем. Если вы хотите опустить какие-либо детали или у вас есть особые пожелания – укажите их в форме.
Если вы не желаете делиться личным опытом, вы всё равно можете помочь, распространяя информацию о нашем проекте среди знакомых.
Ждем с нетерпением вашего участия и поддержки!
__________
Подписывайтесь: "Как приручить ИИ"
👌4🤝3🔥1
Вы узнаете, что такое OCR, какие архитектуры нейронных сетей используются для обучения и в чем его практическое применение
__________
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍4
Поспорили: нужен ли продакту технический опыт? 🤔
Наше мнение: да.
Такой специалист лучше оценивает задачи, может помочь разработке в поиске решений, эффективно решает проблемы (понимает их актуальность). В конце концов, меньше шансов, что продакт с техническим опытом придет с заведомо нереальными идеями.
Но есть коллеги, которые считают иначе:
Мол для продакта скорее критически важны развитые soft skills (конечно, помимо других основных скиллов).
Продакт должен быть сконцентрирован на поиске пользы для бизнеса и пользователя. А с техническим бэкграундом велик соблазн начать спорить с командой об архитектурном решении.
А если есть сомнения — всегда можно обратиться к техлиду/Lead DS за независимым мнением и попросить объяснить принципы разработки моделей.
🔥— если думаете, что технический опыт нужен
❤️ — если ну его, не нужен
Дебаты в комментах приветствуются 👇🏻
__________
Подписывайтесь: "Как приручить ИИ"
Наше мнение: да.
Такой специалист лучше оценивает задачи, может помочь разработке в поиске решений, эффективно решает проблемы (понимает их актуальность). В конце концов, меньше шансов, что продакт с техническим опытом придет с заведомо нереальными идеями.
Но есть коллеги, которые считают иначе:
Мол для продакта скорее критически важны развитые soft skills (конечно, помимо других основных скиллов).
Продакт должен быть сконцентрирован на поиске пользы для бизнеса и пользователя. А с техническим бэкграундом велик соблазн начать спорить с командой об архитектурном решении.
А если есть сомнения — всегда можно обратиться к техлиду/Lead DS за независимым мнением и попросить объяснить принципы разработки моделей.
🔥— если думаете, что технический опыт нужен
❤️ — если ну его, не нужен
Дебаты в комментах приветствуются 👇🏻
__________
Подписывайтесь: "Как приручить ИИ"
🔥8❤7👍1
В Подмосковье за порядком теперь следит ИИ. Что думаете об этом?
Речь об уличных камерах с искусственным интеллектом. В рамках проекта «Чистая территория» сейчас действует более 21 тысячи таких устройств.
Раз в сутки нейросеть анализирует фотографии с камер: проверяет их на наличие граффити, листовок, мусора, ям, нерабочих фонарей и т.д.
Если находятся нарушения — система автоматически создает задачу по их устранению.
👉🏻Источник
Как думаете, полезен ли ИИ в городском пространстве? 🤔
__________
Подписывайтесь: "Как приручить ИИ"
Речь об уличных камерах с искусственным интеллектом. В рамках проекта «Чистая территория» сейчас действует более 21 тысячи таких устройств.
Раз в сутки нейросеть анализирует фотографии с камер: проверяет их на наличие граффити, листовок, мусора, ям, нерабочих фонарей и т.д.
Если находятся нарушения — система автоматически создает задачу по их устранению.
👉🏻Источник
Как думаете, полезен ли ИИ в городском пространстве? 🤔
__________
Подписывайтесь: "Как приручить ИИ"
🔥6👍1🤔1
Вопрос-ответ: зачем считать метрики разнообразия?
Очень часто при разработке рекомендательных систем внимание уделяют только оффлайн-метрикам (map@k, ndcg@k и т.д.) или онлайн-метрикам (CTR, Retention и т.д.), но забывают про метрики разнообразия.
У рекомендательных систем существуют определенные проблемы, которые трудно выявить при помощи оффлайн и онлайн метрик. Одна из них — «информационный пузырь»: система начинает предлагать пользователю ассортимент слишком узкого спектра. Например, десять идентичных товаров, но от разных продавцов.
В сегодняшнем посте раскроем некоторые из метрик разнообразия.
🔵 Intra-list diversity (Разнообразие внутри списка)
Зачем используем: Понять насколько разнообразные товары мы рекомендуем пользователю.
За счет расчета ILD мы можем проверить, не рекомендуем ли пользователю слишком похожие товары.
🔵 Item coverage (покрытие товаров рекомендациями)
Зачем используем: Выяснить какой процент от всех товаров попадает в рекомендации.
За счет расчета item coverage мы контролируем, что шанс попасть в рекомендации есть у различных товаров из нашего каталога. Если item coverage метрика стала слишком низкой, это может свидетельствовать о смещении нашей рекомендательной системе в сторону популярных товаров.
🔵 Novelty (Новизна)
Зачем используем: Оцениваем, насколько новые и оригинальные рекомендации получает пользователь.
Например, мы не хотим рекомендовать всем пользователям онлайн-кинотеатра один и тот же популярный сериал. Вместо этого нам нужно показывать пользователям то, что они без нашей помощи не найдут. Оригинальность рекомендаций можно оценить с помощью метрики Novelty.
🔵 Gini index (коэффициент Джини)
Зачем используем: Оцениваем распределение рекомендуемых товаров.
Изначально коэффициент Джини разрабатывался как индикатор неравенства доходов в обществе. В случае рекомендательных систем индекс Джини оценивает разнообразие товаров.
Изменяется от 0 до 1. Индекс Джини равный 0 показывает, что объекты рекомендуются абсолютно равномерно, 1 — распределение объектов в рекомендациях максимально неравномерное.
Ставьте🔥 , если нужно больше гайдов!
__________
Подписывайтесь: "Как приручить ИИ"
Очень часто при разработке рекомендательных систем внимание уделяют только оффлайн-метрикам (map@k, ndcg@k и т.д.) или онлайн-метрикам (CTR, Retention и т.д.), но забывают про метрики разнообразия.
У рекомендательных систем существуют определенные проблемы, которые трудно выявить при помощи оффлайн и онлайн метрик. Одна из них — «информационный пузырь»: система начинает предлагать пользователю ассортимент слишком узкого спектра. Например, десять идентичных товаров, но от разных продавцов.
В сегодняшнем посте раскроем некоторые из метрик разнообразия.
Зачем используем: Понять насколько разнообразные товары мы рекомендуем пользователю.
За счет расчета ILD мы можем проверить, не рекомендуем ли пользователю слишком похожие товары.
Зачем используем: Выяснить какой процент от всех товаров попадает в рекомендации.
За счет расчета item coverage мы контролируем, что шанс попасть в рекомендации есть у различных товаров из нашего каталога. Если item coverage метрика стала слишком низкой, это может свидетельствовать о смещении нашей рекомендательной системе в сторону популярных товаров.
Зачем используем: Оцениваем, насколько новые и оригинальные рекомендации получает пользователь.
Например, мы не хотим рекомендовать всем пользователям онлайн-кинотеатра один и тот же популярный сериал. Вместо этого нам нужно показывать пользователям то, что они без нашей помощи не найдут. Оригинальность рекомендаций можно оценить с помощью метрики Novelty.
Зачем используем: Оцениваем распределение рекомендуемых товаров.
Изначально коэффициент Джини разрабатывался как индикатор неравенства доходов в обществе. В случае рекомендательных систем индекс Джини оценивает разнообразие товаров.
Изменяется от 0 до 1. Индекс Джини равный 0 показывает, что объекты рекомендуются абсолютно равномерно, 1 — распределение объектов в рекомендациях максимально неравномерное.
Ставьте
__________
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤2👍1