Forwarded from CRO & Personalization
Система экспериментирования в Spotify 🐍
Ранее я уже неоднократно писала про Spotify (рекомендации, глобальная контрольная группа)
Сегодня расскажу о том, как они реализируют эксперименты для работы над персонализацией главной страницы/экрана.
ЗАПУСК ЭКСПЕРИМЕНТА:
1. Команда фокусируется на двух областях: скорость запуска экспериментов и их качество.
2. Для тестирования используется платформа Home Config, это внутренняя разработка типа configuration-as-a-service. Платформа позволяет “играть” с сортировкой, контентом, картинками и др.
3. Для запуска теста в прод используется платформа Spotify Experimentation Platform, встроенная во всю экосистем продукта. То есть в Home config создается конфигурация для теста, а дальше он попадает в EP для запуска в прод: параметры, группы, метрики и анализ результатов.
4. Для QA и дебаггинга используется инструмент Home QA. Он симулирует запросы пользователей к главному экрану и проверяет работу запланированного эксперимента.
КОЛЛАБОРАЦИЯ:
Ожидаемо, все команды хотят запускать тесты на главном экране, поэтому важно иметь прозрачные процессы и обмениваться информацией. Для этого:
1. Spotify использует Experimentation Tracker - хаб для всех экспериментов, который отражает детали каждого теста и помогает приоритизировать их на основе текущих бизнес задач.
2. Experiment Validation Assistant - сервис, который автоматически валидирует все A/B тесты на главной по нескольким факторам и далее отправляет результаты валидации в ветку в Slack с выводом, обратной связью и рекомендациями.
🔗 Полная статья.
#spotify
Ранее я уже неоднократно писала про Spotify (рекомендации, глобальная контрольная группа)
Сегодня расскажу о том, как они реализируют эксперименты для работы над персонализацией главной страницы/экрана.
ЗАПУСК ЭКСПЕРИМЕНТА:
1. Команда фокусируется на двух областях: скорость запуска экспериментов и их качество.
2. Для тестирования используется платформа Home Config, это внутренняя разработка типа configuration-as-a-service. Платформа позволяет “играть” с сортировкой, контентом, картинками и др.
3. Для запуска теста в прод используется платформа Spotify Experimentation Platform, встроенная во всю экосистем продукта. То есть в Home config создается конфигурация для теста, а дальше он попадает в EP для запуска в прод: параметры, группы, метрики и анализ результатов.
4. Для QA и дебаггинга используется инструмент Home QA. Он симулирует запросы пользователей к главному экрану и проверяет работу запланированного эксперимента.
КОЛЛАБОРАЦИЯ:
Ожидаемо, все команды хотят запускать тесты на главном экране, поэтому важно иметь прозрачные процессы и обмениваться информацией. Для этого:
1. Spotify использует Experimentation Tracker - хаб для всех экспериментов, который отражает детали каждого теста и помогает приоритизировать их на основе текущих бизнес задач.
2. Experiment Validation Assistant - сервис, который автоматически валидирует все A/B тесты на главной по нескольким факторам и далее отправляет результаты валидации в ветку в Slack с выводом, обратной связью и рекомендациями.
🔗 Полная статья.
#spotify
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Roman Leventov
https://www.lesswrong.com/posts/YN7PHizHnxinLsKvy/sociallm-a-language-model-design-for-personalised-apps - идея как докрутить Мамбу с SSM блоками, тренируется на данных диалогов, чатов, и форумов, трекает отдельными SSM блоками не только локальный контекст, но и историю сообщений и чтения пользователя, а также того, что пользователь помнит про конкретного собеседника.
Возможные бизнес-приложения:
- персональные рекомендации, клиентская поддержка, ИИ-учителя, ментальное здоровье, ИИ-друг а-ля InflectionAI,
- приложение для разрешения конфликтов
- приложение для улучшения коллективного интеллекта команды, как описано тут: https://ojs.aaai.org/index.php/AAAI/article/view/25755
- интерактивный сторителлинг
Возможные научные приложения:
- Социальные науки, collective intelligence, AI safety (detection and prevention of collusion and deception)
Возможные бизнес-приложения:
- персональные рекомендации, клиентская поддержка, ИИ-учителя, ментальное здоровье, ИИ-друг а-ля InflectionAI,
- приложение для разрешения конфликтов
- приложение для улучшения коллективного интеллекта команды, как описано тут: https://ojs.aaai.org/index.php/AAAI/article/view/25755
- интерактивный сторителлинг
Возможные научные приложения:
- Социальные науки, collective intelligence, AI safety (detection and prevention of collusion and deception)
Lesswrong
SociaLLM: proposal for a language model design for personalised apps, social science, and AI safety research — LessWrong
I first proposed this model here, as a base model for a proposed app to improve global online discourse through personalised comment ordering on all…
• The right metaphor to use when integrating AI into a product depends on much the user wants to be involved in process. How much control do they want to hand over? it's a spectrum of how much human supervision is needed.
• On one end of the spectrum, AI is an assistant that takes orders and does things on your behalf. On the other, the human is in control managing the details of what the AI does. In the middle is a copilot.
• To find the right level of human involvement, understand people's roles and needs. People closer to the problem probably require more control. Others a bit further away, likely need less.
https://www.lukew.com/ff/entry.asp?2043
• On one end of the spectrum, AI is an assistant that takes orders and does things on your behalf. On the other, the human is in control managing the details of what the AI does. In the middle is a copilot.
• To find the right level of human involvement, understand people's roles and needs. People closer to the problem probably require more control. Others a bit further away, likely need less.
https://www.lukew.com/ff/entry.asp?2043
Lukew
LukeW | Designing for AI: Panel Notes
At the Designing for AI panel discussion hosted by Notion, Ryo Lu (Notion), Amelia Wattenberger (Adept), Omar Lee (Slack), and Adam Storr (Hex) discussed how...
Forwarded from Цифровой геноцид
Как на самом деле оценивается продукт с точки зрения опыта пользователя?
Я хотел бы начать с истории про красоту и воспринимаемое удобство, которая, вероятно, многим из нас знакома. В 1995 году японские исследователи Масааки Куросу и Каори Касимура из корпорации Hitachi ( производителя ЭВМ и промышленных авто) продемонстрировали в своем исследовании эффект эстетики и удобства использования. Результаты анализа показывают, что «явное удобство использования в меньшей степени коррелирует с субъективным удобством использования по сравнению с видимой красотой или эстетикой. На пользователя может сильно влиять эстетический аспект интерфейса, даже когда он пытается оценить интерфейс исключительно в функциональных аспектах, а дизайнерам стоит увеличить эстетическую составляющую интерфейса. Красивое - удобно, полагает пользователь
https://dl.acm.org/doi/pdf/10.1145/223355.223680
Эксперимент несколько раз был подтвержден, если верить википедии, конечно, кроме юзабилити есть сильное влияние на воспринимаемую стоимость и так называемые ценовые исследования.
Вода мокрая, да, я понимаю, но давайте взглянем на этот эффект - aesthetic–usability effect - более подробно и попробуем дать экономическое обоснование природы красоты в цифровых продуктах. Есть некоторые мои размышления на этот счет, которые, как кажется, стыкуются с реальностью
Кейнсианский конкурс красоты — мыслительный эксперимент, разработанный Джоном Мейнардом Кейнсом в главе 12 его работы «Общая теория занятости, процента и денег» (1936) для объяснения колебаний цен на фондовых рынках. В ней описывается воображаемый конкурс красоты, в котором награждаются не самые популярные участники конкурса, а те судьи, которые наиболее точно смогли угадать, кто из участников конкурса окажется наиболее популярным, и, строго говоря, будет признан самым красивым.
Кейнс описал действия рациональных агентов на рынке, используя аналогию, основанную на вымышленном конкурсе для читателей газеты, в котором участников просят выбрать шесть самых привлекательных лиц из ста фотографий. Те, кто выбрал самые популярные лица, имеют право на получение приза. В мире, где красота становится валютой, а восприятие превращается в актив, смелость выбора самого очаровательного лица кажется наивной стратегией. Скорее надо угадать лицо, действительно удовлетворяющее среднему вкусу, а еще точнее предугадать, каково будет среднее мнение относительно всех людей насчет того, каким должно быть среднее мнение.
Мы играем в игру, где правила определяются не нами, но нашими представлениями о представлениях других людей. На наше восприятие удобства и красоты интерфейса влияет имидж компании, общественное мнение, расходы на дизайн-митапы и дизайн сообщества: думаю, что именно в этом секрет того, что так много денег тратится на поддержание этого корпоративного буллшита - самый простой способ повлиять на восприятие своего мобильного зеленого или красного банка или условного Авито - это просто заплатить деньги и потратить ресурсы на выступления. Пресловутый common knowledge эпистемологии в проектировании.
https://en.wikipedia.org/wiki/Keynesian_beauty_contest
Я хотел бы начать с истории про красоту и воспринимаемое удобство, которая, вероятно, многим из нас знакома. В 1995 году японские исследователи Масааки Куросу и Каори Касимура из корпорации Hitachi ( производителя ЭВМ и промышленных авто) продемонстрировали в своем исследовании эффект эстетики и удобства использования. Результаты анализа показывают, что «явное удобство использования в меньшей степени коррелирует с субъективным удобством использования по сравнению с видимой красотой или эстетикой. На пользователя может сильно влиять эстетический аспект интерфейса, даже когда он пытается оценить интерфейс исключительно в функциональных аспектах, а дизайнерам стоит увеличить эстетическую составляющую интерфейса. Красивое - удобно, полагает пользователь
https://dl.acm.org/doi/pdf/10.1145/223355.223680
Эксперимент несколько раз был подтвержден, если верить википедии, конечно, кроме юзабилити есть сильное влияние на воспринимаемую стоимость и так называемые ценовые исследования.
Вода мокрая, да, я понимаю, но давайте взглянем на этот эффект - aesthetic–usability effect - более подробно и попробуем дать экономическое обоснование природы красоты в цифровых продуктах. Есть некоторые мои размышления на этот счет, которые, как кажется, стыкуются с реальностью
Кейнсианский конкурс красоты — мыслительный эксперимент, разработанный Джоном Мейнардом Кейнсом в главе 12 его работы «Общая теория занятости, процента и денег» (1936) для объяснения колебаний цен на фондовых рынках. В ней описывается воображаемый конкурс красоты, в котором награждаются не самые популярные участники конкурса, а те судьи, которые наиболее точно смогли угадать, кто из участников конкурса окажется наиболее популярным, и, строго говоря, будет признан самым красивым.
Кейнс описал действия рациональных агентов на рынке, используя аналогию, основанную на вымышленном конкурсе для читателей газеты, в котором участников просят выбрать шесть самых привлекательных лиц из ста фотографий. Те, кто выбрал самые популярные лица, имеют право на получение приза. В мире, где красота становится валютой, а восприятие превращается в актив, смелость выбора самого очаровательного лица кажется наивной стратегией. Скорее надо угадать лицо, действительно удовлетворяющее среднему вкусу, а еще точнее предугадать, каково будет среднее мнение относительно всех людей насчет того, каким должно быть среднее мнение.
Мы играем в игру, где правила определяются не нами, но нашими представлениями о представлениях других людей. На наше восприятие удобства и красоты интерфейса влияет имидж компании, общественное мнение, расходы на дизайн-митапы и дизайн сообщества: думаю, что именно в этом секрет того, что так много денег тратится на поддержание этого корпоративного буллшита - самый простой способ повлиять на восприятие своего мобильного зеленого или красного банка или условного Авито - это просто заплатить деньги и потратить ресурсы на выступления. Пресловутый common knowledge эпистемологии в проектировании.
https://en.wikipedia.org/wiki/Keynesian_beauty_contest
Papers с тулами для анализа и визуализации sequential data.
Sequential data встречается много где, но в моей практике это анализ...:
- ...последовательности шагов в процессах
- ...действий пользователя в сессиях
https://docs.google.com/presentation/d/1fJBku_-BIet8k45POYJiHuIE7R52Lpg9Ts4nb6g_ng4/edit?usp=sharing
Sequential data встречается много где, но в моей практике это анализ...:
- ...последовательности шагов в процессах
- ...действий пользователя в сессиях
https://docs.google.com/presentation/d/1fJBku_-BIet8k45POYJiHuIE7R52Lpg9Ts4nb6g_ng4/edit?usp=sharing
Визуал различных математических концептов
https://math.stackexchange.com/questions/733754/visually-stunning-math-concepts-which-are-easy-to-explain
https://math.stackexchange.com/questions/733754/visually-stunning-math-concepts-which-are-easy-to-explain
Mathematics Stack Exchange
Visually stunning math concepts which are easy to explain
Since I'm not that good at (as I like to call it) 'die-hard-mathematics', I've always liked concepts like the golden ratio or the dragon curve, which are easy to understand and explain but are
Forwarded from p13n
Чтобы улучшить рекомендации аудиокниг, Spotify использует новую комбинацию гетерогенных графовых нейронных сетей (HGNN) и двухбашенной модели (2Т).
Графовая нейронная сеть. HGNN работает на основе устоявшейся парадигмы передачи сообщений: начальные представления для каждого узла "передаются" через агрегатные функции соседним узлам, а затем градиентное обучение обновляет каждое представление в соответствии с "сообщениями", переданными его соседями. Это повторяется в течение нескольких эпох для получения окончательных представлений аудиокниг/подкастов, как показано на рис. 2A.
Двухбашенная модель. Представления HGNN затем поступают в модель 2T, которая учитывает дополнительные сигналы пользователей, такие как демографические данные. Этот компонент также учитывает музыкальные предпочтения пользователей. В целом 2T-модель связывает векторы пользователя и аудиокниги, поэтому их можно сравнивать в одном и том же математическом пространстве. Мы также используем слабые сигналы, такие как предварительный просмотр или следование за аудиокнигой.
Сочетание HGNN с легкой 2T-моделью также обеспечивает масштабируемость, поскольку это означает, что можно реализовать пользовательскую сторону моделирования вне HGNN. Поэтому HGNN обучается на графе совместного прослушивания (рис. 1B), а не на графе пользовательских потоков (рис. 1A), содержащем огромное количество индивидуальных взаимодействий пользователя с контентом.
После успешного тестирования новой модели на офлайн-данных был проведен A/B-тест с участием миллионов пользователей. В результате онлайн-тестирования количество слушаний аудиокниг увеличилась на 23%. Примечательно, что был 46-процентный всплеск числа людей, начинающих прослушивание новых аудиокниг.
https://research.atspotify.com/2024/05/personalizing-audiobooks-and-podcasts-with-graph-based-models/
Графовая нейронная сеть. HGNN работает на основе устоявшейся парадигмы передачи сообщений: начальные представления для каждого узла "передаются" через агрегатные функции соседним узлам, а затем градиентное обучение обновляет каждое представление в соответствии с "сообщениями", переданными его соседями. Это повторяется в течение нескольких эпох для получения окончательных представлений аудиокниг/подкастов, как показано на рис. 2A.
Двухбашенная модель. Представления HGNN затем поступают в модель 2T, которая учитывает дополнительные сигналы пользователей, такие как демографические данные. Этот компонент также учитывает музыкальные предпочтения пользователей. В целом 2T-модель связывает векторы пользователя и аудиокниги, поэтому их можно сравнивать в одном и том же математическом пространстве. Мы также используем слабые сигналы, такие как предварительный просмотр или следование за аудиокнигой.
Сочетание HGNN с легкой 2T-моделью также обеспечивает масштабируемость, поскольку это означает, что можно реализовать пользовательскую сторону моделирования вне HGNN. Поэтому HGNN обучается на графе совместного прослушивания (рис. 1B), а не на графе пользовательских потоков (рис. 1A), содержащем огромное количество индивидуальных взаимодействий пользователя с контентом.
После успешного тестирования новой модели на офлайн-данных был проведен A/B-тест с участием миллионов пользователей. В результате онлайн-тестирования количество слушаний аудиокниг увеличилась на 23%. Примечательно, что был 46-процентный всплеск числа людей, начинающих прослушивание новых аудиокниг.
https://research.atspotify.com/2024/05/personalizing-audiobooks-and-podcasts-with-graph-based-models/
Процесс экспериментов и способ принятия решений в Спотике
https://engineering.atspotify.com/2024/03/risk-aware-product-decisions-in-a-b-tests-with-multiple-metrics/
https://engineering.atspotify.com/2024/03/risk-aware-product-decisions-in-a-b-tests-with-multiple-metrics/
Spotify Engineering
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics - Spotify Engineering
https://engineering.atspotify.com/2024/05/fixed-power-designs-its-not-if-you-peek-its-what-you-peek-at/
Некий новый способ дизайна экспериментов
Некий новый способ дизайна экспериментов
Spotify Engineering
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at - Spotify Engineering
Google Illuminate
Экспериментальный сервис Google превращает научные публикации во что-то вроде подкастов, где эта тема раскрывается в дискуссии.
Экспериментальный сервис Google превращает научные публикации во что-то вроде подкастов, где эта тема раскрывается в дискуссии.
TL;DR – Spotify повышает CTR по рекомендованным блокам, когда объясняет при помощи LLM почему он показывается
https://research.atspotify.com/2024/12/contextualized-recommendations-through-personalized-narratives-using-llms/
https://research.atspotify.com/2024/12/contextualized-recommendations-through-personalized-narratives-using-llms/
Что такое "хорошо используемый ИИ"? Зависит от задачи.
Концепт от одного информационного архитектора https://jarango.com/2024/10/01/exploring-the-ai-solution-space/
Концепт от одного информационного архитектора https://jarango.com/2024/10/01/exploring-the-ai-solution-space/