https://research.atspotify.com/choice-of-implicit-signal-matters-accounting-for-user-aspirations-in-podcast-recommendations/
We explore this problem by answering three main research questions:
1 What is the impact on recommendations and consumption when training to “plays” versus “subnoscriptions”?
2 What are the strongest factors that predict how listeners engage with shows?
3 How could we use calibration to make an informed decision and leverage both signals in recommendations?
We explore this problem by answering three main research questions:
1 What is the impact on recommendations and consumption when training to “plays” versus “subnoscriptions”?
2 What are the strongest factors that predict how listeners engage with shows?
3 How could we use calibration to make an informed decision and leverage both signals in recommendations?
Spotify Research
Choice of Implicit Signal Matters: Accounting for User Aspirations in Podcast Recommendations - Spotify Research
Recommender systems are modulating what billions of people are exposed to on a daily basis. Typically, these systems are optimized for user engagement signals such as clicks, streams, likes, or a weighted combination of such sets. Despite the pervasiveness…
Forwarded from Цифровой геноцид
Дырявые или текучие абстракции. Human-AI Guidelines in Practice: The Power of Leaky Abstractions in Cross-Disciplinary Teams из Лаборатории HCI в Стэнфорде
В разработке программного обеспечения дырявая абстракция (leaky abstractions) — это абстракция, которая пропускает детали, которые она должна абстрагировать. Согласно закону Джоэла Спольски, закон об утечках абстракций гласит: Все нетривиальные абстракции, в какой-то степени, негерметичны. Абстракции ломаются. Иногда немного, иногда значительно. Это и называется дырами, протечками. Что-то идет не по плану. Это происходит повсеместно, где используются абстракции. Сегодня статья 2022 года из Стэнфорда о сложностях взаимодействия UX-специалистов с AI-специалистами. Современный дизайн выходит за рамки пользовательского интерфейса в компоненты ИИ и разметки данных, тем самым «прокалывая» разделение между разработчиками-архитекторами и дизайнерами. Авторы попытались определить, как дырявые абстракции используются для совместной работы на границах AI-UX и формализовать процесс создания и использования дырявых абстракций.
Системы, которые разрабатывают человекоориентированный ИИ отличаются несколькими важными аспектами:
1) они предлагают больше возможностей для человекоподобных интеллектуальных поведение,
2) они динамически учатся и адаптируют свое поведение с течением времени посредством обратной связи и обучения, и
3) их выходные данные могут быть недетерминированными: их выходные данные отличаются от данных с ожиданиями конечного пользователя
Понятно, что есть и факторы типа контекстуально-зависимых наборов данных, а адаптация к неопределенностям ИИ и ошибкам в дизайне интерфейса.
Группа авторов провела интервью с несколькими командами с ИИ, которые занимались подобного рода исследованиями. Понятно дело, что там какое-то скучное и длинное описание проблем и ошибок, но, вот, что мне показалось интересным и важным:
«Дырявые» абстракции также охватывают широкий спектр междизайнерских представлений для совместной работы. Мы наблюдали случаи, когда команды создавали различные негерметичные абстракции для обеспечения объяснимости, обработки ошибок, обратной связи и обучаемость. В наших интервью дырявые абстракции принимали самые разные формы и касались множество различных элементов пользовательского интерфейса и дизайна модели AI.
Во-первых, вопреки общепринятому мнению, дизайнеры делились подробностями о персонажах и сегментах пользователей. полученные в результате опросов, качественные кодовые книги для маркировки обучающих данных и необработанные данные о конечных пользователях (собранные с помощью процессы исследования UX) для информирования о потребностях в репрезентативности и форматировании обучающих данных ИИ. Во-вторых, дизайнеры делились «примерами» желаемых взаимодействий человека и ИИ с помощью низкоточных артефактов, таких как раскадровки, прототипы,интерфейсы для рабочих процессов задач, электронные таблицы с достоверными данными и даже дневники взаимодействий; В-третьих, учитывая трудности с формулированием отзывов об ИИ от конечных пользователей и предоставлением отчетов, дизайнеры делятся необработанные отзывы о пользовательском тестировании с помощью видео и прямых заметок о наблюдениях, а также пригласить инженеров принять участие в сеансы оценки конечных пользователей. Эти новые совместные практики характеризуют природу дырявых абстракций разработка компонентов ИИ с учетом интересов конечных пользователей.
Чем делятся инженеры? 1) 1) сообщать о необходимых характеристиках обучающих данных для проектирования пользовательского интерфейса, (2) сообщить о поведении модели для проектирования взаимодействия с пользователем и 3) оценить ИИ с конечными пользователям. Те если по русски выводить дизайнера на знакомство с разметчиками данных, тестировать руками ботов и ИИ, а также самим тестировать, что там накодировали для сбора чудесной обратной связи. Картинка с примерами того, что инженеры и ДС могут дать дизайнерам прикреплена.
В разработке программного обеспечения дырявая абстракция (leaky abstractions) — это абстракция, которая пропускает детали, которые она должна абстрагировать. Согласно закону Джоэла Спольски, закон об утечках абстракций гласит: Все нетривиальные абстракции, в какой-то степени, негерметичны. Абстракции ломаются. Иногда немного, иногда значительно. Это и называется дырами, протечками. Что-то идет не по плану. Это происходит повсеместно, где используются абстракции. Сегодня статья 2022 года из Стэнфорда о сложностях взаимодействия UX-специалистов с AI-специалистами. Современный дизайн выходит за рамки пользовательского интерфейса в компоненты ИИ и разметки данных, тем самым «прокалывая» разделение между разработчиками-архитекторами и дизайнерами. Авторы попытались определить, как дырявые абстракции используются для совместной работы на границах AI-UX и формализовать процесс создания и использования дырявых абстракций.
Системы, которые разрабатывают человекоориентированный ИИ отличаются несколькими важными аспектами:
1) они предлагают больше возможностей для человекоподобных интеллектуальных поведение,
2) они динамически учатся и адаптируют свое поведение с течением времени посредством обратной связи и обучения, и
3) их выходные данные могут быть недетерминированными: их выходные данные отличаются от данных с ожиданиями конечного пользователя
Понятно, что есть и факторы типа контекстуально-зависимых наборов данных, а адаптация к неопределенностям ИИ и ошибкам в дизайне интерфейса.
Группа авторов провела интервью с несколькими командами с ИИ, которые занимались подобного рода исследованиями. Понятно дело, что там какое-то скучное и длинное описание проблем и ошибок, но, вот, что мне показалось интересным и важным:
«Дырявые» абстракции также охватывают широкий спектр междизайнерских представлений для совместной работы. Мы наблюдали случаи, когда команды создавали различные негерметичные абстракции для обеспечения объяснимости, обработки ошибок, обратной связи и обучаемость. В наших интервью дырявые абстракции принимали самые разные формы и касались множество различных элементов пользовательского интерфейса и дизайна модели AI.
Во-первых, вопреки общепринятому мнению, дизайнеры делились подробностями о персонажах и сегментах пользователей. полученные в результате опросов, качественные кодовые книги для маркировки обучающих данных и необработанные данные о конечных пользователях (собранные с помощью процессы исследования UX) для информирования о потребностях в репрезентативности и форматировании обучающих данных ИИ. Во-вторых, дизайнеры делились «примерами» желаемых взаимодействий человека и ИИ с помощью низкоточных артефактов, таких как раскадровки, прототипы,интерфейсы для рабочих процессов задач, электронные таблицы с достоверными данными и даже дневники взаимодействий; В-третьих, учитывая трудности с формулированием отзывов об ИИ от конечных пользователей и предоставлением отчетов, дизайнеры делятся необработанные отзывы о пользовательском тестировании с помощью видео и прямых заметок о наблюдениях, а также пригласить инженеров принять участие в сеансы оценки конечных пользователей. Эти новые совместные практики характеризуют природу дырявых абстракций разработка компонентов ИИ с учетом интересов конечных пользователей.
Чем делятся инженеры? 1) 1) сообщать о необходимых характеристиках обучающих данных для проектирования пользовательского интерфейса, (2) сообщить о поведении модели для проектирования взаимодействия с пользователем и 3) оценить ИИ с конечными пользователям. Те если по русски выводить дизайнера на знакомство с разметчиками данных, тестировать руками ботов и ИИ, а также самим тестировать, что там накодировали для сбора чудесной обратной связи. Картинка с примерами того, что инженеры и ДС могут дать дизайнерам прикреплена.
Forwarded from Цифровой геноцид
leaky.pdf
9.4 MB
Human-AI Guidelines in Practice: The Power of Leaky Abstractions in Cross-Disciplinary Teams из Лаборатории HCI в Стэнфорде
import openai
response = openai.Embedding.create(
input="porcine pals say",
model="text-embedding-ada-002"
)
https://openai.com/blog/new-and-improved-embedding-model/
Openai
New and improved embedding model
We are excited to announce a new embedding model which is significantly more capable, cost effective, and simpler to use.
explainable-AI-cheat-sheet-v0.2.pdf
1.7 MB
Your high-level guide to the set of tools and methods that helps humans understand AI/ML models and their predictions.
https://ex.pegg.io/
https://ex.pegg.io/
https://ai.facebook.com/research/cicero/
Новая разработка ИИ-команды Фейсбука показала рекордные результаты. Её проверяли в сложной, чисто "человеческой" игре Diplomacy против живых людей.
Выиграть в эту игру можно только договариваясь с другими игроками. Для этого нужно а) уметь разговаривать б) иметь стратегическое видение. И то и другое научили делать Cicero. Об этом вышла статья Яна ЛеКуна.
Можно поиграть на https://webdiplomacy.net/
Новая разработка ИИ-команды Фейсбука показала рекордные результаты. Её проверяли в сложной, чисто "человеческой" игре Diplomacy против живых людей.
Выиграть в эту игру можно только договариваясь с другими игроками. Для этого нужно а) уметь разговаривать б) иметь стратегическое видение. И то и другое научили делать Cicero. Об этом вышла статья Яна ЛеКуна.
Можно поиграть на https://webdiplomacy.net/
Meta
CICERO
https://www.nngroup.com/articles/recommendation-expectations/
https://www.nngroup.com/articles/machine-learning-ux/
https://www.nngroup.com/articles/recommendation-guidelines/
https://www.nngroup.com/articles/machine-learning-ux/
https://www.nngroup.com/articles/recommendation-guidelines/
Nielsen Norman Group
Individualized Recommendations: Users’ Expectations & Assumptions
Users appreciate personalized content suggestions and are willing to give up some of their privacy for quality recommendations, while accepting some inaccurate recommendations.