Forwarded from Trisigma — про эксперименты (Iskαnder)
Comparing quantiles at scale in online A/B-testing
Короткая и дельная статья про то как сделать бутстрап квантилей с помощью python от Spotify (с советами с использованием sql)
https://engineering.atspotify.com/2022/03/comparing-quantiles-at-scale-in-online-a-b-testing/
Короткая и дельная статья про то как сделать бутстрап квантилей с помощью python от Spotify (с советами с использованием sql)
https://engineering.atspotify.com/2022/03/comparing-quantiles-at-scale-in-online-a-b-testing/
Spotify Engineering
Comparing Quantiles at Scale in Online A/B Testing
Comparing Quantiles at Scale in Online A/B Testing - Spotify Engineering
Forwarded from addmeto (Grigory Bakunov)
Стерлинг Криспин, работавший исследователем нейротехнологических прототипов в Эппле более 3 лет делится тем, что они делали в группе, которая вчера выпустила VisionPro.
Там есть пугающие подробности, вот с цитатами небольшой перевод для вас:
... пользователь находится в смешанной реальности или виртуальной реальности, а модели ИИ пытаются предсказать, испытываете ли вы любопытство, рассеяность, страх, внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние. Эти данные могут быть получены с помощью таких измерений, как слежение за глазами, электрическая активность в мозге, сердцебиение и ритмы, мышечная активность, плотность крови в мозге, кровяное давление, проводимость кожи и т.д.
Чтобы сделать возможными конкретные предсказания, было использовано множество трюков ... Одним из самых крутых результатов было предсказание того, что пользователь собирается нажать на что-то до того, как он это сделает... Ваш зрачок реагирует до того, как вы нажмете на кнопку, отчасти потому, что вы ожидаете, что что-то произойдет после нажатия...
Другие трюки для определения когнитивного состояния включают быструю подачу пользователю визуальных или звуковых сигналов, которые он может не воспринимать, а затем измерение его реакции на них.
В другом патенте подробно описывается использование машинного обучения и сигналов тела и мозга, чтобы предсказать, насколько вы сосредоточены, расслаблены или хорошо учитесь. А затем обновлять виртуальную среду, чтобы усилить эти состояния. Представьте себе адаптивную среду погружения, которая помогает вам учиться, работать или расслабляться, изменяя то, что вы видите и слышите на заднем плане.
https://twitter.com/sterlingcrispin/status/1665792422914453506
Там есть пугающие подробности, вот с цитатами небольшой перевод для вас:
... пользователь находится в смешанной реальности или виртуальной реальности, а модели ИИ пытаются предсказать, испытываете ли вы любопытство, рассеяность, страх, внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние. Эти данные могут быть получены с помощью таких измерений, как слежение за глазами, электрическая активность в мозге, сердцебиение и ритмы, мышечная активность, плотность крови в мозге, кровяное давление, проводимость кожи и т.д.
Чтобы сделать возможными конкретные предсказания, было использовано множество трюков ... Одним из самых крутых результатов было предсказание того, что пользователь собирается нажать на что-то до того, как он это сделает... Ваш зрачок реагирует до того, как вы нажмете на кнопку, отчасти потому, что вы ожидаете, что что-то произойдет после нажатия...
Другие трюки для определения когнитивного состояния включают быструю подачу пользователю визуальных или звуковых сигналов, которые он может не воспринимать, а затем измерение его реакции на них.
В другом патенте подробно описывается использование машинного обучения и сигналов тела и мозга, чтобы предсказать, насколько вы сосредоточены, расслаблены или хорошо учитесь. А затем обновлять виртуальную среду, чтобы усилить эти состояния. Представьте себе адаптивную среду погружения, которая помогает вам учиться, работать или расслабляться, изменяя то, что вы видите и слышите на заднем плане.
https://twitter.com/sterlingcrispin/status/1665792422914453506
X (formerly Twitter)
Sterling Crispin 🕊️ (@sterlingcrispin) on X
I spent 10% of my life contributing to the development of the #VisionPro while I worked at Apple as a Neurotechnology Prototyping Researcher in the Technology Development Group. It’s the longest I’ve ever worked on a single effort. I’m proud and relieved…
Forwarded from Цифровой геноцид
Design_Thinking_Akshay_Kore_Designing_Human_Centric_AI_Experiences.pdf
10.8 MB
Designing Human-Centric AI Experiences. Applied UX Design for Artificial Intelligence
2022 года
2022 года
Forwarded from Цифровой геноцид
Новая свежая книга-пособие по UX и AI
Designing Human-Centric AI Experiences. Applied UX Design for Artificial Intelligence
Автор-индус и сотрудник observe.ai с большим опытом по автоматизации некоторых промышленных процессов, где ИИ может быть особенно эффективен: колл-центры, службы поддержки, технические центры. Достаточно четко показывает, что все сферы современного хайпа вокруг ИИ являются, скорее, narrow AI, т.е. очень узких примеров использования. Показана разница между продуктами, которые основаны на правилах и продуктами ИИ на основе подхода машинного обучения (ML), основанного на примерах. Достаточно краток, но интересен список проблем
а) это проблема контроля: как создать ИИ, который будет нам полезен. Как мы можем знать случаи, когда это не работает в нашу пользу? Какие инструменты или методы мы можем использовать, чтобы убедиться, что ИИ не причинит нам вреда?
б)Второй — построение доверия. Чтобы ИИ был полезным, его пользователи должны доверять ему. Мы должны убедиться, что пользователи ИИ могут доверять его результатам и делать правильный выбор. Например, большинство результатов системы ИИ являются вероятностными. Когда он предсказывает пончик на изображении, он никогда не может быть уверен на 100%. Можно быть уверенным на 99,9%, но не на 100%. Всегда есть право на ошибку.
в) Третья существенная проблема — объяснимость. Многие системы ИИ печально известны тем, что работают в «черном ящике»: причины его предложений неизвестны или их трудно объяснить. Проблема объяснимости связана с предоставлением соответствующей информации или объяснений результатов ИИ, чтобы его пользователи могли выносить обоснованные суждения.
г)Этические тонкости и проблемы
Подробно рассматривается и сложности работы людей, что люди делают лучше, когнитивная природа труда. В целом, выглядит как очень краткая, но, поэтому, достаточно полезная книга-пособие по UX для продуктов с ИИ, где начинающему продуктовому дизайнеру покажут как и что функционирует.
Designing Human-Centric AI Experiences. Applied UX Design for Artificial Intelligence
Автор-индус и сотрудник observe.ai с большим опытом по автоматизации некоторых промышленных процессов, где ИИ может быть особенно эффективен: колл-центры, службы поддержки, технические центры. Достаточно четко показывает, что все сферы современного хайпа вокруг ИИ являются, скорее, narrow AI, т.е. очень узких примеров использования. Показана разница между продуктами, которые основаны на правилах и продуктами ИИ на основе подхода машинного обучения (ML), основанного на примерах. Достаточно краток, но интересен список проблем
а) это проблема контроля: как создать ИИ, который будет нам полезен. Как мы можем знать случаи, когда это не работает в нашу пользу? Какие инструменты или методы мы можем использовать, чтобы убедиться, что ИИ не причинит нам вреда?
б)Второй — построение доверия. Чтобы ИИ был полезным, его пользователи должны доверять ему. Мы должны убедиться, что пользователи ИИ могут доверять его результатам и делать правильный выбор. Например, большинство результатов системы ИИ являются вероятностными. Когда он предсказывает пончик на изображении, он никогда не может быть уверен на 100%. Можно быть уверенным на 99,9%, но не на 100%. Всегда есть право на ошибку.
в) Третья существенная проблема — объяснимость. Многие системы ИИ печально известны тем, что работают в «черном ящике»: причины его предложений неизвестны или их трудно объяснить. Проблема объяснимости связана с предоставлением соответствующей информации или объяснений результатов ИИ, чтобы его пользователи могли выносить обоснованные суждения.
г)Этические тонкости и проблемы
Подробно рассматривается и сложности работы людей, что люди делают лучше, когнитивная природа труда. В целом, выглядит как очень краткая, но, поэтому, достаточно полезная книга-пособие по UX для продуктов с ИИ, где начинающему продуктовому дизайнеру покажут как и что функционирует.
Ещё один шажок в сторону предсказания оценки информации на экране.
https://research.atspotify.com/2023/06/redesigning-your-library-with-mixed-methods-insights/
https://disk.yandex.ru/i/aiPFrZiKiKZjGQ
https://youtu.be/sTvfe3D_FCQ
https://dl.acm.org/doi/10.1145/3544549.3573875
https://programs.sigchi.org/chi/2023/program/content/97306
paper - https://disk.yandex.ru/i/-2K3DujI1pC9Sw
https://disk.yandex.ru/i/aiPFrZiKiKZjGQ
https://youtu.be/sTvfe3D_FCQ
https://dl.acm.org/doi/10.1145/3544549.3573875
https://programs.sigchi.org/chi/2023/program/content/97306
paper - https://disk.yandex.ru/i/-2K3DujI1pC9Sw
Spotify Research
Redesigning Your Library with Mixed Methods Insights
Launching a radical change to a habitual feature, used by millions every day, presents an interesting challenge.
https://dl.acm.org/doi/10.1145/1518701.1518814
A recent trend in Human-Computer Interaction (HCI) research addresses human needs that go beyond the instrumental, resulting in an increasing body of knowledge about how users form overall evaluative judgments on the quality of interactive products. An aspect largely neglected so far is that of temporality, i.e. how the quality of users' experience develops over time. This paper presents an in-depth, five-week ethnographic study that followed 6 individuals during an actual purchase of the Apple iPhone". We found prolonged use to be motivated by different qualities than the ones that provided positive initial experiences. Overall, while early experiences seemed to relate mostly to hedonic aspects of product use, prolonged experiences became increasingly more tied to aspects reflecting how the product becomes meaningful in one's life. Based on the findings, we promote three directions for CHI practice: designing for meaningful mediation, designing for daily rituals, and designing for the self.
https://disk.yandex.ru/i/5hg5bKsQnlaxzw
A recent trend in Human-Computer Interaction (HCI) research addresses human needs that go beyond the instrumental, resulting in an increasing body of knowledge about how users form overall evaluative judgments on the quality of interactive products. An aspect largely neglected so far is that of temporality, i.e. how the quality of users' experience develops over time. This paper presents an in-depth, five-week ethnographic study that followed 6 individuals during an actual purchase of the Apple iPhone". We found prolonged use to be motivated by different qualities than the ones that provided positive initial experiences. Overall, while early experiences seemed to relate mostly to hedonic aspects of product use, prolonged experiences became increasingly more tied to aspects reflecting how the product becomes meaningful in one's life. Based on the findings, we promote three directions for CHI practice: designing for meaningful mediation, designing for daily rituals, and designing for the self.
https://disk.yandex.ru/i/5hg5bKsQnlaxzw
ACM Conferences
User experience over time | Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
https://www.ben-evans.com/benedictevans/2023/7/2/working-with-ai
Бенедикт Эванс написал подробную статью о том, как автоматизация работы с помощью ИИ может повлиять на рынок труда, почему предыдущие волны автоматизации не оставили людей без работы, а создали новые рабочие места, и какие изменения могут ждать человечество на этот раз.
Главные мысли из статьи:
• Согласно парадоксу Джевонса, автоматизация и повышение эффективности труда приводит не к снижению спроса на человеческие ресурсы, а к его росту
• Новые технологии, как правило, удешевляют и упрощают выполнение задачи. Вы можете делать то же самое с меньшим количеством людей или можете делать гораздо больше с теми же людьми. Бизнес выберет второе
• Автоматизация труда с помощью ИИ произойдёт быстрее, чем при появлении компьютеров, а значит, людям будет сложнее приспособиться
• При появлении компьютеров требовалось значительное время на то, чтобы новые машины начали использоваться массово. В случае с ИИ человеку достаточно открыть веб-сайт. Тем не менее появление генеративного ИИ на рабочем месте займёт годы, а не недели
• Внедрение ИИ в бизнес-процессы — это сложная процедура, которая требует человеческого контроля над безопасностью, уровнями доступа и ещё целым рядом параметров
• Помимо человеческого контроля, развёртывание новой технологии требует времени, и у крупных компаний есть веские причины не менять свой рабочий процесс внезапно. Будущее требует времени, а мир за пределами Силиконовой долины сложен
• Будущее LLM заключается в переходе от чата с подсказками к графическому интерфейсу с кнопками. Создание промтов и естественный язык противоречат друг другу
• Возможно, появление LLM объединит многие функции в одно приложение (bundling), но также возможно, что это породит ещё большее разделение на отдельные узконаправленные продукты (unbundling). Подтверждением этой теории является появление огромного количества SaaS-приложений на базе ИИ, которые могут решать проблемы, не считавшиеся проблемами ранее
• ИИ довольно часто ошибается, но при этом уверен в своей правоте. Его нельзя использовать как достоверный источник информации или базу данных
• По-настоящему заменить человека смог бы только универсальный самообучаемый ИИ (AGI), который не заблуждается и не совершает ошибок. Но его пока нет, а значит, нас ждёт такая же рядовая волна автоматизации, какие происходили последние 200 лет
Бенедикт Эванс написал подробную статью о том, как автоматизация работы с помощью ИИ может повлиять на рынок труда, почему предыдущие волны автоматизации не оставили людей без работы, а создали новые рабочие места, и какие изменения могут ждать человечество на этот раз.
Главные мысли из статьи:
• Согласно парадоксу Джевонса, автоматизация и повышение эффективности труда приводит не к снижению спроса на человеческие ресурсы, а к его росту
• Новые технологии, как правило, удешевляют и упрощают выполнение задачи. Вы можете делать то же самое с меньшим количеством людей или можете делать гораздо больше с теми же людьми. Бизнес выберет второе
• Автоматизация труда с помощью ИИ произойдёт быстрее, чем при появлении компьютеров, а значит, людям будет сложнее приспособиться
• При появлении компьютеров требовалось значительное время на то, чтобы новые машины начали использоваться массово. В случае с ИИ человеку достаточно открыть веб-сайт. Тем не менее появление генеративного ИИ на рабочем месте займёт годы, а не недели
• Внедрение ИИ в бизнес-процессы — это сложная процедура, которая требует человеческого контроля над безопасностью, уровнями доступа и ещё целым рядом параметров
• Помимо человеческого контроля, развёртывание новой технологии требует времени, и у крупных компаний есть веские причины не менять свой рабочий процесс внезапно. Будущее требует времени, а мир за пределами Силиконовой долины сложен
• Будущее LLM заключается в переходе от чата с подсказками к графическому интерфейсу с кнопками. Создание промтов и естественный язык противоречат друг другу
• Возможно, появление LLM объединит многие функции в одно приложение (bundling), но также возможно, что это породит ещё большее разделение на отдельные узконаправленные продукты (unbundling). Подтверждением этой теории является появление огромного количества SaaS-приложений на базе ИИ, которые могут решать проблемы, не считавшиеся проблемами ранее
• ИИ довольно часто ошибается, но при этом уверен в своей правоте. Его нельзя использовать как достоверный источник информации или базу данных
• По-настоящему заменить человека смог бы только универсальный самообучаемый ИИ (AGI), который не заблуждается и не совершает ошибок. Но его пока нет, а значит, нас ждёт такая же рядовая волна автоматизации, какие происходили последние 200 лет
Benedict Evans
AI and the automation of work — Benedict Evans
ChatGPT and generative AI will change how we work, but how different is this to all the other waves of automation of the last 200 years? What does it mean for employment? Disruption? Coal consumption?
https://www.uxmatters.com/mt/archives/2023/06/testing-the-future-a-guide-to-testing-ai-products-with-users.php
Дмитрий Старков рассказал о том, как проводить пользовательские тесты ИИ-продуктов.
Дмитрий Старков рассказал о том, как проводить пользовательские тесты ИИ-продуктов.
Curated lists of XAI and Interpretable ML papers, methods, critiques, and resources.
https://github.com/wangyongjie-ntu/Awesome-explainable-AI
https://github.com/altamiracorp/awesome-xai
https://github.com/jphall663/awesome-machine-learning-interpretability
https://github.com/wangyongjie-ntu/Awesome-explainable-AI
https://github.com/altamiracorp/awesome-xai
https://github.com/jphall663/awesome-machine-learning-interpretability
GitHub
GitHub - wangyongjie-ntu/Awesome-explainable-AI: A collection of research materials on explainable AI/ML
A collection of research materials on explainable AI/ML - wangyongjie-ntu/Awesome-explainable-AI