The focus is how to identify what success means so that the machine learning algorithm (in this case based on multi-armed contextual bandits) captures that users differ into how they listen to music and playlist consumption varies a lot.
https://mounia-lalmas.blog/2018/10/11/personalizing-the-user-experience-and-playlist-consumption-on-spotify/
https://mounia-lalmas.blog/2018/10/11/personalizing-the-user-experience-and-playlist-consumption-on-spotify/
From the Lab to the Market
Personalizing the user experience and playlist consumption on Spotify
These are the slides of the talk I gave at the O’Reilly AI conference in London. My first external talk about work at Spotify on personalisation for Spotify home. The focus is how to identify…
List of publications about the intersection UX and ML in applied settings: https://mounia-lalmas.blog/publications/
From the Lab to the Market
Publications
Publications 2024 A Damianou, F Fabbri, P Gigioli, M De Nadai, A Wang, E Palumbo & M Lalmas. Towards Graph Foundation Models for Personalization, The Web Conference (Graph Foundation Models Wor…
Four projects in the intellectual history of quantitative social science
1. The rise and fall of game theory.
2. The disaster that is “risk aversion.”
3. From model-based psychophysics to black-box social psychology experiments.
4. The two models of microeconomics.
https://statmodeling.stat.columbia.edu/2020/01/12/four-projects-in-the-intellectual-history-of-quantitative-social-science/
1. The rise and fall of game theory.
2. The disaster that is “risk aversion.”
3. From model-based psychophysics to black-box social psychology experiments.
4. The two models of microeconomics.
https://statmodeling.stat.columbia.edu/2020/01/12/four-projects-in-the-intellectual-history-of-quantitative-social-science/
randomized controlled trial vs. front-door adjustment
In 2014, Adam Glynn and Konstantin Kashin, applied the new method to a data set well scrutinized by social scientists, called the Job Training Partnership Act (JTPA), conducted from 1987 to 1989.
Notably, the study included both a randomized controlled trial (RCT), where people were randomly assigned to receive services or not, and an observational study, in which people could choose for themselves.
Glynn and Kashin’s results show why the front-door adjustment is such a powerful tool: it allows us to control for confounders that we cannot observe (like Motivation), including those that we can’t even name.
https://scholar.harvard.edu/files/aglynn/files/glynnkashin-frontdoor.pdf
In 2014, Adam Glynn and Konstantin Kashin, applied the new method to a data set well scrutinized by social scientists, called the Job Training Partnership Act (JTPA), conducted from 1987 to 1989.
Notably, the study included both a randomized controlled trial (RCT), where people were randomly assigned to receive services or not, and an observational study, in which people could choose for themselves.
Glynn and Kashin’s results show why the front-door adjustment is such a powerful tool: it allows us to control for confounders that we cannot observe (like Motivation), including those that we can’t even name.
https://scholar.harvard.edu/files/aglynn/files/glynnkashin-frontdoor.pdf
Forwarded from Инсайт Охотник ™
Когда мало знаний, помогает социология и поведенческая психология
Отличный видеокурс про городские сообщества.
По ссылке самая яркая социальная парадигма: «выбора судьбы» в жизни жителей.
https://youtu.be/msuVeRIrMeg
Отличный видеокурс про городские сообщества.
По ссылке самая яркая социальная парадигма: «выбора судьбы» в жизни жителей.
https://youtu.be/msuVeRIrMeg
YouTube
Социология городских сообществ. Часть 8. О идее сообщества судьбы.
О понятии городских сообществ, что оно скрывает, чем не является, как эволюционировало в социальной мысли — расскажет социолог Виктор Вахштайн
Виктор Вахштайн — кандидат социологических наук, профессор, декан факультета социальных наук МВШСЭН.
• В 2003 году…
Виктор Вахштайн — кандидат социологических наук, профессор, декан факультета социальных наук МВШСЭН.
• В 2003 году…
DAOC: Stable Clustering of Large Networks
https://arxiv.org/abs/1909.08786
https://github.com/eXascaleInfolab/daoc
Apache 2.0 License, C++ (морда на Java)
Возможно , просто только дошли руки прочитать. По поиску выходит, что обзора тут еще не было.
TL;DR авторы утверждают, что разработали новый алгоритм community detection, который хорошо масштабируемый.
Сравнивают с Louvain (версия из igraph) и другими, менее известными алгоритмами (в их реализации https://github.com/eXascaleInfolab/clubmark - я раньше про нее не слышал). Есть Java-морда (https://github.com/eXascaleInfolab/StaTIX) и еще их же работа про эмбеддинги Bridging the Gap between Community and Node Representations: Graph Embedding via Community Detection https://arxiv.org/abs/1912.08808 (которую я может попозже тоже тут расскажу). По их же бенчмаркам не самый быстрый (Louvain выходит быстрее), но зато самый "универсальный" алгоритм: поддерживается все - и overlapping community, и веса, и направленность, и плюс он еще детерминирован в отличии от Louvain.
Как обычно оптимизируется модулярность (хотя это не обязательно, они пишут, что подходят и другие метрики, удовлетворяющие: парная (т.е. от ij), коммутативная, ограниченная в положительной области). Процесс похож на Louvain в том смысле, что на каждом шаге отбираются кандидаты в кластеры, а потом строится новая сеть их кластеров. Отличия в процессе отбора.
А). На шаге, где выбираются кандидаты на кластеры (вершины, которые хорошо бы объединить исходя из модулярности), они для каждой вершины находят кандидатов-соседей, дающих максимальный вклад в модулярность. Далее они выбирают из списков такие вершины, для которых найденные максимумы gain-а модулярности одинаковы при объединении как i c j, так и j c i. Они назвали это Mutual Maximal Gain (MMG). Так они добиваются:
а). детерменированности
б). выделяют overlapping community: все вершины, имеющие MMG с i "перекрываются" в i.
Б). Те вершины, для которых MMG дает строго один вариант объединения, они сразу формируют кластеры. Далее формируются уже перекрывающиеся кластеры: те вершины, которые имеют несколько кандидатов-кластеров после MMG разбиваются на "виртуальные" вершины, которые сохраняют все веса и связи. При этом для определения веса связей между фрагментами используется степень вершины, которую мы "разбиваем". Далее у нас два варианта: оставить разбиение (т.е, как я понял, вершина шарит кластеры), если весь gain от разбиения положительный; объединить всех кандидатов на кластеры вместе с самой вершиной, если это выгодно. В статье есть формулы для расчета всех весов и более строгие правила, но вроде суть примерно как я написал. Часть про DBSCAN-эвристику, про которую они там пишут (для случая разбиения, когда кандидатов больше, чем степень вершины) я пока не очень понял  .
Выглядит на самом деле очень прикольно. Для меня наиболее ценным видятся:
• детерминированность
• Louvain-style масштабируемость
• возможность получения overlapping community
• работа с directed weighted networks.
https://arxiv.org/abs/1909.08786
https://github.com/eXascaleInfolab/daoc
Apache 2.0 License, C++ (морда на Java)
Возможно , просто только дошли руки прочитать. По поиску выходит, что обзора тут еще не было.
TL;DR авторы утверждают, что разработали новый алгоритм community detection, который хорошо масштабируемый.
Сравнивают с Louvain (версия из igraph) и другими, менее известными алгоритмами (в их реализации https://github.com/eXascaleInfolab/clubmark - я раньше про нее не слышал). Есть Java-морда (https://github.com/eXascaleInfolab/StaTIX) и еще их же работа про эмбеддинги Bridging the Gap between Community and Node Representations: Graph Embedding via Community Detection https://arxiv.org/abs/1912.08808 (которую я может попозже тоже тут расскажу). По их же бенчмаркам не самый быстрый (Louvain выходит быстрее), но зато самый "универсальный" алгоритм: поддерживается все - и overlapping community, и веса, и направленность, и плюс он еще детерминирован в отличии от Louvain.
Как обычно оптимизируется модулярность (хотя это не обязательно, они пишут, что подходят и другие метрики, удовлетворяющие: парная (т.е. от ij), коммутативная, ограниченная в положительной области). Процесс похож на Louvain в том смысле, что на каждом шаге отбираются кандидаты в кластеры, а потом строится новая сеть их кластеров. Отличия в процессе отбора.
А). На шаге, где выбираются кандидаты на кластеры (вершины, которые хорошо бы объединить исходя из модулярности), они для каждой вершины находят кандидатов-соседей, дающих максимальный вклад в модулярность. Далее они выбирают из списков такие вершины, для которых найденные максимумы gain-а модулярности одинаковы при объединении как i c j, так и j c i. Они назвали это Mutual Maximal Gain (MMG). Так они добиваются:
а). детерменированности
б). выделяют overlapping community: все вершины, имеющие MMG с i "перекрываются" в i.
Б). Те вершины, для которых MMG дает строго один вариант объединения, они сразу формируют кластеры. Далее формируются уже перекрывающиеся кластеры: те вершины, которые имеют несколько кандидатов-кластеров после MMG разбиваются на "виртуальные" вершины, которые сохраняют все веса и связи. При этом для определения веса связей между фрагментами используется степень вершины, которую мы "разбиваем". Далее у нас два варианта: оставить разбиение (т.е, как я понял, вершина шарит кластеры), если весь gain от разбиения положительный; объединить всех кандидатов на кластеры вместе с самой вершиной, если это выгодно. В статье есть формулы для расчета всех весов и более строгие правила, но вроде суть примерно как я написал. Часть про DBSCAN-эвристику, про которую они там пишут (для случая разбиения, когда кандидатов больше, чем степень вершины) я пока не очень понял  .
Выглядит на самом деле очень прикольно. Для меня наиболее ценным видятся:
• детерминированность
• Louvain-style масштабируемость
• возможность получения overlapping community
• работа с directed weighted networks.
GitHub
GitHub - eXascaleInfolab/daoc: DAOC (Deterministic and Agglomerative Overlapping Clustering algorithm): Stable Clustering of Large…
DAOC (Deterministic and Agglomerative Overlapping Clustering algorithm): Stable Clustering of Large Networks - GitHub - eXascaleInfolab/daoc: DAOC (Deterministic and Agglomerative Overlapping Clust...