Forwarded from DL in NLP (Vlad Lialin)
Это 🥇. Если бы все видео на онлайн конференциях были такими, я бы даже смотрел их.
youtu.be/4KO2TO_cm2I
youtu.be/4KO2TO_cm2I
YouTube
[Research, NeurIPS 2021] Is Topic Model Evaluation Broken? The Incoherence of Coherence
Topic models help historians, journalists, and analysts make sense of large text collections. But how do you know if you have a good one? The field has settled on using “Automatic Coherence”, but this paper argues that maybe that isn’t the right choice…
A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More
Abstract:
We demonstrate that a neural network pre-trained on text and fine-tuned on code solves Mathematics problems by program synthesis. We turn questions into programming tasks, automatically generate programs, and then execute them, perfectly solving university-level problems from MIT's large Mathematics courses (Single Variable Calculus 18.01, Multivariable Calculus 18.02, Differential Equations 18.03, Introduction to Probability and Statistics 18.05, Linear Algebra 18.06, and Mathematics for Computer Science 6.042), Columbia University's COMS3251 Computational Linear Algebra course, as well as questions from a MATH dataset (on Prealgebra, Algebra, Counting and Probability, Number Theory, and Precalculus), the latest benchmark of advanced mathematics problems specifically designed to assess mathematical reasoning. We explore prompt generation methods that enable Transformers to generate question solving programs for these subjects, including solutions with plots. We generate correct answers for a random sample of questions in each topic. We quantify the gap between the original and transformed questions and perform a survey to evaluate the quality and difficulty of generated questions. This is the first work to automatically solve, grade, and generate university-level Mathematics course questions at scale. This represents a milestone for higher education.
https://arxiv.org/pdf/2112.15594.pdf
Abstract:
We demonstrate that a neural network pre-trained on text and fine-tuned on code solves Mathematics problems by program synthesis. We turn questions into programming tasks, automatically generate programs, and then execute them, perfectly solving university-level problems from MIT's large Mathematics courses (Single Variable Calculus 18.01, Multivariable Calculus 18.02, Differential Equations 18.03, Introduction to Probability and Statistics 18.05, Linear Algebra 18.06, and Mathematics for Computer Science 6.042), Columbia University's COMS3251 Computational Linear Algebra course, as well as questions from a MATH dataset (on Prealgebra, Algebra, Counting and Probability, Number Theory, and Precalculus), the latest benchmark of advanced mathematics problems specifically designed to assess mathematical reasoning. We explore prompt generation methods that enable Transformers to generate question solving programs for these subjects, including solutions with plots. We generate correct answers for a random sample of questions in each topic. We quantify the gap between the original and transformed questions and perform a survey to evaluate the quality and difficulty of generated questions. This is the first work to automatically solve, grade, and generate university-level Mathematics course questions at scale. This represents a milestone for higher education.
https://arxiv.org/pdf/2112.15594.pdf
Celebrity worship and cognitive skills revisited: applying Cattell’s two-factor theory of intelligence in a cross-sectional study
Abstract:
Almost two decades of research produced mixed findings on the relationship between celebrity worship and cognitive skills. Several studies demonstrated that cognitive performance slightly decreases with higher levels of celebrity worship, while other studies found no association between these constructs. This study has two aims: (1) to extend previous research on the association between celebrity worship and cognitive skills by applying the two-factor theory of intelligence by Cattell on a relatively large sample of Hungarian adults, and (2) to investigate the explanatory power of celebrity worship and other relevant variables in cognitive performance. A cross-sectional study design was used. Applying an online survey, a total of 1763 Hungarian adults (66.42% male, Mage = 37.22 years, SD = 11.38) completed two intelligence subtests designed to measure ability in vocabulary (Vocabulary Test) and digit symbol (Short Digit Symbol Test). Participants also completed the Celebrity Attitude Scale and the Rosenberg Self-esteem Scale. Subjective material wealth, current family income and general sociodemographics were also reported by participants. Linear regression models indicated that celebrity worship was associated with lower performance on the cognitive tests even after controlling for demographic variables, material wealth and self-esteem, although the explanatory power was limited. These findings suggest that there is a direct association between celebrity worship and poorer performance on the cognitive tests that cannot be accounted for by demographic and socioeconomic factors.
https://bmcpsychology.biomedcentral.com/articles/10.1186/s40359-021-00679-3
Abstract:
Almost two decades of research produced mixed findings on the relationship between celebrity worship and cognitive skills. Several studies demonstrated that cognitive performance slightly decreases with higher levels of celebrity worship, while other studies found no association between these constructs. This study has two aims: (1) to extend previous research on the association between celebrity worship and cognitive skills by applying the two-factor theory of intelligence by Cattell on a relatively large sample of Hungarian adults, and (2) to investigate the explanatory power of celebrity worship and other relevant variables in cognitive performance. A cross-sectional study design was used. Applying an online survey, a total of 1763 Hungarian adults (66.42% male, Mage = 37.22 years, SD = 11.38) completed two intelligence subtests designed to measure ability in vocabulary (Vocabulary Test) and digit symbol (Short Digit Symbol Test). Participants also completed the Celebrity Attitude Scale and the Rosenberg Self-esteem Scale. Subjective material wealth, current family income and general sociodemographics were also reported by participants. Linear regression models indicated that celebrity worship was associated with lower performance on the cognitive tests even after controlling for demographic variables, material wealth and self-esteem, although the explanatory power was limited. These findings suggest that there is a direct association between celebrity worship and poorer performance on the cognitive tests that cannot be accounted for by demographic and socioeconomic factors.
https://bmcpsychology.biomedcentral.com/articles/10.1186/s40359-021-00679-3
SpringerLink
Celebrity worship and cognitive skills revisited: applying Cattell’s two-factor theory of intelligence in a cross-sectional study
BMC Psychology - Almost two decades of research produced mixed findings on the relationship between celebrity worship and cognitive skills. Several studies demonstrated that cognitive performance...
Forwarded from NearestᅠᅠᅠᅠᅠᅠNeighbours
Интересный клетомат, локально меняющий правила, получается что-то похожее на органику или турбулетные замесы жидких красок. teemingvoid.blogspot.com/2007/02/jonathan-mccabe-very-cellular-automata.html
Forwarded from сладко стянул
Классическая фраза: "кто хочет следить за развитием математики — заходите на arxiv и смотрите что там происходит". Но поток препринтов не факт, что даст нужное понимание. Или даст, но его фиг воспримешь.
Более прямой и понятный совет: докладчики грядущего международного конгресса ещё осенью начали заливать свои доклады на архив. Так что чекайте:
https://arxiv.org/search/?query=2022+icm&searchtype=all
[в список случайно затесались две статьи про медузоообразные галактики, потому что intracluster medium (ICM); не обращайте внимания]
Более прямой и понятный совет: докладчики грядущего международного конгресса ещё осенью начали заливать свои доклады на архив. Так что чекайте:
https://arxiv.org/search/?query=2022+icm&searchtype=all
[в список случайно затесались две статьи про медузоообразные галактики, потому что intracluster medium (ICM); не обращайте внимания]
Forwarded from Telegram Info (@tginfo)
Утечка базы данных @LivegramBot
Недавно была обнаружена утечка данных в крупном Telegram-боте для обратной связи. Он часто используется для анонимной обратной связи с администраторами Telegram-каналов. В целях безопасности все токены подключённых ботов будут отозваны командой Telegram.
Чтобы бот продолжил работать как и прежде, необходимо самостоятельно сменить токены всех Livegram-ботов в @BotFather, а затем обновить их в настройках ботов в @LivegramBot. В противном случае бот перестанет работать в ближайшее время.
Что нужно сделать владельцам ботов обратной связи:
1. Откройте @BotFather, отправьте команду /mybots.
2. Выберите нужного бота из списка.
3. Нажмите «API Token», затем «Revoke current token» и пришлите новый токен в @LivegramBot.
Недавно была обнаружена утечка данных в крупном Telegram-боте для обратной связи. Он часто используется для анонимной обратной связи с администраторами Telegram-каналов. В целях безопасности все токены подключённых ботов будут отозваны командой Telegram.
Чтобы бот продолжил работать как и прежде, необходимо самостоятельно сменить токены всех Livegram-ботов в @BotFather, а затем обновить их в настройках ботов в @LivegramBot. В противном случае бот перестанет работать в ближайшее время.
Что нужно сделать владельцам ботов обратной связи:
1. Откройте @BotFather, отправьте команду /mybots.
2. Выберите нужного бота из списка.
3. Нажмите «API Token», затем «Revoke current token» и пришлите новый токен в @LivegramBot.
https://en.wikipedia.org/wiki/Freshman%27s_dream
>The identity is actually true in the context of tropical geometry, where multiplication is replaced with addition, and addition is replaced with minimum.
>The identity is actually true in the context of tropical geometry, where multiplication is replaced with addition, and addition is replaced with minimum.
Forwarded from RUH8
Мне кажется, или пора начинать беспокоиться?
(Шесть часов назад неизвестные выложили на RaidForums данные из (предположительно) Дии, которая (предположительно) ничего не хранит. Около дадцати гигабайт архивов) Хотелось бы услышать какой-нибудь утешительный комментарий на этот счет. Я действительно не знаю откуда данные, не могу проверить. Но их много. И они очень похожи на настоящие.
(Шесть часов назад неизвестные выложили на RaidForums данные из (предположительно) Дии, которая (предположительно) ничего не хранит. Около дадцати гигабайт архивов) Хотелось бы услышать какой-нибудь утешительный комментарий на этот счет. Я действительно не знаю откуда данные, не могу проверить. Но их много. И они очень похожи на настоящие.
Forwarded from DELETED CHANNEL (Hexawolf)
Meet the group behind Times Newer Roman font, one of the most hilarious post-capitalistic companies we'll get to see: MSCHF
https://mschf.xyz/
https://en.wikipedia.org/wiki/MSCHF
Other fun stuff: Alexagate, Netflix Hangouts, This foot does not exist, Zuckwatch - and many more fun stuff
https://mschf.xyz/
https://en.wikipedia.org/wiki/MSCHF
A November 2019 release called Puff the Squeaky Chicken consisted of a rubber chicken that was also a functional bong. In February 2021 the group purchased a Boston Dynamics robot dog, and mounted a paintball gun on it. The robot was used in a live performance that allowed users of the MSCHF app to control the robot and its paintball gun. After MSCHF publicly criticized the potential use of robotic dogs by police forces, Boston Dynamics released a statement criticizing the use of the robot in an artwork. In March 2021 the group released Axe No 5, a mashup of Axe Body Spray and Chanel No. 5 perfume.In July 2021, MSCHF released Dead Startup Toys. The drop included the Juicero juicer, the One Laptop Per Child (OLPC) rugged laptop, Theranos miniLab, Jibo social robot, and the Coolest Cooler. In October 2021 the collective offered the original Andy Warhol drawing "Fairies", which they had purchased for $20,000, along with 999 high-quality forgeries they produced, for $250 apiece. Having mixed the fakes with the lone original, MSCHF claimed not to know which is the real Warhol. Each of the forgeries and also the lone original were (re)noscriptd "Possibly Real Copy of 'Fairies' by Andy Warhol" Other fun stuff: Alexagate, Netflix Hangouts, This foot does not exist, Zuckwatch - and many more fun stuff
🔥3
https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(21)02724-0/fulltext
Antimicrobial resistance now a leading cause of death worldwide
Antimicrobial resistance now a leading cause of death worldwide
Forwarded from DL in NLP (Vlad Lialin)
Scalable Second Order Optimization for Deep Learning
arxiv.org/abs/2002.09018
На обзор статьи меня навёл вот этот трэд в твиттере. Главный его момент был в том, что авторы DALLE-mini столкнулись с тем, что большие версии модели склонны внезапно расходиться посреди тренировки. Перепробовав кучу оптимизаторов и lr они обнаружили что некий Distributed Shampoo сходится гораздо быстрее и стабильнее Adam и Adafactor.
Главное отличие Dist Shampoo от Adam в том, что это метод оптимизации второго порядка, типа метода Ньютона, LBFGS или KFAC. Для апдейта Shampoo использует не только градиент G, но и матрицы ковариации градиента G G^T и G^T G, которые нужно ещё и возвести в степень 1/4 (возводить матрицы в степень это боль, а когда степень < 1 это боль в кубе).
Dist Shampoo добавляет кучу хаков, чтобы ускорить Shampoo. Первый хак: для матриц эмбеддингов, размер которых [vocab_size, hidden] используют только G G^T, тк вычислять произведение [vocab_size, hidden] @ [hidden, vocab_size] относительно дешево, а [hidden, vocab_size] @ [vocab_size, hidden] - безумно долго, тк vocab_size обычно раз в 50 больше hidden. Второй хак: в любом матричном произведении, если hidden очень большой, матрицу разбивают на N блоков размера hidden/N и вычисляют ковариации только этих блоков. Третий хак уже более хитрый: матрицы ковариации пересчитывают не на каждом шаге оптимизации, а только каждые ~100 шагов. Идея в том, что их рассчёт происходит на отдельной GPU/TPU параллельно обучению сети.
В оригинальной статье показали, что с помощью Dist Shampoo можно обучать трансформеры размером в 100M параметров за примерно в полтора раза меньшее время, чем Adam.
Подробнее про Distributed Shampoo:
1. WandB Report с DALLE mini
1. Имплементация на Jax
arxiv.org/abs/2002.09018
На обзор статьи меня навёл вот этот трэд в твиттере. Главный его момент был в том, что авторы DALLE-mini столкнулись с тем, что большие версии модели склонны внезапно расходиться посреди тренировки. Перепробовав кучу оптимизаторов и lr они обнаружили что некий Distributed Shampoo сходится гораздо быстрее и стабильнее Adam и Adafactor.
Главное отличие Dist Shampoo от Adam в том, что это метод оптимизации второго порядка, типа метода Ньютона, LBFGS или KFAC. Для апдейта Shampoo использует не только градиент G, но и матрицы ковариации градиента G G^T и G^T G, которые нужно ещё и возвести в степень 1/4 (возводить матрицы в степень это боль, а когда степень < 1 это боль в кубе).
Dist Shampoo добавляет кучу хаков, чтобы ускорить Shampoo. Первый хак: для матриц эмбеддингов, размер которых [vocab_size, hidden] используют только G G^T, тк вычислять произведение [vocab_size, hidden] @ [hidden, vocab_size] относительно дешево, а [hidden, vocab_size] @ [vocab_size, hidden] - безумно долго, тк vocab_size обычно раз в 50 больше hidden. Второй хак: в любом матричном произведении, если hidden очень большой, матрицу разбивают на N блоков размера hidden/N и вычисляют ковариации только этих блоков. Третий хак уже более хитрый: матрицы ковариации пересчитывают не на каждом шаге оптимизации, а только каждые ~100 шагов. Идея в том, что их рассчёт происходит на отдельной GPU/TPU параллельно обучению сети.
В оригинальной статье показали, что с помощью Dist Shampoo можно обучать трансформеры размером в 100M параметров за примерно в полтора раза меньшее время, чем Adam.
Подробнее про Distributed Shampoo:
1. WandB Report с DALLE mini
1. Имплементация на Jax
Twitter
Boris Dayma 🥑
We just finished comparing Adam, Adafactor & Distributed Shampoo (thanks to @_arohan_) for dalle-mini training 🥳 TLDR: Distributed Shampoo is 🔥 and will become the new default for dalle-mini 🥑
Forwarded from karpik.realtime
This media is not supported in your browser
VIEW IN TELEGRAM
чудесный подгон от спейсфиллера - основы симуляции биологических организмов
https://notes.spacefiller.space/living-wall/
https://notes.spacefiller.space/living-wall/
🔥3