У Google сегодня на повестке дня статья "What Are the Odds? Language Models Are Capable of Probabilistic Reasoning", которую приняли на EMNLP 2024
Статья исследует, способны ли LLM к вероятностному мышлению: то есть могут ли они осмыслить выборку как совокупность с ее законами и параметрами, и на основании этого делать какие-то выводы об отдельных кейсах. Другими словами, способны ли модели к математической дедукции.
Для того, чтобы это проверить, ученые давали моделькам три разных вида задач (обычное вычисление вероятностей, сэмлинг образцов и вычисление перцентилей), а также тестировали разные виды контекста: обычные идеальные распределения (например, нормальное или степенное), real world распределения (данные о климате) и аппроксимированные real world распределения, то есть нечто среднее.
Оказалось, что лучше всего LLM перформят в задаче вычисления перцентилей на идеальных распределениях, а вот с сэмплингом и реальными данными им пока сложно. Но главный вывод: модели все-таки обладают способностью к вероятностному мышлению, вопрос только в том, как из них эти способности вытаскивать.
Статья исследует, способны ли LLM к вероятностному мышлению: то есть могут ли они осмыслить выборку как совокупность с ее законами и параметрами, и на основании этого делать какие-то выводы об отдельных кейсах. Другими словами, способны ли модели к математической дедукции.
Для того, чтобы это проверить, ученые давали моделькам три разных вида задач (обычное вычисление вероятностей, сэмлинг образцов и вычисление перцентилей), а также тестировали разные виды контекста: обычные идеальные распределения (например, нормальное или степенное), real world распределения (данные о климате) и аппроксимированные real world распределения, то есть нечто среднее.
Оказалось, что лучше всего LLM перформят в задаче вычисления перцентилей на идеальных распределениях, а вот с сэмплингом и реальными данными им пока сложно. Но главный вывод: модели все-таки обладают способностью к вероятностному мышлению, вопрос только в том, как из них эти способности вытаскивать.
👍43❤9😁4
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨135😁27🗿15👍7🌚4❤3
А у Anthropic новая волна наружной рекламы без переходов на личности. Интересно, что хотел сказать автор? 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁72🔥13👍5❤1👏1
447839882_313401218505975_3018145354897668074_n.pdf
9.4 MB
Оказывается, летом Meta выпустила супер-крутое пособие по базе VLM
Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:
➡️ Краткие исторические справки про CLIP, FLAVA и др.
➡️ Прекрасная глава под названием "Гайд по обучению VLM" со всеми подробностями про ПО, данные, предобученные модели, алаймент и файнтюнинг
➡️ Бенчмаркинг и дополнительные разделы про видео в VLM
Кайф, в общем. Добавляем в бэклог
Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:
Кайф, в общем. Добавляем в бэклог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33⚡14❤9👍6
Data Secrets
Тем временем в сети пошел слушок, что OpenAI собирается сменить лого Как вам бублик? 🐱
Следуя примеру OpenAI, меняем аватарку в канале. Надеемся, у нас получился более удачный ребрендинг, чем у Альтмана 🔵
Please open Telegram to view this post
VIEW IN TELEGRAM
😁116
This media is not supported in your browser
VIEW IN TELEGRAM
Все ждали Claude Opus 3.5, а получили обновленный Sonnet 3.5 и Claude 3.5 Haiku
Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).
Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.
Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.
Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).
Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.
Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.
Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
👍41❤9🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Да, эту работу ИИ точно заберет захочет забрать не скоро
😁95🔥14👍6🤯1
Ли Кайфу: экономика ИИ в США "невероятно нездоровая"
Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:
➡️ Экосистема ИИ держится только на Nvidia, к которой пытаются присоединиться еще несколько мелких производителей, и в сумме они все зарабатывают около $75 млрд. При этом сама инфраструктура ИИ зарабатывает около $10 млрд, а производители ИИ-приложений и вовсе лишь $5 млрд. Такая пирамида – это плохо, и в здоровой экономике все должно быть ровно наоборот.
➡️ Дело в том, что традиционно приложения должны зарабатывать больше, чем инфраструктура, чтобы привлекать новых пользователей и деньги. За счет этого развивается инфраструктура. Иначе развитию конец.
➡️ Чтобы решить проблему, компании должны работать над снижением стоимости инференса моделей, а также создавать собственные вертикальные технологические стеки (как Apple сделала с iPhone). "Самыми успешными будут те, кто создаст собственные чипы".
➡️ Например, модель BeaGo стартапа Ли 01.ai работает в основном на собственном железе, оптимизированном именно под эту модель, и именно за счет этого BeaGo такая дешевая (ее обучение стоило всего $3 млн, а стоимость инференса $0,14 / М).
➡️ Основная цель ИИ – зарабатывать и экономить деньги. Поэтому эта технология должна стать не просто частью предприятий, автоматизацией каких-то его частей и тд, а "главным мозгом" и инструментом добычи дохода.
Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥54
Крутые новости из мира математики: в GIMPS нашли новое самое большое простое число
Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.
Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.
Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
К слову, вот вам интересный факт про новый релиз Anthropic: над подобным агентом, управляющим компьютером, OpenAI работает с 2016 года (их пост об этом того времени)
И, как вы думаете, кто именно работал на этом проекте в OpenAI? Правильно, текущий CEO Anthropic Дарио Амодеи и один из ведущих разработчиков стартапа Джек Кларк.
И, как вы думаете, кто именно работал на этом проекте в OpenAI? Правильно, текущий CEO Anthropic Дарио Амодеи и один из ведущих разработчиков стартапа Джек Кларк.
👍48😁40
Forwarded from XOR
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯126😁36
В компании ситуацию пока не комментируют, но на сайте у российских пользователей вернулась возможность загружать драйверы без VPN.
Please open Telegram to view this post
VIEW IN TELEGRAM
😐69👍23🤨11🔥7❤2
Новость, уже ставшая постоянной рубрикой канала: OpenAI покинул очередной ведущий специалист
В этот раз это Майлз Брендедж – он был старшим консультантом OpenAI по AGI и возглавлял команду AGI Readiness. Майлз проработал в компании 6 лет. В своем прощальном блоге он написал, что уходит, потому что хочет влиять на развитие ИИ "снаружи отрасли, а не изнутри".
А вот еще одна интересная цитата из этого блога:
Майлз пишет, что хочет создать nonprofit организацию/присоединиться к существующей и сосредоточиться на исследовании политики в отношении AGI. Исследователь также написал, что в последнее время в OpenAI он работал над уточнением термина AGI и этапов развития ИИ (то, о чем говорил Альтман), и, возможно, скоро на эту тему выйдет статья.
В этот раз это Майлз Брендедж – он был старшим консультантом OpenAI по AGI и возглавлял команду AGI Readiness. Майлз проработал в компании 6 лет. В своем прощальном блоге он написал, что уходит, потому что хочет влиять на развитие ИИ "снаружи отрасли, а не изнутри".
А вот еще одна интересная цитата из этого блога:
Вообще говоря, ни OpenAI, ни любая другая лаборатория, ни мир в целом не готовы к AGI. Это не камень в огород OpenAI, просто человечество только в начале этого пути и пока готовится к тому, чтобы быть готовыми к AGI.
Майлз пишет, что хочет создать nonprofit организацию/присоединиться к существующей и сосредоточиться на исследовании политики в отношении AGI. Исследователь также написал, что в последнее время в OpenAI он работал над уточнением термина AGI и этапов развития ИИ (то, о чем говорил Альтман), и, возможно, скоро на эту тему выйдет статья.
Улучшенная версия BPR
В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям.
Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма.
Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов😱
В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%!
Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline.
Исходный код и дополнительные материалы можно найти на GitHub.
В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям.
Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма.
Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов
В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%!
Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline.
Исходный код и дополнительные материалы можно найти на GitHub.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤52🔥12🍌12🤯4😎3