Начало 80-х, маленький со-основатель и CEO Google DeepMind Демис Хассабис сидит на шахматном турнире на двух подушках, чтобы доставать до противоположной стороны доски 🥺
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥219❤77 21🤗14😍13👍10👏6😁5🗿3
Data Secrets
В дополнение к сегодняшней статье: собрали для вас другие наиболее интересные работы Sakana AI на тему новых методов обучения ИИ и построения агентов ➖ Wider or Deeper? Про альтернативный подход к масштабированию ризонинга с помощью гибких деревьев поиска.…
Media is too big
VIEW IN TELEGRAM
CEO SakanaAI Лион Джонс: «Пришло время выйти за рамки трансформеров и оставить их в прошлом»*
Изюминка в том, что сам Лион – один из изобретателей трансформера, со-автор (один из восьми) статьи «Attention is all you need».
SakanaAI как раз занимается поиском новых архитектур. В основном они черпают вдохновение из эволюции и биологии.
Мы за ними следим очень давно, и недавно делали большую подборку с нашими разборами их статей вот тут. Обязательно почитайте на досуге, исследования у них правда занятные.
С одним из подходов под названием Continuous Thought Machine они сейчас выходят на NeurIPS 2025. Это почти полное переосмысление архитектуры LLM, вдохновленное биологическими нейронными процессами. Вместо прямых проходов по сети – тики мыслей, как в мозге. Вместо нейронов – перцептроны с собственной памятью. Вот наш разбор.
А еще недавно они закрыли крупный инвестиционный раунд на 20 миллиардов йен (примерно 135 миллионов долларов), и теперь, насколько нам известно, являются самым дорогим японским стартапом.
*Источник: новое интервью Лиона с ML Street Talk
Изюминка в том, что сам Лион – один из изобретателей трансформера, со-автор (один из восьми) статьи «Attention is all you need».
SakanaAI как раз занимается поиском новых архитектур. В основном они черпают вдохновение из эволюции и биологии.
Мы за ними следим очень давно, и недавно делали большую подборку с нашими разборами их статей вот тут. Обязательно почитайте на досуге, исследования у них правда занятные.
С одним из подходов под названием Continuous Thought Machine они сейчас выходят на NeurIPS 2025. Это почти полное переосмысление архитектуры LLM, вдохновленное биологическими нейронными процессами. Вместо прямых проходов по сети – тики мыслей, как в мозге. Вместо нейронов – перцептроны с собственной памятью. Вот наш разбор.
А еще недавно они закрыли крупный инвестиционный раунд на 20 миллиардов йен (примерно 135 миллионов долларов), и теперь, насколько нам известно, являются самым дорогим японским стартапом.
*Источник: новое интервью Лиона с ML Street Talk
❤130 36👍18❤🔥14🏆7🔥4🤔2🤨2⚡1😁1🗿1
This media is not supported in your browser
VIEW IN TELEGRAM
Сегодня все соцсети гудят о том, что видеокарты сильно подорожают в ближайшее время
И да, это, к сожалению, правда. Дело в том, что сейчас наблюдается просто беспрецедентный спрос на память из-за рынка ИИ. По данным TrendForce, цены на память в последнее время повысились на 15-25%.
А это значит, что компаниям некуда деваться: производство дорожает, и цены неизбежно будут расти.
Ожидается, что особенно это отразится на среднеценовом и высокопроизводительном сегментах, там стоимость может подскочить процентов на 15-20. А выпуск бюджетных моделей вообще могут сократить из-за нерентабельности.
AMD, например, уже официально уведомила своих партнеров о предстоящем повышении цен на все свои GPU на 10% (включая игровые).
Что касается Nvidia, то они уже повышали цены в этом году. Где-то в мае они увеличили стоимость видеокарт в среднем на 15% из-за роста производственных расходов и «геополитической ситуации». Вероятно, сразу после Нового Года это произойдет опять.
Мораль: если вы собирались покупать видеокарту, то сейчас самое время💀
И да, это, к сожалению, правда. Дело в том, что сейчас наблюдается просто беспрецедентный спрос на память из-за рынка ИИ. По данным TrendForce, цены на память в последнее время повысились на 15-25%.
А это значит, что компаниям некуда деваться: производство дорожает, и цены неизбежно будут расти.
Ожидается, что особенно это отразится на среднеценовом и высокопроизводительном сегментах, там стоимость может подскочить процентов на 15-20. А выпуск бюджетных моделей вообще могут сократить из-за нерентабельности.
AMD, например, уже официально уведомила своих партнеров о предстоящем повышении цен на все свои GPU на 10% (включая игровые).
Что касается Nvidia, то они уже повышали цены в этом году. Где-то в мае они увеличили стоимость видеокарт в среднем на 15% из-за роста производственных расходов и «геополитической ситуации». Вероятно, сразу после Нового Года это произойдет опять.
Мораль: если вы собирались покупать видеокарту, то сейчас самое время
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯83 47🗿15😁9❤5 5👍2🤨2 2🎄1
Это первая модель, которая пробила планку 80 на SWE bench verified. С ее 80.9% это теперь уверенная SOTA по кодингу.
Модель уже доступна в API, и, что самое приятное, цена относительно предыдущего Opus упала! Было 15$/75$, стало 5/25, ощутимое понижение.
Плюс, модель снова стала экономичнее относительно токенов: на среднем уровне ризонинга она достигает уровня Sonnet 4.5, используя на 76% меньше токенов. А при выкрученном на максимум бюджете обходит Sonnet аж на 4.3 процентных пункта (SWE bench), используя на 48% меньше токенов.
Anthropic пишут, что скормили Opus 4.5 внутренний экзамен, который они дают кандидатам при устройстве на работу. За 2 часа модель справилась с ним лучше, чем любой человек когда-либо в истории стартапа.
Что касается апдейтов в продукте:
– В Claude App добавили сжатие контекста, как в новом Codex. При достижении лимита старый контекст суммаризуется и передается в новое контекстное окно, и вы не упираетесь в конец диалога. Кроме того, теперь в десктопное приложение завезли Claude Code, и там его можно параллелить на разные задачки.
– Из беты вышли Claude для Chrome и для Excel.
– Теперь можно самостоятельно контролировать время размышлений, есть режимы low, high и medium.
🔥 www.anthropic.com/news/claude-opus-4-5
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👏141🔥76❤34👍15😁7🏆5🗿4⚡1
США запускает еще один масштабный госпроект в сфере ИИ – Genesis Mission
Цель – ускорение научного прогресса с помощью ИИ. Масштаб инициативы вполне сравним с Манхэттенским проектом или Apollo Program.
Бюджет пока нигде не освещают, но вот что собираются сделать по факту:
1. Создать так называемую American Science and Security Platform, которая объединит в себе данные, инструменты, железо и среды для обучения научных агентов.
Для этого в течение 3 месяцев министерство энергетики США будет собирать вычислительные ресурсы (в том числе договариваться с частным сектором), затем 4 месяца подыскивать данные и оформлять их по специальному протоколу безопасности, чтобы Китай ничего не покрал. К сбору данных тоже привлекут всех кого можно: частников, университеты, госсектор.
2. Только после этого начнется дообучение моделей. Что интересно: для валидации и обучения планируют использовать роботизированные лаборатории. То есть модель предлагает гипотезу -> робот по намеченному плану проводит эксперимент и получает результат -> модель анализирует, что получилось, и делает выводы.
Первые реальные результаты должны показать уже в 2027, если все пойдет по плану.
В проекте точно примут участие OpenAI и Anthropic. Возможно, привлекут и другие лаборатории (хотя после конфликта Трампа и Маска – непонятно, будет ли xAI а списке😐 ).
www.whitehouse.gov/presidential-actions/2025/11/launching-the-genesis-mission/
Цель – ускорение научного прогресса с помощью ИИ. Масштаб инициативы вполне сравним с Манхэттенским проектом или Apollo Program.
Бюджет пока нигде не освещают, но вот что собираются сделать по факту:
1. Создать так называемую American Science and Security Platform, которая объединит в себе данные, инструменты, железо и среды для обучения научных агентов.
Для этого в течение 3 месяцев министерство энергетики США будет собирать вычислительные ресурсы (в том числе договариваться с частным сектором), затем 4 месяца подыскивать данные и оформлять их по специальному протоколу безопасности, чтобы Китай ничего не покрал. К сбору данных тоже привлекут всех кого можно: частников, университеты, госсектор.
2. Только после этого начнется дообучение моделей. Что интересно: для валидации и обучения планируют использовать роботизированные лаборатории. То есть модель предлагает гипотезу -> робот по намеченному плану проводит эксперимент и получает результат -> модель анализирует, что получилось, и делает выводы.
Первые реальные результаты должны показать уже в 2027, если все пойдет по плану.
В проекте точно примут участие OpenAI и Anthropic. Возможно, привлекут и другие лаборатории (хотя после конфликта Трампа и Маска – непонятно, будет ли xAI а списке
www.whitehouse.gov/presidential-actions/2025/11/launching-the-genesis-mission/
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡80❤30🤔25👍12 8😁7🤯6🔥3👏1
Meta собирается закупать у Google TPU
Знаменательна эта сделка тем, что Meta станет первой крупной компанией, которая купит TPU для установки в собственные дата-центры.
До этого в этом году на гугловское железо уже заключали большие контракты Anthropic и SSI Ильи Суцкевера, а про OpenAI даже ходили слухи, что они хотят полностью пересесть на TPU.
Но это все было про аренду мощностей в облаке, а Meta станут, по факту, пионерами в непосредственном физическом владении чипами. Интеграцию TPU в свои центры они начнут в 2027.
Для Google эта сделка – не просто хорошие деньги, но и важный стратегический рубеж.
Подписать такой контракт – значит окончательно и публично подтвердить свои аппаратные амбиции. У Google есть реальная возможность расширить присутствие TPU на рынке, и их аналитики считают, что компания может оттяпать у Nvidia аж 10% выручки.
Знаменательна эта сделка тем, что Meta станет первой крупной компанией, которая купит TPU для установки в собственные дата-центры.
До этого в этом году на гугловское железо уже заключали большие контракты Anthropic и SSI Ильи Суцкевера, а про OpenAI даже ходили слухи, что они хотят полностью пересесть на TPU.
Но это все было про аренду мощностей в облаке, а Meta станут, по факту, пионерами в непосредственном физическом владении чипами. Интеграцию TPU в свои центры они начнут в 2027.
Для Google эта сделка – не просто хорошие деньги, но и важный стратегический рубеж.
Подписать такой контракт – значит окончательно и публично подтвердить свои аппаратные амбиции. У Google есть реальная возможность расширить присутствие TPU на рынке, и их аналитики считают, что компания может оттяпать у Nvidia аж 10% выручки.
❤62🔥27👍18👀6😁2
Рисерчеры и студенты, это для вас: легендарный Эндрю Ын (сооснователь Coursera и доцент Стэнфоррда) сделал ИИ-ревьюера для научных работ
Суть проекта – в быстром пред-ревью вашей работы перед тем, как вы отправите ее в журнал или научруку. Человеческое ревью длится неделями и даже месяцами, а тут вы можете предвательно оценить, насколько исследование "понравится" ревьюерам и заранее исправить замечания, которые обнаружит агент.
Систему обучали на ревью с конференции ICLR 2025. Качество оценивали с помощью корреляции Спирмена: чем выше значение, тем ближе ревью агента к человеческим, то есть тем точнее "прогноз" агента относительно вашей работы.
В результате корреляция ИИ с человеком получилась равной 0.42. Кажется немного, но вот вам фанфэкт: корреляция между ревьюером и другим ревьюером в среднем составляет 0.41. То есть верить инструменту вполне можно.
На инференсе агент использует atXiv для ревью, так что лучше всего тулза работает именно с CS/ИИ статьями, которые публикуются там в избытке.
Забирайте, это бесплатно: https://paperreview.ai/
Суть проекта – в быстром пред-ревью вашей работы перед тем, как вы отправите ее в журнал или научруку. Человеческое ревью длится неделями и даже месяцами, а тут вы можете предвательно оценить, насколько исследование "понравится" ревьюерам и заранее исправить замечания, которые обнаружит агент.
Меня вдохновила история студента, чью работу отклоняли 6 раз за 3 года. Цикл обратной связи обычно занимает примерно пол года, и это мучительно долго. Я захотел проверить, насколько агенты смогут помочь исследователям ускорить процесс.
Систему обучали на ревью с конференции ICLR 2025. Качество оценивали с помощью корреляции Спирмена: чем выше значение, тем ближе ревью агента к человеческим, то есть тем точнее "прогноз" агента относительно вашей работы.
В результате корреляция ИИ с человеком получилась равной 0.42. Кажется немного, но вот вам фанфэкт: корреляция между ревьюером и другим ревьюером в среднем составляет 0.41. То есть верить инструменту вполне можно.
На инференсе агент использует atXiv для ревью, так что лучше всего тулза работает именно с CS/ИИ статьями, которые публикуются там в избытке.
Забирайте, это бесплатно: https://paperreview.ai/
❤112🔥35👍11🤯10😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Читаем сейчас системную карту Opus 4.5, там гигантская глава про элаймент. На контрасте с OpenAI ребята конечно очень упарываются по безопасности.
В связи с этим вспомнился мем
В связи с этим вспомнился мем
😁208❤23🔥8👍3❤🔥1👏1🍓1
Data Secrets
Лучшая новость дня: у Дваркеша Пателя завтра выйдет интервью с Ильей Суцкевером. Последний раз ученый давал интервью журналистам, кажется, в 2023. Ждем сильнее, чем новый Claude Opus 4.5
Вышло!
Новое интервью Суцкевера смотрим тут -> https://youtu.be/aR20FWCCjAs
Полтора часа кайфа во вторник вечером
Новое интервью Суцкевера смотрим тут -> https://youtu.be/aR20FWCCjAs
Полтора часа кайфа во вторник вечером
YouTube
Ilya Sutskever – We're moving from the age of scaling to the age of research
Ilya & I discuss SSI’s strategy, the problems with pre-training, how to improve the generalization of AI models, and how to ensure AGI goes well.
𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒
* Trannoscript: https://www.dwarkesh.com/p/ilya-sutskever-2
* Apple Podcasts: https://podcasts.…
𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒
* Trannoscript: https://www.dwarkesh.com/p/ilya-sutskever-2
* Apple Podcasts: https://podcasts.…
❤55👍24🔥14🗿5🐳2
Media is too big
VIEW IN TELEGRAM
OpenAI перекроили голосовой режим
Теперь он будет работать не в отдельном окне, а прямо в чате. Вы говорите и тут же видите историю диалога, прикрепленные материалы и то, как в чате появляются ответы.
Имхо, так гораздо удобнее. Но если вам нравилось, как раньше, вернуть такой интерфейс можно в настройках (Voice Mode -> Separate mode).
Уже раскатывают на всех, обновляйте приложение
Теперь он будет работать не в отдельном окне, а прямо в чате. Вы говорите и тут же видите историю диалога, прикрепленные материалы и то, как в чате появляются ответы.
Имхо, так гораздо удобнее. Но если вам нравилось, как раньше, вернуть такой интерфейс можно в настройках (Voice Mode -> Separate mode).
Уже раскатывают на всех, обновляйте приложение
❤65👍40🔥17😁1
FLUX.2 – новая опенсорсная SOTA в генерации изображений
Сразу дисклеймер. Модель идет в трех вариантах: Pro, Flex, Dev. Опенсорснули пока только Dev (некоммерческая лицензия). Вот веса. Скоро обещают выпустить еще FLUX.2 [klein], опенсорсную дистилляцию из FLUX.2 base под лицензией Apache 2.0.
Самая прикольная, конечно, Pro. Там и фотореалистичность круто прокачана, и всякий свет/текстуры/текст не плывут. Выглядит действительно красиво, в общем.
Также теперь можно загружать до 10 референсов (понимание промпта обещают на высоте, но будем проверять). Разрешение генераций до 4MP.
Что еще радует, так это соотношение цена/качество: от Nano-Banana 2 большинство генераций вообще не отличить по качеству, зато стоит FLUX.2 на 20% меньше.
Попробовать бесплатно можно здесь
Сразу дисклеймер. Модель идет в трех вариантах: Pro, Flex, Dev. Опенсорснули пока только Dev (некоммерческая лицензия). Вот веса. Скоро обещают выпустить еще FLUX.2 [klein], опенсорсную дистилляцию из FLUX.2 base под лицензией Apache 2.0.
Самая прикольная, конечно, Pro. Там и фотореалистичность круто прокачана, и всякий свет/текстуры/текст не плывут. Выглядит действительно красиво, в общем.
Также теперь можно загружать до 10 референсов (понимание промпта обещают на высоте, но будем проверять). Разрешение генераций до 4MP.
Что еще радует, так это соотношение цена/качество: от Nano-Banana 2 большинство генераций вообще не отличить по качеству, зато стоит FLUX.2 на 20% меньше.
Попробовать бесплатно можно здесь
👍62🔥21❤11😁8👏3
Media is too big
VIEW IN TELEGRAM
tl;dr по новому интервью Ильи Суцкевера у Дваркеша Пателя. Собрали самые яркие цитаты и мысли:
➖ Эпоха масштабирования моделей закончилась: мы возвращаемся в эпоху рисерча. Просто "вбухать еще больше компьюта" уже не работает: чтобы добиться существенного прорыва, нужны новые открытия.
➖ Узкое место текущих моделей – все еще генерализация. Это самое существенное, в чем ИИ отстает от человека, и, как следствие, основное препятствие на пути к AGI. Оценки на бенчах действительно выглядят хорошо и продолжают улучшаться, но это в какой-то степени мираж. Реальное качество отстает, потому что модели (в частности, во время RL) переобучаются под эвалы, а исследователи только способствуют этому, продолжая плодить однотипные бенчмарки и трейнинг лупы.
➖ Илья говорит, что у него есть идеи по поводу того, чего не хватает текущим моделям, но не делится ими, к сожалению. Хотя в интервью были намеки на то, что в SSI разрабатывают методы на основе Continual Learning и динамических reward функций.
➖ AGI может наступить и через 5, и через 20 лет. И когда AGI появится, самый надежный для людей способ не остаться бесполезными и сохранить контроль – слияние с ИИ (Neuralink???).
Все еще сильно советуем посмотреть полностью здесь
Все еще сильно советуем посмотреть полностью здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113 44❤25🔥7🗿7😁4 3👏2💯2🤯1🫡1