Статья-zeitgeist от рисечера из OpenAI.
Главная тема всех разговоров в последние 3 месяцев — RL в LLM и агентах наконец-таки заработал! Начинается второй тайм.
RL стал переносимым. Большие языковые модели + шаг «подумать» + короткое RL-дообучение теперь решают код, математику, длинные вопросы и работу с компьютером. Претрейн даёт знания, рассуждение расширяет пространство действий.Один и тот же метод начинает работать почти везде, а не в узком домене файнтьюна, как раньше.
Появился готовый "рецепт" универсального агента. Берём LLM, разрешаем ей размышлять текстом, слегка подкрепляем на конкретной задаче. Почему: ключевыми оказались не алгоритмы RL, а сильные языковые приёмы (priors) и возможность размышлять.
ИИ побеждает в шахматах, Go, SAT и олимпиадах, а экономика почти не меняется. Почему: тесты далеки от реальных рабочих процессов. Эффект: нужны задачи, где улучшение метрики прямо увеличивает ценность для пользователя или бизнеса. Чтобы ИИ дал x10 мирового ВВП нам уже не нужны более умные ИИ. Скорее, наоборот, чуть тупее, специализированнее и главное надежнее.
В ИИ стартапах навыки продакт-мышления выходят на первый план. Теперь важно не как обучить, а "что именно стоит решать" и "как измерить экономическую выгоду". Исследователь превращается в продукт-менеджера — определяет проблему, метрику и путь к реальному эффекту.
Нужно больше минералов. И минералов ли?
Главная тема всех разговоров в последние 3 месяцев — RL в LLM и агентах наконец-таки заработал! Начинается второй тайм.
RL стал переносимым. Большие языковые модели + шаг «подумать» + короткое RL-дообучение теперь решают код, математику, длинные вопросы и работу с компьютером. Претрейн даёт знания, рассуждение расширяет пространство действий.Один и тот же метод начинает работать почти везде, а не в узком домене файнтьюна, как раньше.
Появился готовый "рецепт" универсального агента. Берём LLM, разрешаем ей размышлять текстом, слегка подкрепляем на конкретной задаче. Почему: ключевыми оказались не алгоритмы RL, а сильные языковые приёмы (priors) и возможность размышлять.
ИИ побеждает в шахматах, Go, SAT и олимпиадах, а экономика почти не меняется. Почему: тесты далеки от реальных рабочих процессов. Эффект: нужны задачи, где улучшение метрики прямо увеличивает ценность для пользователя или бизнеса. Чтобы ИИ дал x10 мирового ВВП нам уже не нужны более умные ИИ. Скорее, наоборот, чуть тупее, специализированнее и главное надежнее.
В ИИ стартапах навыки продакт-мышления выходят на первый план. Теперь важно не как обучить, а "что именно стоит решать" и "как измерить экономическую выгоду". Исследователь превращается в продукт-менеджера — определяет проблему, метрику и путь к реальному эффекту.
Нужно больше минералов. И минералов ли?
ysymyth.github.io
The Second Half
tldr: We’re at AI’s halftime.
5❤122
Найден годный конспект по LLM на русском языке
Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:
– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.
Забрать полную pdf-версию абсолютно бесплатно можно здесь
#реклама
Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:
– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.
Забрать полную pdf-версию абсолютно бесплатно можно здесь
#реклама
❤82
Записал еще одно видео, где показываю как с помощью Курсора, гита и markdown файликов можно ИИ-автоматизировать разные важные процессы в работе и жизни: https://x.com/sgershuni/status/1924865895886946786
X (formerly Twitter)
stepan (@cyntro_py) on X
AI is becoming an operating system.
I open-sourced my cybernetic OS that automates workouts, diet, therapy, GTD, my venture capital work, content creation, side projects.
More useful than any agent, 100% customizable, runs off markdown, git, .rules and…
I open-sourced my cybernetic OS that automates workouts, diet, therapy, GTD, my venture capital work, content creation, side projects.
More useful than any agent, 100% customizable, runs off markdown, git, .rules and…
4❤75
Когда телега оживет, скину пример кина с Google I/O, которое теперь делается с ИИ со старого андроида сидя на уличном туалете в деревне Бангладеша.
Можно сказать что базовые модели в каком-то смысле уже done. Для 99% задач в мировой экономике никому не нужна модель мощнее или лучше, чем Veo или o3. Нужны только лишь агенты, надежность, предсказуемость и дешевизна. И все это придет в ближайшие пару лет.
Можно сказать что базовые модели в каком-то смысле уже done. Для 99% задач в мировой экономике никому не нужна модель мощнее или лучше, чем Veo или o3. Нужны только лишь агенты, надежность, предсказуемость и дешевизна. И все это придет в ближайшие пару лет.
❤114
Google тут показывает, что у них еще остался порох в пороховницах.
Из всего набора рекомендую посмотреть на Veo 3 — делает профессиональный продакшен видео за центы и на diffusion агента, который пишет тысячи строк кода в секунду. Оба примера в видео.
Из всего набора рекомендую посмотреть на Veo 3 — делает профессиональный продакшен видео за центы и на diffusion агента, который пишет тысячи строк кода в секунду. Оба примера в видео.
1❤120
Профессия content creator под вопросом. В этом видео нет ни живого человека, ни реальной игры, ни детального сюжета. Просто промт «стрим майнкрафта».
Генерация видео в гугле будет стоить около $0.1 за секунду генерации, тогда как топовые стримеры зарабатывают около $1 за секунду стрима.
Естественно, цена генерации видео упадет как минимум в 1000 раз, но это приведет только лишь к засилию CCC- контента.
Генерация видео в гугле будет стоить около $0.1 за секунду генерации, тогда как топовые стримеры зарабатывают около $1 за секунду стрима.
Естественно, цена генерации видео упадет как минимум в 1000 раз, но это приведет только лишь к засилию CCC- контента.
3❤95
Трамп закупился на $2,5 ярда биткоином, а Любин запустил Microstrategy для эфира.
Честно говоря, за 11 лет с момента покупки первого биткоина я еще никогда не был так bullish про крипту. Причина: любые бессмысленные понзи-пирамиды вроде ICO 17го, йилд ферм 20го, NFT 21го или мемкоинов и тапалок 23го — неизбежно приводят к пузырю, отъёму денег у населения и последующему лопанию пузыря. Кто успел тот и заработал, остальные воют и ноют что все кругом скам. Так себе эпоха развитого капитализма.
В реальности крипта, как продукт, решает совсем иные проблемы, кроме как уход от регуляции и построение изощренных пирамид. И только в реальных юзкейсах, которые близки и понятны миллиардам пользователям, а не Дубай-криминал тусы.
В частности, эти три больших юзкейса:
1. программируемые деньги (стейблы и биткоин)
2. токенизация ассетов (как существующих секьюрити, но с улучшенным UX — T-bonds, акции, бонды, фонды, так и токенизация сложносекьритизируемого типа недвижки, кешфлоу приватных компаний, ИИ агентов, PE бизнесов)
3. DeFi экосистема как blend между традфаем и дефаем. для юзера уже сегодня особо нет разницы хранить стейблы или доллары на счету. это удобнее для компаний, прозрачнее, платежи дешевле, программируемость дает гибкость. для юзера это возможность получить yield в 6% против <1% в банке без больших дополнительных рисков
(4. возможно, программируемые финансы для ИИшек тоже, но этого рынка пока толком нет)
важно заметить, что 2 и 3 происходят почти исключительно на эфире. в других чейнах нет для этого экосистемы, ликвидности и достаточной инфраструктуры. солана заняла интересную нишу консьюмерских кейсов, биткоин это биткоин, а кроме эфира никаких внятных конкурентов для этих рынков не предвидится.
я почти исключительно инвестирую, рисерчу и строю в AI/ML, по большей части там очень классический веб2 бизнес, но мне как пользователю очень хочется чтобы эти продукты поскорее случились, и это на сегодняшний день уже фактически неизбежно.
Честно говоря, за 11 лет с момента покупки первого биткоина я еще никогда не был так bullish про крипту. Причина: любые бессмысленные понзи-пирамиды вроде ICO 17го, йилд ферм 20го, NFT 21го или мемкоинов и тапалок 23го — неизбежно приводят к пузырю, отъёму денег у населения и последующему лопанию пузыря. Кто успел тот и заработал, остальные воют и ноют что все кругом скам. Так себе эпоха развитого капитализма.
В реальности крипта, как продукт, решает совсем иные проблемы, кроме как уход от регуляции и построение изощренных пирамид. И только в реальных юзкейсах, которые близки и понятны миллиардам пользователям, а не Дубай-криминал тусы.
В частности, эти три больших юзкейса:
1. программируемые деньги (стейблы и биткоин)
2. токенизация ассетов (как существующих секьюрити, но с улучшенным UX — T-bonds, акции, бонды, фонды, так и токенизация сложносекьритизируемого типа недвижки, кешфлоу приватных компаний, ИИ агентов, PE бизнесов)
3. DeFi экосистема как blend между традфаем и дефаем. для юзера уже сегодня особо нет разницы хранить стейблы или доллары на счету. это удобнее для компаний, прозрачнее, платежи дешевле, программируемость дает гибкость. для юзера это возможность получить yield в 6% против <1% в банке без больших дополнительных рисков
(4. возможно, программируемые финансы для ИИшек тоже, но этого рынка пока толком нет)
важно заметить, что 2 и 3 происходят почти исключительно на эфире. в других чейнах нет для этого экосистемы, ликвидности и достаточной инфраструктуры. солана заняла интересную нишу консьюмерских кейсов, биткоин это биткоин, а кроме эфира никаких внятных конкурентов для этих рынков не предвидится.
я почти исключительно инвестирую, рисерчу и строю в AI/ML, по большей части там очень классический веб2 бизнес, но мне как пользователю очень хочется чтобы эти продукты поскорее случились, и это на сегодняшний день уже фактически неизбежно.
17❤147
Главный тормоз цивилизации всегда был не нехватка идей, а предел того, как быстро мы можем координироваться. И этот предел стремительно меняется прямо сейчас.
У животных прогресс идёт со скоростью мутаций: нужно тысячи поколений, чтобы «договориться» о любой новой стратегии. Человек вырвался вперёд, когда изобрёл речь — коллективные мифы позволили координировать племя быстрее, чем гены. Письменность и государства расширили радиус согласия до миллионов людей, интернет и мессенджеры уронили цену связи почти до нуля, но упёрлись в последнюю стену: скорость чтения, речи и обработки информации биологическим мозгом. И именно это было upper bound координации всегда — во времена древних царей обсуждающих со своими помощниками решения до сегодняшних гипюр-цифровых СЕО.
Искусственный интеллект снимает этот человеческий блок. Машины выдают и читают тысячи токенов в секунду, могут держать в фокусе больше контекста, связывать миллионы автономных агентов в рабочие рои. Как только координация станет дешевле и быстрее, чем мыслительный цикл отдельного мозга, правила сборки общества перепишутся — и скорость координации (а значит и изменения мира) значительно увеличится.
У животных прогресс идёт со скоростью мутаций: нужно тысячи поколений, чтобы «договориться» о любой новой стратегии. Человек вырвался вперёд, когда изобрёл речь — коллективные мифы позволили координировать племя быстрее, чем гены. Письменность и государства расширили радиус согласия до миллионов людей, интернет и мессенджеры уронили цену связи почти до нуля, но упёрлись в последнюю стену: скорость чтения, речи и обработки информации биологическим мозгом. И именно это было upper bound координации всегда — во времена древних царей обсуждающих со своими помощниками решения до сегодняшних гипюр-цифровых СЕО.
Искусственный интеллект снимает этот человеческий блок. Машины выдают и читают тысячи токенов в секунду, могут держать в фокусе больше контекста, связывать миллионы автономных агентов в рабочие рои. Как только координация станет дешевле и быстрее, чем мыслительный цикл отдельного мозга, правила сборки общества перепишутся — и скорость координации (а значит и изменения мира) значительно увеличится.
2❤207
Почти все говорят о том как построить более мощный ИИ и как побыстрее внедрить его в бизнес и экономику.
Почти никто не говорит о том к чему это приведет и зачем мы это делаем. Какой мир будущего мы хотим создать? Как сделать так, чтобы технологии привели к процветанию, но не угнетению и контролю? Как ИИ повлияет на экономику, политику, образование, общество и личную жизнь?
Даже по комментариям под предыдущим постом видно что эти вопросы критически важны, но многие по-прежнему избегают говорить об этом публично. ИИ неостановим, а то к чему это приведет решать только нам!
Мы делаем бесплатную конференцию на эту тему с лучшими спикерами — основатели компаний стоимостью в миллиарды долларов, профессора из Стенфорда, исследователи криптографии, машинного обучения и экономики. Ну и, конечно, ваш покорный слуга-киберэкономист.
Короче, записывайтесь и приезжайте. 15 июня, воскресенье, Edge City Esmeralda (примерно час езды на север от Сан-Франциско в прекрасной винной долинe Napa Valley).
Детали мероприятия: https://x.com/JoinEdgeCity/status/1927798748505329922
Регистрация: https://lu.ma/9kp3ruba?tk=sIDF9i
Почти никто не говорит о том к чему это приведет и зачем мы это делаем. Какой мир будущего мы хотим создать? Как сделать так, чтобы технологии привели к процветанию, но не угнетению и контролю? Как ИИ повлияет на экономику, политику, образование, общество и личную жизнь?
Даже по комментариям под предыдущим постом видно что эти вопросы критически важны, но многие по-прежнему избегают говорить об этом публично. ИИ неостановим, а то к чему это приведет решать только нам!
Мы делаем бесплатную конференцию на эту тему с лучшими спикерами — основатели компаний стоимостью в миллиарды долларов, профессора из Стенфорда, исследователи криптографии, машинного обучения и экономики. Ну и, конечно, ваш покорный слуга-киберэкономист.
Короче, записывайтесь и приезжайте. 15 июня, воскресенье, Edge City Esmeralda (примерно час езды на север от Сан-Франциско в прекрасной винной долинe Napa Valley).
Детали мероприятия: https://x.com/JoinEdgeCity/status/1927798748505329922
Регистрация: https://lu.ma/9kp3ruba?tk=sIDF9i
1❤83
Ох, Сакана хайпует как не в себя с названиями пейперов, конечно. Но идея интересная и давно уже назревшая: бесконечно самоулучшающийся ИИ.
Они назвали это машина Дарвина-Гöделя.
От Дарвина здесь идея мутаций и естественного отбора: ИИ переписывает свой код, меняет алгоритм, создает "детей", но выживают только сильнейшие.
А от Гöделя, вернее Шмидхубера, идея его машины: машина, которая переслбирает себя (переписывает свой код) в процессе работы для постоянной оптимизации.
Вместе формального пруфа, авторы используют эмпирический подход: если трай дал лучше результат, то изменения принимаются и сохраняются в генеалогическом древе алгоритма.
Заявляют, что такой прием помог вырастить точность SWEbench с 20 до 50%.
Они назвали это машина Дарвина-Гöделя.
От Дарвина здесь идея мутаций и естественного отбора: ИИ переписывает свой код, меняет алгоритм, создает "детей", но выживают только сильнейшие.
А от Гöделя, вернее Шмидхубера, идея его машины: машина, которая переслбирает себя (переписывает свой код) в процессе работы для постоянной оптимизации.
Вместе формального пруфа, авторы используют эмпирический подход: если трай дал лучше результат, то изменения принимаются и сохраняются в генеалогическом древе алгоритма.
Заявляют, что такой прием помог вырастить точность SWEbench с 20 до 50%.
7❤115
Media is too big
VIEW IN TELEGRAM
Нормисы, кажется, до сих пор живут в иллюзорном мире, где им кажется что ИИ не повлияет на рынок труда или экономику. Я, скорее, согласен с Дарио, Сэмом и другими, что текущих возможностей ИИ достаточно, что убрать с рынка сотни миллионов рабочих мест и почти все начальные офисные позиции.
Даже по комментариям видно, что людям кажется это какой-то далекой перспективой, которая не повлияет на их жизнь. В реальности, это произойдет в течении 1-5 лет, в зависимости от индустрии.
Это не конец, это время нереальных возможностей как для вас лично, так и для всего человечества. Но больше всего меня пугают не экономические последствия, а полное игнорирование, или — хуже — опускание рук и отдача ситуации «им там наверху». Как будет выглядеть мир решит не секретная закулиса, а фаундеры, билдеры, рисечеры и инвесторы.
Даже по комментариям видно, что людям кажется это какой-то далекой перспективой, которая не повлияет на их жизнь. В реальности, это произойдет в течении 1-5 лет, в зависимости от индустрии.
Это не конец, это время нереальных возможностей как для вас лично, так и для всего человечества. Но больше всего меня пугают не экономические последствия, а полное игнорирование, или — хуже — опускание рук и отдача ситуации «им там наверху». Как будет выглядеть мир решит не секретная закулиса, а фаундеры, билдеры, рисечеры и инвесторы.
13❤188