Data Secrets – Telegram
Data Secrets
78.8K subscribers
6.43K photos
669 videos
20 files
2.71K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Так, ну что, теперь очередь инвестировать в OpenAI добралась до Amazon

По итогам ранних переговоров, компания вложит в стартап 10 миллиардов долларов. Если все пойдет по плану, сделка добьет оценку OpenAI до 500 миллиардов.

Договор точно будет предполагать поставку OpenAI чипов Trainium и аренду дополнительных мощностей в AWS. Будут ли непосредственно финансовые вложения – пока непонятно.
😁118🤯14👍1365🔥5🤔1
Новый вайб-проект от Андрея Карпаты: проверяем, какие предсказания из 2015 сбылись

Исследователь провел маленький, но очень занятный эксперимент. Он взял 930 фронтпейдж-тредов Hacker News за декабрь 2015 года (посты + комментарии) и прогнал их через GPT-5.1 Thinking с задачей «оценить задним числом и определить, какие прогнозы были наиболее правдивыми».

В итоге 3 часа вайбкодинга, 60 долларов и вуаля: получилась система, которая ранжирует прогнозы по правдивости, исходя из того, что происходит спустя 10 лет.

Кому интересно, посмотреть результаты можно здесь, местами очень забавно.

Но проект, вообще-то, интересен еще и с теоретической точки зрения. Как пишет и сам автор, такой In-hindsight анализ = инструмент обучения предсказательному мышлению.

Если LLM может систематически разбирать, почему одни прогнозы переживают 10 лет, а другие нет, то это можно использовать для обучения моделей самостоятельно предсказывать будущее.

Тогда получается, что каждый ваш (или чей-то еще) коммент или пост в интернете – это своего рода future-labeled sample, у которого спустя время появится «правильный ответ», сбылось/не сбылось/было чушью. А какая-нибудь будущая модель, увидев много-много таких обучающих сигналов, научится надежно понимать, как приходить к статистически сбывающимся предсказаниям и тогда… 🤯

Ну, в общем, как когда-то сказал Карпаты:
Be good. Future LLMs are watching.

Код | Блогпост
Please open Telegram to view this post
VIEW IN TELEGRAM
👍127🔥5440😁15🗿7🤔4🎄1
Google выпустили новые открытые модели T5Gemma-2 и FunctionGemma

🟦 T5Gemma-2 – это очередное эффектное возвращение encoder-decoder архитектуры, теперь с длинным контекстом до 128K токенов и мультимодальностью.

Как и первая T5Gemma, которая вышла летом, T5Gemma-2 обучалась на основе обычной Gemma, которая представляет из себя decoder-only. Летом Google показали основную идею адаптации: инициализируем encoder-decoder весами decoder-only и продолжаем претрейн через UL2. Теперь этот подход перетянули в multimodal и long-contex, плюс добавили некоторые архитектурные оптимизации.

В итоге получилось, что в этот раз это уже не просто эксперимент с архитектурой, а реально полезная моделька. У нее мозги Gemma, но она лучше (+дешевле) переваривает длинные контексты, потому что имеет encoder. Так что если у вас задача типа суммаризации или работа с большими доками – смело используем.

Есть варианты на 270M-270M, 1B-1B, 4B-4B (примерная оценка суммарных параметров ~370M / ~1.7B / ~7B). Instuct, к сожалению, не публикуют, а претрейн-чекпоинты лежат тут.

🟦 FunctionGemma – это малюсенький tool-caller для агентов, всего на 270M параметров. По сути, это основа для автономного локального агента.

То есть это больше не диалоговая модель, а именно генератор structured function call. У нее даже токенизатор отличается от обычной Gemma. Она может в генерацию текста, но основная ее роль – вызвать нужные инструменты, чтобы выполнить задачу. Короче, что-то типа Siri именно для выполнения оффлайн задач на устройстве.

Google подчеркивают, что модель заточена под дообучение (а не промптинг) на конкретные задачи. Например, в кейсе из блогпоста ее достаточно дешево дообучили на Mobile Actions, и точность выросла с 58% до 85%.

Вот веса и блогпост с интересными примерами.

Все-таки Google молодцы
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8429🔥11🤔1🤨1🦄11
Vibe-proving для тех, кому уже надоел vibe-coding 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
😁212👍19🔥765🤔1🗿1
This media is not supported in your browser
VIEW IN TELEGRAM
​Вышел YaC 2025 AI Edition — в этот раз Яндекс сделал фокус на ИИ, который работает не только в экранах, но и за их пределами.

Автономный транспорт здесь самый показательный пример: ИИ принимает решения в реальной среде, где на кону безопасность.

Автономные грузовики и роботы-доставщики — это проверка ИИ как инженерной системы. Сенсоры, лидары, вычисления на борту, работа с неопределённостью, длительный пробег в реальных условиях. Такие системы либо выдерживают нагрузку, либо нет — промежуточных состояний почти не бывает. Один из автономных грузовиков Яндекса, к примеру, прошел более 500 000 км.

Если смотреть шире, Physical AI — это следующий уровень конкуренции компаний. Не у кого лучше модель, а у кого она встроена в реальные процессы: доставку, перевозки, городскую среду. И здесь входной билет измеряется не скоростью релиза, а глубиной инженерной школы.

Кому интересно, как выглядит этот сдвиг на практике — от автономных грузовиков до роверов нового поколения — YaC AI Edition уже доступен на Кинопоиске, VK Видео и YouTube.
🗿5138👍14😁14
Avocado и Mango: две новые модельки от Meta*

Появился слух, что компания разрабатывает и в ближайшем будущем планирует выпускать новую сильную LLM (Avocado) и image/video модель (Mango). Об этом рассказал Александр Ван.

К сожалению, по предварительной информации, обе модельки будут закрытые. Видимо, вместе с уходом Лекуна кончается и опенсорсная эра Meta.

Жалко, конечно. Ну надеемся, что хотя бы уровень моделей будет достойный. Не зря же Цукерберг 100500 миллиардов спустил на хантинг.
😁842310🔥7👍21
Андрей Карпаты опубликовал большой блогпост с итогами года

karpathy.bearblog.dev/year-in-review-2025/

TL;DR. Чем запомнился 2025:

1. Reinforcement Learning from Verifiable Rewards занял место RLHF. Модели начали учиться не на человеческих оценках, а на автоматически проверяемых наградах, и за счет этого появился ризонинг. Главный прогресс года – масштабирование test-time compute.

2. Люди больше не доверяют бенчмаркам. LLM не похожи на человеческий мозг, они могут быть суперумными в одних доменах и удивительно тупыми в соседних. В 2025 окончательно стало ясно, что просто высокие метрики на бенчах не означают AGI.

3. Появился Cursor и многие другие сервисы, которые демонстрируют собой новый слой LLM-приложений. Теперь ИИ – это уже не просто модели, а оркестрация вызовов, контекста, UI, автономности и стоимости под конкретную задачу.

4. Родился и стал классикой термин «вайб-кодинг»: написание кода стало дешевым и доступным, теперь навайбкодить что-нибудь в принципе может каждый.

5. Появились первые примеры сильных автономных ИИ-агентов, работающих в вашем компьютере: такие, как Claude Code.

6. Сильно прокачалась генерация изображений и видео. Настолько, что LLM-операционка уже не кажется чем-то далеким и невозможным.

LLM оказались одновременно гораздо умнее и гораздо глупее, чем ожидалось. Но они уже невероятно полезны, и индустрия реализовала, по ощущениям, меньше 10% их потенциала.


Все еще советуем почитать полностью -> karpathy.bearblog.dev/year-in-review-2025/
🔥9628👍22🗿5🤯1🤨1
This media is not supported in your browser
VIEW IN TELEGRAM
Все больше компаний запускают чат-ботов и голосовых помощников и работают с большими данными

Если вы тоже втайне надеетесь, что однажды ИИ сам исправит все ошибки после пятничного деплоя, то учтите: обучение моделей – это не просто залил данные – и готово. Это, в первую очередь, про подготовку.

Без экспертизы, бюджета и, самое главное, мощных GPU – никуда. У кого больше железа – тот и победил.

Именно поэтому так важна надежная техническая база для обучения и работы нейросетей.

Т1 Облако помогает обеспечить технологический фундамент на базе передовых GPU. Широкий выбор моделей позволяет подобрать оптимальную конфигурацию под любую вашу задачу:

🟢 3D-графика и видео
🟢 обучение LLM
🟢 НРС (высокопроизводительные вычисления)

А еще в Т1 можно легко оптимизировать затраты на вычислительные ресурсы.

Запускайте новые проекты быстрее и без лишних рисков. Получайте доступ к GPU здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
🗿34😁6👍4🔥3🤔21🕊1🦄11
А помните эксперимент Anthropic, в котором они дали Claude управлять мини-магазином в их офисе?

У истории вышло продолжение.

Контекст: летом антропики поставили Claude полностью автономно управлять вендинговым автоматом в офисе. Он занимался ценообразованием, заказывал поставки, общался с клиентами. Ему дали доступ к email, к Slack, к заметкам, к браузеру и изменению цен в автомате. Целью было радовать покупателей и максимизировать прибыль.

Сначала все шло хорошо, но в итоге бот ушел в жесткий минус, начал заказывать вольфрамовые кубики и в целом немного сошел с ума. Подробнее о том, что произошло, мы писали тут.

Но Anthropic молодцы, они не сдались и продолжили эксперимент. В итоге теперь ИИ управляет уже тремя автоматами в Нью-Йорке, Сан-Франциско и Лондоне, и почти не уходит в отрицательное сальдо.

Что изменили:

1. Добавили CRM систему и доп утилиты типа Google форм с обратной связью.

2. Добавили еще двух агентов: агента-босса, который ставит цели и условные KPI и дисциплинирует Claude, и агента-помощника, который специализируется на сувенирной продукции.

3. Банально перешли к более новым моделям.

И да, иногда агенты все еще ведут себя странно. Например, агент-CEO и агент-продавец иногда ни с того ни с сего начинают философствовать, а не заниматься делом (все, как в жизни). И обычные ошибки и галлюцинации тоже еще присутствуют.

НО всего за пол года проект превратился из мемной истории про горе-бота во вполне рабочее решение, которое гипотетически даже можно продавать.

Короче, будьте как Anthropic, не сдавайтесь ✌️

https://www.anthropic.com/research/project-vend-2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
171👍69😎25😁16👏983🔥3🗿11
This media is not supported in your browser
VIEW IN TELEGRAM
Не ИИ-слоп: в Петербурге дворником устроился индиец, который раньше работал с ИИ в Microsoft

По существующей информации, 26-летний Мукеш Мандал планирует провести в России примерно год, чтобы заработать достаточно денег и вернуться в Индию, где ранее он работал в IT-сфере.

В основном я работал в компаниях вроде Microsoft и использовал инструменты вроде ИИ, чат-ботов, ChatGPT и тому подобное. По сути, я разработчик.


«Вообще я вайб-кодер, а это так, для души»
😁279🤯421665🤨3🤔2❤‍🔥1👍1🤓1
Data Secrets
Ян Лекун будет строить стартап в Европе, а не Америке По его словам, Кремниевая долина перегрета и полностью «загипнотизирована» ИИ, поэтому альтернативные направления проще развивать вне долины, и в частности – в Париже. Лекун сам из Франции и, в целом…
Подвезли свежие подробности о стартапе Яна Лекуна

Напоминаем, что ученый спустя 12 лет работы уходит из Meta и собирается строить собственный стартап.

Компания будет заниматься разработкой world models, то есть систем, которые понимают физический мир, обладают постоянной памятью, могут рассуждать и планировать сложные действия. Лекун обещает, что это будет следующая ИИ-революция.

Так вот, стало известно, что компания будет называться Advanced Machine Intelligence (AMI Labs), и что CEO в ней станет Алекс ЛеБрун.

ЛеБрун ранее работал в Nuance (основа Siri), затем руководил AI в Facebook, а потом в 2018 основал и возглавил Nabla – AI-стартап по медицинской транскрипции. Теперь Nabla будет сотрудничать с AMI Labs, а Алекс займет пост генерального директора. Сам Лекун будет Executive Chairman.

Кроме того, появились некоторые детали касательно финансирования: сейчас стартап ищет €500 млн инвестиций (около $586 млн) при оценке в €3 млрд (около $3,5 млрд).

Да, вы не ослышались, компанию оценили в три миллиарда евро еще до запуска.

Официальный старт проекта, кстати, запланирован на январь.
👍131🤨4531🔥14😁10🗿5🤔1👨‍💻1
Бывший Head of Deep Learning Engineering в DeepMind Дэвид Бадден внезапно заявил, что он решит проблему Навье-Стокса до конца года

Напоминаем, что это одна из проблем тысячелетия и, кстати, именно та задача, над которой Google совместно с ведущими математиками мира и ИИ бьются уже несколько лет (подробнее о сути задачи и о подвижках гугла писали тут).

Так вот: вчера Бадден выложил черновик доказательства в Lean и скрин документа, подтверждающего его спор с Маркусом Хаттером на то, что в течение оставшегося 2025 он выложит на архив полноценное доказательство проблемы.

Поспорили, ни много ни мало, на 10 тысяч долларов. Кстати, если Дэвид все-таки выиграет (???), он получит за решение еще и миллион долларов от Clay Mathematics Institute.

На Manifold, кстати, люди уже активно ставят ставки на этот спор. Пока 97% депают против Дэвида 😔
Please open Telegram to view this post
VIEW IN TELEGRAM
😁138🔥392410👍8
Хорошие новости: и GPT-5.2, и Gemini 3 Pro являются лишь промежуточными чекпоинтами соответствующих моделей

The Information раскопали, что GPT-5.2 – это все еще не та самая модель Garlic, а лишь ее ранний недообученный чекпоинт.

Это значит, что в ближайшее время нас ждет еще один (возможно, небольшой, но все же) скачок в качестве.

Новость прокомментировал Кристиан Гарсия из Google:

«С Gemini 3.0 – та же история. Скоро мы получим следующий чекпоинт или даже General Availability, и она улучшится»
🔥116🫡38👍198😁6🤔2🤨1
🔵Reinforcement Learning — ключевой метод для создания по-настоящему автономных систем.
Создайте агента, который думает как живой!

🔥Записывайтесь на бесплатные вебинары курса «Reinforcement Learning»

🌀Вебинар №1: Классические алгоритмы RL - SARSA и Q-learning
23 декабря в 20:00 мск

Вы узнаете:
1. Что такое обучение с подкреплением и чем оно отличается от других подходов
2. Возможности алгоритмов SARSA и Q-learning и в чём их отличия.
3. Что нужно для настройки окружения и запуска RL-агента на реальных задачах.
4. Как интерпретировать результаты и улучшать эффективность обучения агента.

🌀Вебинар №2: Построение собственного окружения на примере биржевой торговли.
13 января в 20:00 мск

Вы узнаете:
1. Структуру RL-окружений на примере OpenAI Gym: состояния, действия, награды, шаги среды
2. Построение окружения для биржевой торговли, используя исторические данные Yahoo Finance, MOEX
3. Как построить окружение с фреймворком FinRL для биржевой торговли

🌀Вебинар №3: FinRL - фреймворк RL для построения торговых агентов.
22 января в 20:00 мск

Вы узнаете:
Как реализовать модель финансового рынка и построить торгового агента в несколько строк кода с использованием специализированного фреймворка FinRL.

Вам не придется разбираться с тонкостями программирования нейросетей и реализаций сложных математических концепций. Вы сосредоточитесь на финансовой стратегии, а детали реализации алгоритма фреймворк возьмет на себя.

Записывайтесь ➡️ OTUS.RU

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🗿218👍5😁32🤨1
100500 раунд финансирования: OpenAI в очередной раз нужны деньги

The Wall Street Journal сообщает, что в этот раз они планируют пливлечь, внимание, 100 миллиардов долларов. Оценка при этом составит (еще раз внимание) 830 миллиардов долларов.

Напоминаем, что еще в октябре комапния оценивалась примерно в 500 миллиардов, а еще раньше в 2025 – в 300.

По сообщениям анонимных источников, сейчас казна стартапа понемногу пустеет. Чтобы выпустить новые модели, компании пришлось поскрести по сусекам. А что касается инференса – то даже при наличии приличного количества контрактов на облачные кредиты, он финансируется в основном за счет налички.

🫧 🫧🫧
😁136🤯381077👍3🫡3🗿2💯1
Генеративный ИИ пока еще уступает традиционным инструментам ML/DL по практическому импакту: наблюдение ведущего аналитика данных Walmart (ex-Amazon)

Несмотря на то, что про LLM кричат из каждого утюга, в прикладной науке наибольшей популярностью пользуются старые добрые инструменты ML/DL: такой вывод следует из исследования ML Global Impact Report 2025, авторы которого изучили прикладные научные исследования из более чем 125 стран.

Доклад выделяет 20 наиболее применяемых в исследованиях ML-инструментов, в котором, кстати, есть один российский — CatBoost, который изначально разрабатывался для задач поиска Яндекса. Теперь CatBoost используется в каждой 30-й из 5000 проанализированных статей в журналах Nature, связанных с машинным обучением. Причем в разных сферах — медицине, физике, прикладных науках.
👍11839😁14👌2😍2🤯1
Ученые из Google обнаружили, что если повторять промпт два раза, качество ответов моделей существенно возрастает

На архиве опубликовали коротенькую статью, в которой исследователи делятся занятным хаком:

если повторять запрос, то есть отправлять промпт в LLM не в виде «<QUERY>», а в виде «<QUERY><QUERY>», качество ответов модели в ~67% случаев статистически значимо улучшается


Важно: это работает только для Non-Reasoning. С ризонингом эффект нейтральный или слегка положительный, так что применять смысла особо нет.

Но вот для Non-Reasoning лайфхак должен быть рабочий, и к тому же очень простой и (почти) бесплатный. Авторы показывают, что количество генерируемых токенов от повтора промпта не растет, как и задержка ответа.

Почему вообще это работает?

Все мы уже выучили, что порядок токенов в промте важен. И это потому, что большинство моделей обучаются каузально, то есть предыдущие токены не получают доступа к следующим. Тут в основе та же логика. Грубо говоря, получается, что какие-то токены в промпте никогда не видят другие, а повторяя запрос, мы эту ассиметрию устраняем -> качество растет.

Почему тогда для ризонеров не канает?

Тут тоже есть объяснение. Просто ризонеры уже самостоятельно научились повторять промпт сами себе (вы точно это замечали). То есть здесь еще одно повторение уже не дает такого импакта, а в случае с не-ризонерами этот эффект мы просто выносим в prefill.

Пользуйтесь: arxiv.org/pdf/2512.14982
176😁69👍53🔥16🤔4😎2