Еще несколько интересных технических деталей из статьи Llama 3.1:

➡️ Неожиданно раскрылись детали того, почему обучение сетки дважды прерывали. В статье детально описывается топология кластера из 24к H100. Оказывается, в первый раз обучение прервали из-за того, что 148 из них вышли из строя на ранней стадии предобучения. Во второй раз просто сервер отказал ❤️‍🔥

➡️ С данными тоже забавно: несколько раз их корректировали прямо во время предобучения, чтобы повысить перформанс. Разработчики также полностью отказались от переведенных данных. Вместо этого, чтобы собрать достаточно промптов для тюнинга моделей по определенным скиллам (в частности по математике), они провели масштабный краудсорсинг с экспертами. Теперь понятно, на что ушли сотни миллионов...

➡️ В статье также много интересного про пост-трейнинг с RL. Самое захватывающее: они обнаружили, что даже для моделей с длинным контекстом в DPO при дообучении достаточно использовать только short context data. Это своего рода прорыв. Общая схема пост-обучения на картинке.

К слову про RL: если взглянуть на сравнения по человеческим предпочтениям, то Llama 3.1 сильно уступает GPT-4o. Однако судя по всему OpenAI просто ОЧЕНЬ сильно натаскали свое детище на LMSYS, а значит эти результаты не означают лучший перформанс на реалворлд задачах.

У Цукерберга тем временем вышло новое интервью (видимо в честь релиза модельки). Некоторые занятные мысли бизнесмена оттуда:

➡️В будущем у нас будет не один ИИ-бог (то есть сверхмодель), а миллиарды ИИ-агентов, которые будут версиями нас самих

➡️Скорее всего, таких агентов будет даже больше, чем людей: художники, предприниматели и бизнес будут создавать сразу много моделей, которые будут взаимодействовать с миром от их лица

➡️Альтман, конечно, заслуживает огромного уважения за его заслуги, но «немного иронично» иметь компанию под названием OpenAI и выпускать закрытые модели 🔵

➡️ У Meta уже есть настроенный вычислительный кластер, некоторые данные и архитектура, а также прямо сейчас они проводят эксперименты для того, чтобы максимально увеличить время обучения их следующей модели — Llama 4

➡️Мы все еще должны отличать человека от интеллекта, загруженного в облако, ведь личностью нас делают не только мысли, но и такие вещи, как энергия и любовь 🥹

🇫🇷 Mistral разбавляет Llama-повестку дня своей новой моделью

Да-да, еще и дня не прошло с релиза прошлой громкой LLMки, а вот уже и новая подоспела. У свежей Large 2 от французов 123B параметров, контекст как у новой ламы (128к), опенсорс.

Особенно выделяется в математике и программировании. В целом, не SOTA, конечно, но свое почетное место займет. Вот веса на HF.

Видимо, скоро придется вообще из новостей не вылезать, чтобы за всем уследить 😅

OpenAI грозит финансовый крах?

По данным нового отчета The Information, в 2024 компания может потерять до 5 миллиардов долларов. По данным их инсайдеров, по состоянию на март этого года OpenAI уже потратила почти $4 миллиарда на аренду серверов.

Плюсом к этому идут затраты на обучение (по оценкам, $3 млрд). Кстати, в начале года на это планировалось потратить всего $800 млн, но что-то пошло не по плану.

+ Зарплаты, которые составляют примерно $1.5 млрд. Учитывая, что общая выручка оценивается примерно в $4 млрд, несложная математика указывает на огромный дефицит. Похоже, Microsoft опять пора готовиться расчехлять кошелек.

Когда у тебя почти самый быстрорастущий бизнес в истории, а денег все равно нет 🔵

В продолжении утреннего поста о возможном финансовом крахе OpenAI. Мы заинтересовались и собрали по сети еще несколько свежих артефактов о рынке. Оцените сами:

⚪️ Bloomberg отметил в статье, что инвесторы не уверены, что вложения компаний в ИИ смогут быстро окупиться.
⚪️ Материнская компания Google – Alphabet – превзошла ожидания аналитиков по прибыли, но трейдеры все же негативно восприняли рост капиталовложений Alphabet. На фоне общей картины рынок акций США резко обвалился, падение S&P 500 и Nasdaq стало максимальным с 2022г.
⚪️ Многие стартапы уходят с рынка из-за маленькой возможности роста и дороговизны разработки, из недавнего например: сервис бывшего ML-разработчика Google — CreatorML. Из-за высокой стоимости разработки и поддержки сервиса сервис пришлось закрыть.

Верим в рынок или все-таки пузырь? 😭

⚡️ Вышел PyTorch 2.4

▪️ Завезли поддержку Python 3.12 для torch.compile
▪️ AOTInductor Freezing теперь и для простых смертных CPU
▪️ Какие-то новые питоновские кастомы в API
▪️ По дефолту бэкенд теперь на libuv 🦖

Подробности здесь и в Q&A видосе

Breaking! SearchGPT на базе

Майские слухи оказались правдой: OpenAI официально анонсировала поисковик. Но…

Это лишь временный прототип. То есть Google, скорее всего, бояться рано: это просто красивое демо функции, которая станет просто частью функционала ChatGPT.

Видимо, все эти многочисленные контракты с крупными изданиями были направлены именно на этот продукт (чтобы не пришлось втихушку парсить ботами).

Будем ждать новостей 😇

Просто пару дней из жизни AI-индустрии 🥹

😯 Hugging Face обслуживает около 6 петабайт данных В ДЕНЬ. Другими словами, это 6 квадриллионов байт и, в среднем, 1 миллиард запросов.

* Информацией поделился тех.лид компании в соцсетях

🤗 HuggingFace там ворвался со своей моделью для анализа видео

Ладно, «со своей» – это громко сказано. На самом деле они просто взяли открытую Video-LLaVA и зафайнтюнили ее на датасете CinePile.

Несмотря на то, что никаких новых архитектурных трюков не было, прирост в качестве наблюдается неплохой. Все из-за хорошего датасета: он замысловатый и направлен специально на улучшение понимания видео целиком, а не отдельных его кадров.

Вот код. В репе два интересных ноутбука: с файнтюнингом и инференсом. Веса модели здесь.