💰 Илья Суцкевер привлек для своей компании инвестиции в размере $1 млрд

Компании Safe Superintellgence(SSI) всего 3 месяца, у нее еще нет ни одного продукта, но она уже оценивается в 5 миллиардов. Видимо из-за громких имен в составе и больших... амбиций команды: ранее Илья заявлял, что первым продуктом SSI станет только safe AGI.

Инвестиции завезли NFDG, a16z, Sequoia, DST Global и SV Angel.

А еще компания заявила о том, что нанимает ученых. Кто на собес?

⚡️ Breaking: чтобы выйти из кризиса, Nvidia начала выпускать женские сумочки

Разработчики PyTorch выкатили прикольный гайд про то, как организовать инференс LLM вообще без CUDA-ядер

Они предлагают заменить все ядра CUDA на рукописные Triton ядра в миксе с torch.compile. Это нужно для совместимости с ГПУ от AMD, Intel и др, а не только с Nvidia + для большей гибкости и низкоуровневости.

В статье подробно описывается, как и что нужно сделать, и в итоге показано, что с помощью некоторых дополнительных оптимизаций и танцев с бубном таким способом можно добиться ~80% производительности CUDA.

Получился интересный, но, к слову, достаточно ироничный гайд, учитывая трудности Nvidia на сегодняшний день 😀

Сентябрьский книгопад продолжается

Вот и еще одна книжка первой свежести заехала. Называется Introduction to Machine Learning, появилась на архиве сегодня.

Хоть и называется «Введение», но содержит достаточно много глубокого материала. Например, 50 страниц посвящено оптимизации в ML (со всей серьезной математикой), а еще 50 – PCA, тоже со всеми тонкостями. Ну и базовая база типа линейных моделей и деревьев тоже присутствует. Сами посмотрите оглавление 👆

Читать тут

Кажется, мы нашли для вас развлечение на выходные: у Андрея Карпаты вышло новое интервью 🥳

По таймкодам:

➡️статус автономии, tesla против waymo
➡️человекоподобные роботы
➡️бутылочные горлышки в достижении AGI
➡️экзомозг – будущее или миф?
➡️небольшие LM, опенсорс
➡️его новая eureka labs, ИИ-образование
➡️чему следует учиться в эпоху ИИ

Длится кстати, всего 45 минут. Скоро расскажем краткое содержание, а пока вот вам ссылка на просмотр.

Красота: новая обложка журнала Time, посвященная ИИ-инфлюенсерам

Тройка лидеров:

1. Сундар Пичаи – CEO Google
2. Сатья Наделла – CEO Microsoft
3. Саша Луччони – AI & Climate Lead Hugging Face

А Сэм Альтман оказался на 4 месте. Обидно, наверное 😞

Кого еще узнали с обложки?

Интернет взрывает новая модель Reflection 70В: она выбивает на бенчмарках результаты, превосходящие Claude 3.5 Sonnet и GPT-4o

Название Reflection выбрано в честь метода Reflection-Tuning: это когда модель итеративно обучается на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. Плюсом добавлен отдельный этап планирования для улучшения CoT. В качестве инициализации брали Llama 3.1 70B.

На практике модель прямо в ответах оборачивает все рассуждения в тег <reasoning>, а возможные ошибки в тег <reflection>. Затем она обнаруженные ошибки исправляет, и итоговый ответ выдает в теге <output>.

Результаты на бенчмарках: 89,9% MMLU, 79,7% MATH, 90,1% IFEval, 99.2% GSM8K. Говорят, что тот самый синтетический датасет и техрепорт будет на следующей неделе. А еще на следующей неделе обещают Reflection на 405В 😨

Сама модель уже доступна на HuggingFace.

Итак, завозим наше краткое содержание сегодняшего интервью Андрея Карпаты. Было много интересного:

⚪️ "10 лет назад я впервые покатался на беспилотной машине в рамках демо, и подумал, что это была идеальная поездка. Однако нам все равно пришлось потратить 10 лет, чтобы перейти от демо к продукту, за который люди платят. Сейчас мы достигли некоторого подобия AGI в сфере self-driving, но пройдет еще очень много времени, пока все это будет глобализовано. То же самое ждет и языковые модели."

⚪️ Tesla круче других компаний, которые занимаются self-driving, хотя сейчас это и не заметно. "Я верю в Tesla, эта компания идет по правильной траектории, фокусируясь на AI. Это не просто self-driving компания, это крупейшая робототехническая компания с огромный потенциалом к расширению, и их подход к работе выведет Tesla на первое место уже в ближайшие годы."

⚪️ Трансформер - не просто очередной метод, но подход, который полностью изменил наш взгляд на ИИ, и на данный момент это единственная по-настоящему масштабируемая архитектура. Нам очень повезло, что мы наткнулись именно на трансформер в огромном пространстве алгоритмов. "Я верю, что трансформер лучше человеческого мозга во многих отношениях, просто эта модель еще не готова проявить себя сполна".

⚪️ Раньше бутылочным горлышком в ИИ была архитуктура. Теперь компании практически о ней не думают: за последние 5 лет классический трансформер изменился не так уж сильно. Акцент в наши дни перемещается на данные.

⚪️ Данные из Интернета, на самом деле, – далеко не самые лучшие данные для обучения модели. Это просто "ближайший сосед" идеальных данных. То, что мы действительно хотим от модели, – это умение рассуждать. А страницы из Интернета не могут ее сполна этому научить.

⚪️ Будущие за синтетическими данными, однако главная проблема синтетики – это энтропия и разнообразие. Его недостаточно, и это действительно препятствие. Тем не менее, текущие модели должны помогать нам создавать следующие, при этом "итоговые" модели могут оказаться на удивление крошечными (Андрей уже говорил об этом, подробнее мы писали тут).

⚪️ Андрей говорит, что ушел в образование, потому что не заинтересован в том, чтобы "заменить" людей, а нацелен на то, чтобы сделать их умнее и вдохновленнее. "Я хочу, чтобы люди были ЗА автоматизацию и мечтаю проверить, на что будет способно человечество, когда у каждого будет идеальный репетитор в лице ИИ".

⚪️ ИИ пока не способен создать курс, но идеально подходит для того, чтобы интерпретировать и подстраивать созданные людьми материалы для каждого студента в отдельности. "Я думаю, образование должно стать для людей скорее развлечением, чем трудом."