Продолжение истории про Reflection

Для тех, кто успел подзабыть: Reflection – это та самая модель Шредингера, которая породила так много споров в начале сентября (мы писали об этом случае тут). Вкратце, авторы наобещали невероятные метрики, а потом модель сдулась. Разрабы при этом написали, что у них почему-то "не получается воспроизвети результаты экспериментов".

Месяц про модель ничего не было слышно. А сегодня тот самый разработчик, у которого не воспроизводились эксперименты, написал, что готов "исправить ошибку".

Он выложил веса, код и другие артефакты и написал, что воспроизвел все, кроме двух показателей на MATH и GSM8K ("Scores differ due to a bug in the initial benchmarking code").

"Надеюсь, этот постмортем внесет ясность в то, что произошло", – написал он.

Что ни день, то новость про то, что кто-то ушел из OpenAI

На этот раз компанию покинул Тим Брукс. Он был одним из руководителей проекта SORA. Ушел он в DeepMind, где будет также работать над генерацией видео и "world simulators"

Смотрите, какая интересная статистика. Оказывается, что Anthropic зарабатывает на API примерно столько же, сколько OpenAI. Интересно, изменятся ли числа после DevDay?

Как правильно отдыхать: пособие от Илона Маска

Стали известны подробности той самой AI-тусовки Илона Маска, которая проходила в бывшем офисе OpenAI (начинается уже многообещающе, да)? И это еще не принимая во внимание то, что вечеринка проходила день-в-день с OpenAI DevDay.

Вообще, изначально целью вечеринки было привлечение крутых специалистов в xAI. Однако, кажется, HR-бренд прокачать так и не удалось: уже спустя час Маск, буквально стоя на столе, вещал про то, что он выступает за свободную разработку ИИ, не обусловленную получением прибыли (интересно, в чей же огород камень?)...

Завершилась туса тоже эпично – пожарной сигнализацией (наверное, у Маска слишком сильно подгорело). Вишенка на торте: у эвакуировавшихся из здания людей замечали рюкзаки OpenAI.

В общем, записывайте идею на вечер пятницы

Андрей Карпаты опять завозит контент на выходные: он за два часа сгенерировал 10 эпизодов подкаста про конспирологические теории

В программе: Антлантида, Антикитерский механизм, тайна Марии Целесты и многое другое

Сценаристы и режиссеры-постановщики: ChatGPT, Claude, Gemini

В ролях: NotebookLM

Художник: Ideogram

Уже доступно на Spotify

Как там говорится? «Кажется, началось»?

Кратко о нейминге в ресерче

Начинаем понедельник с заряда мотивации.

Разработчик написал промпт, который может вывести ризонинг Claude Sonnet на уровень o1-preview

Сам промпт – на картинке. В целом получается какое-то обучение с подкреплением понарошку: модель крутит теги reflection, reward и thinking по кругу, пока не потратит назначенный ей «бюджет».

По кастомному датасету создателя Sonnet стал рассуждать на этом промпте лучше, чем o1. По MMLU (тестировали уже пользователи) до o1 все-таки не дотягивает, но точность все-таки повышает неплохо.

Код эксперимента лежит тут

Nvidia представили EdgeRunner – модель для генерации высококачественных 3D-объектов

EdgeRunner справляется даже со сложными моделями, в которох число граней достигает 4000. Предыдущие поколения алгоритмов не тянули такую детализацию.

Недавний тренд таких 3D генераций – авторегрессионные модели: за счет своей структуры они способны сохранять больше топологической информации. И на мелких примерах они действительно работают хорошо, но есть нюанс: на большее количество граней и высокое разрешение они не масштабируются.

В Nvidia чуть-чуть докрутили архитуктуру и предложили автоэнкодер (тоже авторегрессионный). За счет наличия в нем скрытого пространства появляется возможность обучить латентную диффузию и получить лучшую генерализацию; а для оптимизации исследователи прикрутили meshes-to-1D токенизатор.

В итоге результаты получились действительно крутые: вот тут можно посмотреть и покрутить 3D-модельки в рамках демо. А полный текст статьи лежит вот тут.