Джуны нинужны? 😀

Чюваки из Принстона запилили пайплайн, который фиксит реальные issues в гитхабе и выбивает 12% (SOTA) на SWE-bench. У второго места в лидерборде этого бенчмарка всего 3%, так что прогресс значительный.

Фиксит "под ключ" - кидаем ссылку на issue, получаем коммит с фиксом.

Агенты парсят проблему, качают репо, воспроизводят проблему в тестовой среде, ищут релевантные функции в коде, предлагают решение, проверяют в тестовой среде, коммитят фикс в репо.

Пейпера нет, код есть, лол.

Твит
Код

@derplearning

Stable Audio 2 - генерация коммерческой музыки по промпту

Самое интересное в модели - это то что её тренировали только на лицензированных данных, так что новому CEO Stability AI будет поспокойнее.

Архитектурно это, как и Sora с SD3, Diffusion Transformer, похоже U-Net всё же отправляется на покой.

Моделька доступна на сайте, API, как и пейпер обещают позже. Весов нет и вряд-ли будут.

А ещё они запустили стрим с непрерывной генерацией музыки, lofi girl напряглась.

Сайт (бесплатно дают 10 генераций с новой моделькой в месяц)
Блогпост
Стрим с вечной музыкой

@ai_newz

3D Gaussian Splatting of the collapsed Baltimore Key Bridge.

Вот и гауссианы пригодились в деле.

Твит
Реддит
Покрутить самим тут

@derplearning

Command R+ — новая модель!

104 миллиарда параметров, 128к контекста. Моделька с нуля сделана для использования тулов и RAG (Retrieval Augmented Generation), на бенчмарках связанных с этим модель показывает себя очень достойно. Нормальных тестов пока что нет, но Command R 35B очень хорошо себя показала на LLM арене, так что модель в три раза больше вряд-ли ударит лицом в грязь.

Веса уже выложили, даже квантизированные🥳

У меня большие надежды на эту модель!

Демка
Веса
Блогпост

@ai_newz

​​Астрологи объявили взрывной рост объемов 3D-контента — ситуация стремительно набирает обороты. За конец марта опубликовано 13 статей про генерацию трехмерных объектов из текста и изображений.

SV3D: Stability AI показала новую модель для реконструкции изображения в 3D с высоким разрешением.
LATTE3D от NVIDIA: новый метод преобразования текста в 3D, позволяющий генерировать текстурированные сетки из текста всего за 400 мс.
Isotropic3D: генерация изображения в 3D на основе создания многоракурсных плоских изображений.
MVControl: преобразование текста в 3D с управлением по типу ControlNet (резкость, глубина и т. д.).
Make-Your-3D: преобразование изображения в 3D с возможностью управления генерацией с помощью текстовых подсказок.
MVEdit: поддерживает преобразование текста в 3D, изображения в 3D и 3D в 3D с генерацией текстур.
VFusion3D: преобразование изображения в 3D на базе предварительно обученных моделей видеодиффузии.
GVGEN: преобразование текста в 3D с объемным представлением.
GRM: эффективное преобразование текста в 3D и изображения в 3D за 100 мс.
FDGaussian: преобразование изображения в 3D с предварительной генерацией разных ракурсов в 2D.
Ultraman: преобразование изображения в 3D с упором на человеческие аватары.
Sculpt3D: и снова преобразование текста в 3D.
ComboVerse: преобразование картинок в 3D с комбинированием моделей и созданием сцен.
Не везде доступен код, так что сравнивать сложно, но первые результаты уже есть — пара божественных мезоамериканских нейролягушек.

Ближайшее по интересности событие по теме генерации трехмерных объектов начнется 28 июля на Scigraph.

На нем, в частности, покажут Clay (Controllable Large-scale Generative Model). Очень надеюсь, не зря они ее назвали controllable. На видео видно, что там появится какой-то намек на настройки, симметрия, как минимум.

И если посмотреть на модель шлема, то, может быть, можно понадеяться на то, что генерации будут нормально работать с хардсерфейсными объектами, а не превращать их в обмылки. Типичная проблема всех трехмерных генераций.

Надеяться на то, что он вам качественно сделает газообразные грибы с крыльями, не стоит, но на что-то, что есть в реальном мире, хотелось бы верить, что сможет.

Информации пока очень мало, статья готовится, а пока вот пустая страница проекта.

странная серия глухаря, но окэй

Guidance в диффузии нужен только в середине сэмплирования! (by NVIDIA)

Всё это время мы генерировали картинки диффузией неправильно — оказывается, classifier-free guidance вредит диффузионному процессу в его начале и конце. А если включать guidance только на середине — то генерация станет не только разнообразнее, но и качественнее: для модели EDM2-XXL это уменьшает FID с 1.81 to 1.40!

Самое главное — эта модификация совместима со всеми диффузионными моделями.

Статья