OpenAI предложили эффективное упрощение диффузионных моделей

Диффузионные модели – SOTA для генерации картинок, аудио и даже видео, но сэмлирование у этой архитектуры происходит на скорости черепахи. Чтобы получить один сэмпл, модели требуется прогнать сотни степов диффузии.

Некоторое время назад OpenAI начали работать над этой проблемой и в июне предложили так называемые Consistency модели: они, в отличие от обычных диффузионок расшумляют не итерационно, а как бы однозначно мапят шум и данные. За счет этого генерировать изображение можно не за сотни шагов, а всего за 1-2.

А на днях у стартапа вышла статья-продолжение: в ней они описывают sCM – scaled consistency model. Эти модельки оптимизированы еще сильнее. Например, если диффузия сэмплит образец за 6.16 секунд, то у sCM на это уходит 0.11 – разница очень существенная. И масштабируемость красивая: посмотрите на графики.

Качество образцов кстати тоже не уступает. И по FID, и на глаз модель соответствует качеству хороших взрослых диффузий, хотя и является по сути дистилляцией.

Полный текст статьи – здесь

Что-то интересное: ученые из M-A-P и ByteDance слепили AutoKaggle – мультиагентный фреймворк для автономного решения DS/ML соревнований

Библиотека работает по итеративной схеме. На каждом этапе агенты выполняют определенные привычные нам шаги: в начале очищают и обрабатывают данные, а потом экспериментируют с моделями, отлаживают код, тестируют и тд.

Под капотом агенты в ролях Reader, Planner, Developer, Reviewer и Summarizer, которые взаимодействуют по определенной схеме (см., например, псевдокод). На практике это работает, как горячая картошка – агенты перекидывают задачи друг другу, и каждый из них внутри себя имеет собственный алгоритм того, что с задачей нужно сделать и кому отдать дальше.

В качестве базовой модели пробовали gpt-4o и o1-mini. Оказалось, что перформят они плюс-минус одинакого. Вообще, результаты получились неплохие: на восьми валидационных хакатонах в среднем фреймворк выбил скор 0,85.

Код | Статья