Accuracy: -1.5

Вышел долгожданный код для xLSTM! Это та самая недавняя взрывная архитектура от создателей LSTM, которая может стать альтернативой трансформеру.

Установить библиотеку и поиграться с xLSTM можно с помощью pip install xlstm.

Репозиторий с кодом тут.

А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10

Студенты-дипломники, ну как там дела за пару дней до сдач?

Кстати, кроме этого выпада группы сотрудников OpenAI случилось еще кое-что

Раньше в OpenAI в команде Суцкевера работал исследователь Леопольд Ашенбреннер. Пол года назад его уволили, якобы из-за утечки информации.

А на днях он дал интервью и рассказал, что на самом деле его уволили по другой причине: он критиковал компанию за небезопасное поведение.

Также Леопольд опубликовал кучастраничный отчет о состоянии ИИ. В нем он пишет, что AGI появится уже к 2027 году, и затем очень скоро превратиться в суперинтеллект, который будет опасен для человечества. “Для этого не нужно верить в фантастику, нужно лишь верить в прямые линии на графиках».

По его словам, уже сегодня компании перешли от $10 миллиардных вычислительных кластеров к $100 миллиардным и даже триллионным кластерам.

Пора бы OpenAI выходить на свет, а то общественности еще долго придется оценивать ситуацию по выкрикам отдельных исследователей

Садимся снимать аниме – в опенсорс вышла модель ToonCraft, которая может сгенерировать мультипликацию по ключевым кадрам.

Она может "заполнить" ролик между двумя поданными кадрами, нарисовать мультик по скетчу и раскрасить анимацию по референсу.

Под капотом DynamiCrafter, которую зафайнтюнили на аниме. Для сохранения точного образа персонажей используется 3D-декодер.

Самое приятное: есть и статья, и демо, и код, и примеры – в общем все, что душе угодно.

Stability AI опенсорснули часть функционала Stable Audio — нейросети для генерации музыки и звуков

Сеть обучена только на открытых данных, но ее, тем не менее, нельзя использовать в коммерческих целях. Да и работает она сильно обрезанно, по сравнению с закрытой версией: генерирует треки в четыре раза короче и не работает в режиме Audio2Audio.

Тем не менее, все что опенсорс, мы любим и уважаем (ну если только код не был "позаимствован", как у ребят из Стэнфорда).

Подробности и код для игр с моделькой оставили на сайте.

Найден идеальный стул для программирования на… чем?

❤️ - PyTorch
👍 - TensorFlow
🔥- JAX

Vision-LSTM – новая фундаментальная CV-модель на основе xLSTM

Да, надстройки над xLSTM не заставили себя долго ждать. Vision-LSTM (ViL), в первую очередь, удивила всех скоростью. Модель быстрее, чем Vision-Mamba (тоже sequential модель) даже без ядр CUDA.

Под капотом: двунаправленные mLSTM блоки, которые обрабывают patch-токены изображения. При этом, в отличие от Vision-Mamba, где каждый блок обрабатывает последовательность сразу в двух направлениях, здесь направления чередуются между четными и нечетными блоками. За счет этого и скорость.

По метрикам на ImageNet1K тоже лучше, чем Vision-Mamba. Однако, как говорят сами авторы, так как оптимизированной реализации для xLSTM пока нет, для больших моделей все еще лучше подходит ViT (трансформер).

Выглядит многообещающе. Советуем прочитать статью полностью здесь. А еще авторы выложили код.

Вау! Событие из красной книги: у OpenAI вышла статья с открытым кодом

В числе авторов Илья Суцкевер, и, как вы возможно уже поняли, статья про интерпретируемость. Подход идейно повторяет недавнюю работу Anthropic. Ресерчеры OpenAI также используют разреженный автоэнкодер и с помощью него выделяют в поведении модели "фичи" - интерпретируемые паттерны активаций (о них можно думать, как о темах).

Утверждается, однако, что заявленный подход масштабируется лучше, чем остальные существующие. Из GPT-4 удалось достать 16 миллионов фичей. Есть клевая визуализация. В опенсорсе показали подход на примере GPT-2.

Про управление фичами (в отличие от Anthropic) пока ничего особенного, оставляют на дальнейшие исследования.

А что, просто пихать везде нейросети нельзя?