Не выдержала душа поэта :D
p.s. если честно, Обама не смог нормально выговорить свое имя. Отныне отговорки, что модель была обучена на англ. языке и поэтому с русским справляется неоч, больше не принимаются.

Пока все заслуженно носятся с новоиспеченным гугловским CoAtNet, мало кто пишет про EfficientNet v2, которую гугл показал в том же посте.

Если кратко, то обещают более быстрое обучение и большую точность (accuracy) на кол-во параметров, чем в предыдущей версии архитектуры.

В отличие от CoAtNet, код и обученные модели в наличии: https://github.com/google/automl/tree/master/efficientnetv2

Алярма! 5 часов назад зарелизили бетку нового фреймворка для загрузки данных под pytorch.
Все сыро, бета, ололо, но радует, что они решили пересобрать все это заново с нормальным дизайн-first подходом.
Этим мне и нравится pytorch, в отличие от tf, который сделан по принципу "лепила-мазала".
Гитхаб тут - https://github.com/pytorch/data

✍️ Text2Animation 🎬

Что-то последнее время только генерация картинок по текстовому описанию у меня и появляется. Настало время исправить ситуацию и представить вам генерацию видео. Управлять всем этим добром не так просто, но внутри Колаба описана вся механика создания анимации, поэтому при желании каждый сможет разобраться. Гененрируется все очень шустро и итоговое качество весьма впечатляющее. Как и прошлый раз добавил переводчик, поэтому текст можете писать на любом языке.

P.S. в прикрепленном видео мы влетаем в Мону Лизу и оказываемся внутри Сальвадора Дали. Что бы это не значило :-)

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Animation.ipynb

Ну все, держите меня :D
Peppa pig -> Giger alien unreal engine RTX on

Всем nightmare fuel, посоны, я прнс

Recursively Summarizing Books with Human Feedback
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books

Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.

Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.

Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.

Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.

В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.

По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.

Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.

Небольшой, но весьма полезный для каждого обзор улучшалок 2021.
Telegraph Pikabu

Как написать целый абзац для статьи на английском языке, всего лишь из одного предложения на русском?

Пишем одно предложение, переводим его на английский с помощью DeepL. Подаем его на вход в GPT-J, затем перефразируем его с помощью Wordtune и проверим грамматику Grammarly.

Поздравляю - у вас есть целый абзац текста. Нейросети рулят!

#ScientificML #writing

9 секунд наркомании
neural-style + ebsynth

Там полгода назад вышла модель для стилизации видео в 4к. В реалтайме. Модель весит 2мб.
Звучит овер заманчиво, будем посмотреть. С виду это обычная unet, только они выкинули части с апскейлом и даунскейлом и заменили на Laplacian Pyramid, сэкономив львиную долю параметров.

Основная идея состоит в том, что изображение можно разделить на низкочастотную (основа) и высокочастотную (мелкие детали) части, которые можно обработать отдельно, и потом объединить. Те, кто профессионально занимаются ретушью, понимают, о чем это. При этом низкочастотную часть можно обработать в очень низком разрешении, сэкономив на вычислениях.

Код
Доклад
Выжимка

А вот родное видео через neural style. Да, лучше, чем ebsynth.

И дольше раз в 20. Для плавности нужно просчитать optical flow в обе стороны для каждого кадра, а потом все прогнать через нейронку. Суммарно занимает часов 6 для видео 280х512, 9сек. Судите сами 😢

Возьмём это за точку отсчёта, и посмотрим, что там с тех пор наваяли в этой области.

Нашёл классный сайт - вебморду для нейросетки Hi-Fi-Gan, озвучивающей введённый текст одним из предсобранных голосов. Датасетов очень много - писатели, актёры рэперы, президенты.
Отличный инструмент для генерации вокальных безделушек заместо киношных сэмплов.

https://vo.codes/tts/