Гугол продолжает снижать кол-во одновременных сессий в colab pro. Теперь доступна только одна. Штош, тесла с алиэкспресса, настало твое время!

Случайно всковырнул deep style, которому уже 4 года.

Это тот, который тут юзается - https://deepdreamgenerator.com/#gallery
и у одного модного тиктокера - https://www.tiktok.com/@rodrigoperezestrada?lang=ru-RU

Колаб ннада?)

Признайтесь, мы все знали, к чему это приведет.

Ссылка на лекцию от «Мишин Лернинг», 🕢 19-30

Что будет на лекции: Zero-Shot, BERT, GPT3, ViT, CLIP, WuDao2.0, Dall-E, CLIP + VQGAN, SimVLM, Codex и многое другое

https://youtu.be/-fpQLPAkIN0

Запилил колаб со свежей сеткой LiveSpeechPortraits
Конвертит аудио в фотореалистичное видео.

В отличие от, например, first order model, здесь вместо морфинга сначала из аудио генерятся фичи лица и положение головы, а из них уже с помощью старой доброй pix2pix генерятся кадры видео.
В принципе, как обучать, тоже понятно: из аудио в фичи лица - 1 раз для каждого языка, из фич в кадры - для каждого лица.

Авторы выложили модели для 5 персонажей и английского языка, но и на русском выглядит весьма забавно.
🌎 Сайт 🐈 Гитхаб 📝 Пдфка с докладом
📒Колаб тут
#колаб #colab

OpenAI создала модель ИИ, которая генерирует выжимки из книг — сначала делит на разделы и делает их пересказ, а затем объединяет в финальный текст.

Например, «Алису в Стране чудес» получилось сократить с 26 тысяч слов до 136

https://vc.ru/ml/297407

Киберпанк, который мы заслужили

На случай важных переговоров с шаманами.

Простити.

Сделать самим - колаб тут
Кстати, видео тоже можно загружать в качестве источника звука.

Ааааа! Немец закрыл хомяка в клетке, подключенной к аккаунту на криптобирже: пробегая через один туннель, хомяк автоматически продает криптовалют на 20 евро, через другой — наоборот, покупает. За три месяца портфолио хомяка выросло на 29%.

Красивый перфоманс! Или инсталляция, я пока не понял.

Не выдержала душа поэта :D
p.s. если честно, Обама не смог нормально выговорить свое имя. Отныне отговорки, что модель была обучена на англ. языке и поэтому с русским справляется неоч, больше не принимаются.

Пока все заслуженно носятся с новоиспеченным гугловским CoAtNet, мало кто пишет про EfficientNet v2, которую гугл показал в том же посте.

Если кратко, то обещают более быстрое обучение и большую точность (accuracy) на кол-во параметров, чем в предыдущей версии архитектуры.

В отличие от CoAtNet, код и обученные модели в наличии: https://github.com/google/automl/tree/master/efficientnetv2

Алярма! 5 часов назад зарелизили бетку нового фреймворка для загрузки данных под pytorch.
Все сыро, бета, ололо, но радует, что они решили пересобрать все это заново с нормальным дизайн-first подходом.
Этим мне и нравится pytorch, в отличие от tf, который сделан по принципу "лепила-мазала".
Гитхаб тут - https://github.com/pytorch/data

✍️ Text2Animation 🎬

Что-то последнее время только генерация картинок по текстовому описанию у меня и появляется. Настало время исправить ситуацию и представить вам генерацию видео. Управлять всем этим добром не так просто, но внутри Колаба описана вся механика создания анимации, поэтому при желании каждый сможет разобраться. Гененрируется все очень шустро и итоговое качество весьма впечатляющее. Как и прошлый раз добавил переводчик, поэтому текст можете писать на любом языке.

P.S. в прикрепленном видео мы влетаем в Мону Лизу и оказываемся внутри Сальвадора Дали. Что бы это не значило :-)

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Animation.ipynb

Ну все, держите меня :D
Peppa pig -> Giger alien unreal engine RTX on

Всем nightmare fuel, посоны, я прнс

Recursively Summarizing Books with Human Feedback
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books

Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.

Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.

Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.

Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.

В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.

По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.

Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.