Гугол продолжает снижать кол-во одновременных сессий в colab pro. Теперь доступна только одна. Штош, тесла с алиэкспресса, настало твое время!

Случайно всковырнул deep style, которому уже 4 года.

Это тот, который тут юзается - https://deepdreamgenerator.com/#gallery
и у одного модного тиктокера - https://www.tiktok.com/@rodrigoperezestrada?lang=ru-RU

Колаб ннада?)

Признайтесь, мы все знали, к чему это приведет.

Ссылка на лекцию от «Мишин Лернинг», 🕢 19-30

Что будет на лекции: Zero-Shot, BERT, GPT3, ViT, CLIP, WuDao2.0, Dall-E, CLIP + VQGAN, SimVLM, Codex и многое другое

https://youtu.be/-fpQLPAkIN0

Запилил колаб со свежей сеткой LiveSpeechPortraits
Конвертит аудио в фотореалистичное видео.

В отличие от, например, first order model, здесь вместо морфинга сначала из аудио генерятся фичи лица и положение головы, а из них уже с помощью старой доброй pix2pix генерятся кадры видео.
В принципе, как обучать, тоже понятно: из аудио в фичи лица - 1 раз для каждого языка, из фич в кадры - для каждого лица.

Авторы выложили модели для 5 персонажей и английского языка, но и на русском выглядит весьма забавно.
🌎 Сайт 🐈 Гитхаб 📝 Пдфка с докладом
📒Колаб тут
#колаб #colab

OpenAI создала модель ИИ, которая генерирует выжимки из книг — сначала делит на разделы и делает их пересказ, а затем объединяет в финальный текст.

Например, «Алису в Стране чудес» получилось сократить с 26 тысяч слов до 136

https://vc.ru/ml/297407

Киберпанк, который мы заслужили

На случай важных переговоров с шаманами.

Простити.

Сделать самим - колаб тут
Кстати, видео тоже можно загружать в качестве источника звука.

Ааааа! Немец закрыл хомяка в клетке, подключенной к аккаунту на криптобирже: пробегая через один туннель, хомяк автоматически продает криптовалют на 20 евро, через другой — наоборот, покупает. За три месяца портфолио хомяка выросло на 29%.

Красивый перфоманс! Или инсталляция, я пока не понял.

Не выдержала душа поэта :D
p.s. если честно, Обама не смог нормально выговорить свое имя. Отныне отговорки, что модель была обучена на англ. языке и поэтому с русским справляется неоч, больше не принимаются.

Пока все заслуженно носятся с новоиспеченным гугловским CoAtNet, мало кто пишет про EfficientNet v2, которую гугл показал в том же посте.

Если кратко, то обещают более быстрое обучение и большую точность (accuracy) на кол-во параметров, чем в предыдущей версии архитектуры.

В отличие от CoAtNet, код и обученные модели в наличии: https://github.com/google/automl/tree/master/efficientnetv2

Алярма! 5 часов назад зарелизили бетку нового фреймворка для загрузки данных под pytorch.
Все сыро, бета, ололо, но радует, что они решили пересобрать все это заново с нормальным дизайн-first подходом.
Этим мне и нравится pytorch, в отличие от tf, который сделан по принципу "лепила-мазала".
Гитхаб тут - https://github.com/pytorch/data

✍️ Text2Animation 🎬

Что-то последнее время только генерация картинок по текстовому описанию у меня и появляется. Настало время исправить ситуацию и представить вам генерацию видео. Управлять всем этим добром не так просто, но внутри Колаба описана вся механика создания анимации, поэтому при желании каждый сможет разобраться. Гененрируется все очень шустро и итоговое качество весьма впечатляющее. Как и прошлый раз добавил переводчик, поэтому текст можете писать на любом языке.

P.S. в прикрепленном видео мы влетаем в Мону Лизу и оказываемся внутри Сальвадора Дали. Что бы это не значило :-)

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Animation.ipynb

Ну все, держите меня :D
Peppa pig -> Giger alien unreal engine RTX on

Всем nightmare fuel, посоны, я прнс

Recursively Summarizing Books with Human Feedback
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books

Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.

Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.

Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.

Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.

В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.

По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.

Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.

Небольшой, но весьма полезный для каждого обзор улучшалок 2021.
Telegraph Pikabu