Google Presents: AI@ ‘22

Интересное новое видео с презентации от гугла, где совмещают алгоритм Phenaki и Imagen Video, с помощью объединения можно создавать прям из текстового описания видеоряд, в итоге картинка выходит цельной.
Запросы для видео примера:
Синий шарик застрял в ветвях красного дерева.
Камера перемещается от дерева с одним синим шариком к входу в зоопарк.
Камера показывает вход в зоопарк.
Камера очень быстро перемещается в зоопарк.
Вид от первого лица на полет в красивом саду.
Голова жирафа появляется сбоку.
Жираф идет к дереву.
Камера приближает пасть жирафа.
Жираф подходит к ветке и срывает синий шарик.
Одиночный гелиевый синий шар с белой нитью летит к голове жирафа.
Жираф жует синий шарик рядом.
Камера поворачивается вслед за улетающим синим шаром.

Гугл на данный момент не дает доступ даже к Imagen, text2image модели схожей с Dalle 2 и Stable Diffusion. Но статьи google ai research впечатляют, вот краткий список:

Imagen - текст в изображения на диффузии

Parti - текст в изображения на VQGAN

DreamBooth - дообучение моделей с малым датасетом, сейчас по всему инету множется стартапы с DreamBooth архитектурой поверх Stable Diffusion, где в модельку SD можно закинуть себя, знакомых или даже своих животных

Imagen Video - текст в видео

Phenaki - текст в длинные видео, хотя статья анонимная, возможно это не от гугла.

И конечно же, то что я тестил последний месяц:
Dream Fields - текст в 3D, так же есть варианты обученные на SD, например, колаб Dream Fusion - 1 час на A100 и моделька готова.

Ожидаем релиза Imagen для сравнения на практике с основными сетками text2image. Если конечно когда-нибудь код и веса появятся.

Lo-fi girl, но общим планом

ИИ объясняет всем желающим, что же хотел сказать кожаный мешок.

Сегодня время текстовых историй, поэтому сорри за лонгриды.

Сначала история их жизни - Паша Мунтян рассказывал, как он писал кандидатскую диссертацию - научный руководитель, поглядев сказал: "материал отличный, но надо переписать это умным языком, иначе не пройдешь совет".

Знакомо? Возможно всем, кто писал "заявки", "объяснительные", "обоснования" знаком этот феномен.

В результате интернет (и не только он) наводнен заумными текстами с мегатоннами воды.
Сделать умный вид, надуть щеки, пустить пыль во все отверстия - любимое занятие кожаного мешка, холящего свою значимость.

Один лингвист и один программист взяли GPT-3 и сделали сайт Explainpaper, который понятным (обычным людям) языком объясняет разного рода научные (и не очень) статьи и тексты.

Выяснилось, что GPT, которого учили на корпусах "понятных" текстов, гораздо лучше излагает мысли, чем кожаные мешки, пытающиеся сделать умный вид. Понятнее.

И когда его просят пересказать своИИми словами всю эту заумь, он отлично справляется.

На сайте пользователи могут загрузить статью и отметить отдельные предложения или абзацы в веб-интерфейсе, которые GPT-3 затем описывает в сокращенных, идеально простых терминах. Функция чата позволяет пользователям задавать более подробные вопросы(!).

Каково?

Explainpaper uses GPT-3 davinci-002 via the everyprompt platform. The GPT-3 model has not yet been fine-tuned, but that is expected to change soon:
Команда планирует использовать 100 000 точек данных explainpaper для оптимизации GPT-3 для понятных объяснений. Данные были собраны с момента запуска сайта. Текущая версия пока не может объяснять математические функции, но эта функция также планируется в последующих версиях.

Миссия проекта - заинтересовать больше людей наукой. В настоящее время основатель и основательница работают над Pro-версией программы, которая за 10 долларов в месяц будет предлагать некоторые удобные функции, такие как сохранение работы вместе с отмеченными пунктами и пояснениями. Также будет улучшена функция чтения PDF-файлов и усовершенствована модель для более точных ответов.

В общем, ИИ выводит кожаных на чистую воду, а точнее, выводит мутную воду из заумных текстов.

https://the-decoder.com/explainpaper-gpt-3-app-explains-complex-science-in-simple-terms/

https://twitter.com/amanjha__/status/1584628485510733825

https://www.explainpaper.com/

https://www.everyprompt.com/

Музыкальные нейросетки не отстают от визуальных.
Вот эта
Pop2Piano : Pop Audio-Based Piano Cover Generation
(там можно потыркать небольшое демо)
Генерирует пианинные каверы на песни. На вход берет аудио трек.
На видео показана сначала человеческая ручная аранжировка, потом примеры нейрокаверов.
Можно менять стиль аранжировщика.

Код
Колаб

#audio2audio
#music2music
#audio2music
#AImusic

это должно было случиться

У каждого есть знакомый который долго не отпускает твою руку при рукопожатии

А еще для этих целей есть телеграм-бот
https://news.1rj.ru/str/sd_prompt_generator_bot

еще одна ипостась

#lofi в стиле классического Диснея