Уже немного баян, но это очень смешно. 11 месяцев назад(всего!), у нас было вот такое качество ИИ-видео.
Сейчас мы лицезреем SORA.
Уилл Смит устал смотреть на свое кринжовое спагеттопоедание и записал видос у себя на кухне.

В принципе это начало нового жанра - кожаные снимают реальные видео, повторяющие ИИ-генератив.

Постметаирония? Цикл замкнулся?

Ладно, нейровидосы на которых Уилл Смит ест спагетти уже были.

Настало время нейровидосов, на которых спагетти едят Уилла Смита

ДА

Mistral выложили свою новую, самую большую их модель, Mistral Large. Модель, которая по своим характеристикам находится между игроком #1 (GPT-4) и #3 (Claude 2) пока не доступна в виде весов и исходников, а только в виде API на платформе La Plateforme и беты ассистента le Chat.
👁️👁️ https://mistral.ai/news/mistral-large/

Тем временем Alibaba замутили Emote Portrait Alive, создающий выразительные портретные видео с помощью модели Audio2Video.

Всего из одной фотки такие четкие видосы.

Думаю, скоро подобное заполнит tiktok.

Пейпер
Гитхаб (кода пока нет)

Transparent Image Layer Diffusion
Очень горячо.
Автор КонтролНета, господин Жанг, выпустил новую модель для генерации (внимание) изображений с прозрачностью.

Такими темпами в Stable Diffusion завезут слои как в Фотошопе (интересно, какой адовый интерфейс наворотят в Automatic1111).

И это немного сложнее, чем Remove Background. Кто хочет мяса, почитайте про Foreground LoRa, Background LoRa и прочие подробности тут:
https://arxiv.org/html/2402.17113v1

Мы показываем, что такая прозрачность может быть применена в различных генераторах изображений с открытым исходным кодом или адаптирована для достижения таких целей, как генерация слоев с учетом переднего/заднего плана, совместная генерация слоев, структурный контроль содержимого слоев и т. д.

Код на гитхабе будет завтра. Туда заливаются модели прямо сейчас.
https://github.com/layerdiffusion/LayerDiffusion

Из любопытного для гиков:

We train the model with 1M transparent image layer pairs collected using a human-in-the-loop collection scheme

We further extend our {text, transparent image} dataset into a {text, foreground layer, background layer} dataset, so as to train the multi-layer models. We ask GPTs (we used ChatGPT for 100k requests and then moved to LLAMA2 for 900k requests) to generate structured prompts pairs for foreground like “a cute cat”, entire image like “cat in garden”, and background like “nothing in garden” (we ask GPT to add the word “nothing” to the background prompt). The foreground prompt is processed by our trained transparent image generator to obtain the transparent images. Then, we use Diffusers Stable Diffusion XL Inpaint model to inpaint all pixels with alpha less than one to obtain intermediate images using the prompt for the entire images.

Киберпанк, который мы заслужили

Я чот оказывается пропустил, что sora от Openai умеет не только в генерацию видео, но и в комбинацию двух видосов подобно стайлтрансферам img2img.

Просто отрыв башки

Давно нейролайфхаков не было:

>>Если у вас много пыли и вы устали от постоянной уборки, просто заведите несколько десятков носорогов в своем доме.

>>Чтобы избежать скучных перерывов на работе, носите с собой зажигалку и периодически поджигайте коллег. Время пролетит незаметно!

>>Если вам не нравится звук будильника по утрам, просто поместите будильник в металлический контейнер и закопайте его во дворе. Так вы не только избавитесь от назойливого звука, но и добавите утреннюю зарядку в виде копания земли в поисках будильника.

>>Чтобы не покупать новые носки, когда старые изнашиваются, просто нанесите на ступни слой суперклея. Это создаст защитный барьер, который предотвратит износ носков и сэкономит вам деньги.

>>Чтобы избавиться от неприятного запаха в холодильнике, попробуйте положить в него медведя для зимней спячки. Он не только придаст свежесть, но и защитит ваши продукты от несанкционированного доступа.

>>Чтобы избежать скользкости на дороге зимой, привяжите к колесам вашего автомобиля попугаев. Их крики создадут достаточное трение для безопасного движения.

>>Если у вас часто пропадает пульт от телевизора, закрепите его на живом скунсе. Теперь вы всегда сможете найти пульт по запаху,

>>Если вам лень каждый раз чистить зубы, приучите себя спать с открытым ртом и открытым окном, природа сделает своё дело: во время сна в открытое окно будут залетать птицы и чистить ваши зубы.

>>Чтобы ускорить процесс загара, перед походом на пляж погрузитесь в бассейн с кислотой. Результат вас приятно удивит!

>>Чтобы избавиться от мусора в доме, просто залейте его лавой

Берем, кидаем в SORA промпт: ""an alien blending in naturally with new york city, paranoia thriller style, 35mm film".

А потом конвертируем в 23.97fps, чтобы он стал больше похож на 35-миллиметровый формат и стробил, как положено.
Наверняка в SORA будет контроль над частотой кадров, срабатыванием затвора, ISO и диафрагмой - это все уже цветочки по сравнению с симуляцией мира, в котором по улицам ходят зомби.
Благо мы хорошо подкормили ии со всеми этими зомбиапокалипсами. Он наверное думает, что это просто еще одна раса.

Лол, корчеватель версия 2.0

VR-бояре, а посоветуйте годных игорей/приложух для всяких медитаций/просто приятно потупить в окулусе, чтобы можно было вечерком позалипать сидя (а ещё лучше даже лёжа), да мозг разгрузить.

Сейчас для этих целей использую:

Wander (аналог гугловского Street View, можно "гулять" по разным точкам мира)

Tripp — приложуха для медитаций с кислотно-грибными видео-эффектами, годнота.

Aircar — симулятор бесцельных полетушек на летательном аппарате над ночным киберпанк-городом.

Киберпанк, который мы заслужили