Предрелизнулась новая модель text2image - DeepFloyd (IF) от одного из подразделений наших любимых StabilityAI. Это бесплатная модель с открытым исходным кодом по новому подходит к генерациям. Сначала создаётся база будущей картинки - размером 64x64 пикселей. Затем, при помощи двух разных СуперСкалеров, картинка увеличивается сначала до 256х256, а после - до 1024х1024. Естественно, на каждом из этапов модель дополнительно регулируется слоями UNet, что бы базовая картинка и промт не "потерялись". Разработчики заявляют об отличной фотореалистичности и детализированности "из коробки", плюс беспрецедентное следование вашему текстовому запросу - 6.66 FID-очков по датасету COCO, если вам это о чём-нибудь говорит. (мне это мало что говорит, но разработчики счастливы от такой цифры, говорят что лучше всех аналогов на текущий момент 🥸). Так же эта модель отлично генерирует текст и, опять же по заявлениям разработчиков, благодаря обновлённому подходу в генерациях избавлена от "детских болячек" прошлых нейросетей - очень плохих рук и сливания деталей в общую кучу. В общем, нужно проверять на практике, но предрелизные картинки, которые выкладывали авторы с начала текущего года - действительно неплохи.
По системным требованиям. К сожалению новая технология требует "новых" ресурсов. Пока (я подчеркнул, да), системные требования видны на картинке 3. Да, 24 гигабайта для картинки 1024х1024. С небольшими вывертами это всё входит в 16 гигабайт бесплатного коллаба, блог об этом. Надеемся на сообщество и разработчиков - что бы завезли побольше оптимизаций, для домашнего использования моделей.
Код модели здесь.
Модели (веса) будут тут (они уже выложены, но пока скрыты от обычных пользователей).
Демка, что бы всё попробовать будет здесь.

Это Фредди Меркьюри поёт песню Imagine Dragons.

Вот нейронка. А вот подробная инструкция на YouTube, как сделать так же.

Революция в сегментации продолжается.
На этот раз в ход пошла карта глубины
SAD: Segment Any RGBD

Уже есть пара спейсов потыркать на HF:

Демо1
Демо2

Код

#segmentation

ChatGPT поженили с Stable Diffusion через плагин

реддит

Кроме того у некоторых подписчиков ChatGPT+ появилась возможность подключения чат-бота к интернету.

Для этого нужно выбрать плагин «GPT 3.5 with browsing» — он добавляет актуальные данные из интернета. До этого датасет ChatGPT был ограничен данными до 2021 года.

реддит

В открытую бету вышла нейросеть CourseAI, которая может генерировать курсы на любую тему.

Пишем ИИ, что хотим изучить, на выходе - краткая выжимка из десятков обучающих материалов, которую в конце предлагают закрепить небольшим тестом. Пока недоступен русский язык.

GPT4Free предоставляет бесплатный доступ к GPT 4, но есть одно но, это не совсем легально.

Открытый проект GPT4 Free,несанкционированно предоставляет пользователям возможность получения почти неограниченного доступа к ChatGPT через уязвимость в API OpenAI.

Разработчик проекта, известный под ником xtekky, сообщил, что GPT4Free создан только для экспериментальных и образовательных целей, и предназначен для использования в качестве чат-бота на базе GPT-4 и его предшественника GPT-3.5. Он заявил, что разработал эксплойт методом реверс-инжениринга для обмана API OpenAI, когда искал, какие сервисы работают с чат-ботом.

GPT4 Free не обходит корпоративные механизмы платного доступа к платформе OpenAI, а нелегально подключается к системе путем запросов к API от ресурсов компаний, имеющих платные учётные записи в OpenAI.

В настоящее время OpenAI и GitHub не заблокировали проект GPT4 Free, а список сервисов, запросы которых можно подделывать, состоит из 11 позиций.

Github👈
Чат👈

Мне кажется, что уже точно пока раскупоривать и наливать за эфыксеров (если на понятном, за тех, кто пилит визуальные эффекты типа взрывов, воды и прочей хни. в основном Гудиньщики и немного Майщики).
GEN-2 дает жару, в прямом смысле.
The prompt was "A cinematic explosion in the desert"

Это Cristóbal Valenzuela из RunwayML зажигает в своем твитторе.
https://twitter.com/c_valenzuelab/status/1651702658942611457

Ну, за операторов и монтажеров. Плагин для Премьера, которые ИИ-монтирует ваши унылые подкасты, анализируя только звуковую дорожку, и делает монтаж в стиле форсаж.

👾 Мы DeepFloyd (Research AI Lab at StabilityAI) зарелизили лучшую Text-to-Image модель DeepFloyd IF

DeepFloyd IF это новая каскадная диффузионная модель основанная на идеи Imagen от Google:
— Текст кодируется T5 XXL v1.1
— Далее интерпретируется в пиксели через IF-I-XL (4.3B UNet), генерирующий изображения в 64х64
— IF-II-L (1.2B кастомный Optimal UNet) апскелит изображения 64х64 в 256х256, используя T5
— Для финальной картинки в 1024х1024, благодаря модульному подходу, можно использовать IF-III-L (пока не опенсорснут) или Stable x4

Благодаря тому, что:
— Модель параметризирована сильнее чем GLIDE, DALL-E 2, Imagen, eDiff-I: 2B против 4.3B у DeepFloyd IF
— Апскейлеры больше и имеют более оптимальную архитектуру в сравнение с Image и DALL-E 2

🏆 DeepFloyd IF выбивает Zero-Shot COCO@30K SOTA, тем самым являсь лучшей Text-to-Image моделью не только в опен-сорсе, но и вообще!

💻 Сайт лабы DeepFloyd
🤖 Страница нейроки DeepFloyd IF
👽 DeepFloyd Дискорд

🖥 GitHub
🤗 HuggingFace

👾 Генерить тут: Demo 👈