🔥DeepFloyd IF: новая text-2-image модель

StablityAI выпустили новую модель, которая очень похожа на Imagen от Google, но работает лучше и в open-source.

Архитектура IF, как и у Imagen состоит из трех диффузионных моделей, каждая из которых работает в пространстве RGB и прогрессивно увеличивают картинку. Сначала Text→64×64, затем (Text+64×64)→256×256, и наконец (Text+256×256)→1024×1024. А текст кодируется с помощью текстового энкодера T5.

Почему это круто?
— IF неплохо умеет генерировать текст (я даже генерил в канале ранее), явно лучше чем StableDiffusion XL

— Нормальная открытая имплементация по типу Imagen, которой до сих пор не было. Возможно с какими-то трюками, о которых мы узнаем, когда авторы выпустят блогпост

— FID скор измеряет похожесть снеренированных картинок на реальные. Это чуть ли не основная метрика для качества генерации. У IF FID=6.7, тогда как у Imagen 7.3. Меньше — лучше. Разрыв не космический, но приличный.

Код выложили, веса ждем тут. И ждем подробной статьи от авторов.

@ai_newz

Пока вы тут ржали над папой римским и сгенерированным арестом Трампа, взрослые мальчики из политики расчехлили Generative AI и долбанули вот таким роликом по мозгам американских избирателей.
Джо Байден объявил о своей кампании по переизбранию, и Республиканский национальный комитет (RNC) ответил вот таким вот ИИ-фейком.

Видео (как вы уже убедились) содержит серию очень хорошо сделанных изображений, показывающих переизбрание Байдена в 2024 году. Оно демонстрирует, что это приведет к серии кризисов, среди которых, взрывы на Тайване после китайского вторжения и развертывание военных на улицах, предположительно, американских.

Небольшой отказ от ответственности в верхнем левом углу кадра гласит: «Построен полностью с использованием изображений ИИ», а подпись под видео на YouTube гласит: «Созданный ИИ взгляд на возможное будущее страны, если Джо Байден будет переизбран в 2024 году».

Вот это вот "Созданный ИИ взгляд на" - это прям виртуозный уход от ответственности.

Я пока не нашел making of или детали, как это делали. Но думаю, что следующие выборы в штатах будут очень развеселые с точки зрения фейков, дипфейков и прочих созданных ИИ взглядов на происходящее.
https://www.forbes.com/sites/ariannajohnson/2023/04/25/republicans-share-an-apocalyptic-ai-powered-attack-ad-against-biden-heres-how-to-spot-a-deepfake/

Шакирующее видео (простити)
сорс в комментах

👾 Мы DeepFloyd (Research AI Lab at StabilityAI) зарелизили лучшую Text-to-Image модель DeepFloyd IF

DeepFloyd IF это новая каскадная диффузионная модель основанная на идеи Imagen от Google:
— Текст кодируется T5 XXL v1.1
— Далее интерпретируется в пиксели через IF-I-XL (4.3B UNet), генерирующий изображения в 64х64
— IF-II-L (1.2B кастомный Optimal UNet) апскелит изображения 64х64 в 256х256, используя T5
— Для финальной картинки в 1024х1024, благодаря модульному подходу, можно использовать IF-III-L (пока не опенсорснут) или Stable x4

Благодаря тому, что:
— Модель параметризирована сильнее чем GLIDE, DALL-E 2, Imagen, eDiff-I: 2B против 4.3B у DeepFloyd IF
— Апскейлеры больше и имеют более оптимальную архитектуру в сравнение с Image и DALL-E 2

🏆 DeepFloyd IF выбивает Zero-Shot COCO@30K SOTA, тем самым являсь лучшей Text-to-Image моделью не только в опен-сорсе, но и вообще!

💻 Сайт лабы DeepFloyd
🤖 Страница нейроки DeepFloyd IF
👽 DeepFloyd Дискорд

🖥 GitHub
🤗 HuggingFace

👾 Генерить тут: Demo 👈

StableWarp 0.12 CN 1.1 1080x1920

Settings: YT

Версия поменбше.
Более спокойная в плане цветов и cfg scale.

Онеме, кудаж без него

💵 Немецкий стоковый фотограф Роберт Кнешке получил штраф за просьбу удалить свои работы из открытого обучающего датасета LAION-5B.

В феврале 2023 года он узнал, что сделанные им снимки использовались для тренировки генеративных моделей. Также Кнешке обнаружил «кучу изображений» из своего портфолио в LAION-5B.

🙅‍♂️ Фотограф попросил владельца датасета удалить работы и получил ответ от юридической фирмы Heidrich Rechtsanwälte. В компании заявили, что ее клиент поддерживает базу данных только со ссылками на изображения из интернета и не хранит картинки. Значит нарушения нет и удалять нечего, ответили юристы.

В конце марта Кнешке отправил команде LAION запрос о прекращении противоправных действий. Он снова попросил удалить фото и предоставить информацию о степени и времени их использования.

Юристы Heidrich Rechtsanwälte ответили об отсутствии нарушений клиентом. Также они потребовали в течение 14 дней выплатить ущерб в размере $979 за необоснованную жалобу.

⚖️ В конце апреля фотограф подал иск против LAION в окружной суд Гамбурга в Германии.

#суд

Штош, пора паковать чемоданы :D

тест - https://culturacompass.com/ru

🦮 Вербальное управление робопёсиком Spot с помощью Whisper

В предыдущем посте я допустил неточность. ChatGPT к робопёсику Spot прикрутили не Boston Dynamics, а их партнёры – фирма Levatas, которая программирует Спотов выполнять различные миссии в индустрии. Например, побегать по фабрике и проверить, что все в порядке, снять показания с датчиков температуры, давление и т.д., сделать теплоснимки оборудования, и прочие рутинные задачи, которые нужно регулярно производить в индустрии.

"There is nothing better than looking at the effect of you code in real-time". Как же я согласен с этим!

На видео пример того, как парни используют модель Whisper (я про нее писал в этом посте) для передачи базовых команд робопсу.

@ai_newz

Когда ютуб хорни

Как подключить Colab к удаленной машине\хостингу\vast.ai\runprod и иже с ними.
(ну или пробросить любой порт с удаленной машины на localhost локальной)

1. Заходим на https://ngrok.com/ и регистрируем аккаунт. Копируем токен авторизации (или всю команду авторизации целиком)
2. Качаем и распаковываем ngrok куда-нибудь.
3. Открываем терминал в папке с ngrok.
4. Выполняем команду авторизации, которую получили после регистрации в пункте №1 -

ngrok config add-authtoken <your token>

5. Открываем туннель для ssh -

ngrok tcp 22

6. Поднимаем ssh-сервер.
Linux:

sudo apt install openssh-server
sudo service ssh start

Win10/11:
пуск - настройки - приложения - дополнительные функции -
(run - settings - apps - optional features)
Ищем там OpenSSH. Если у вас есть OpenSSH Server - все ок. Если нет, идем в
пуск - настройки - приложения - приложения и функции -
(run - settings - apps - apps&features)
ищем OpenSSH и ставим OpenSSH Server.

После установки:
пуск - службы - OpenSSH Server - запустить
(run - services - openssh server - start)

7. На локальной машине: ставим клиент OpenSSH. (через пуск - настройки - приложения - приложения и функции или run - settings - apps - apps&features)

8. В консоли пишем:

ssh <username>@<ngrok external address> -p <ngrok port> -L 8888:localhost:8888

Где <username> - это имя пользователя удаленной машины, <ngrok external address> и <port> - те, которые вы получаете при запуске ngrok сервера в пункте №5.

9. Введите пароль вашего удаленного пользователя.

10. Подключаем колаб через connect -> connect to local runtime

@derplearning

Похоже варп перестает быть ламповым инди.
https://youtu.be/HkM-7wxtkGA

Finally, a GTA: San Andreas we deserve