Fooocus 2.0.0

Анонсировано большое обновление Fooocus.

- мультистиль
- генерации v2 превосходят v1 по результатам в 87 случаях из 100
- лучшее понимание текста

#tools

https://www.youtube.com/watch?v=r5HLlNwOEoc
А вот и туториал который я обещал

Бесплатный доступ к API кончится 15 сентября, я вас предупредил

Morph Studio
Очередной конкурент на рынке генераторов видео по тексту

Инвайт в дискорд

#text2video

👃 У нейросетей появился нюх

Ученые из Google исследовали, как можно научить искусственный интеллект предсказывать запах вещества по его молекулярной структуре. Эта фундаментальная проблема в области цифрового обоняния долгое время оставалась нерешенной.

Для создания модели авторы использовали графовые нейронные сети – специальный тип нейросетей, хорошо работающий с графовыми данными. Молекулы очень удобно представлять в виде графов, где атомы – вершины, а связи – ребра. Такая структура позволяет эффективно анализировать особенности молекулы.

Модель обучалась на наборе из 5000 молекул с соответствующими запаховыми дескрипторами типа "цветочный", "фруктовый" и т.д. Затем ее проверили на 400 ранее не встречавшихся молекулах.

Результаты показали, что нейросеть описывает запахи новых веществ не хуже, чем средний человек! Более того, модель лучше справляется с задачей, чем предыдущие подходы на основе традиционных химических дескрипторов.

Полученная нейросетью "карта запахов" переносится и на другие задачи в области обоняния - например, определение схожести запахов разных веществ. Таким образом, исследователи создали универсальное средство для изучения мира запахов.

В будущем подобные модели могут использоваться для автоматического предсказания запаха еще не синтезированных молекул. Это поможет ускорить открытие новых ароматов и душистых веществ без дорогостоящего экспериментального тестирования.

📰 Статья

Подпишись на @nn_for_science

#mocap #tracking

Я бы хотел напомнить о безмаркерном решении для захвата движений - MoveAI.

Кроме захвата тела, вы можете трекать руки и пальцы, причем на очень высоком качестве. Это ли не счастье?

И немного офтопом хотелось бы подвайнить. Безусловно, сейчас огромное количество решений выходит в облачном виде, вам не нужно скачивать софт на компьютер. Где-то можно пользоваться триалами, где-то оформлять подписку.

Слишком много разделенных инструментов появилось, за которые нужно платить. Во-первых, нужно будет тратить много, чтобы выполнять свою работу быстрее и оставаться конкурентоспособным. Во-вторых, невозможно скачать эти решения с торрента. Это для тех, кто привык экономить на программном обеспечении. Так мы довольно быстро перейдем в облака. Про новую Винду тоже слухи ходят, что ее не нужно будет ставить на комп.

Я не сомневаюсь, что впереди нас ждут трудные времена, связанные с этим, но рано или поздно рынок решит и функционал станет более доступным. Но это будет потом.

Думаете, зря полыхаю?

Там вышел целый альбом от какого-то norimyxxxo. Выглядит, звучит и пахнет как Oxxxymiron, но это ИИ-творчество

#AImusic

Stable Audio
Генератор музыки по текстовому запросу от Stability AI.
На бесплатном тарифе до 20 некоммерческих треков в месяц по 45 секунд.
Можено генерировать как готовые треки, так и отдельные инструменты и немузыкальные звуковые эффекты.
Загружается с трудом, видимо, там аншлаг.

Объявляю парад вашей генеративной музыки в комментариях

#text2music #text2audio

InstaFlow! One-Step Stable Diffusion with Rectified Flow

Люди придумали как делать качественную диффузную генерацию картинок за один единственный шаг! Скоро во всех генераторах

Кода пока нет

#text2image

Хорошие новости для тех кто хотел поиграть с векторизатором Vertorizer.ai
Платные тарифы на API откладываются до 3 октября

Tree-Structured Shading Decomposition
Узрите же перенос материала на изображении с объекта на объект

Код обещают выложить

#shading

Принес вам прогресс в нейронном текстуринге от MeshyAI. Вопросов, конечно, больше, чем ответов.

Если нам не важен уникальный визуальный ряд и консистентность, то можно использовать.
Получение корректных, а тем более физически корректных, или хотя бы PBR значений в дополнительных текстурных каналах - речи не идет пока.

Таким образом, опять все гавно скидываем на этап прототипирования. Тут конечно, подобные инструменты могут чувствовать себя чуть более комфортно. Продолжаем следить, но чемоданы пакуем.

Как сделать красивую презентацию продукта с говенным текстурингом, смотреть тут

Generative Image Dynamics

Добавляет к фото динамику, может делать закольцованное видео из фото.

Кода нет

#image2video #image2motion

Зумеры переизобрели хромакей. Кто-нибудь объясните зачем?

реддит

Generative fill теперь платная фича. За каждую генерацию. Проверьте свой бета-фотошоп, у вас тоже оно уже не работает?

Хотите покрутить гауссинаны в браузере?
Вам сюда gsplat.tech

DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
Реставрация и апскейл фото. Конкурент GFP-GAN, CodeFormer, RealESRGAN. Все есть: код, демо, даже портативная версия. Ну как портативная, 24 Гб. Очень прожорливый до ресурсов, работает по маленьким разрешениям. По моим тестам результат не превзошел GFP-GAN. Но тут есть рульки и можно писать промпты, надо разобраться.


Код
Демоспейс
Колаб
Портативная версия от Neurogen

#restoration #enhance #facerestoration #upscale

Код Render-a-video опубликован.

Модель сочетает SD + Optical Flow и отличается хорошей консистентностью видео без фликера. И даже работает без трени или файнтюна.

Кнопки в веб-интерфейсе:
Run 1st Key Frame — генерим только 1-й кадр, чтобы настроить промты/модели/параметры.

Run Key Frames — проход по ключевым кадрам на основе настроек первого кадра, что позволяет задать временные параметры для лучшей консистентности перед запуском на всё видео.

Run Propogation — применение настроек ключевых кадров на остальные кадры для полного перевода видео.

Run All — запустись всё разом.

Демо
Гитхаб

🦔 OpenAI обучили DALL-E 3

Сложно назвать это релизом, скорее просто неплохая модель, работающая в связке с GPT-4. Мне лично кажется, что следующий Stable Diffusion будет куда умнее и интереснее эстетической точки зрения.

2021 DALL-E 1 — 12B модель, пейпер / API нет
2021 GLIDE — 2B модель, пейпер + опенсорс 300M модели
2022 DALL-E 2 — 2B модель, пейпер unCLIP + API
2023 DALL-E 3 — Хрен пойми что это, но будет интеграция с GPT-4 для подписчиков ChatGPT+


Про DALL-E 3 на сайте OpenAI