Pika Labs открылся для всех!

Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.

Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)
-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)
-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)

Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.

Дискорд
Сайт

Пока Nvidia готовит выступление на ближайшем SIGGRAPH по поводу нейронной компрессии, я вот что имею вам сказать.

Без сомнения, последнее время развитие в графике происходит не в чем-то принципиально новом, как когда-то в Doom3 придумали использовать нормали, а скорее в улучшении того, что уже было придумано, но на более низком уровне.

Если посмотреть на последние знаковые игры, которые используют быстрые SSD, например Ratchet & Clank Rift apart, то можно восхититься, если знать, как быстро там подгружаются данные при переходах между уровнями и какое количество FX и событий там удерживается на экране. Или те же наниты, по сути это трюки с геометрией, все той же полигональной.

Вот и у Nvidia трюк с теми же текстурами, принципиально они не меняются, но количество данных, которые они смогут содержать в себе при том же размере файла, подгружаемого в память, а иногда и меньше, просто поражает! Но это только с одной стороны.

Да, все будет выглядеть суперчетко, как в порно в 60fps и разрешении 4к, но стал ли такой формат популярен? У некоторых определенно да... больные ублюдки.

С другой стороны, дорогие художники, вы охуеете, все это текстурить! Теперь будут задрачивать так, что вы еще больше "полюбите" геймдев! Если раньше можно было сказать, у нас тексель не вывозит или в игре все равно пожмется даже на хайспеках, то сейчас это не прокатит, будьте добры, чтобы каждый пиксель звенел! И не важно, что это сессионый шутан, где все должно летать даже на пентиум 2. Потому что теперь то, что выглядело мылом и весило 3мб, сейчас весит столько же, а то и меньше, и видно каждую травинку.

В общем, просто потребителям ура, создателям контента лингам вам в руки!

Сорс

Там еще есть видео с презентацией и интерактивый просмотрщик текстур

#texture #compression

Я тут смастерил упоротый трейлер Барби.
Если нужны пояснения как это сделано, то вот они:

Распилил трейлер на шоты, из каждого шота сохранил по одному кадру, который мне казался удачным для анимации. Далее обработал все сохраненные кадры в Runwayml Gen-2 и смонтировал с оригиналом.

Приветствуются ваши Gen-2 анимации в комментариях.

Если будет желание, поддержите меня репостом в твиттере или комментарием/лайком на ютубе

#Neuronaut_art

Нейросеть обошла около 400 конкурентов в литературном конкурсе

Произведение искусственного интеллекта вышло в финал «Проекта особого значения».
Всего в шорт-листе 39 авторов, а призовых мест — 10, так что шансы на победу у нейросети высоки. И вот как это произошло.

Многие уже убедились, что искусственный интеллект может создавать неплохие короткие тексты. А получится ли у него написать достойный научно-фантастический рассказ? Это решили проверить АО «ЗАСЛОН» и ЛитРес Самиздат. Они второй год подряд проводят конкурс «Проект особого значения», в котором работы оценивают профессионалы: Сергей Лукьяненко, Александр Васильев, Вадим Панов и Макс Глебов.

Организаторы попросили специалистов подготовить литературное произведение с помощью ChatGPT и подать заявку на участие от имени вымышленного автора. Чтобы эксперимент удался, членам жюри этот псевдоним не сообщили. Секрет будет раскрыт в октябре, но
читатели уже сейчас могут попробовать самостоятельно определить, кто из финалистов — не человек, а нейросеть.

А между тем, ИИ вползает в 2Д-инструменты для постпродакшена без помпезных пресс-релизов.
В DaVinci Resolve 18.5 четыре новые (относительно) ИИ-фишки. Расшифровка аудиозаписей в клипах для поиска медиафайлов по содержанию повествования и быстрое создание субтитров с помощью функции автоматического преобразования речи в текст. DaVinci Neural Engine может анализировать и автоматически сортировать аудиоклипы на основе классификации. Fairlight может группировать звуковые дорожки для ускорения автоматизации микширования и редактирования. И Relight FX для добавления виртуального освещения в сцену.
Радует то, что все эти бумаги и демки типа Клипдропа все-таки приземляются в рабочие инструменты.
https://www.blackmagicdesign.com/products/davinciresolve/whatsnew

Вообще не ожидал, но опубликован код и даже демо Materialistic, модели которая выдет маску на видео по материалу.

Код
Демо

#segmentation #video2video #video2mask

Реддитор с помощью ИИ анимировал 43 картины известного художника Клода Моне. Вышло довольно атмосферно и мило.

DWPose: Effective Whole-body Pose Estimation with Two-stages Distillation

Определение позы от IDEA Research
Говорят, лучше чем Openpose. Сравнение закину в комментарии

Код
Демо (в выпадающей менюшке выбрать wholebody)

#image2pose #video2pose #poseestimation

PHOTOSWAP: Personalized Subject Swapping in Images

Новый крутой заменятор чего угодно на изображениях от Университета Калифорнии. Работает по статичным изображениям

Код

#faceswap #image2image

AudioLDM 2: A General Framework for Audio, Music, and Speech Generation
Следующее поколение генератора звуков AudioLDM
Умеет по тексту или изображению генерировать музыку, речь и прочее.


Код обещают выложить
Демо будет

Твиттер

#text2music #text2audio #text2speech #TTS

OpenAI выпускает несколько небольших обновлений, чтобы увеличить удобство работы с ChatGPT. Что будет добавлено уже на следующей неделе:

1. Примеры промптов: В начале нового чата вы увидите примеры, которые помогут вам начать работу, чтобы не смотреть на "пустой лист" каждый раз.

2. Предлагаемые ответы: возможность углубиться в тему одним щелчком мыши. Теперь ChatGPT предлагает подходящие способы продолжить разговор (как в Bing).

3. Наконец-то! GPT-4 как модель по умолчанию: при запуске нового чата (если вы Plus-подписчик) в качестве модели будет выбрана самая мощная доступная версия — больше сайт не будет возвращаться к модели GPT-3.5 по умолчанию. Честно уже руки устали менять каждый раз)

4. Загрузка нескольких файлов: теперь вы можете попросить ChatGPT проанализировать данные и получить информацию по нескольким файлам. Это будет доступно в бета-версии Code Interpreter для всех пользователей Plus (раньше всё ограничивалось одним файлом на контекст. Вероятно, OpenAI добавили какие-то оптимизации, чтобы брать в промпт/контекст только один файл или его частичку)

Midjourney. Reloaded. V6, собственный сайт и приложение!

Странно, что все помалкивают, а ведь это, потрясающие новости про Midjourney.


1. Они работают над САЙТОМ! И Мобильным приложением.
Грубо говоря, это ответочка на DreamStudio от Stability AI.

Вот их комментарии:

1. Сайт
- будет работа на автономном сайте, а не в Дискорде.
- самый большой вопрос на данный момент - сколько социальных механик можно вставить на сайт и главную страницу.
- в будущем на сайте будут проводиться опросы, участвуя в которых, вы получите, например, бесплатные часы на GPU - прямо сейчас вы можете участвовать в них в Discord

2. Мобильное приложение
- тестирование
- собственное приложение для iOS
- non-native приложение для Android (что бы это не значило)
- веб сайт также будет работать на мобилках!

3. Версия 6.0
- уже есть релиз кандидат v6
- он более последовательный, визуально более разнообразный, лучшее понимание промптов
- идет работа, чтобы сделать его более отзывчивым к тексту
- работают над тем, чтобы сделать его более корректным к тексту
- вместо того, чтобы выпускать более консервативный релиз v6, идет работа над гораздо более качественной версией v6.
- дата выпуска: около нескольких недель(!)

4. v5.3
- пользовательский интерфейс для инпайнтинга прямо в Discord
- будет включен инпайнтинг и новый стиль (aestetic)
- дата выхода: возможно, около 2 недель(!)

5. Обновление Midjourney дата центров
- ускорение генераций
- апгрейд железа
- возможно, в ближайший месяц будет ускорение генерацию изображений для пользователей уровней pro и mega (нас нет достаточного количества компьютеров, чтобы ускорить генерацию для всех уровней)

6. Режим Турбо.
Любой желающий (все уровни) может попробовать режим Turbo прямо сейчас, он в 4 раза быстрее.
Для перехода в турбо-режим надо добавить --turbo в подсказку или /turbo.


Такими темпами и до Контрол Нета рукой подать... Stability AI нервно закуривает овальные сигареты.

Mosscap

Новая чат-игра от авторов Гэндальфа
Попробуйте свои навыки взлома ChatGPT

#game #gaming

Google готовит интеграцию ИИ в поисковик

Фичи:

- результаты ИИ выше всех остальных

- В отличие от ChatGPT, Google указывает источники информации.

- можно запросить дополнительную информацию одним кликом

- генерация кода по запросу

Чтобы вписаться в бету, перейдите по ссылке и нажмите «Get started». Меня не пускают даже через VPN, может, у вас получится

#chatbot #coding