Самое лучшее применение генераторов видео, что я видел за весь год. На моменте с соком порвало

Тикток автора

#aiart

A Task is Worth One Word: Learning with Task Prompts for High-Quality Versatile Image Inpainting

Высококачественный инпейнтинг/аутпейнтинг - замена объектов на изображении/дорисовка

Код
Демо (китайский сайт, у меня загрузился только через VPN)

#inpainting #outpainting

Midjourney выкатила браузерную версию нейронки — без ебучего дискорда. Мы дожили до этого момента.

Пока попробовать веб-версию Midjourney могут только юзеры с 10 тысячами генераций за плечами.

Короче, мы выкатили диффузию в инстаграм для редактирования изображений, а именно - генерацию фона по тексту. Эта модель была анонсирована еще на Connect, но только сейчас ее выкатили в прод в США.

Загружаешь фото, вводишь любой пропмт, например, "преследуемый динозаврами" или "я в Париже", и получаешь несколько новых версий своей фотки.

Моделька основана на нашей text2image диффузии Emu и технологии по типу SAM, которая позволяет автоматически находить нужную маску.

Тут я говорю "мы выкатили", потому что мы с нашей командой крутили и искоряли эту модель, чтобы она работала за пару секунд.

Диффузия Go Brrrrr! - это лозунг нашей команды.

Приятно, когда результатами твоей работы могут пользоваться миллионы людей. Даже работая в ресерче в фаанге, не всегда есть такая возможность. Мне в этом смысле повезло, т.к. наша GenAI орга, кроме написания статей, ещё и катит ресерч в продукты и имеет реальный импакт.

@ai_newz

Это примерно сколько у меня накопилось неразобранных новостей по нейросеткам. И увы, сегодня разбирать тоже некогда. Не теряйте, скоро вернусь

Вот несколько важных штук о которых я вам не успевал рассказать. Текст честно с@$&дил у Олега. И тегов насыплю чтобы можно было найти по поиску

— Alibaba представили виртуальную примерку OutfitAnyone, загружаете фото и примеры одежды, получаете фото в одежде или даже анимацию 🕺💃 Демо, Сайт проекта.

— В Open-Source появилась модель Mistral 8x7b, превосходящая результаты GPT 3.5 при низких требованиях к железу 🔥 Подробнее, Попробовать.

— Разработчики выпустили Dobb-E: open-source framework для обучения домашних роботов 🤖 Сайт, Клип.

— Meta выпустила Foundation Model для генерации звука: голоса, музыки, спецэффектов и т.д 🎶 Ссылка.

— Google выпустили новый генератор музыки MusicFX. Работает для Штатов, Австралии и Кении 🎹 Слушать, Проверить здесь.

— RunwayML представили "text-to-speech" для генерации закадрового голоса и диалогов на несколько разных голосов 🎙 Ссылка.

— DeepMind представили FunSearch - метод исследования с использованием больших языковых моделей для открытия новых решений в математике и информатике 🌐 Блог-пост, Статья в Nature.

— Google выпустили новый генератор text2video 📽 Демо, Статья.

— StabilityAI выпустили Stable Zero123 для генерации 3D 🧊 Новость, Код.

— WonderJourney: модульный фреймворк с использованием LLM для генерации 3D-сцен и формирования "чудесных путешествий" 🌅 Сайт.

— PowerPaint: модель для редактирования изображений через инпейтинг, аутпейтинг и ControlNet 🖌 Сайт.

#inpainting #outpainting #textto3D #text2video #text2speech #text2music #voicecloning #text2audio #text2sound

На литературном конкурсе победил научно-фантастический рассказ, написанный ИИ

Профессор журналистики написал научно-фантастическую новеллу о метавселенной и человекоподобных роботах под названием «Страна воспоминаний». Она написана на китайском языке объёмом почти 6000 знаков. ИИ создал черновик на 43 000 знаков всего за три часа с помощью 66 подсказок.

Иллюстрации к новелле также были созданы искусственным интеллектом.

На конкурсе от Ассоциации писателей-фантастов Цзянсу произведение получило второй приз из 17. Только один из шести судей был уведомлен о том, что профессор использовал ИИ в своей работе. Другой судья, который изучал вопрос создания контента с использованием ИИ, догадался, что работа была сгенерирована ИИ и не стал голосовать за неё, так как работе «не хватало ярких эмоций».

Хабр

#news

Fairy

А вот более впечатляющая нейросетка от Meta (запрещена в РФ) для обработки видео.

Fairy расставляет на кадрах готового видеоролика ключи, на которые уже распространяет диффузионные особенности по кадрам. Это обеспечивает сгенерированному видео точность и похожесть на оригинал.

Fairy генерирует 120-кадровые видеоролики 512x384 пикселей (длительностью 4 секунды при 30 FPS) довольно шустро - всего за 14 секунд, превосходя предыдущие нейрости 44 раза.

- замена объекта/персонажа
- стилизация
- генерация длинных видео без переполнения памяти. 27-секундное видео генерит за 71.89 секунд на шести A100

Код ждем

#video2video