This media is not supported in your browser
VIEW IN TELEGRAM
DisCo: Disentangled Control forReferring Human Dance Generationin Real World
Аниматор-генератор танцев. Модель заточена на танцевальные позы и движения. Может анимировать статичную картинку персонажа, может клонировать движения с одного персонажа на другого, понимает скрытые элементы персонажа
Код
Демо
#humananimation #image2video #video2video #pose #humanavatar
Аниматор-генератор танцев. Модель заточена на танцевальные позы и движения. Может анимировать статичную картинку персонажа, может клонировать движения с одного персонажа на другого, понимает скрытые элементы персонажа
Код
Демо
#humananimation #image2video #video2video #pose #humanavatar
👍1
Вышел код Composable Diffusion. Ждем скрипты с весами для генерации скелета
Код
Колаб
#multimodal #anything2anything
Код
Колаб
#multimodal #anything2anything
Telegram
Нейронавт | Нейросети в творчестве
CoDi: Any-to-Any Generation via Composable Diffusion
Microsoft сообразил генерацию чего угодно из чего угодно:
текст, звук, видео, картинки
[UPDATE]
Код
#multimodal #anything2anything
Microsoft сообразил генерацию чего угодно из чего угодно:
текст, звук, видео, картинки
[UPDATE]
Код
#multimodal #anything2anything
👍1
moonlander.ai
Разработка игр без кода, по текстовым подсказкам. Как я понял, интегрируется в Unity/UE. Кнопка "записаться в вейтлист" не работает, кнопка "Связаться с нами" не работает. Единственное что работает это ссылка на дискорд. А демо веселое, да.
#text2game #text2code #coding
Разработка игр без кода, по текстовым подсказкам. Как я понял, интегрируется в Unity/UE. Кнопка "записаться в вейтлист" не работает, кнопка "Связаться с нами" не работает. Единственное что работает это ссылка на дискорд. А демо веселое, да.
#text2game #text2code #coding
🤔2
Генератор речи/звука/музыки Bark теперь работает в дискорде. + есть Колаб
Дискорд
Колаб
#text2audio #tts
Дискорд
Колаб
#text2audio #tts
Telegram
Нейронавт | Нейросети в творчестве
Bark — модель преобразования текста в аудио с упором на создании крайне реалистичной речи, а также других аудиофайлов, включая музыку, фоновый шум и простые звуковые эффекты
Модель также может производить невербальные коммуникации, такие как смех, вздохи…
Модель также может производить невербальные коммуникации, такие как смех, вздохи…
Forwarded from Сиолошная
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic анонсировали Claude 2, новую модель в авангарде интеллектуальных ассистентов. Прямых сравнений с GPT-4 нет, но относительно старой модели улучшили всё, особенно математику, программирование и способность рассуждать.
Сама компания предлагает думать о Claude 2 как "о дружелюбном, полном энтузиазма коллеге или личном помощнике, которого можно проинструктировать на естественном языке, чтобы помочь вам со многими задачами".
Потыкать бету можно тут: https://claude.ai/
Почитать карточку модели (больше про метрики и сравнение Alignment, нежели технические детали обучения): тяжелый pdf
В прикрепленном видео - демонстрация юзкейсов (но "вау"-эффекта уже не производит...)
Source
Сама компания предлагает думать о Claude 2 как "о дружелюбном, полном энтузиазма коллеге или личном помощнике, которого можно проинструктировать на естественном языке, чтобы помочь вам со многими задачами".
Потыкать бету можно тут: https://claude.ai/
Почитать карточку модели (больше про метрики и сравнение Alignment, нежели технические детали обучения): тяжелый pdf
В прикрепленном видео - демонстрация юзкейсов (но "вау"-эффекта уже не производит...)
Source
Media is too big
VIEW IN TELEGRAM
С коллегами на днях обсуждали что технология хромакея устарела, в ней десятилетиями не заметно никакого принципиального прогресса. И вот оказывается Netflix запатентовал улучшенную технологию под названием Magenta Green Screen (MGS)
Фон освещают зелёными светодиодами, а актёров — красными и синими светодиодами. Так зеленый канал превращается в идеальную матирующую маску. Естественный цвет переднего плана восстанавливают ИИ-технологиями. Для этого потребуется дополнительно провести съемки актеров уже без красных и синих светодиодов.
На видео, нам, естественно, показали пример с идеальным задником, чего в реальности не бывает. Хотелось бы посмотреть как MGS справится со складками и стыками хромака, неравномерностью его освещения на больших площадках. А что если доп съемки актеров сделали неграмотно, и нейросетка не может правильно восстановить цвет?
Больше всего, конечно хочется пощупать все это своими руками.
Призываю в пост композеров и операторов
пейпер
Хабр
Видео
#keying #greenscreen
Фон освещают зелёными светодиодами, а актёров — красными и синими светодиодами. Так зеленый канал превращается в идеальную матирующую маску. Естественный цвет переднего плана восстанавливают ИИ-технологиями. Для этого потребуется дополнительно провести съемки актеров уже без красных и синих светодиодов.
На видео, нам, естественно, показали пример с идеальным задником, чего в реальности не бывает. Хотелось бы посмотреть как MGS справится со складками и стыками хромака, неравномерностью его освещения на больших площадках. А что если доп съемки актеров сделали неграмотно, и нейросетка не может правильно восстановить цвет?
Больше всего, конечно хочется пощупать все это своими руками.
Призываю в пост композеров и операторов
пейпер
Хабр
Видео
#keying #greenscreen
Рабочий демоспейс для One-2-3-45
Геометрия по картинке за 45 секунд.
Можно устроить батл на самую упоротую модельку в коментах
Демо
#imageto3D #textto3D #novelview #rendering
Геометрия по картинке за 45 секунд.
Можно устроить батл на самую упоротую модельку в коментах
Демо
#imageto3D #textto3D #novelview #rendering
👍2
MyReader
Сервис отвечает на вопросы по залитым в него книгам. Суммаризатор на максималках, с которым можно чатиться. Еще и показывает из какого абзаца взят ответ. На бесплатном тарифе ограничение в 20 чат-запросов в день, по количеству книг тоже наверно есть какие-то ограничения.
В общем, подойдет лентяям вроде меня когда хочется чуть лучше разобраться в новой разработке, а читать пейпер некогда. Весьма полезное изобретение!
Для пробы залил в него PDF пейпер Magenta Green Screen и попросил сделать SWAT анализ, результат на скринах.
#summary #chatbot
Сервис отвечает на вопросы по залитым в него книгам. Суммаризатор на максималках, с которым можно чатиться. Еще и показывает из какого абзаца взят ответ. На бесплатном тарифе ограничение в 20 чат-запросов в день, по количеству книг тоже наверно есть какие-то ограничения.
В общем, подойдет лентяям вроде меня когда хочется чуть лучше разобраться в новой разработке, а читать пейпер некогда. Весьма полезное изобретение!
Для пробы залил в него PDF пейпер Magenta Green Screen и попросил сделать SWAT анализ, результат на скринах.
#summary #chatbot
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
TaskMatrix
Чат-редактор изображений от Microsoft.
Такой каким должен бы был быть Instructpix2pix (подозреваю что именно он под капотом отвечает за редактирование)
Суть на прикрепленном видео.
Помимо прочего внутри прикручены GroundingDINO и SAM
Код
Колаб
Демо (нужен API токен ChatGPT)
#text2image #image2image #chatbot
Чат-редактор изображений от Microsoft.
Такой каким должен бы был быть Instructpix2pix (подозреваю что именно он под капотом отвечает за редактирование)
Суть на прикрепленном видео.
Помимо прочего внутри прикручены GroundingDINO и SAM
Код
Колаб
Демо (нужен API токен ChatGPT)
#text2image #image2image #chatbot
👍2
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Kandinsky 2.2
Тут коллеги выложили Кандинского в открытый доступ. Попробовал, картинки получаются прикольнее чем было до этого, плюс увеличилось выходное разрешение.
Кроме того, всё это теперь можно запустить через библиотеку diffusers!
А Арсений Шахматов, один из авторов, обещает сегодня выложить Colab'ы с примерами дообучения модели на LoRA. Ждём.
👉 Хабр | hf | телеграм-бот
Тут коллеги выложили Кандинского в открытый доступ. Попробовал, картинки получаются прикольнее чем было до этого, плюс увеличилось выходное разрешение.
Кроме того, всё это теперь можно запустить через библиотеку diffusers!
А Арсений Шахматов, один из авторов, обещает сегодня выложить Colab'ы с примерами дообучения модели на LoRA. Ждём.
👉 Хабр | hf | телеграм-бот
Нейронавт | Нейросети в творчестве
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning Мне кажется это лучший генератор видео что я видел. Хотя может быть авторы выбрали самые крутые результаты. Или дело в минимуме движения. Но эти примеры выглядят…
GitHub
GitHub - camenduru/AnimateDiff-colab
Contribute to camenduru/AnimateDiff-colab development by creating an account on GitHub.
Forwarded from Psy Eyes (Andrey Bezryadin)
This media is not supported in your browser
VIEW IN TELEGRAM
Цветокоррекция с помощью нейронок через NILUT.
LUT, или Lookup Table, используется в кино для преобразования цветов и тонов в кадре. Помимо грейдинга видео, LUT используется в фотографии, CG, калибрации мониторов и стриминге. Вот видос на эту тему.
3D LUT (3D Lookup Table) - это расширение концепции LUT, которое используется в обработке изображений для более точного контроля над цветами и тонами. Вместо одномерной таблицы, как в обычном LUT, 3D LUT использует трехмерную таблицу, что позволяет более точно манипулировать цветами в изображении.
NILUT (Neural Implicit Lookup Table) - это еще более сложное расширение концепции LUT. Здесь используется нейросеть для параметризации 3D LUT, что позволяет ей эмулировать реальные 3D LUT с большей точностью и гибкостью. Это означает, что NILUT может включать в себя несколько стилей и смешивать их, что делает её более мощным инструментом для улучшения изображений.
Гитхаб
Колаб
LUT, или Lookup Table, используется в кино для преобразования цветов и тонов в кадре. Помимо грейдинга видео, LUT используется в фотографии, CG, калибрации мониторов и стриминге. Вот видос на эту тему.
3D LUT (3D Lookup Table) - это расширение концепции LUT, которое используется в обработке изображений для более точного контроля над цветами и тонами. Вместо одномерной таблицы, как в обычном LUT, 3D LUT использует трехмерную таблицу, что позволяет более точно манипулировать цветами в изображении.
NILUT (Neural Implicit Lookup Table) - это еще более сложное расширение концепции LUT. Здесь используется нейросеть для параметризации 3D LUT, что позволяет ей эмулировать реальные 3D LUT с большей точностью и гибкостью. Это означает, что NILUT может включать в себя несколько стилей и смешивать их, что делает её более мощным инструментом для улучшения изображений.
Гитхаб
Колаб
👍4
Градиент обреченный
🔺 Kandinsky 2.2 Тут коллеги выложили Кандинского в открытый доступ. Попробовал, картинки получаются прикольнее чем было до этого, плюс увеличилось выходное разрешение. Кроме того, всё это теперь можно запустить через библиотеку diffusers! А Арсений Шахматов…
А вот и LoRA, работает на бесплатном колабе
Google
lora_decoder.ipynb
Colaboratory notebook
Нейронавт | Нейросети в творчестве
GenMM: Example-based Motion Synthesis viaGenerative Motion Matching Быстрый перенос персонажной анимации с референса с учетом скелета. Можно задавать траекторию движения, зацикливать, пересобирать анимацию, задать ключевые кадры. А еще умеет додумывать анимацию.…
Демо GenMM, как и обещали, запустили.
Анимация персонажей рендерится в рилтайме, ее можно зациклить. Для этого справа вверху разворачиваем панель Controls, настраиваем количество кадров и ставим галочку loop
Демо
#motion2motion #chracteranimation #humananimation
Анимация персонажей рендерится в рилтайме, ее можно зациклить. Для этого справа вверху разворачиваем панель Controls, настраиваем количество кадров и ставим галочку loop
Демо
#motion2motion #chracteranimation #humananimation
EFFICIENT 3D ARTICULATED HUMAN GENERATION WITH LAYERED SURFACE VOLUMES
Новый подход к архитектуре цифровых аватаров на основе layered surface volumes (LSVs) - могу перевести это как слоеные объемы.
Первым делом генерируются текстуры персонажа в StyleGAN2. Их натягивают на отдельные слои меша. Все текстурированные слои деформируются вместе в соответствии с целевым распределением поз и растеризуются. После чего их подают в дискриминатор StyleGAN2, управляемый камерой и позой. Ну и плюс дополнительный распознаватель лиц, который на схеме не показали.
Кода нет
Демо нет
#humanavatar #humananimation #3Davatar
Новый подход к архитектуре цифровых аватаров на основе layered surface volumes (LSVs) - могу перевести это как слоеные объемы.
Первым делом генерируются текстуры персонажа в StyleGAN2. Их натягивают на отдельные слои меша. Все текстурированные слои деформируются вместе в соответствии с целевым распределением поз и растеризуются. После чего их подают в дискриминатор StyleGAN2, управляемый камерой и позой. Ну и плюс дополнительный распознаватель лиц, который на схеме не показали.
Кода нет
Демо нет
#humanavatar #humananimation #3Davatar
Нейронавт | Нейросети в творчестве
VampNet: Music Generation via Masked Acoustic Token Modeling Качественный генератор музыки с уклоном в экспериментальную, конкурент MusicGen Только без текстовой подсказки. Может делать вариации и продолжить музыку из затравки. Код найден благодаря @tech_wizart…
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
GPTgame
Генератор игр на ChatGPT. Обещают прикрутить GPT-4.
Сразу выдает рабочий результат в отличие от Webapp Factory.
Позволяет сохранить код и ссылку на игру. Вот мой шутер, управление курсорами и Ctrl. Кидайте свои игры в чат
#text2app #coding #text2code #text2game
Генератор игр на ChatGPT. Обещают прикрутить GPT-4.
Сразу выдает рабочий результат в отличие от Webapp Factory.
Позволяет сохранить код и ссылку на игру. Вот мой шутер, управление курсорами и Ctrl. Кидайте свои игры в чат
#text2app #coding #text2code #text2game
👍5