друзья разрабатывают сервис OHMYSYNT и хотят получить фидбек. 3 дня триала: обучение внешности 5 персонажей + современные плюшки типа инпейнтинга в AI-редакторе с удобным интерфейсом. ну что, поможем парням нагрузить сервера?

Runway добавили в GEN-2 слайдер для контроля количества движения в кадре. Можно задать величину от 0 до 10.

Отличная новость.
CoTracker теперь можно погонять на huggingface

Только посмотртите, он пытается отследить даже руку, уходящую за кадр

Демо

#tracking #opticalflow

MyoSuite 2.0

Обновление симулятора скелетно-мускульного аппарата. Новая модель, новые возможности

Демо покрутить
Код
Туториалы
Колаб

#humananimation

Когда мы начинали SciOne, в команде было в разное время 20-30 волонтеров, кто-то онлайн только, кто-то вживую, помогали в съемках или просто поддерживали. Тогда-то мы познакомились с Аленой, она озвучивала аниме и любила науку, как мы. Потом она ушла с головой в карьеру, и я радовался за нее, потому что она становилась очень крутым профессионалом в озвучивании и дубляже фильмов и игр. Вы наверняка слышали ее голос не раз. И вот спустя много лет мы тут рассказываем про риски и возможности ИИ, а для Алёны один из сценариев стал драматичной реальностью. Ее голос украли с помощью нейросетей. Причем почти официально. Хочется поддержать ее и предупредить тех, кого нехорошие люди с помощью ловких договоров и ИИ могут обманывать и ломать жизни.

https://youtu.be/xfhPMKpPQng

Prompt2Model - Generate Deployable Models from Instructions

Эпоха метанейросетей подкралась незаметно. Перед вами система, которая использует описание задачи на естественном языке для обучения небольшой модели специального назначения, которая подходит для развертывания.

Иначе говоря, описываете под какую задачу вам нужен ИИ - на выходе получаете нужную модель, которую можно установить на сервере.

Код
Колаб

#llm #coding

Вы, конечно, можете не впечатлиться результатом, но прогресс внимание на это не обращает.
Но часть из вас, таки, возможно, замечает улучшения в генерации трехмерных объектов.

Модель MVDream выстраивает объект, опираясь на текстовое описание и большое количество ракурсов, используемых для обучения. Авторы не пишут, откуда конкретно они берут данные, но могу предположить, что это Sketchfab или его аналоги.

Кто видел старт диффузионных моделей, тот над многоракурсной диффузией не смеется 🫡

Сорс

Опубликована инпейнтинг-модель #SDXL

Демо
Веса

#inpainting #image2image

вы должны это видеть

Классный эксперимент с Гауссовскими Сплаттингом (я писал об этом методе на днях). Челик взял три картины, задал для них вручную разные позиции камер внутри ондной сцены и обучил сплаттинг.

В итоге при повороте камеры достигается такой интересный эффект перехода одной картины в другую. Сплатики научились отображать разные картины с различных углов.

Кстати, вот тут еще повилась имплементация рендеринга Gaussian Splatting внутри божественной библиотеки nerfstudio (подробнее про нее в этом посте).

@ai_newz

Голландский диджей Уммет Озкан показывает как превращать свой голос в любые музыкальные инструменты с помощью Musicfy (от $7.99 в месяц).

Можно напеть мелодию и получить полноценный инструментальный трек.

Полная инструкция

#voice2music #audio2audio #sound2music #music2music

Умер вокалист Smash Mouth Стив Харвелл. Милый трибьют от There I ruined it

RunwayML теперь делает 3D на основе вашего видео. Можно настроить траекторию камеры и получить новое видео

Для лучшего результата:

• Отключите HDR в настройках камеры
• Снимайте 30 секунд или дольше (лучше всего от 1 до 3 минут)
• Не дергайте камеру резко
• Выберите настройки камеры с высоким FPS, например замедленную съёмку

#videoto3D #video2video #video2scene

То там то сям кто-то с кем-то судится за использование ИИ. Тем временем организация по борьбе с детским трафиком FreeAGirl использует сгенерированные MidJourney фото вместо реальных чтобы защитить запечатленных на них людей.