ResFields:Residual Neural Fields for Spatiotemporal Signals

#nerf в движении
Непонятно за счет чего достигается такая точность. На видео показано три камеры с почти одинаковым ракурсом. На мой взгляд этого маловато чтобы захватить движущиеся сцены в объеме, даже с каналом глубины.

Код
Колаб. Если запустится на бесплатном аккаунте, дайте знать

#video2nerf #video2scene #novelview #rendering

Нейроперевод видео с липсинком от Heygen стал доступен. На старте дают 1 кредит, это в сумме на 1 минуту видео. Максимальный хронометраж одного видео 30 сек. И обещают накидывать 1 кредит в начале каждого расчетного периода (месяц? год? день?). И еще накидывают по кредиту за видео сгенеренное вашим реферралом.

Попробовать

#video2video #lipsync #speech2speech

RunwayML добавили тестовое управление камерой!

Нейронные сети, генерирующие видео сейчас — объект пристального внимания. Несмотря на то, что они позволяют делать красивые и оригинальные вещи — управляемость у них слабая, для серьезных проектов они пока не подходят.

Теперь в GEN2 можно управлять камерой, выставляя в настройках заготовленное движение: по горизонтали, по вертикали, зум или поворот вокруг оси. Результаты все еще не идеальные, но прогресс инструмента невероятный, каждые две недели они добавляют что-то новое и актуальное. В общем, Кристабаль Валенсуэла ни в чем не обманул!

Люди: изобрели промт «думай пошагово», улучшили производительность LLM, горды собой

LLM: придумал для себя промт «глубоко вдохни и подумай», улучшил производительность еще сильнее, забыл сообщить об этом кожаным

В данной таблице приведены примеры промтов, которые LLM делают сами для себя и их сравнительная эффективность.

Голосовые нейронки летят, конечно, на сверзуковой.

Тестирую одну (для перевода) на винтажных мемах.

Здесь вы можете сами сделать, до двух минут бесплатно: https://labs.heygen.com/video-translate

Конкурент Wonder Studio

Записаться в бету Simulon (только для iOS)

#rendering #AR

Только Runway выкатили возможность управлять камерой в генерациях, как Pika тут же выпустили такую же фичу! Чувствуете как атмосфера нагнетается, котаны?

Подробнее о фиче: камера управляется параметром -camera и работает с ОДНИМ из следующих типов движения:

* Zoom: приближаем/удаляем камеру через -camera zoom in/out.

* Панорамирование: двигаем камеру вверх/вниз/влево/вправо с помощью -camera pan up/down/left/right. Можно комбинировать два не конфликтующих направления, например, -camera pan up right.

* Поворот: вертим камеру по часовой стрелке или против часовой через -camera rotate clockwise/counterclockwise/anticlockwise или сокращения cw/ccw/acw.

Интенсивность движения камеры по-прежнему можно регулировать с помощью параметра -motion XX задавая от 1 до 4.

Другие обновления:
* -fps теперь по умолчанию стоит 24.
* Автоматический канал "upvotes" больше не доступен.

PS: anti-clockwise говорят в Британии, а counterclockwise говорят в Америке.... Теперь ты знаешь как генерить, заправляясь чайком.

Дискорд Pika
Пост с остальными параметрами для генерации

Fooocus 2.0.0

Анонсировано большое обновление Fooocus.

- мультистиль
- генерации v2 превосходят v1 по результатам в 87 случаях из 100
- лучшее понимание текста

#tools

https://www.youtube.com/watch?v=r5HLlNwOEoc
А вот и туториал который я обещал

Бесплатный доступ к API кончится 15 сентября, я вас предупредил

Morph Studio
Очередной конкурент на рынке генераторов видео по тексту

Инвайт в дискорд

#text2video

👃 У нейросетей появился нюх

Ученые из Google исследовали, как можно научить искусственный интеллект предсказывать запах вещества по его молекулярной структуре. Эта фундаментальная проблема в области цифрового обоняния долгое время оставалась нерешенной.

Для создания модели авторы использовали графовые нейронные сети – специальный тип нейросетей, хорошо работающий с графовыми данными. Молекулы очень удобно представлять в виде графов, где атомы – вершины, а связи – ребра. Такая структура позволяет эффективно анализировать особенности молекулы.

Модель обучалась на наборе из 5000 молекул с соответствующими запаховыми дескрипторами типа "цветочный", "фруктовый" и т.д. Затем ее проверили на 400 ранее не встречавшихся молекулах.

Результаты показали, что нейросеть описывает запахи новых веществ не хуже, чем средний человек! Более того, модель лучше справляется с задачей, чем предыдущие подходы на основе традиционных химических дескрипторов.

Полученная нейросетью "карта запахов" переносится и на другие задачи в области обоняния - например, определение схожести запахов разных веществ. Таким образом, исследователи создали универсальное средство для изучения мира запахов.

В будущем подобные модели могут использоваться для автоматического предсказания запаха еще не синтезированных молекул. Это поможет ускорить открытие новых ароматов и душистых веществ без дорогостоящего экспериментального тестирования.

📰 Статья

Подпишись на @nn_for_science

#mocap #tracking