Planar Object Tracking via Weighted Optical Flow

Новый алгоритм отслеживания объектов с высочайшей точностью. По-нашему трекинг.
Пишут про отслеживание восьми степеней свободы.

Судя по видео, ему ни по чем отражения, яростная тряска, частично перекрывающие объекты.

Все это хорошо работает благодаря назначению весов разным объектам оптического потока. (А старые трекеры так не делают? Я не в курсе)

Код к вашим услугам услугам!
В каком виде отдаёт результат пока не знаю, ещё не пробовал.
Попробуете - отпишитесь пожалуйста так ли он хорош.

Код

#tracking #matchmoving

ИЩУ НЕЙРОХУДОЖНИКОВ ДЛЯ СОЗДАНИЯ КЛИПА

Всем привет, Друзья.

Меня зовут Глеб, я работаю, как оператор-монтажер с крупными Youtube-блогерами и музыкантами.
Среди них Николай Соболев, Юрий Хованский, Little Big, Успешная группа и тд.

Сейчас хочу расширить возможности для создания визуального повествования, а именно, подключить нейросети к созданию клипов.

Для этого собираю команду визуальных нейрохудожников для создания работы в стиле “100 художников создали клип для Oxxxymiron”.

Сам референс: https://www.youtube.com/watch?v=aBdNq8h6WC8

Каждый кто откликнется получит по 10-15 секунд клипа.
Задача в том, чтоб обработать их своем стиле через Img2Img.

За подробностями пишите - @fralid

InstructPix2Pix завезли в Автоматик!
Нужно обновить автоматик до актуальной версии, установить Расширение (можно как обычно - через вкладку расширений), скачать специальные веса, положить их в обычную папку с чекпоинтами, перезапустить Автоматик

#яниначтоненамекаю
Китайские ученые создали робота который может становиться жидким и обратно твёрдым.

Посмотрите как этот пока ещё карапуз проходит через металлическую решётку. Похоже, создатели робота тоже ни на что не намекают. А изобретение действительно очень полезное. Это же так можно решётку в винно-водочном Примеры в статье.

Короче, они добавили магнитноактивные частицы в галлий, который, как вы можете знать, плавится при температуре около 30 градусов Цельсия. Осталось только включать/выключать магнитные поля для перевода робота из твёрдого состояния в жидкое и обратно.

Читать по-русски, в статье есть ещё другие демовидео

Смотреть на ютубе по-английски

Язык жестов по версии Midjourney

Midjourney бот Regenson запустил систему реферральных ссылок.
Несколько бесплатных генераций Midjourney прямо в Телеграм.
Потом или покупаете платный пакет или ждете пока ваши рефералы нагенерят вам еще беплатных генераций.
Если вы его еще не пробовали, то вот моя рефералочка

Принес вам ИИ-магию!

Assets Scout - image-to-3D!
https://scout.asseter.ai/

Берете картинку, а ИИ вам находит 3Д-ассет (настоящее 3Д, без читов) максимально похожий на вашу картинку.

Он анализирует картинку и потом ловко роется во всех известных крупных стоках типа 3dsky, cgtrader, quixel megascans и находит там максимально похожую 3Д-модель.

Отличный data-driven подход, вместо того, чтобы пытаться генерить 3Д на основе картинки, можно просто токенизировать картинку и сделать умный поиск.

Причем это не бумага, не спейс на хаггингфейс, а вотпрямщас работающий проект.

Я вгрузил туда игровой 2Д-ассет(картинку в изометрии), получил похожие домики и объекты, но уже в честном 3Д.

Более того, там есть функция Picture Assembler - если ваша картинка сложная, то ИИ детектит индивидуальные объекты, текстуры, материалы, и предлагает ассеты, из которых картинку можно собрать(!).

Помните, что это поиск по ассетам, а не генератор 3Д - если грузить туда лица, то он (довольно осмысленно) выдает 3Д-модели знаменитостей, как-то похожие на вашу картинку. Ибо на стоки люди грузят Бредов Питов и Николасов Кейджей в зибраше.

Го тестить, только не повалите сервера.

Крутизна еще в том, что это работает прям на мобилке в браузере, без приложения. Увидел магическую пепяку на улице, вынул скаут из кармана, навел, щелкнул - вот тебе 3Д-пепяки со стоков, максимально похожие на реальную.

И это я еще про Asseter.ai не рассказал, который там под капотом - вот там уже совсем все по-взрослому.

Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation

Нейросетка генерит видео по тексту. Но надо ее предварительно обучить. Но всего на одном видео.
Слева тренировочные видео, справа - генерации.

Сайт проекта
Код
Демо на huggingface
С демкой я еще не разбирался, что-то там замороченный интерфейс

#text2video

Крутой сервис #text2speech
Иначе говоря, нейродиктор.
https://beta.elevenlabs.io/

Увы, на бесплатном тарифе только английский язык. На одном из платных обещают разные языки. Но какие - не нашел. Тайна покрытая мраком.

Ну ладно, пока заценим как оно умеет выражать в речи эмоции, вот пример смеха,

А вообще у них есть демо кусочки аудиокниг

#TTS

Там моя работа (№5) участвует в конкурсе на аватарку бота. Завтра подводят итог.
Приглашаю проголосовать за любую понравившуюся

Добро пожаловать в будущее: на Twitch уже больше суток идёт шоу, генерирующееся на лету с помощью ИИ и сделанное в стиле Seinfeld.

Генерится всё: видео, сценарий, реплики персонажей, озвучка текста. Пока просто любопытно за этим наблюдать как за арт-проектом. Но задумано как комедийное шоу.

Вот ссылка на сам стрим.

У админа днюшка. Случайно наткнулся на эту картинку в соседнем чате

Мобильное приложение для chatGPT?

"OpenAI также планирует запустить мобильное приложение ChatGPT и протестировать новую функцию в своем программном обеспечении для создания изображений Dall-E, которое будет создавать видео с помощью искусственного интеллекта."

https://www.semafor.com/article/02/01/2023/chatgpt-is-about-to-get-even-better-and-microsofts-bing-could-win-big