vimGPT

Браузер-агент на основе GPT-4V. Умеет сам ходить по сайтам, проходить капчу. Разработчик планирует дообучить LLaVa или CogVLM в качестве альтернативы платному GPT-4V

Гитхаб

#LLM #VLM #assistant #agent

В Южной Корее робот убил сотрудника завода, потому что идентифицировал его как картонную коробку

Погибший — 40-летний рабочий центра распределения сельскохозяйственной продукции, задачей которого было проверять датчики роботизированных машин. Поздно ночью мужчина провел тестовый запуск робота — он должен был погрузить коробку с болгарским перцем на поддон, но произошла техническая ошибка. Роботизированная рука схватила человека и прижала его к конвейерной ленте.

Сотрудника экстренно увезли в больницу, где он и умер. Сейчас руководство завода призвало создать точные и безопасные системы, чтобы предотвратить новые аварии.

the Guardian

#яниначтоненамекаю

Сегодня новостей не будет, админ расклеился

#neutonaut_art

MotionBrush

Многие генераторы видео повысили разрешение и качество генерации.

А RunwayML показал еще и новый инструмент - выделение области для движения.

Инструмент пока недоступен.

Твиттер

#mask2motion #image2video

Mirror

Локальная визуально-языковая модель. Получает картинку с вашей вебки, дальше - насколько хватит фантазии. Работает без интернета.

Ее можно установить в один клик в браузере Pinokio

Код
Ссылка для установки в Pinokio

#VLM #assistant

ControlAnimate

Генерация консистентного по времени видео на сонове входного видео. AnimateDiff + Multi-ControlNet.
Поддерживает LCM и LCM-LoRA.
Для работы требуется 16GB VRAM

Код

#video2video

AnimateDiff Motion Module (beta version) on SDXL

SDXL Модуль движения, бета версия. А это значит, доступны разрешения SDXL

И уже есть инструкция по запуску/использованию

Гитхаб

#image2video

FLARE: Fast Learning of Animatable andRelightable Mesh Avatars

Создание аватаров с высококачественной геометрией и внешним видом из одного видео. Пригодных для релайтинга и рендера традиционными движками.

Протестировано на 80GB A100 GPU и NVIDIA RTX A5000 24 GB

Код

#humanavatar #video2avatar #talkinghead #relighting

У ProPainter обновки

Улучшение качества и пара новых демоспейсов

Гитхаб
Демо1
Демо2

#video2video #cleanup #inpainting #outpainting

Ну, за курсы по блендору и техническую поддержку.
А в общем-то за любые курсы, инструкторов и вот эти вот проверки заданий, ответы на вопросы, живые, блин, созвоны, и все, что продается как ценность очередных курсов.

Вот вы же шарили экран на зум-созвонах? Ну или были в ситуации типа "покажи свой экран, я быстро скажу, что надо сделать".

Теперь вы просто можете пошарить свой экран с ИИ, и поговорить с ним об этом, голосом. Чем ИИ хуже кожаного?

Поглядите - на видео обобщенный Радж шарит свой экран с chatGPT и спрашивает голосом(!) самый главный вопрос трехмерщиков - как превратить кубик в шарик. В Блендоре.

Просто разговаривает с ним, делает, что ему говорят, спрашивает "ичодальше", получает ответы.

Я три месяца назад охреневал о того, как мне chatGPT рассказал за вечер, как перенести блендшейпы из майки в юнити и научил прикручивать слайдеры к деформации. А теперь это можно делать на совершенно другом уровне.

Явшоке.

P.S. Тут напрашивается сначала пост про то, что проще не только шарить экран, а сразу давать управление, пусть наведет порядок и превратит все кубики в шарики.
Ну и все идет в эту сторону, как сказал Билл Гейтс, у нас у всех в ухе будет ассистент, который будет шептать нам полезные ситуации в моменте.
А шарить с ним мы будем все, что с нами происходит.
Шаринг жизни, в общем.

Music ControlNet:Multiple Time-varying Controls for Music Generation

Мощная музыкальная нейронка.
- генерация музыки по образцу мелодии и текстовлму описанию
- контроль динамики
- контроль ритма

На сайте много примеров всевозможных комбинаций входных параметров. Кода, к сожалению, нет

Полное видео, 2 минуты

#music2music #text2music

Nova2 теперь поддерживает много языков, в том числе русский

Доступ здесь

#speech2text