3D-видеоконференции от NVIDIA, никакого спецоборудования, достаточно вебки. Бонусом - стилизация гворящей головы.

Скрестили Maxine 3D и AERIAL 5G
(Nvidia Aerial - пакет разработки ПО, который позволяет провайдерам создавать высокопроизводительные программно определяемые 5G беспроводные радиосети с двумя важными параметрами. Во-первых, это канал передачи данных низкой латентности от сетевых интерфейсных карт Mellanox до памяти GPU и, во-вторых, это движок обработки сигналов физического уровня 5G, который позволяет хранить все данные в высокопроизводительной памяти GPU)

#video2dideo #humanavatar #videoconference #realtime

AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation

Генерация анимируемого 3D-аватара по текстовому описанию. Возможна реконструкция персонажа по 4-6 фото с телефона или генератора изображений

Код обещают выложить

#textto3D #humanavatar #text2avatar #3Davatar

Слышали, ChatGPT в роли бабушки выдал рабочие (сам не проверял) ключи активации Windows 10? Так вот, это ерунда. На днях он выдал президентские коды пуска ЯО. Рабочие ли они пока никто не сообщил. Если у вас сработают, поделитесь результатами в комментах

Стащил у @neuraldvig

минутка флюидной красоты - целиком на нейронках

в этой завораживающей анимации органично соединились два важных для меня элемента:

лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai

собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах

сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!

LoRa AcidFluid
Stable Houdini

@тоже_моушн

Компания Reallusion выпустила Headshot 2.0 , последнюю версию своего плагина для создания головы с помощью ИИ для Character Creator 4 , добавив новый режим сетки для преобразования импортированных 3D-моделей. Плагин поставляется вместе с Character Creator 4.3.

Новый набор инструментов предназначен для работы с 3D-сканами, а также с цифровыми скульптурами,
и может справляться с неполным сканированием лица, используя ИИ для восстановления отсутствующих
или поврежденных частей исходной модели.
Headshot генерирует любые недостающие части головы, что позволяет импортировать сканы или скульпты
с волосами или даже головными уборами, а плагин игнорирует эти части исходной модели.

Headshot позиционируется как инструмент который одним щелчком мыши позволяет создать 3D-модели головы из одной фотографии актера с использованием методов ИИ. Головы можно создавать с текстурами 4096 x 4096 пикселей для использования в крупных планах или с текстурами 1024 x 1024 пикселей и 3D-волосами для использования в качестве персонажей толпы.

Новый режим сетки Headshot 2.0 позволяет преобразовывать импортированные 3D-сетки в персонажей Character Creator 4.
Несмотря на то, что у Character Creator есть собственная встроенная система импорта моделей , Reallusion позиционирует Headshot как « превосходный инструмент для работы с моделями которые имею серьезные недостатки», такими как необработанные 3D-сканы.
Модели можно импортировать в формате OBJ или FBX — хотя только FBX 2018 и более ранних версий — в виде полных 3D-персонажей, моделей голов или даже частичных голов.

Рабочий процесс поддерживает гуманоидных персонажей — хотя онлайн-документация предполагает, что он лучше работает со стандартными человеческими головами, — но не с нечеловеческими существами.

После создания 3D-голова может быть прикреплена к телу CC4 для экспорта с возможностью маскировать части лица,
чтобы избежать артефактов текстуры.

Официальное видео👈
Наш чатик👈

21 июня вышла первая серия «Секретного вторжения» — сериала Marvel о попытках Ника Фьюри предотвратить вторжение пришельцев скруллов на Землю.

После релиза выяснилось, что вступительные титры сериала явно создавали с помощью нейросетей.

Постановщику и компании Method Studios, создавшей ролик, показалось, что использование нейросетей в этом случае уместно. А режиссер признался, что не знает, как работает технология.

Зрителей просто разорвало на пуканы.
Читайте тут, как они проклинают и Marvel и режиссера.
https://dtf.ru/cinema/1903493-nastoyashchiy-pozor-marvel-raskritikovali-za-sozdanie-zastavki-k-sekretnomu-vtorzheniyu-s-pomoshchyu-neyrosetey

Для меня есть два момента.

1. Режиссер в данном случае - царь и бог, если он сказал ок, то все сделали как он сказал. Нейросети или пиксел арт - неважно. Режиссер принял - все выдохнули.

2. Как же круто наварились Method Studio. Я могу представить, во сколько они осметили титры. Но опять же, все по чесноку. Режиссеру нравится, значит все ок. А как делали, дело десятое

Утекли подробности про GPT-4.

Говорят, что это смесь из 8 экспертов, каждый по 220 млрд параметров. То есть в сумме 1.760 триллиона параметров! Соумит Чинтала (один из создателей PyTorch) тоже подтвердил слух.

Эксперты в этом случае — это просто копии модели GPT, на 220B параметров, которые тренировались отдельно и скорее всего на различных данных.

Во время инференса у них там какие-то хитрые трюки для того, чтобы выбрать ответы каких экспертов выдавать юзеру.

@ai_newz

Fast Segment Anything

Быстрый сегментатор изображений, в 50 раз быстрее SAM. 40 миллисекунд на одну картинку. Прощай, SAM

Код
Демо (периодически падает). На демо сегментация занимает несколько секунд. Несколько моих примеров в комментариях

#segmentation #image2mask #video2mask

Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

В NVIDIA разработали модель, которая достраивает неполные облака точек. Результаты 3D-сканирования (например с лидаров) часто не охватывают объекты целиком, оставляя "белые пятна", где данных о форме объекта не хватает. Эта модель генерирует недостающие данные на основе существующих и текстовой подсказки.

А что с текстурами, NVIDAI?

Код обещают выложить

#3Dto3D #3Dreconstruction #photogrammetry

Ай-ЖЕПА: умная модель AI, которая учится понимать мир как люди

Meta представили первую AI модель, основанную на ключевом компоненте видения Яна ЛеКуна. Модель I-JEPA выучивает скрытое представление окружающего мира и отличается высокой эффективностью в различных задачах компьютерного зрения.

В прошлом году главный научный сотрудник по AI в Meta, Ян ЛеКун, предложил новую архитектуру, призванную преодолеть ключевые ограничения даже самых передовых AI систем сегодня. Его видение - создать машины, которые способные понять, как работает мир. Он считает что тогда они и обучаться будут быстрее, и планировать, как выполнять сложные задачи, и легко адаптироваться к незнакомым ситуациям тоже смогут.

И вот, Meta наконец то представили первую AI модель, основанную на ключевом компоненте видения ЛеКуна. Эта модель, Image Joint Embedding Predictive Architecture (I-JEPA), учится создавать модель окружающего мира с помощью сравнения абстрактных образов (вместо сравнения просто пикселей.

I-JEPA демонстрирует потенциал self-supervised архитектур для представлений изображений без необходимости в дополнительном знании, закодированном через ручные преобразования изображений. Это важный шаг к применению и масштабированию self-supervised методов для изучения общей модели мира.

И пусть "Ай-ЖЕПА" в русском языке может и звучать немного забавно, Meta делает ставку на то, что AGI к нам придет от зрения (вообще кажется все компании так или иначе делают ставку на один орган осязания, например на язык как в случае с Open AI).

✌️ Блог-пост
📖 Статья
💾 Код

​​Что делают в «секретной» лаборатории OpenAI.
LVM – это не только новое кино, но и новый мир.
Мне уже приходилось рассказывать о своем поразительном опыте путешествия в будущее, - и не в метафорическом или публицистическом смысле, а в буквальном. Тогда (28 лет назад) в «секретной» лаборатории SGI я вживую опробовал несколько технологий, опередивших на четверть века своё массовое внедрение: визуальные симуляторы многомерных функциональных пространств и симуляторы полета над ландшафтами данных. Тогда же, в соседней «секретной» лаборатории SGI меня впервые оцифровали на 3D сканере. И тут же, на основе этой цифровой копии, создали и показали мне моего цифрового двойника, управлять которым я мог с графического суперкомпьютера SGI Onyx.

Ну а вспомнил я сегодня об этом из-за проговорок гендира OpenAI Сэма Альтмана о перспективах перехода от LLM (Large Language Models) к LVM (Large Video Models). В этом направлении сейчас копают и люди Цукерберга, и китайцы. Но приоритет OpenAI в LLM достаточно велик, чтобы сделать ставку на прорывной разработке LVM в своих «секретных» лабах.

О чем же идет речь?
О двух фантастически прибыльных областях бизнеса.
1. Создание нового типа кино, на основе тотального перехода на цифровые дубликаты кинозвезд.
2. Создание нового типа массовых развлечений на основе использования цифровых дубликатов пользователей для их путешествий в виртуальные миры Метаверса.

Первое
Использование цифровых дубликатов звезд кино и спорта уже становится распространенной практикой. Но чтобы создать на этой технологической базе новый тип кино, нужно более мощное железо, чтобы все делать влет и прямо на студии, а не долгими расчетами на огромных сторонних компьютерных фермах.

Что из себя будет представлять новый тип кино, когда «железо» позволит, показано в 1м эпизоде 6го сезона «Черное зеркало» - «Джоан ужасна» (смотрите сами или, кто хочет, читайте детальный спойлер).
В этом эпизоде хорошо показано, как переход на новый тип кино колоссально изменит многие аспекты жизни общества и отдельных людей. Это будет уже иной мир.

Второе
Как будет работать перенос цифровых дубликатов пользователей в виртуальные миры, показано в другой модной новинке – китайском сериале «Задача трёх тел», литературной основой которого стал знаменитый роман Лю Цысиня).

Ключом к разгадке серии таинственных самоубийств ученых по всей Земле является компьютерная игра «Задача трёх тел», переносящая пользователя в иной мир с тремя солнцами — планету Трисолярис. Ну а то, насколько технология переноса цифровых дубликатов людей в виртуальный мир эффективна, можно судить по тому, что эта «игра» становится своего рода порталом. Через него инопланетяне вербуют сторонников на Земле, с целью заполучить ее в свои руки.

Последнее
Оба новых направления на основе LVM сулят колоссальные деньги, несравнимые с тем, что OpenAI и Microsoft могут заработать в мире на LLM. И поэтому есть все основания предполагать, что именно на LVM сейчас сфокусированы исследовани и разработки OpenAI.
Ну а всякие там GPT 5,6,7 … - это, как говорится, их «business as usual», а не стратегическая ставка на десятилетие.
#LVM

Нейропрогнозирование. Исследователи из Клэрмонтского университета с точностью 97% смогли предсказать какие песни окажутся хитами. Для этого они собрали данные о нейронной активности 33 слушателей и применили к собранным данным машинное обучение.

Подробнее на Хабре

#cyberpunk