​​Что делают в «секретной» лаборатории OpenAI.
LVM – это не только новое кино, но и новый мир.
Мне уже приходилось рассказывать о своем поразительном опыте путешествия в будущее, - и не в метафорическом или публицистическом смысле, а в буквальном. Тогда (28 лет назад) в «секретной» лаборатории SGI я вживую опробовал несколько технологий, опередивших на четверть века своё массовое внедрение: визуальные симуляторы многомерных функциональных пространств и симуляторы полета над ландшафтами данных. Тогда же, в соседней «секретной» лаборатории SGI меня впервые оцифровали на 3D сканере. И тут же, на основе этой цифровой копии, создали и показали мне моего цифрового двойника, управлять которым я мог с графического суперкомпьютера SGI Onyx.

Ну а вспомнил я сегодня об этом из-за проговорок гендира OpenAI Сэма Альтмана о перспективах перехода от LLM (Large Language Models) к LVM (Large Video Models). В этом направлении сейчас копают и люди Цукерберга, и китайцы. Но приоритет OpenAI в LLM достаточно велик, чтобы сделать ставку на прорывной разработке LVM в своих «секретных» лабах.

О чем же идет речь?
О двух фантастически прибыльных областях бизнеса.
1. Создание нового типа кино, на основе тотального перехода на цифровые дубликаты кинозвезд.
2. Создание нового типа массовых развлечений на основе использования цифровых дубликатов пользователей для их путешествий в виртуальные миры Метаверса.

Первое
Использование цифровых дубликатов звезд кино и спорта уже становится распространенной практикой. Но чтобы создать на этой технологической базе новый тип кино, нужно более мощное железо, чтобы все делать влет и прямо на студии, а не долгими расчетами на огромных сторонних компьютерных фермах.

Что из себя будет представлять новый тип кино, когда «железо» позволит, показано в 1м эпизоде 6го сезона «Черное зеркало» - «Джоан ужасна» (смотрите сами или, кто хочет, читайте детальный спойлер).
В этом эпизоде хорошо показано, как переход на новый тип кино колоссально изменит многие аспекты жизни общества и отдельных людей. Это будет уже иной мир.

Второе
Как будет работать перенос цифровых дубликатов пользователей в виртуальные миры, показано в другой модной новинке – китайском сериале «Задача трёх тел», литературной основой которого стал знаменитый роман Лю Цысиня).

Ключом к разгадке серии таинственных самоубийств ученых по всей Земле является компьютерная игра «Задача трёх тел», переносящая пользователя в иной мир с тремя солнцами — планету Трисолярис. Ну а то, насколько технология переноса цифровых дубликатов людей в виртуальный мир эффективна, можно судить по тому, что эта «игра» становится своего рода порталом. Через него инопланетяне вербуют сторонников на Земле, с целью заполучить ее в свои руки.

Последнее
Оба новых направления на основе LVM сулят колоссальные деньги, несравнимые с тем, что OpenAI и Microsoft могут заработать в мире на LLM. И поэтому есть все основания предполагать, что именно на LVM сейчас сфокусированы исследовани и разработки OpenAI.
Ну а всякие там GPT 5,6,7 … - это, как говорится, их «business as usual», а не стратегическая ставка на десятилетие.
#LVM

Нейропрогнозирование. Исследователи из Клэрмонтского университета с точностью 97% смогли предсказать какие песни окажутся хитами. Для этого они собрали данные о нейронной активности 33 слушателей и применили к собранным данным машинное обучение.

Подробнее на Хабре

#cyberpunk

AudioPaLM
A Large Language Model That Can Speak and Listen

Google представил модель понимания и генерации речи, способную переводить речь на разные языки. В основе архитектуры текстовая модель PALM-2 и речевая AudioLM
При переводе AudioPaLM сохраняет индивидуальные характеристики и интонации оригинального голоса.
На сайте множество примеров.

Кода нет

#audio2audio #speech2speech

Midjourney обновили до версии V5.2. Среди прочих нововведений функция Zoom Out - аналог Generative Fill.
Держат нос по ветру, молодцы

#zoomout #outpainting

Если вы не хотели загружать версию Opera One для разработчиков и ждали пользовательскую, то вот она.
В браузер интергрированы три ИИ ассистента: ChatGPT, Chatsonic и, конечно, своя разработка - Aria. Для ChatGPT потребуется логин/пароль/VPN

скачать Opera One

#chatbot

Neuralangelo интегрировали в SDFStudio
Да, его можно установить (с гитхаба) и пользоваться. В деле замешан Nerfstuduio, и можно пользоваться его вьюером.

Код

#nerf #rendering

🔥А вот и код SDXL 0.9 подоспел!

В репозитории есть код базовой модели и код рефайнера. Рефайнер — это модель, которая тренировалась на очень качественных картинках и низких уровнях шума. Она предназначена для улучшения выхода базовой модели.

Доступ к весам для исследовательских целей можно запросить по ссылкам [1, 2] в репе. Через пару дней, думаю, они утекут в интернет, если ещё нет.

Кроме того, весь код LDM отрефакторили и причесали (раньше это был просто кошмарный код). Теперь используется Pytorch Lightning. Из этой репы можно также запускать модели SD 2.1.

Короче, кайф!

@ai_newz

Симуляция физики 3D-одежды станет ещё естественнее

Про аватаров достаточно часто слышим. А что насчёт оцифровки одежды?

На конференции CVPR’23 представили метод обучения нейросетей HOOD для воспроизведения физики одежды в 3D. По заверению разработчиков, они добились следующих преимуществ:

• Физика материалов теперь не привязывается жёстко к 3D-аватару. Благодаря этому 3D-ткани могут двигаться более свободно, что выгодно при моделировании, например, платьев или свободной одежды.
• Метод позволяет динамично подстраивать симуляцию материалов под изменение топологии (то есть модель не сломается, если у неё расстегнуть пуговицы или молнию).
• Нейросеть не нужно обучать под конкретный вид одежды (чем часто ограничиваются возможности таких нейросетей): метод позволяет симулировать поведение разных материалов без переобучения.

Что ж, если всё так, как рассказывают разработчики, ждём крутых обновлений для CLO3D или в прочих подобных программах.

Новости 3D, аватаров и метавселенных — подписаться!

PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°

Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора

Код
Колаб

#GAN #3DGAN #imageto3D #image2head