Там веса SDXL 1.0 выкатили. Я еще не пробовал, но авторы утверждают, что работает бодро

Анонс
HF
GitHub

Анимация 3D-персонажей с помощью AI

На картинке представлена раскадровка промпта "to crouch-walk towards a target, kick when within range, and finally raise arms and celebrate".

На днях разбирал статью от Nvidia, где авторы предлагают анимировать человекоподобных персонажей с помощью Reinforcement Learning в Physical Environment.

Основная идея в том, что мы один раз делаем Motion Capturing датасет на людях, а потом имеем возможность описывать текстом сложные анимации и быстро переносить их на произвольных 3D-персонажей.

В качестве датасета в статье использовали 160 клипов общей продолжительностью 30 минут. Модель из себя представляет несколько MLP. Для тренировки использовали PPO. Учили на одной A100.

Основной нюанс в том, что набор доступных анимаций ограничен датасетом. Если у вас нет примера того, как человек делает заднее сальто, сколько модель ни просите, все равно не сделает.

Из хорошего, можно создавать анимации для произвольного 3D-персонажа. Хотя здесь я не совсем понимаю, насколько это актуально для индустрии, не проще ли напрямую связывать кости с motion caputure датасетом?

Видео
Статья

Когда зашел почитать обзоры на игру в Steam

Завертелся, закрутился. Не скучайте. Скоро вернусь. В крайнем случае — нет.

Подъехала возможность тюнить GPT-3.5 на своих данных

https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates

У Осетинской подъехал годный контент с Либерманами. Особенно интересно мне было на втором часу видео.

Например, там хорошо объясняется юридическая структура OpenAI. Также было интересно послушать про рост числа пользователей Snapchat за счет улучшения инженерной культуры компании и как следствие, ускорения приложения.

Ну а разгон про устройство общества и инвестирование в людей — вообще пушка.

https://youtu.be/UHP1lgmS8GE?si=VozXBoRjZ6nJucVa

Штаты на горизонте

Давайте расскажу, как у меня дела. Летом я решал задачки, много задачек: тервер, литкод, линал, мл и все в этом духе. Это дало свои плоды, в августе я присоединился к американскому стартапу, который пытается анимировать игровых 3D-персонажей с помощью ML.

На следующей неделе лечу к ним в гости в Лос-Анджелес. Пока что по туристической визе, а ближе к концу осени планирую податься на О-1.

Контраст стартапов из США и Европы поражает. В Artifactory у нас продукт, клиенты, выручка, и все равно я не смог поднять даже пару сотен килобаксов. В Калифорнии ребята без трекшена прошли a16z батч, сделали видео, подняли $1.5М pre-seed. Хотя вполне возможно, что я просто слабоват или чего-то не понимаю.

Поскольку в 3D и анимации я тоже ничего не понимаю, дни складываются из задачек по геометрии, уроков по Blender, чтения пэйперов про ML-анимацию и кодинга.

Хочу выдать контента, но не знаю о чем конкретно. Такие дела. С идеями велкам в комменты

OpenAI в октябре грозятся выкатить DALL-E 3, который сразу будет интегрирован в ChatGPT.

Основная проблема Midjourney и Stable Diffusion в том, что в длинных промптах они игнорируют часть слов, либо могут неправильно интерпретировать сцены.

Пример: девушка в зеленом платье на фоне пляжа с фиолетовыми деревьями. На таком промпте модель зачастую будет выдавать девушку с фиолетовыми волосами на фоне зеленых деревьев.

Чем длиннее промпт, тем чаще лажает модель. OpenAI утверждают, что заморочились над решением этой проблемы. Нет ни статьи, ни возможности потыкать, пока только анонс на сайте с картинками: https://openai.com/dall-e-3

Кто-нибудь шарит за анимацию?

Я тут тестирую Human Motion Diffusion Model, она позволяет создавать анимации по текстовому описанию.

Из коробки выдает качество как на видео. В этом есть здравое зерно, можно ли докрутить, или шлак и проще руками с нуля сделать?