Хочу познакомить вас с моим другом. Я знаю Карэна уже 15 лет. Помню, как на парах он кодил какой-то нереальный фронтенд с безупречным дизайном, никто из нас не мог себе и представить ничего подобного тогда!

За эти годы, Карэн работал над сайтами, мобильными приложениями, играми и не потерял энтузиазм. А теперь он с радостью готов заразить им нас, чтобы мы тоже полюбили Django.
Недавно он запустил ютьюб-канал!
🔣Канал на английском языке
🔣Каждое видео - подробный тьюториал, в конце которого вы создадите свой собственный проект
🔣Например, у Карэна есть видео про создание своего ChatGPT4 бота в Telegram
🔣А недавно, Карэн начал выпускать новый плейлист про FullStack разработку

В новогодние праздники планирую уделить время этим видео, хочу разобраться в теме.

Практические примечания от меня к работе с моделью:
1. Картинки должны быть квадратными.
2. Вначале лучше посчитать ЛорЫ, потом нажать на кнопку "Расчёт без лоры".
3. Генерируется 16 кадров разрешением 512.
4. Работает 2 минуты на видео.
➗Интерполирует плавно, но в процессе всё равно анархия.
➗Анимацию движения таким образом не сделать.
➗Интерполяцию следует производить между двумя когерентными объектами.

🔼Обновила исходник, работает на мобильном

Время подводить итоги года
🔣Мои впечатления от прошедшего года и ожидания от следующего
2023 был для меня интересным годом:
- распространились и значительно развились языковые модели, они стали доступнее (API, локальные варианты), мощнее (смесь экспертов), разностороннее (умеют пользоваться сторонними инструментами, пишут код, решают математические проблемы)
- возникло огромное число применений для генеративных моделей, очень многие проблемы, над которыми раньше бились годами, теперь решаются элементарно (преобразование текста в изображение, стилизация, паноптическая сегментация, реалистичный рендеринг в реальном времени)
- увеличилось представительство русскоязычного ИИ-комьюнити в Телеграм (например, каналу Сиолошная ещё нет и года, а у него уже 30к подписчиков)
- увеличился темп научных и информационных трансформаций, уменьшилсь время внедрения в продукты
- генеративное искусство подняло творческие возможности человека на небывалый доселе уровень

От 2024 года я ожидаю:
- Выход языковой модели Q* от ChatGPT, развитие генеративных моделей text в video, text в 3D до продуктового уровня, развитие моделей управляемой генерации аудио
- Усиление конфронтации между E/ACC и редукционистами, вероятно массовые протесты, ожесточённые споры экспертов
- Внедрение ИИ в робототехнику, решение задачи планирования для роботов, появление домашних роботов расширенной функциональности
- Развитие ИИ-медицины, ИИ-обучения
- Наполнение интернета fake news в небывалых количествах из-за развития генеративок и дип-фейков голоса и лица

PS. Очень жду, что в 2024 году ИИ сделают продолжение сериала "Светлячок". С помощью LLM могли бы сделать текст, а с помощью text-to-video + аватаров сгенерировать видеоряд.

🔣О себе и своих планах
Сейчас многие рассказывают о своём продвижении на пути к целям за прошедший год, о планах, успехах и неудачах. Честно говоря, я никогда не ставила себе никаких конкретных задач на год или что-то вроде того. Не отношу себя к достигаторам, а всего лишь хочу быть тем человеком, которому интересно жить, творить, открывать новое, делиться и что-то улучшать. Я считаю, что технологии - мои естественные помощники и союзники!

У Самурая нет цели, только путь

И наверное, на следующий год я пожелаю себе не сворачивать с пути и не терять вдохновение.
🔣Пожелания подписчикам

Желаю Вам не чахнуть в ожиданьи,
Желаю Вам не рваться в страшный бой!
Желаю не бежать от начинаний,
Желаю не бояться быть собой!

Желаю не гордиться интеллектом,
Желаю не отлынивать душой,
Желаю мир вокруг наполнить светом
И царствовать над роком и судьбой.

Желаю странствовать и быть во всеоружьи:
Генеративки, роботы, ИИ.
Ходить по краю бездны простодушно,
Страхуясь тросами надежды и любви.

Желаю совершать, а не стараться.
Желаю делать, а не говорить.
В себе желаю Вам не сомневаться,
Быть лучше!
... ну и мой канал любить 😉

По дороге в гости послушала интервью с Гийомом Вердоном в подкасте Лекса Фридмана
В подкасте рассматривалось много интересных тем, но я выделю основные тезисы.
Кто такой Гийом Вердон?
🔣Физик, прикладной математик и инженер в области квантовых вычислений, основатель компании Extropic, которая стремится создать вычислительное оборудование для генеративного искусственного интеллекта.
🔣Гийом создал анонимный аккаунт Beff Jesos в X для свободного самовыражения и независимой оценки его идей вне зависимости от его личности и достижений.

Beff Jesos изложил принципы эффективного аккселерационизма E/Acc, перевод на русский
🔣E/Acc - Effective Accelerationism (образовано от слияния Effective altruism и Accelerationism)
🔣Современная философская концепция, выступающая за ускорение технического прогресса как оптимального курса действий
🔣Сторонники E/Acc поддерживают прогресс в области искусственного интеллекта
🔣ИИ - великий социальный уравнитель, контроль ИИ приведёт к монополии и социальному неравенству
🔣Безопасность искусственного интеллекта важна, но не должна быть единственным аргументом для регулирования, поскольку может быть использована как инструмент коррупции и централизации власти. Она должна быть достигнута за счет рыночных сил, а не жесткого государственного регулирования.
🔣Также искусственный интеллект может быть разделен на более мелкие подсистемы для повышения отказоустойчивости.
Движение E/Acc стремится к:
🔣росту и самосознанию, используя естественные тенденции системы для адаптации к собственному росту.
🔣балансу между централизацией и децентрализацией, а также к поиску новых субкультур и эвристических подходов к жизни.

Интеллект и квантовые вычисления - симбиоз для решения новых задач
🔣Квантовый искусственный интеллект может помочь в решении сложных проблем, таких как парниковый эффект и ядерная физика:
🔣🔣Квантовые датчики фиксируют квантово-механический образ мира и помогают заглянуть в самые ранние уголки Вселенной
🔣🔣Квантовое машинное обучение может быть использовано для обработки этих данных
🔣Квантовое машинное обучение может быть применено для изучения новой геометрии и понимания квантовой гравитации

И в завершение приведу несколько интересных лично мне мыслей из интервью

компании являются своего рода смесью экспертных моделей

Интеллект - это способность воспринимать, предсказывать и контролировать мир

Математика - это изучение математики ради математики, физика - применение математики для понимания окружающего мира, инженерия - применение физики для взлома мира.

Инопланетяне могут быть мыслями, идеями или мемами, внедрёнными в наше сознание, поскольку мы не знаем, откуда берутся мысли.

👌

Хочу отметить, что хотя по духу мне очень близок оптимизм эффективных аккселерационистов, меня тревожит в их аргументации исходное наивное предположение, будто бы поиск оптимума биологической жизнью не приводит к её вымиранию (см. ошибка выжившего), и будто бы эволюционный отбор и рыночная конкуренция приводит к стабильному развитию. Напротив, они склонны к кризисам (Великая Депрессия, Массовое вымирание). При изобретении ядерной бомбы работы не производились на рыночном основании.

Ещё до Нового Года попробовала 2 решения text-to-video: Pika и leonardo.ai (image-to-motion).
Оба решения браузерные, для конечного пользователя.

Если выбирать из них одну, то я однозначно бы выбрала leonardo.ai, и вот почему:
➖Pika генерирует клише. Генерации, выполненные в реалистичном стиле, всё-таки не впечатляют.
➖Pika сразу стоит трёхсекундное видео без возможности задать начальный кадр.
➕Pika позволяет объекту совершать размашистые движения. Однако это даётся ценой ошибок побъектов по глубине - рука Санты переднего плана спряталась за ёлочку. Такие огрехи напоминают фактологические ошибки первых нейросетей text-to-image с генерацией неверного числа пальцев, тут мы видим подобные фактологические ошибки в новой модальности, связанной с динамикой.
➕Зато Pika позволяет редактировать выделенную область в видео. К сожалению, у меня не получилось заставить её сгенерировать котёнка на коленях у Санты.
➕Pika позволяет использовать изображение или видео для затравки.

Теперь пару слов о Leonardo:
➕Leonardo сохраняет гораздо более высокий уровень реалистичности.
➕Если не указывать в promt явное движение, то будет просто сгенерирован какой-то сдвиг или поворот объекта. Тем не менее, возможно создать и сложные эффекты.
➕Впечатляющую подборку работ художников в leonardo я выкладывала в Новогодней сториз.
➕Leonardo вначале предлагает сгенерировать кадры, которые затем уже можно анимировать. Поскольку на платформе встроен полноценный редактор stable diffusion, то можно провести полную редактуру исходного кадра.
➖Чего не хватает, так это отдельного промптинга на анимацию для уточнения совершаемого действия .
➖Также была бы интересна возможность локального редактирования видео.
➖Ошибки в динамике также очень значительные.

Резюме такое: модели text-to-video начали стадию внедрения в продукты. Пока они ещё достаточно сырые, но уже сейчас можно с их помощью создавать приятные анимации. Пока ещё создание подходящей анимации требует большого числа повторов, и как следствие, машинных и человеческих ресурсов, чтобы избавиться от неприятных ошибок.
Но учитывая прогресс генеративных сетей, через несколько месяцев будут выстроены удобные общедоступные пайплайны с широкими возможностями редактирования видео. В частности, можно упомянуть недавний MotionCtrl, позволяющий задавать траекторию камеры в генерации.

🔣🔣🔣 ... некоторые видео смотрите в комментариях.

OpenLRM (проект, статья, github, демо) - алгоритм реконструкции 3D-объекта по одной фотографии за 5 секунд.

➗Строит NeRF представление на выходе (из которого можно семплировать меш, карты глубины и так далее)
➗Генерализуется без привязки к типу объекта
➗Работает на разрешении 512 пикселей
➗Использует в реализации DINO-encoder для патчей, Triplane-представление, лосс при обучении контролируется на четырёх кадрах (основной и 3 дополнительных) по метрикам MSE + 2* LPIPS
➗Обучен на синтетических Objaverse и реальных данных MVImgNet в соотношении 1:3 за 3 суток на 128 картах A100 (40GB)

Мои впечатления:
➕Задумка прекрасная. Мне нравится простота идеи - через лоссы других кадров учить генерализацию объёмного представлния.
➕Радует и скорость обучения, и скорость инференса
➖Мало данных для обучения. Нужно больше данных, будет совершенно другой уровень обобщения.
➖Низкое разрешение результата
➖Привязка в начальной сегментации

В целом, эта работа выглядит как начальная точка для гонки в этом направлении, поэтому в течение года ждём прогресса.
🔣🔣🔣
1️⃣Мой форк с питон-ноутбуком и градио-приложением, визуализирующим меш, а не видео, как в официальном демо. Загружаем ваши, либо мои данные, выделяем в ноутбуке объект, готовим данные, считаем, визуализируем результаты.
2️⃣Мой публичный колаб, чтобы не возиться с репозиторием.
3️⃣Huggingface сейчас запрашивает деньжатки за GPU, поэтому деплой там не даю, вместо этого сделала ещё один публичный колаб, который развёртывает app. Запустите обе ячейки с кодом, дождитесь выдачи таких записей, и перейдите по ссылке возле public URL.

======== Loaded model from checkpoint ========
Running on local URL:  http://127.0.0.1:7860
Running on public URL: https://daa4388790604c4ce9.gradio.live

⚡️⚡️⚡️Сразу потестила говорящие головы DreamTalk. Источник новости, и там все ссылки.
Применила к примерам из ноутбука + добавила свою фотку. Прикладываю в комментах фото -> видео алгоритма -> видео после апскейла.

Во-первых, конечно, вау! Отдельно можно задать динамику поведения, выражение лица, аудио и фотографию. А ведь это диффузия!
Во-вторых, грустно, что разрешение всего лишь 256 x 256. Сразу прикрутила Real-ESRGAN (тот, который увеличил нам советский мультик), и он дорисовал лица, не соответствующие реальности.

❓Интересно, а есть какие-нибудь image-guided upscaler-s? Не слышали о таких?