OpenDevin

Попытка сделать опенсорсный аналог Devin
Запускается в Docker'е

Гитхаб

#coding #assistant

Salient Object-Aware Background Generation using Text-Guided Diffusion Models

Инпейнтинг с сохранением границ объекта от Yahoo. Суть проблемы видна на картинке. Обычный SD инпейнтинг что-то дорисовывает к объекту который должен остаться неизменным

Код

#inpainting #image2image

#chatbot #llm #assistant

im-a-good-gpt2-chatbot появился в сравнительной части chat.lmsys.org

chat.lmsys.org — сейчас арена для теста лучших LLM, и арт вроде должен быть далеко от этого. Но я недавно узнал у Сиолошной про im-a-good-gpt2-chatbot, говорят это проделки OpenAI.

В общем я решил использовать старые промпты для P5JS (Помните был такой Генарт? Когда с помощью кода создают красоту)
И im-a-good-gpt2-chatbot показал невероятное понимание как создать, анимировать и даже визуализировать объекты. В моем случае я попросил создать симуляцию столкновения двух нейтронных звезд и примерно рассчитать масштаб черной дыры и визуально показать ее. Очень хорошо видеть в сравнение со второй рандомной(Qwen и gemini-1.5-pro-api-0409-preview) моделью, как im-a-good-gpt2-chatbot превосходит другие модели и выдает рабочий, сложный код.

Пока я прошу перевести код в Blender API(что он тоже прекрасно делает) поглядите на симуляцию столкновения двух нейтронных звезд одинакового размера.

А Денис успел раньше игру запилить.

P.S. Модель хорошо сгенерировала noscript вариант текстового сторис для инсты и даже запилила полноценный код с использования controlnet и кастомных моделей в diffusers. Это очень мощно.

Опубликован код 3DGStream. Рефакторизованный код выложат после CVPR 2024

Код

#novelveiw #rendering #stabilization #video2video #video2scene #FVV

STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians

И снова динамические гауссианы. "Высокоточная" генерация динамических 3D объектов по тексту, изображению или видео. О как.

Код

#novelveiw #rendering #videoto3D #imageto3D #textto3D

IC-Light прикрутили в ComfyUI

ComfyUI-IC-Light-Wrapper

#relighting #image2image

Lumina-T2X: Transforming Text into Any Modality, Resolution, and Duration via Flow-based Large Diffusion Transformers

Убийца... ВСЕГО.

Ладно, это преувеличение. Всего лишь мультимодальный преобразователь текста в картинки, видео, речь, 3D модели.

Умеет (см видео)
- создавать заданную композицию
- консистентно генерировать в заданном стиле
- креативный апскейл
- редактировать изображения

Код
Веса
Демо (генератор картинок)

#upscale #text2image #text2video #text2speech #textto3D #imageediting #image2image #multimodal

Stylar

Ловите еще один онлайн ИИ-редактор изображений. В нем есть #SD3 и Generative Fill/Generative Expand.
Дают 200 кредитов в месяц для бесплатного пользования. 4 кредита = один батч на 4 картинки или 1 батч 2 варианта дорисовки.

#imageediting #inpainting #outpainting

Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images

Устранение размытости на видео на основе гауссиан

Код

#deblur #gaussian

Progress Tracker: Open vs. Proprietary LLMs

Демоспейс с визуализацией прогресса #LLM с проприетарным и открытым исходным кодом по данным чатбот арены

#news #diagram

LLaVA-NeXT: Open Large Multimodal Models

Языковая модель для понимания видео, превосходящая все существующие #VLM, с открытым исходным кодом.

Код
Демо (изображения)
Демо (видео) (сейчас выдает ошибку хоста)

#LLM

ID-Animator: Zero-Shot Identity-Preserving Human Video Generation

Персонализатор-аниматор от Tencent. Создает анимации с заданным лицом.

Код
Демо

#personalization #text2video