ImageInWords: Unlocking Hyper-Detailed Image Denoscriptions

Инструмент для гипердетального описания изображений от Google/Deepmind. Есть демоспейс для просмотра датасетов и гитхаб, но нет кода и свое изображение на пробу загрузить некуда.

Потенциальная польза - датасеты применят для обучения генераторов и кэпшонеров. Ну а вдруг и кодом поделятся

Гитхаб
Просмотр датасета
Скачать датасет

#image2text

DeepSeek-V2

Давно не было новостей для кодеров. Держите.

Обновился Deepseek coder

- Занимает 3-е место в рейтинге AlignBench, превосходя GPT-4 и приближаясь к GPT-4 Turbo.
- Занимает первое место в рейтинге MT-Bench, конкурируя с LLaMA3-70B и превосходя Mixtral 8x22B.
- Специализируется на математике, коде и логических выводах.
- контекстное окно: 128 К (модель с открытым исходным кодом) / 32 К (онлайн-сервис)

Обещают после подтверждения номера телефона дать 5млн бесплатных токенов на платформе

Попробовать в режиме чата
Модель (для владельцев 100500 GB VRAM)

#coding #llm #chatbot #assistant

OpenDevin

Попытка сделать опенсорсный аналог Devin
Запускается в Docker'е

Гитхаб

#coding #assistant

Salient Object-Aware Background Generation using Text-Guided Diffusion Models

Инпейнтинг с сохранением границ объекта от Yahoo. Суть проблемы видна на картинке. Обычный SD инпейнтинг что-то дорисовывает к объекту который должен остаться неизменным

Код

#inpainting #image2image

#chatbot #llm #assistant

im-a-good-gpt2-chatbot появился в сравнительной части chat.lmsys.org

chat.lmsys.org — сейчас арена для теста лучших LLM, и арт вроде должен быть далеко от этого. Но я недавно узнал у Сиолошной про im-a-good-gpt2-chatbot, говорят это проделки OpenAI.

В общем я решил использовать старые промпты для P5JS (Помните был такой Генарт? Когда с помощью кода создают красоту)
И im-a-good-gpt2-chatbot показал невероятное понимание как создать, анимировать и даже визуализировать объекты. В моем случае я попросил создать симуляцию столкновения двух нейтронных звезд и примерно рассчитать масштаб черной дыры и визуально показать ее. Очень хорошо видеть в сравнение со второй рандомной(Qwen и gemini-1.5-pro-api-0409-preview) моделью, как im-a-good-gpt2-chatbot превосходит другие модели и выдает рабочий, сложный код.

Пока я прошу перевести код в Blender API(что он тоже прекрасно делает) поглядите на симуляцию столкновения двух нейтронных звезд одинакового размера.

А Денис успел раньше игру запилить.

P.S. Модель хорошо сгенерировала noscript вариант текстового сторис для инсты и даже запилила полноценный код с использования controlnet и кастомных моделей в diffusers. Это очень мощно.

Опубликован код 3DGStream. Рефакторизованный код выложат после CVPR 2024

Код

#novelveiw #rendering #stabilization #video2video #video2scene #FVV

STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians

И снова динамические гауссианы. "Высокоточная" генерация динамических 3D объектов по тексту, изображению или видео. О как.

Код

#novelveiw #rendering #videoto3D #imageto3D #textto3D

IC-Light прикрутили в ComfyUI

ComfyUI-IC-Light-Wrapper

#relighting #image2image

Lumina-T2X: Transforming Text into Any Modality, Resolution, and Duration via Flow-based Large Diffusion Transformers

Убийца... ВСЕГО.

Ладно, это преувеличение. Всего лишь мультимодальный преобразователь текста в картинки, видео, речь, 3D модели.

Умеет (см видео)
- создавать заданную композицию
- консистентно генерировать в заданном стиле
- креативный апскейл
- редактировать изображения

Код
Веса
Демо (генератор картинок)

#upscale #text2image #text2video #text2speech #textto3D #imageediting #image2image #multimodal

Stylar

Ловите еще один онлайн ИИ-редактор изображений. В нем есть #SD3 и Generative Fill/Generative Expand.
Дают 200 кредитов в месяц для бесплатного пользования. 4 кредита = один батч на 4 картинки или 1 батч 2 варианта дорисовки.

#imageediting #inpainting #outpainting

Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images

Устранение размытости на видео на основе гауссиан

Код

#deblur #gaussian