Доброго утра, нейраны!
Что-то мне лениво постить новости, лучше проведу опрос.

Я любовно вручную отегиваю каждый пост, чтобы впоследствии было легче найти нужное. Пользуетесь ли вы тегами на этом канале? Находили ли по тегам искомое? И не знаете ли бота который умеет расставлять теги автоматически или хотя бы составить список всех тегов? Опрос выше

#poll

Поясняю для тех кто проголосовал за первый пункт. Теги это вот эти слова начинающиеся с решетки. Если кликнуть на тег, получаем список всех постов с таким же тегом. Я так ищу инструменты которые сразу не понадобились, а понадобились впоследствии. Например, нужен генератор глубины - ищу #image2depth

tungsten.run

Платформа для размещения и запуска SD моделей, прямой конкурент Civitai. Планируют монетизировать использование GPU, но пока генерация бесплатная.

SDK
Шаблон модели SD

#gallery #tools

Latent Consistency Models (LCM) скрещивают со стилизацией видео и получают 7 кадров в секунду на RTX 4090

реддит

#video2video #realtime

Сравнение 10 ИИ-ассистентов кодера

Наверняка предвзятое в какой-то мере, потому что составлено командой CodiumAI, и они поставили себя на 2 место, сразу после Copilot.

* GitHub Copilot
* Codium
* Tabnine
* MutableAI
* Amazon CodeWhisperer
* AskCodi
* Codiga
* Replit
* CodeT5
* OpenAI Codex
* SinCode

#shootout #comparison #coding

AG3D: Learning to Generate 3D Avatars from 2D Image Collections

Создание 3D аватара человека по набору изображений.
В сравнении с EVA3d дает хорошую геометрию даже по бокам и текстуры без артефактов (см полное видео). Результат пригоден для анимации

Код
Полное видео, 4 минуты

#imageto3D #image2avatar #humanavatar #3Davatar #humananimation

Zero2Story

Занятный комплексный демоспейс для создания историй.
По шагам проводит вас через настройку персонажей, жанр, сеттинг и т. д. На выходе рассказ с картинками и каким-то звуком.

#text2story #tools #assistant

Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model

Диффузионный генератор новых ракурсов по одному изображению

Код
Демо (официальный)
Демо2
Колаб

#novelview #image2image

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

Генератор 3D моделей по одному изображению. Хвастаются хитростями, к которым пришлось прибегнуть чтобы результат выглядел хорошо. Но пусть покажут сетку)

Код обещают выложить

#imageto3D

GPT Engineer

ИИ-программист, пишет всю кодовую базу по текстовому заданию. Умеет переписывать ваш имеющийся код. Можно установить локально. Для работы требуется API ключ OpenAI или локальная языковая модель.

Код

#coding #text2code #code2code

Pegasus-1

Какое название подойдет чтобы конкурировать с Eleven Labs? Правильно, Twelve Labs. И вот они объявляют (твиттер) о релизе своей базовой модели преобразования видео в текст. Уверяют что их модель анализирует именно видеоданные. Аудио и речь, конечно, тоже.

Записаться в вейтлист

#video2text

ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).

Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.

Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:

- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)

Coqui + Bark Voice Cloning

Демоспейс для клонирования голоса по 20-секундному образцу снова работает. Можно сохранять голоса. Даже умеет несколько коряво говорить по-русски. Возможно, если ему скормить русскоязычный образец, будет получше.

Демо

#voicecloning #text2speech

Real-Time Latent Consistency Model

👞туц-👞туц-👞туц-👞туц
дальше музыка должна сама запуститься в голове
Стилизация видео в браузере «в реальном времени». У меня вышло чуть быстрее 1 fps.
А все дело в Latent Consistency Model

#video2video #realtime

FastSD CPU

И еще про Latent Consistency Model, полезная штука, оказывается.
StableDuffusion на процессоре, без GPU

Скачать бета-релиз здесь
Гитхаб - здесь в том числе и инструкция по установке

#text2image