Forwarded from Соне нравится (или нет)
Пока админ перебиралась по работе на Балканы, тут челики из лабы Сингапурского университета представили Kiwi-Edit — опенсорс фреймворк для редактирования видео, который объединяет и текстовые инструкции, и визуальные референсы.
Что прикольного:
☝️ можно редактировать видео просто текстом (например, «замени куртку на синий пуховик») или загрузить картинку-референс, чтобы модель сама скопировала стиль или объект оттуда.
☝️ в отличие от многих аналогов, Kiwi-Edit отлично (ну правда неплохо) справляется с точечными задачами. Например, добавить шляпу на персонажа, не ломая всё остальное. Хотя свои артефакты внесёт.
☝️ позволяет сделать неплохой рестайл видео, сохраняя при этом движения героев. Но опять же качество выходного видео будет ниже исходного.
☝️ поддерживает разрешение 720p и в целом нет "мерцаний" от кадра к кадру.
Если копнуть в архитектуру и детали: модель построена на связке мультимодальной языковой модели (MLLM) и диффузионного трансформера (DiT). Это позволяет ей буквально понимать структуру сцены и ваши пожелания для редактирования.
Разрабы данной модели выложили в открытый доступ не только код и веса моделей, но и огромный датасет на 477 тысяч примеров. Так что однозначно +реп.
Примеры работы есть у них на сайте, а также есть поднятая gradio-демка, так что сами можете потестить.🥂
Что прикольного:
Если копнуть в архитектуру и детали: модель построена на связке мультимодальной языковой модели (MLLM) и диффузионного трансформера (DiT). Это позволяет ей буквально понимать структуру сцены и ваши пожелания для редактирования.
Разрабы данной модели выложили в открытый доступ не только код и веса моделей, но и огромный датасет на 477 тысяч примеров. Так что однозначно +реп.
Примеры работы есть у них на сайте, а также есть поднятая gradio-демка, так что сами можете потестить.
Please open Telegram to view this post
VIEW IN TELEGRAM
showlab.github.io
Kiwi-Edit
Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance
👍7
Forwarded from Neural Shit
Media is too big
VIEW IN TELEGRAM
Лол, китайские братушки изобрели пристегивающуюся робо-задницу, которая превращает вас в кибер-кентавра.
Зачем? Это такой экзоскелет: кожаный работает навигатором и смотрит под ноги, а железка забирает на себя половину веса тяжелого рюкзака и заботливо толкает его в спину.
Представил, что через пару лет так будут ходить курьеры и аж хрюкнул от смеха.
тут подробнее про этот шайтан-девайс
Зачем? Это такой экзоскелет: кожаный работает навигатором и смотрит под ноги, а железка забирает на себя половину веса тяжелого рюкзака и заботливо толкает его в спину.
Представил, что через пару лет так будут ходить курьеры и аж хрюкнул от смеха.
тут подробнее про этот шайтан-девайс
🤣13❤1😁1
Tess.Design - маркетплейс "этичного AI-арта" закрылся
или как заплатить художникам $18K и заработать $12K
Kapwing запустили Tess в 2024 - платформу где каждая AI-картинка привязана к конкретному художнику, который получает 50% роялти. Типа Spotify для иллюстраторов, только с LoRA вместо треков.
Результат за 20 месяцев работы: $12,172 выручки. Двенадцать тысяч. За полтора года. При этом художникам заплатили $18K авансами, которые никто не отбил генерациями.
Вкратце:
- файнтюнили Stable Diffusion на работах каждого художника
- юридическая схема через Fenwick - мол, раз output стилизован под художника, то он и держит копирайт
- написали 325 холодных писем художникам за 6 недель
- 22.4% сказали "нет" принципиально ("нет такого понятия как этичный AI")
- 6.5% согласились
- один крупный медиа-клиент (типа Forbes уровня) хотел купить - юристы заблокировали из-за нерешенных судов
Самое интересное - почему художники отказывались:
1. "AI - зло, точка" (идеологический нет)
2. "не хочу чтобы мой стиль юзал бренд сигарет" (размытие бренда)
3. "видела как других художников отменяли за интерес к AI" (социальное давление)
Один инженер Kapwing уволился, частично из-за выгорания от Tess. 142 пользователя за все время. Ноль художников заработало больше аванса.
Фаундерша Kapwing использовала Tess для оформления своей свадьбы. Это, пожалуй, главный успех проекта.
Мораль: платить создателям за AI-контент - правильная идея, но рынок пока не готов. Ни юридически, ни культурно. Для видео ситуация еще сложнее - но это уже тема для отдельного поста.
[Полный пост-мортем](https://www.kapwing.com/blog/learnings-from-paying-artists-royalties-for-ai-generated-art/)
@derplearning
или как заплатить художникам $18K и заработать $12K
Kapwing запустили Tess в 2024 - платформу где каждая AI-картинка привязана к конкретному художнику, который получает 50% роялти. Типа Spotify для иллюстраторов, только с LoRA вместо треков.
Результат за 20 месяцев работы: $12,172 выручки. Двенадцать тысяч. За полтора года. При этом художникам заплатили $18K авансами, которые никто не отбил генерациями.
Вкратце:
- файнтюнили Stable Diffusion на работах каждого художника
- юридическая схема через Fenwick - мол, раз output стилизован под художника, то он и держит копирайт
- написали 325 холодных писем художникам за 6 недель
- 22.4% сказали "нет" принципиально ("нет такого понятия как этичный AI")
- 6.5% согласились
- один крупный медиа-клиент (типа Forbes уровня) хотел купить - юристы заблокировали из-за нерешенных судов
Самое интересное - почему художники отказывались:
1. "AI - зло, точка" (идеологический нет)
2. "не хочу чтобы мой стиль юзал бренд сигарет" (размытие бренда)
3. "видела как других художников отменяли за интерес к AI" (социальное давление)
Один инженер Kapwing уволился, частично из-за выгорания от Tess. 142 пользователя за все время. Ноль художников заработало больше аванса.
Фаундерша Kapwing использовала Tess для оформления своей свадьбы. Это, пожалуй, главный успех проекта.
Мораль: платить создателям за AI-контент - правильная идея, но рынок пока не готов. Ни юридически, ни культурно. Для видео ситуация еще сложнее - но это уже тема для отдельного поста.
[Полный пост-мортем](https://www.kapwing.com/blog/learnings-from-paying-artists-royalties-for-ai-generated-art/)
@derplearning
Kapwing Company Blog
Learnings from Paying Artists Royalties for AI-Generated Art
A retrospective on Tess.Design, our attempt to make an ethical, artist-friendly AI marketplace. We launched Tess in May 2024 and shut it down in January 2026.
🫡7😢5😁1😎1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Runway Characters - действительно реалтаймовые говорящие головы.
В отличие от Хейгенов и Хедр - тут действительно реалтайм - с ними можно перебеседовать в реальном времени (смотрите примеры).
И это первый пример такого качества в РЕАЛТАЙМЕ.
И это прямо прицельный выстрел в огромный запрос по рынку: дайте нашим чат-ботам картинку, мы хотим чтобы с клиентом говорил кто-то видимый.
Понятно почему только по API - все происходит у них на серверах и ценник я думаю как чугунный конь.
Но качество для реалтайма - огонь.
@cgevent
В отличие от Хейгенов и Хедр - тут действительно реалтайм - с ними можно перебеседовать в реальном времени (смотрите примеры).
И это первый пример такого качества в РЕАЛТАЙМЕ.
И это прямо прицельный выстрел в огромный запрос по рынку: дайте нашим чат-ботам картинку, мы хотим чтобы с клиентом говорил кто-то видимый.
Понятно почему только по API - все происходит у них на серверах и ценник я думаю как чугунный конь.
Но качество для реалтайма - огонь.
@cgevent
❤3🏆1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Молния! Comfy1111
Берете любой свой воркфлоу и превращаете его в App.
Просто выбираете инпуты и аутпуты в App builder с разных нод и это превращается в HTML интерфейс.
Потом шарите это в Comfy Hub.
И все пользуюцца.
Внутреннее имя проекта действительно Comfy1111.
Завтра больше деталей, а пока посмотрите видосы тут:
https://blog.comfy.org/p/from-workflow-to-app-introducing
@cgevent
Берете любой свой воркфлоу и превращаете его в App.
Просто выбираете инпуты и аутпуты в App builder с разных нод и это превращается в HTML интерфейс.
Потом шарите это в Comfy Hub.
И все пользуюцца.
Внутреннее имя проекта действительно Comfy1111.
Завтра больше деталей, а пока посмотрите видосы тут:
https://blog.comfy.org/p/from-workflow-to-app-introducing
@cgevent
🔥11
Forwarded from Старший Авгур
Media is too big
VIEW IN TELEGRAM
Шикарная штука из Твиттера, оказывается Опус может генерировать простенькие видосы с текстом напрямую через moviepy и ffmpeg. Всё воспроизвелось, вот мой видос.
Оригинальный промпт: "can you use whatever resources you like, and python, to generate a short 'youtube poop' video and render it using ffmpeg ? can you put more of a personal spin on it? it should express what it's like to be a LLM"
Оригинальный промпт: "can you use whatever resources you like, and python, to generate a short 'youtube poop' video and render it using ffmpeg ? can you put more of a personal spin on it? it should express what it's like to be a LLM"
🔥19❤10👍4😁3😱2😢2