This media is not supported in your browser
VIEW IN TELEGRAM
VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs
Модель понимания видео/аудио. Недавно выложены веса VideoLLaMA2-8x7B-Base и VideoLLaMA2-8x7B
Код
Демо
Веса
#VLM #video2text #assistant
Модель понимания видео/аудио. Недавно выложены веса VideoLLaMA2-8x7B-Base и VideoLLaMA2-8x7B
Код
Демо
Веса
#VLM #video2text #assistant
🔥9👍3
Собрал для вас редкие и полезные каналы про нейронки:
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Tips AI | IT & AI
Авторский канал про сервисы и технологии IT и AI, которые могут упростить (или не совсем) жизнь.
Пишу только то, что сам считаю интересным. Автор: @igortru
Информация по рекламе: @tipsprbot
Пишу только то, что сам считаю интересным. Автор: @igortru
Информация по рекламе: @tipsprbot
🔥9❤6👍1😁1
Forwarded from эйай ньюз
Умельцы прикрутили новую Ламу 405B к Comfy UI.
Работает на хостинге Replicate. По сути, это кастомная нода, которая пишет полноценный промпт из простого описания (prompt rewrite), так же как ChatGPT для Dalle-3.
Вообще мне не очень понравился процесс генерации картинок в нашем любимом чатГПТ, потому что у тебя нет контроля над финальным промптом, который идёт в диффузионку. Даже если просишь использовать данный промпт слово в слово, гптишка нет-нет, да меняет там что-нибудь без твоего разрешения. А суть промпт-инжиниринга в том, чтобы итеративно менять промпт и смотреть, что улучшилось, но бот часто берет и всё переписывает. Хотя для новичков это, конечно, топчик. Ну и как отправная точка для профи, тоже хорошо.
Вижу такой пайплайн для генерации короткометражных фильмов:
1) Сценарист выдаёт краткое описание кадров и, может быть, скетч от руки.
2) Нодами генерим промпт для каждого кадра на вход, берём скетчи и раскадровку от сценариста.
3) Художник пишет промпт для стиля. Добавляем его после промпта каждого кадра отдельной нодой. Подбирает модельки, лоры и пр.
4) Запускаем весь батч раз 5-10, берём лучшие кадры.
5) Идем в Luma оживлять картинки.
Кстати, нужны гайды по Комфи? Ставьте 🦄
Гитхаб
@ai_newz
Работает на хостинге Replicate. По сути, это кастомная нода, которая пишет полноценный промпт из простого описания (prompt rewrite), так же как ChatGPT для Dalle-3.
Вообще мне не очень понравился процесс генерации картинок в нашем любимом чатГПТ, потому что у тебя нет контроля над финальным промптом, который идёт в диффузионку. Даже если просишь использовать данный промпт слово в слово, гптишка нет-нет, да меняет там что-нибудь без твоего разрешения. А суть промпт-инжиниринга в том, чтобы итеративно менять промпт и смотреть, что улучшилось, но бот часто берет и всё переписывает. Хотя для новичков это, конечно, топчик. Ну и как отправная точка для профи, тоже хорошо.
Вижу такой пайплайн для генерации короткометражных фильмов:
1) Сценарист выдаёт краткое описание кадров и, может быть, скетч от руки.
2) Нодами генерим промпт для каждого кадра на вход, берём скетчи и раскадровку от сценариста.
3) Художник пишет промпт для стиля. Добавляем его после промпта каждого кадра отдельной нодой. Подбирает модельки, лоры и пр.
4) Запускаем весь батч раз 5-10, берём лучшие кадры.
5) Идем в Luma оживлять картинки.
Кстати, нужны гайды по Комфи? Ставьте 🦄
Гитхаб
@ai_newz
👍16🥴3💯3👀2⚡1
😁24❤5👍1
Вы не просили, но я нашел вам занятие на выходные.
Восьмичасовое интервью Маска у Лекса Фридмана.
Кто первый досмотрит тот красавчик
#оффтоп
Восьмичасовое интервью Маска у Лекса Фридмана.
Кто первый досмотрит тот красавчик
#оффтоп
YouTube
Elon Musk: Neuralink and the Future of Humanity | Lex Fridman Podcast #438
Elon Musk is CEO of Neuralink, SpaceX, Tesla, xAI, and CTO of X. DJ Seo is COO & President of Neuralink. Matthew MacDougall is Head Neurosurgeon at Neuralink. Bliss Chapman is Brain Interface Software Lead at Neuralink. Noland Arbaugh is the first human to…
👍8🤮8😁2💩2
This media is not supported in your browser
VIEW IN TELEGRAM
А вот Flux запустили на PALLAIDIUM (плагин для Blender)
Поддержку Flux еще не релизнули, но там и так швейцарский нож нейросеток для блендера, можно не ждать, забирать сейчас
#blender #plugin
Поддержку Flux еще не релизнули, но там и так швейцарский нож нейросеток для блендера, можно не ждать, забирать сейчас
#blender #plugin
🔥8👍3
Finegrain Object Eraser
Умный удалятор объектов с изображения вместе с тенями и отражениями
#objectremoval #inpainting
Умный удалятор объектов с изображения вместе с тенями и отражениями
#objectremoval #inpainting
❤20👍1
Fuzer v0.1: Transcending image Generation Control
Автоматическое вписывание объекта в фон, заданный текстовым промптом. Композер картинок от Fotographer.ai
Может быть полезен например для создания продуктовых "фото"
#image2image #inpainting #design #compositing
Автоматическое вписывание объекта в фон, заданный текстовым промптом. Композер картинок от Fotographer.ai
Может быть полезен например для создания продуктовых "фото"
#image2image #inpainting #design #compositing
👎11👍4😱1
Forwarded from Denis Sexy IT 🤖
Вот спрятанное фото которые я получил с помощью симуляции «The World Model» (то есть фотото как бы близко к оригиналу насколько возможно, но точнее уже не получить); если интересно как я их получил то я залил на ютуб пошаговый процесс:
https://youtu.be/eJjRDIEYIR4
Еще из интересного про видео:
— Мне было лень подключать микрофон, поэтому я просто натренил TTS модельку на основе моих прошлых видео, в итоге получился я, с намного лучшим акцентом (хехе)
— Вся музыка сгенерирована
— Все видео и картинки (почти все) тоже
— Все визуальные эффекты для фонов написал Sonnet 3.5, я просто записал экран его HTML-страничек
— А вот текст сценария — мой, тут все еще никакая LLM все еще не поможет; но что мне понравилось, это то что финальный сценарий можно передать LLM и спросить что-то в стиле «А где зритель потеряется, я не слишком быстро перескакиваю с темы на тему?»
В общем, enjoy
Всего 3 года потребовалось☕️
https://youtu.be/eJjRDIEYIR4
Еще из интересного про видео:
— Мне было лень подключать микрофон, поэтому я просто натренил TTS модельку на основе моих прошлых видео, в итоге получился я, с намного лучшим акцентом (хехе)
— Вся музыка сгенерирована
— Все видео и картинки (почти все) тоже
— Все визуальные эффекты для фонов написал Sonnet 3.5, я просто записал экран его HTML-страничек
— А вот текст сценария — мой, тут все еще никакая LLM все еще не поможет; но что мне понравилось, это то что финальный сценарий можно передать LLM и спросить что-то в стиле «А где зритель потеряется, я не слишком быстро перескакиваю с темы на тему?»
В общем, enjoy
Всего 3 года потребовалось
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7
Fashn.ai Lookswap
Виртуальная примерочная. Говорят, лучшая на сегодняшний день
Код
Демо
Записаться в вейтлист
#tryon
Виртуальная примерочная. Говорят, лучшая на сегодняшний день
Код
Демо
Записаться в вейтлист
#tryon
🔥6👎3❤1👍1🤔1
SimpleTuner теперь поддерживает дообучение Flux - чекпойнтов и LoRa. Но есть нюанс
A100-40G (LoRA, rank-16 or lower)
A100-80G (LoRA, up to rank-256)
3x A100-80G (Full tuning, DeepSpeed ZeRO 1)
1x A100-80G (Full tuning, DeepSpeed ZeRO 3)
Говорят, можно и на 13Гб обучать 2-bit квантизованную модель
Инструкция
#finetuning #flux
A100-40G (LoRA, rank-16 or lower)
A100-80G (LoRA, up to rank-256)
3x A100-80G (Full tuning, DeepSpeed ZeRO 1)
1x A100-80G (Full tuning, DeepSpeed ZeRO 3)
Говорят, можно и на 13Гб обучать 2-bit квантизованную модель
Инструкция
#finetuning #flux
❤10