Forwarded from Нейронавт | Нейросети в творчестве
AnimateDiff Lightning
в 10 раз быстрее оригинального AnimateDiff.
Инструкции по использованию в ComfyUI прилагаются
#text2video
в 10 раз быстрее оригинального AnimateDiff.
Инструкции по использованию в ComfyUI прилагаются
#text2video
👍12🔥7
Forwarded from Love. Death. Transformers.
its not a world model if its not hype enough - open sora
Китайская версия Sora начала учиться чуть больше месяца назад, и за всего то 200 а100 дней и 400к видео начала генерировать вполне неплохие 2s видео!
А, это не финальный чекпоинт и это всего 16×512×512
repo
blog про ускорение обучения
Китайская версия Sora начала учиться чуть больше месяца назад, и за всего то 200 а100 дней и 400к видео начала генерировать вполне неплохие 2s видео!
А, это не финальный чекпоинт и это всего 16×512×512
repo
blog про ускорение обучения
GitHub
GitHub - hpcaitech/Open-Sora: Open-Sora: Democratizing Efficient Video Production for All
Open-Sora: Democratizing Efficient Video Production for All - hpcaitech/Open-Sora
🔥8👍6❤2
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Эти роботы не просто аниматроника; они научились ходить с помощью платформы Isaac Sim — платформы для моделирования робототехники.
Мы привыкли воспринимать большую часть информации посредством картинок и видео из интернета, но только представьте, что что-то, что само научилось ходить и видеть, проходит в таком виде мимо вас. Мне кажется, первый контакт будет незабываемым и запомнится на всю жизнь.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🔥13❤9
Forwarded from Zavtracast (Dmitriy Zombak)
Поговорим об анонимности. Например, криптовалют.
Но, для начала, надо понять что такое "свидетельство канарейки". Термин пошёл из добычи угля. Зарываясь всё глубже в землю, шахтёры рисковали нарваться на подземный газовый карман и умереть задохнувшись. Чтобы это предотвратить, они таскали с собой клетку с канарейкой. Птичка весело чирикала и прыгала туда-сюда по клетке, но благодаря быстрому обмену веществ, могла умереть даже от мельчайшего воздействия газа. Так что если канарейка в глубинах шахты вдруг переставала чирикать, все люди в срочном порядке эвакуировались.
В общем, это и есть "свидетельство канарейки" (warrant canary).
В 2001 году в США приняли "Патриотический акт", закон направленный на борьбу с терроризмом и дающий правительству права весьма широкой слежки за своими гражданами. Согласно этому акту, правительство может направить секретный приказ провайдеру услуг на слежку за пользователем. По закону, компания не имеет права разглашать, что она получила этот приказ.
Но тут вступает в силу идея с канарейкой. Да, тебе запрещено говорить о том, что ты получил такой приказ. Но тебе ничего не мешает говорить о том, что такой приказ ты не получил. Каждый день. Пока, в один прекрасный день ты просто об этом не сообщаешь и все люди, которые следят за обновлениями, точно поймут, что приказ всё же был получен.
Собственно, именно это произошло сейчас с криптовалютой Etherium. На гитхабе их сайта заметили коммит, в описании которого написано: "мы удалили раздел нижнего блока сайта, поскольку получили добровольный запрос от государственного органа, содержащий явное требование о соблюдении конфиденциальности". Говоря по-простому, до эфира добралась ФБР.
Это не значит, впрочем, что крипта полностью скомпрометирована и товарищ майор знает, когда и кому вы пересылали деньги. Это просто значит, что к сотрудникам пришли люди в форме с требованием слежки за пользователями и об этом никому сообщать было нельзя. Благодаря "свидетельству канарейки" мы знаем, что это, всё же произошло.
@zavtracast
Но, для начала, надо понять что такое "свидетельство канарейки". Термин пошёл из добычи угля. Зарываясь всё глубже в землю, шахтёры рисковали нарваться на подземный газовый карман и умереть задохнувшись. Чтобы это предотвратить, они таскали с собой клетку с канарейкой. Птичка весело чирикала и прыгала туда-сюда по клетке, но благодаря быстрому обмену веществ, могла умереть даже от мельчайшего воздействия газа. Так что если канарейка в глубинах шахты вдруг переставала чирикать, все люди в срочном порядке эвакуировались.
В общем, это и есть "свидетельство канарейки" (warrant canary).
В 2001 году в США приняли "Патриотический акт", закон направленный на борьбу с терроризмом и дающий правительству права весьма широкой слежки за своими гражданами. Согласно этому акту, правительство может направить секретный приказ провайдеру услуг на слежку за пользователем. По закону, компания не имеет права разглашать, что она получила этот приказ.
Но тут вступает в силу идея с канарейкой. Да, тебе запрещено говорить о том, что ты получил такой приказ. Но тебе ничего не мешает говорить о том, что такой приказ ты не получил. Каждый день. Пока, в один прекрасный день ты просто об этом не сообщаешь и все люди, которые следят за обновлениями, точно поймут, что приказ всё же был получен.
Собственно, именно это произошло сейчас с криптовалютой Etherium. На гитхабе их сайта заметили коммит, в описании которого написано: "мы удалили раздел нижнего блока сайта, поскольку получили добровольный запрос от государственного органа, содержащий явное требование о соблюдении конфиденциальности". Говоря по-простому, до эфира добралась ФБР.
Это не значит, впрочем, что крипта полностью скомпрометирована и товарищ майор знает, когда и кому вы пересылали деньги. Это просто значит, что к сотрудникам пришли люди в форме с требованием слежки за пользователями и об этом никому сообщать было нельзя. Благодаря "свидетельству канарейки" мы знаем, что это, всё же произошло.
@zavtracast
👍30😱7❤3😁3
Forwarded from Нейросети и Блендер
This media is not supported in your browser
VIEW IN TELEGRAM
AnyV2V - инновационная пайплайн для редактирования видео, позволяющий использовать готовые модели для изменения первого кадра и генерации последующих кадров с сохранением согласованности с исходным видео.
Это упрощает редактирование видео до двух этапов:
— модификацию первого кадра с помощью моделей типа InstructPix2Pix, InstantID
— генерацию видео через I2VGen-XL для инверсии DDIM и инъекции признаков.
AnyV2V расширяет возможности редактирования за счёт поддержки новых задач, включая передачу стиля и редактирование, ориентированное на объект, превосходя традиционные методы по выравниванию подсказок и предпочтениям пользователей.
INFO—PAPER—GITHUB(код есть и рабочий)—DEMO(Replicate)
Работает это все пока только на A100, и чтобы попробовать на своих видео нужно менять конфиги:
InstructPIX2PIX занимает больше всего времени, в стандарте 16 кадров всего из оригинального видео.
Это упрощает редактирование видео до двух этапов:
— модификацию первого кадра с помощью моделей типа InstructPix2Pix, InstantID
— генерацию видео через I2VGen-XL для инверсии DDIM и инъекции признаков.
AnyV2V расширяет возможности редактирования за счёт поддержки новых задач, включая передачу стиля и редактирование, ориентированное на объект, превосходя традиционные методы по выравниванию подсказок и предпочтениям пользователей.
INFO—PAPER—GITHUB(код есть и рабочий)—DEMO(Replicate)
Работает это все пока только на A100, и чтобы попробовать на своих видео нужно менять конфиги:
template.yaml
group_config.jsonInstructPIX2PIX занимает больше всего времени, в стандарте 16 кадров всего из оригинального видео.
Буду следить когда добавят в ноду для ComfyUI.👍9
Forwarded from Denis Sexy IT 🤖
OpenAI дали доступ к SORA разным креативным людям по миру – и те показали свои первые работы с ней.
Выкачал вам все примеры – как по мне, довольно клево вышло, в руках профи SORA по настоящему раскроется.
Пост тут:
https://openai.com/blog/sora-first-impressions
Выкачал вам все примеры – как по мне, довольно клево вышло, в руках профи SORA по настоящему раскроется.
Пост тут:
https://openai.com/blog/sora-first-impressions
❤18😱5🔥4👍2😢2
Forwarded from Love. Death. Transformers.
Вебкамщицам к цифровой сингулярности приготовиться
https://x.com/dreamingtulpa/status/1772311202871312655?s=46&t=2mo-W_Ay5P2D-PKnXI2DOA
https://x.com/dreamingtulpa/status/1772311202871312655?s=46&t=2mo-W_Ay5P2D-PKnXI2DOA
X (formerly Twitter)
Dreaming Tulpa 🥓👑 (@dreamingtulpa) on X
High quality AI generated human videos are here!
Champ can generate videos of anyone with a single image and a bit of motion guidance 🤯
Links ⬇️
Champ can generate videos of anyone with a single image and a bit of motion guidance 🤯
Links ⬇️
😁11
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!
Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.
Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.
Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.
В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.
Сайт проекта
@ai_newz
Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.
Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.
Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.
В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.
Сайт проекта
@ai_newz
👍15😱6❤1
Forwarded from Нейросети и Блендер
This media is not supported in your browser
VIEW IN TELEGRAM
Подход: Введение уменьшенных моделей и сокращение шагов выборки значительно снижает время генераций. Дистилляция знаний и упрощение U-Net и декодеров изображений, а также новая техника обучения DM обеспечивают прорывную скорость.
Обещают две модели(Старая версия SDXS-512 доступна на HF):
— SDXS-512, 100 FPS (30x faster than SD v1.5)
— SDXS-1024, 30 FPS (60x faster than SDXL)
указано, что скорость достигается на одной GPU, но без указания какой,
Так же показывают, что возможно дообучение ControlNet.
INFO—PAPER—WEIGHTS(OLD SDXS-512)—COLAB(OLD SDXS-512)
(Быстрый даже на T4, сделал там и вариант с видео, где батчем сразу собирается в короткий ролик)Ждем полноценных весов и тестим на рейлтайм генерациях в СomfyUI.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18👍4❤1
Forwarded from Dev Meme / devmeme
Finally some code with no docs/comments required by default 🤡
😁30❤7🔥4😱2
Forwarded from Ai molodca (Dobrokotov)
This media is not supported in your browser
VIEW IN TELEGRAM
Ох, ребята, иногда у меня подгорает с твиттерских "аи-блогеров" (ex. криптобро), обожающих бомбить громкими заголовками ради репостов, не проверяя информацию, а потом это мощно тиражируется.
Люди на видео реальны, вы даже можете нанять их, чтобы сделать видео здесь, например:
https://fiverr.com/amarie1717
Другими словами, "стартап", получил лицензию на нескольких людей "говорилок" и подключил HeyGen (пруф) для их анимации/кастомизации.
Все.
👍11😁5🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
claude-llm-trainer
Чел из hyperwriteai.com выкатил любопытный пайплайн, который обучает язвыковую модель по описанию задачи.
Описываете задачу текстом, например "генерация кода на питоне", а дальше с помощью Claude 3 генерится датасет под задачу и тренится моделька. Лама 2 7б в колабе, локально, или вообще гпт3.5 через апи - не принципиально.
Насколько такие модели действительно полезны (по сравнению с обученными кожаными мешками на реальный данных) - большой вопрос, но как демка пайплайна - очень даже любопытно.
Возможно, генерация датасетов подобным образом нарушает условия anthropic, но что вы нам сделаете, мы сдругова горада.
git
tweet
Чел из hyperwriteai.com выкатил любопытный пайплайн, который обучает язвыковую модель по описанию задачи.
Описываете задачу текстом, например "генерация кода на питоне", а дальше с помощью Claude 3 генерится датасет под задачу и тренится моделька. Лама 2 7б в колабе, локально, или вообще гпт3.5 через апи - не принципиально.
Насколько такие модели действительно полезны (по сравнению с обученными кожаными мешками на реальный данных) - большой вопрос, но как демка пайплайна - очень даже любопытно.
Возможно, генерация датасетов подобным образом нарушает условия anthropic, но что вы нам сделаете, мы сдругова горада.
git
tweet
👍20😁6👨💻2❤1