Чикагский Университет выкатил Nightshade - тулзу, призванную усложнить жизнь коварному ИИ, который так и норовит украсть работы у художников, вот это вот все.
Если верить тогдашнему пейперу, то работает через оптимизацию пикселей картинки на соответствие ложному концепту (cat -> dog например), при сохранении визуального сходства с исходником.
Хоть они и заявляли, что метод нельзя обойти кропом, поворотом или пережатием картинки, вангую, что он работает только если вы будете размечать картинки с помощью конкретной модели, которая выступала критерием для оптимизации. Т.е. меняете CLIP на что-то еще, размечаете вручную - и вуаля. Ну и к тому же таким образом удастся разве что испортить концепт чьего-то конкретного стиля, потому что по их же пейперу для похеривания обучения на датасете размером с LAION5b нужно 5м испорченных картинок. Пока не вижу реальных кейсов, кроме усложнения тюна существующих моделей\lora на базе SD.
Сайт
Скачать
Гайд
Срач на reddit
@derplearning
Если верить тогдашнему пейперу, то работает через оптимизацию пикселей картинки на соответствие ложному концепту (cat -> dog например), при сохранении визуального сходства с исходником.
Хоть они и заявляли, что метод нельзя обойти кропом, поворотом или пережатием картинки, вангую, что он работает только если вы будете размечать картинки с помощью конкретной модели, которая выступала критерием для оптимизации. Т.е. меняете CLIP на что-то еще, размечаете вручную - и вуаля. Ну и к тому же таким образом удастся разве что испортить концепт чьего-то конкретного стиля, потому что по их же пейперу для похеривания обучения на датасете размером с LAION5b нужно 5м испорченных картинок. Пока не вижу реальных кейсов, кроме усложнения тюна существующих моделей\lora на базе SD.
Сайт
Скачать
Гайд
Срач на reddit
@derplearning
😁14👨💻3❤2👍1
https://fxtwitter.com/business/status/1748400673614336471
После этой новости сэм альтман нашел у себя в кровати голову единорога.
Со следами кожаной куртки.
После этой новости сэм альтман нашел у себя в кровати голову единорога.
FxTwitter / FixupX
Bloomberg (@business)
BREAKING: OpenAI CEO Sam Altman, who has been working to raise billions of dollars from global investors for a chip venture, aims to use the funds to set up a network of factories to manufacture semiconductors
😁7
Forwarded from Zavtracast (Max Zareckiy)
В японском интернете ещё 16 января появился большой пост-мортем Palworld и вот самые дикие и интересные факты о разработке игры:
- Бюджет хита составлял что-то около 6.7 миллионов долларов, причём его толком никто не вёл. Разработчики занимались игрой пока банковский баланс не стал нулевым
- Это был первый опыт студии в создании моделей и ассетов, а не покупки их на площадках. По этой причине никакого контроля над источниками или наименованиями не было вообще
- Главный художник Palworld провалил собеседования в сотню с хвостиком компаний
- Анимации "пушек" делал 20-летний парнишка, закончивший лишь среднюю школу, а своё рабочее время ему надо было распределять между Palworld и подработкой кассиром в продуктовом магазине
- Вся команда понятия не имела что такое "риг" (каркас для анимаций)
- В определенный момент в команду пришел старший инженер работавший с Unreal и весь билд на Unity отправили в мусорное ведро, а инженеру в одиночку пришлось переучивать команду
- В оптимизации Palworld прямо до самого релиза принимал участие CEO компании
- Сейчас Pocketpair наняла ветеранов индустрии и отладила процессы, но путь игры до релиза является не меньшим чудом, чем рекорды Palworld в Steam.
@zavtracast
- Бюджет хита составлял что-то около 6.7 миллионов долларов, причём его толком никто не вёл. Разработчики занимались игрой пока банковский баланс не стал нулевым
- Это был первый опыт студии в создании моделей и ассетов, а не покупки их на площадках. По этой причине никакого контроля над источниками или наименованиями не было вообще
- Главный художник Palworld провалил собеседования в сотню с хвостиком компаний
- Анимации "пушек" делал 20-летний парнишка, закончивший лишь среднюю школу, а своё рабочее время ему надо было распределять между Palworld и подработкой кассиром в продуктовом магазине
- Вся команда понятия не имела что такое "риг" (каркас для анимаций)
- В определенный момент в команду пришел старший инженер работавший с Unreal и весь билд на Unity отправили в мусорное ведро, а инженеру в одиночку пришлось переучивать команду
- В оптимизации Palworld прямо до самого релиза принимал участие CEO компании
- Сейчас Pocketpair наняла ветеранов индустрии и отладила процессы, но путь игры до релиза является не меньшим чудом, чем рекорды Palworld в Steam.
@zavtracast
👍28🔥6😁3😢2❤1🤩1
This media is not supported in your browser
VIEW IN TELEGRAM
DragNUWA x ComfyUI
Недавно RunwayML показали новую фичу: multi motion brush, позволявшую управлять направлением движения сразу нескольких областей исходной картинки.
Думаю, ни для кого не секрет, что это их имплементация августовского пейпера dragnuwa.
Но опенсорс не дремлет, и реализация DragNUWA уже доступна для SVD, а с ней и соответствующие ноды в ComfyUI.
На видео: RunwayML motion brush.
видео DragNUWA: в комментах
ComfyUI workflow
Git comfyui dragnuwa
Git dragnuwa 1.5 svd
DragNUWA paper
Твит
@derplearning
Недавно RunwayML показали новую фичу: multi motion brush, позволявшую управлять направлением движения сразу нескольких областей исходной картинки.
Думаю, ни для кого не секрет, что это их имплементация августовского пейпера dragnuwa.
Но опенсорс не дремлет, и реализация DragNUWA уже доступна для SVD, а с ней и соответствующие ноды в ComfyUI.
На видео: RunwayML motion brush.
видео DragNUWA: в комментах
ComfyUI workflow
Git comfyui dragnuwa
Git dragnuwa 1.5 svd
DragNUWA paper
Твит
@derplearning
🔥31👍2
Forwarded from AI для Всех (Artemii)
This media is not supported in your browser
VIEW IN TELEGRAM
Скрейпинг веб страниц в эпоху GPT-Vision
Последние пару недель, я много эксперементировал с парсингом и скрейпингом веб страниц. В итоге я пришел к выводу, что сайты были сделаны для того что бы на них смотрели глазами, и соответственно парсить их эффкетивнее всего тоже будет глазами.
Собрал для вас старый добрый Colab, с помощью которого можно сделать summary любой страницы в интернете (в пределах того, на что не обидится OpenAI).
Как это работает:
- с помощью selenium я делаю скриншоты сайта
- объединяю их в одну картинку
- отправляю эту картинку в GPT-vision
- получаю summary
🚀 Google Colab
Приглашаю всех попробовать и присылать PR c новыми функциями, исправлением багов и прочими правками.
В качестве бонуса (для продвинутых пользователей), добавил в pipeline создание эмбедингов поверх полученных summary.
Если пойдет, может быть сделаем крутого open-source Web-scrapping Assistant или типа того
Последние пару недель, я много эксперементировал с парсингом и скрейпингом веб страниц. В итоге я пришел к выводу, что сайты были сделаны для того что бы на них смотрели глазами, и соответственно парсить их эффкетивнее всего тоже будет глазами.
Собрал для вас старый добрый Colab, с помощью которого можно сделать summary любой страницы в интернете (в пределах того, на что не обидится OpenAI).
Как это работает:
- с помощью selenium я делаю скриншоты сайта
- объединяю их в одну картинку
- отправляю эту картинку в GPT-vision
- получаю summary
🚀 Google Colab
Приглашаю всех попробовать и присылать PR c новыми функциями, исправлением багов и прочими правками.
В качестве бонуса (для продвинутых пользователей), добавил в pipeline создание эмбедингов поверх полученных summary.
Если пойдет, может быть сделаем крутого open-source Web-scrapping Assistant или типа того
❤23👍8
Forwarded from Love. Death. Transformers.
Мы релизнули вихрь💨 Нормально.
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
🔥16
This media is not supported in your browser
VIEW IN TELEGRAM
Image to SFX
Любопытный Спейс для генерации аудио по картинке с двумя моделями:
MAGnet & AudioLDM
Го слушать как звучат мемы, я создал!
Твит
Веб демо
@derplearning
Любопытный Спейс для генерации аудио по картинке с двумя моделями:
MAGnet & AudioLDM
Го слушать как звучат мемы, я создал!
Твит
Веб демо
@derplearning
🔥24😁2
В ноутбуке Тесея Framework появились сменные дискретные видеокарты.
Причем меняются они почти как картриджи в этих ваших геймбоях. (Надо 4 болта под клавой открутить)
Пока доступна только 8гб карточка от АМД, но все данные для создания своих картриджей уже есть, так что скрестим пальчики и ждём A100 :D
What a time to be alive!
Причем меняются они почти как картриджи в этих ваших геймбоях. (Надо 4 болта под клавой открутить)
Пока доступна только 8гб карточка от АМД, но все данные для создания своих картриджей уже есть, так что скрестим пальчики и ждём A100 :D
What a time to be alive!
🤩29🔥8👍5😁2
moondream1
Небольшая визуальная языковая моделька, всего 1.6b
В основе микс из SigLIP и Phi 1.5, тюненый на LLaVa.
Для такого размера работает вполне даже хорошо, местами на уровне 3b моделей.
Вчера мы слушали мемы, сегодня почитаем.
demo
code
model card
tweet
@derplearning
Небольшая визуальная языковая моделька, всего 1.6b
В основе микс из SigLIP и Phi 1.5, тюненый на LLaVa.
Для такого размера работает вполне даже хорошо, местами на уровне 3b моделей.
Вчера мы слушали мемы, сегодня почитаем.
demo
code
model card
tweet
@derplearning
🔥17😁7👍3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Ai-powered бинокль за $5k со встроенной классификацией живтоне.
Теперь, когда жена попросит модный аксессуар от Swarovski на годовщину свадьбы, вы знаете, что делать.
@derplearning
Теперь, когда жена попросит модный аксессуар от Swarovski на годовщину свадьбы, вы знаете, что делать.
@derplearning
🤩20👍4🔥4😁2
Forwarded from Neural Shit
This media is not supported in your browser
VIEW IN TELEGRAM
Всегда считал дополненную реальность хуитой без задач, но вот такое применение для настолок — вполне годно! Ток с вот такой гарнитурой на башке всрато как-то долго сидеть. Если бы это все было небольшим и аккуратным (примерно как у Google Glass) было б ваще огненно.
👍22🔥6👀2😱1
The elder scrolls LXXIX: Herculaneum
Если вы не в курсе, в прошлом году начался челлендж по расшифровке чудом уцелевших при извержении Везувия древних свитков. Советую ознакомиться с лонгридом от Антона, который большую часть прошлого же года занимался этой самой расшифровкой, и небезуспешно.
Ждём исков от древних греков за использования рукописей в датасете без их согласия
https://news.1rj.ru/str/repushko_channel/1953
Если вы не в курсе, в прошлом году начался челлендж по расшифровке чудом уцелевших при извержении Везувия древних свитков. Советую ознакомиться с лонгридом от Антона, который большую часть прошлого же года занимался этой самой расшифровкой, и небезуспешно.
https://news.1rj.ru/str/repushko_channel/1953
Telegram
Generative Anton
Длинный текст про то, как я сходил с ума от отчаяния в последние 8 месяцев и начал учить древнегреческий.
Выше уже мелькали посты про непонятные белые буковки и шутки про ленивых древнегреческих писцов. Настало время собрать всё в цельную картинку и объясниться.…
Выше уже мелькали посты про непонятные белые буковки и шутки про ленивых древнегреческих писцов. Настало время собрать всё в цельную картинку и объясниться.…
🤗9❤6👍3