Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.45K photos
3.72K videos
41 files
4.76K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
Grounded-Segment-Anything

Авторы мощного детектора объектов Grounding DINO поженили его с Segment Anything что позволяет сегментировать что угодно по текстовому запросу.

Мало того, сейчас они прикручивают все это дело к Stable Diffusion. А это технологичное редактирование изображений через точное сегментирование объектов. В репозитории уже есть демо и ноутбук потыркать как все работает

Код

#image2image #image2mask #segmentation
— Нейросетки плохо рисуют анатомию

Анатомия в реальной жизни:
😁4
Форк automatic1111
Автор активнее фиксит ошибки

Список отличий

-Новые обработчики ошибок и исключений
-Обновлены библиотеки Python до последних известных совместимых версий, например accelerate, transformers, numpy и т.д.
-Включает в себя индивидуальную конфигурацию системы и опций, например, сэмплеры, масштабаторы и т.д.
-Не полагается на ускорение, поскольку оно влияет только на распределенные системы
-Оптимизированный запуск
Веб-сервер Gradio будет инициализирован намного раньше, загрузка модели которого выполняется в фоновом режиме
Более быстрая загрузка модели плюс возможность резервного копирования поврежденных моделей
-Включает файлы конфигурации SD2
-Использует упрощенную структуру папок, например /train, /outputs/*, /models/* и т.д.
-Улучшенные шаблоны обучения
-Встроенные LoRa, LyCORIS, настраиваемая диффузия, тренировка Dreambooth
Метовский Segment Anything уже прикрутили к Automatic1111

расширение здесь: https://github.com/continue-revolution/sd-webui-segment-anything

Пока оно работает только через и2и и помогает сделать чёткую маску выделения за считанные секунды.

Работает оно просто, на странице есть небольшое видео. Ставите расширение, скачиваете веса отсюда (https://github.com/facebookresearch/segment-anything#model-checkpoints). Трое весов отличаются по размеру и "пониманию". vit_h - базовые веса, vit_l - полегче, vit_b - самые мелкие и скромные. Класть чекпоинты сюда: \extensions\sd-webui-segment-anything\models\sam
Сначала заходите в и2и, подвкладка инпанит аплоад (маска) и сразу ставите - зарисовывать только по маске. Это затем, что с текущим градио не на всех браузерах адекватно отработает потом кнопка перекидывания информации - и вы этот блок можете просто не увидеть. Далее, разворачиваем блок расширения, закидываем в него картинку. В промт пишем то, что хотим найти на картинке. В блоке расширения ставим две точки: Левой клавишей - где это будем искать, правой - где нет того, что мы ищем (позитив и негатив, своего рода). Следом выбираем номер понравившейся маски, ставим галочку. Крутим в самый верх и нажимаем кнопочку перекидывания параметров (кстати, это стандартная кнопка в Автоматике, а вы знали это? 😼). Эти манипуляции закинут нам картинку и её маску по нужным местам, но в моём браузере этого невидно (возможно, ошибки Градио-интерфейса), однако это работает. Не забудьте обязательно переключиться на подвкладку инпаинт аплоад, потому что нажатие перекидывания параметров перекинет нас на обычное и2и.
Дальше обычный воркфлоу: правим промт, выставляем параметры, генерим.

Инструкцию стырил там
ChatGPT прикрутили к SIMS
В игре 25 персонажей каждый из которых наделили мотивацией и еще какими-то личными настройками.
В итоге ИИшные человечки социализируются и взимодействуют даже порой лучше чем настоящие.
Например, собрались и отметили вместе День Валентина.

Куда еще прикрутят ChatGPT в следующий раз?

Посмотреть демо
День плагинов автоматика.
Sadtalker прикрутили плагином к Automatic1111
Автоматик сам пока еще его не находит, для установки ему нужно подсунуть ссылку https://github.com/Winfredy/SadTalker

Там же инструкция по установке в автоматик. Надо будет обновить автоматик до последней версии, скачать чекпойнты и прочие файлы модели и прописать аргументы запуска.

Убедитесь что все файлы скачались и лежат в нужной папке!

Sadtalker появится в отдельной вкладке.

Если у вас что-то не работает, в репозитории по ссылке на вкладке issues можно поискать решение
Forwarded from AI для Всех
Нейроморфные чипы NeuRRAM: энергоэффективные нейросети теперь реальность

Когда Лекун говорит о NeuralAI и создании цифровых органоидов, имитирующих биологические органы, это звучит как научная фантастика.

А когда в Nature выходит статья о новых нейроморфных чипах и решение МЛ задач на приборе размером с ноготок (1 кв см), дух захватывает, как в детстве на качелях.

NeuRRAM - это один из самых передовых чипов для нейроморфных вычислений, потому что:
- Использует аналоговую память для хранения и обработки больших данных;
- Поддерживает разнообразные и сложные задачи ИИ с довольно высокой точностью (например, классификация изображений 99% на MNIST; 85,7% на CIFAR-10, распознавание голосовых команд 84.7% на датасете от Google);
- Экономит до 1000 раз больше энергии, чем традиционные компьютеры (сейчас ИИ - серьезная нагрузка на окружающую среду);
- Спроектирован с учетом потребностей на всех уровнях от алгоритмов до устройств;

Секрет энергоэффективности в отсутвии энергозатратного перемещения данных: он хранит веса моделей в плотных, аналоговых и неволатильных устройствах RRAM и выполняет вычисления непосредственно на чипе. Микросхема также поддерживает параллелизм данных, отображая слой в модели нейронной сети на несколько ядер для параллельного вывода.

Прорыв в том, что NeuRRAM может работать на маленьких устройствах: часы, VR-шлемы, наушники и прочие edge девайсы.
В общем, может изменить будущее вычислений и ИИ. И где-то подвинуть NVIDIA🥇🤔🥈

@GingerSpacetail
📖Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
Batch Face Swap

Затестил
расширение для автоматика, а точнее скрипт. Он берет все картинки из заданной папки, находит на них лица и заменяет в соответствии с промптом.

Есть у меня чекпойнт натрененный на мое лицо. Чего добру пропадать, зря что ли тренил? Мама, я в телевизоре картине.

Расширение можно установить из автоматика на вкладке available. Или вручную по ссылке выше

#faceswap #image2image #neuronaut_art
😁3👍1