Derp Learning – Telegram
Derp Learning
13.1K subscribers
3.17K photos
913 videos
9 files
1.32K links
Используем ИИ строго не по назначению.
Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Download Telegram
Forwarded from эйай ньюз
🔥 Lion: EvoLved Sign Momentum - новый оптимайзер от Гугла

Google нашел новый алгоритм оптимизации при помощи Symbolic Search (завтра объясню, что это такое). Новый оптимайзер тупо мониторит momentum, а размер финального апдейта весов считается как sign(grad (1-β1) + β1 momentum). То есть апдейт для каждого элемента весов равен либо -1 * LR либо +1 * LR!

train(weight, gradient, momentum, lr):
update = interp(gradient, momentum, β1)
update = sign(update)
momentum = interp(gradient, momentum, β2)
// Тут я пропустил weight decay для простоты
update = update * lr
return update, momentum

Просто волосы дыбом от тупости, но Lion дает серьезные улучшения в скорости сходимости, да и в найденных локальных минимумах. Рвет и обычную классификацию и языковые модели и диффузионные.

Чем больше батч, тем лучше работает Lion. Еще он более устойчив к различным выборам гиперпараметров по сравнению с AdamW.

Уже попробовал на свои задачах, вроде работает!

❱❱ Код на PyTorch, JAX и TF

@ai_newz
👍13
Forwarded from ЭйАйЛера
This media is not supported in your browser
VIEW IN TELEGRAM
Эксперименты с новым warpfusion v0.7.0 с ControlNet

Видео от танц-театра Звон
👍15🔥6
Мой крутой коллега сделал мем, а я делюсь им с вами.
😁26
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
😎Avaturn: полный 3D аватар по трем селфи лица.

Мои кенты из стартапа in3D запустили новый продукт https://avaturn.me. Я участвовал в стартапе на его ранних порах в 2019, поэтому плотно слежу за его успехами. Disclaimer: это не реклама, потому что у меня нет никаких акций.

По трем селфи фоткам строят реалистичный аватар головы, далее вы можете выбрать себе тело, одежду и стиль причёски. На выходе получаем fully-rigged 3D аватар, который можно анимировать и экспортировать хоть куда. Круто, что всё работает в вебе и не нужно ставить никакую аппку.

Я протестил на себе, результат вы можете видеть на видео 😁.

Анонс в Твиттере: ссылка.
Лайк/репост приветствуется!

@ai_newz
🔥17
Forwarded from ExMuffin
💠 ComfyUI 🏞

Я тут колаб принес, пользовательский интерфейс которого позволит вам проектировать пайплайн стабильной диффузии, используя интерфейс на основе нод (да да, прям в колабе). Если это кажется сложным, то предлагаю ознакомиться с этими примерами. Может работать асинхронно, куча оптимизаций, поддержка ckpt и safetensors, эмбэды, контролнеты и кучу всего другого. Контролнеты, к слову, можно миксовать друг с другом.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/SDNode_v_1_0.ipynb
😱9👍6🤩6😢1
This media is not supported in your browser
VIEW IN TELEGRAM
ControlNET прекрасно работает с текстом

Генерация от @too_motion

Подробный урок на его канале

А я пока сильно ударился в код, и кайфую с этого, особенно с помощниками нейронками, потому посты редкие сейчас
20🤩3👍2🔥2
Каким интерфейсом stablediffusion пользуетесь?

Неважно, каким именно продуктом на основе stablediffusion вы пользуетесь, главное - через какой интерфейс.
Anonymous Poll
23%
Colab Notebook (все настройки - через интерфейс колаба)
7%
CLI (все настройки - через консоль)
47%
Gradio Webui (Automatic1111)
7%
Plugin (Photoshop, Blender, etc.p)
👍1
Forwarded from Denis Sexy IT 🤖
Недавно наткнулся на классный твит, где автор сделал забавный эксперимент:
Все вы видели, что ChatGPT и другие модели умеют генерировать код, и править ошибки кода, так, чтобы скрипт запустился.

Но что если, пользователь бы давал команду нейронке какую задачу он хочет решить, далее нейронка сама, писала бы код и пыталась его запустить, а после этого – если ошибка в коде появится, пыталась бы исправить код так, чтобы он работал, и продолжала бы «программировать» таким образом, пока задача не будет решена.

Короче собрал Colab на базе этого эксперимента, можете сами поиграться.

В итоге пару часов сегодня убил наблюдая как нейронка «программирует», сама «рассуждает» как их решить, дебажит и тп, на картинках пример результатов.

На последней картинке попросил ее почистить жесткий диск от всех файлов и папок, и что вы думаете, она прекрасно справилась и умерла вместе со средой исполнения прямо у меня на глазах ☕️

Короче все это прототип Software 2.0, прикольно поковырять и посмотреть, как бы выглядело написание кода через N лет.

P.S. Нужен ключ API от OpenAI чтобы запустить, в конфиге простенькая и дешевая модель сейчас

P.P.S. Спасибо автору канала @seeallochnaya за наводку
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
28🔥7👍4
Когда добавил строчку кода в колаб с телефона
😁64👍4😢1
Forwarded from Ai molodca (Dobrokotov)
Твиттерский пропустил логотипы брендов через #ControlNet. Затея не нова, но здесь — вау эффект от качественного сохранения и переосмысления текстовой части. Только посмотрите на этот бургер и пиццу!
🔥5👍2