🔺 Торрент-LM от BigScience

Инициатива от BigScience (коллаборация исследователей, которая сделала Bloom и делает BigСode).

Позволяет всем миром запускать и тюнить (!) Bloom 176B под свои задачи. Называется Petals 🌼.

Зачем?

Запуск 175B модели требует около 350 GB GPU и еще больше при дообучении. А чтобы запустить инференс модели при помощи Petals, нужно иметь 12GB оперативки под эмбеддинги (3.6B параметров) и еще сколько-то, если хотите сделать fine-tuning.

Дообучение происходит в режиме prompt tuning'а или при помощи слоев-адаптеров. В этом случае мы обучаем только малую часть параметров, которую храним у себя, все остальные веса распределены по Petals серверам (В 8 bit режиме модель режется на 22 куска, и требуется минимум 22 сервера, чтобы поднять модель).

Можно задонатить свою GPU, запустив Petals сервер у себя. Понадобится 16 GB RAM и 8 GB GPU.

Попробовать можно в Colab'e.

👉 Colab | GitHub | Paper

📚 Что почитать про AGI?

Хотел почитать что-нибудь про общий искусственный интеллект (AGI), — тот самый, который отберет работу у людей, а, может, и мир уничтожит (соревноваться в этом с нами будет непросто).

Нашел и прочитал три книжки, первые две очень понравились:

1️⃣ ИИ-2041. Кай-Фу Ли и Чэнь Цюфань. Каждая из 10 глав посвящена кульминации в развитии одного из аспектов ИИ и культуры.

NLP и персональные ассистенты, CV и дипфейки, квантовый прорыв, дополненная реальность, ИИ в медицине и вооружении, AI для максимизации счастья и т.д.

Изюминка книги в том, что каждая глава поделена на две части: сначала писатель-фантаст (Цюфань) представляет рассказ, действие которого разворачивается в 2041 году. Затем Кай-Фу (бывший президент Google China) освещает технические детали и дает оценку, насколько реально достичь такого прогресса на горизонте 20-30 лет.

2️⃣ Искусственный ты. Сьюзан Шнайдер. По мере развития AI вычислительно приближается к человеку (а где-то уже обгоняет). Но может ли он дойти до такой сложности, что у него возникнет сознание?

Если же мы начнем модернизировать мозг, сливаясь с машиной, то сможем ли мы сохранить свое собственное сознание?

Обсуждается множество других интересных вопросов и реальных случаев, — про заморозку мозга, про перенос сознания на внешний носитель, про трансгуманизм и другие точки зрения на будущее человека и ИИ.

3️⃣ Власть роботов. Мартин Форд. Более приземленная книжка про наше ближайшее будущее. ИИ как новое электричество, — автор рассказывает про последние прорывы типа AlphaFold и всеобщее распространение автоматизации уже в ближайшее десятилетие.

Упоминаются столпы глубокого обучения, — Ле Кун, Шмидхубер, Хинтон и другие. Дается оценка наступления эпохи сильного ИИ от 18-ти ведущих экспертов по шкале Курцвейл (2029 г.) - Брукс (2200 г.). Разброс большой, ждем с нетерпением

👉 Что сейчас читаете?

🧨 Diffusion is all we need

На hf появились новые модели для генерации изображений на основе stable diffusion 1.5 (там, где еще не пропали стили художников) и эти модели прекрасны.

1️⃣ vintedois-diffusion-v0-1

Была натренирована двумя товарищами на датасете из качественных картинок, хорошо рисует арт с лицами. Благодаря библиотеке diffusers все это легко поднимается парой команд (либо можете использовать демо).

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("22h/vintedois-diffusion-v0-1")

👉 Карта модели | Демо

2️⃣ Protogen Diffusion

Тут целое семейство моделей, дообученных под аниме, фантастику и фотореализм. Вот тут подробнее.

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("darkstorm2150/Protogen_x5.8_Official_Release")

👉 Карта модели | Демо со всеми вариантами

〰️ Картинка нарисована при помощи protogen 3.8. А вот промпт.

🔺 Let's build (chat)GPT

Новое видео от Андрея Карпати. На этот раз с нуля собираем GPT (генеративную языковую модель) в colab'е. Также на пальцах рассказывается, что такое ChatGPT.

Как обычно, все объясняется с самых основ. Причем, если что-то непонятно, то Андрей уже записал и выложил ряд крутых лекций под общим названием "Neural Nets. From zero to hero". Очень полезный образовательный контент.

👉 Видео | nanoGPT | Код из занятия

В Nvidia Broadcast (программу для записи стримов и видеоконференций) добавили новую фичу — eye contact. Теперь можно бесконечно смотреть в глаза коллегам на созвонах.