🔺 Торрент-LM от BigScience

Инициатива от BigScience (коллаборация исследователей, которая сделала Bloom и делает BigСode).

Позволяет всем миром запускать и тюнить (!) Bloom 176B под свои задачи. Называется Petals 🌼.

Зачем?

Запуск 175B модели требует около 350 GB GPU и еще больше при дообучении. А чтобы запустить инференс модели при помощи Petals, нужно иметь 12GB оперативки под эмбеддинги (3.6B параметров) и еще сколько-то, если хотите сделать fine-tuning.

Дообучение происходит в режиме prompt tuning'а или при помощи слоев-адаптеров. В этом случае мы обучаем только малую часть параметров, которую храним у себя, все остальные веса распределены по Petals серверам (В 8 bit режиме модель режется на 22 куска, и требуется минимум 22 сервера, чтобы поднять модель).

Можно задонатить свою GPU, запустив Petals сервер у себя. Понадобится 16 GB RAM и 8 GB GPU.

Попробовать можно в Colab'e.

👉 Colab | GitHub | Paper

📚 Что почитать про AGI?

Хотел почитать что-нибудь про общий искусственный интеллект (AGI), — тот самый, который отберет работу у людей, а, может, и мир уничтожит (соревноваться в этом с нами будет непросто).

Нашел и прочитал три книжки, первые две очень понравились:

1️⃣ ИИ-2041. Кай-Фу Ли и Чэнь Цюфань. Каждая из 10 глав посвящена кульминации в развитии одного из аспектов ИИ и культуры.

NLP и персональные ассистенты, CV и дипфейки, квантовый прорыв, дополненная реальность, ИИ в медицине и вооружении, AI для максимизации счастья и т.д.

Изюминка книги в том, что каждая глава поделена на две части: сначала писатель-фантаст (Цюфань) представляет рассказ, действие которого разворачивается в 2041 году. Затем Кай-Фу (бывший президент Google China) освещает технические детали и дает оценку, насколько реально достичь такого прогресса на горизонте 20-30 лет.

2️⃣ Искусственный ты. Сьюзан Шнайдер. По мере развития AI вычислительно приближается к человеку (а где-то уже обгоняет). Но может ли он дойти до такой сложности, что у него возникнет сознание?

Если же мы начнем модернизировать мозг, сливаясь с машиной, то сможем ли мы сохранить свое собственное сознание?

Обсуждается множество других интересных вопросов и реальных случаев, — про заморозку мозга, про перенос сознания на внешний носитель, про трансгуманизм и другие точки зрения на будущее человека и ИИ.

3️⃣ Власть роботов. Мартин Форд. Более приземленная книжка про наше ближайшее будущее. ИИ как новое электричество, — автор рассказывает про последние прорывы типа AlphaFold и всеобщее распространение автоматизации уже в ближайшее десятилетие.

Упоминаются столпы глубокого обучения, — Ле Кун, Шмидхубер, Хинтон и другие. Дается оценка наступления эпохи сильного ИИ от 18-ти ведущих экспертов по шкале Курцвейл (2029 г.) - Брукс (2200 г.). Разброс большой, ждем с нетерпением

👉 Что сейчас читаете?