📚 Что почитать про AGI?

Хотел почитать что-нибудь про общий искусственный интеллект (AGI), — тот самый, который отберет работу у людей, а, может, и мир уничтожит (соревноваться в этом с нами будет непросто).

Нашел и прочитал три книжки, первые две очень понравились:

1️⃣ ИИ-2041. Кай-Фу Ли и Чэнь Цюфань. Каждая из 10 глав посвящена кульминации в развитии одного из аспектов ИИ и культуры.

NLP и персональные ассистенты, CV и дипфейки, квантовый прорыв, дополненная реальность, ИИ в медицине и вооружении, AI для максимизации счастья и т.д.

Изюминка книги в том, что каждая глава поделена на две части: сначала писатель-фантаст (Цюфань) представляет рассказ, действие которого разворачивается в 2041 году. Затем Кай-Фу (бывший президент Google China) освещает технические детали и дает оценку, насколько реально достичь такого прогресса на горизонте 20-30 лет.

2️⃣ Искусственный ты. Сьюзан Шнайдер. По мере развития AI вычислительно приближается к человеку (а где-то уже обгоняет). Но может ли он дойти до такой сложности, что у него возникнет сознание?

Если же мы начнем модернизировать мозг, сливаясь с машиной, то сможем ли мы сохранить свое собственное сознание?

Обсуждается множество других интересных вопросов и реальных случаев, — про заморозку мозга, про перенос сознания на внешний носитель, про трансгуманизм и другие точки зрения на будущее человека и ИИ.

3️⃣ Власть роботов. Мартин Форд. Более приземленная книжка про наше ближайшее будущее. ИИ как новое электричество, — автор рассказывает про последние прорывы типа AlphaFold и всеобщее распространение автоматизации уже в ближайшее десятилетие.

Упоминаются столпы глубокого обучения, — Ле Кун, Шмидхубер, Хинтон и другие. Дается оценка наступления эпохи сильного ИИ от 18-ти ведущих экспертов по шкале Курцвейл (2029 г.) - Брукс (2200 г.). Разброс большой, ждем с нетерпением

👉 Что сейчас читаете?

🧨 Diffusion is all we need

На hf появились новые модели для генерации изображений на основе stable diffusion 1.5 (там, где еще не пропали стили художников) и эти модели прекрасны.

1️⃣ vintedois-diffusion-v0-1

Была натренирована двумя товарищами на датасете из качественных картинок, хорошо рисует арт с лицами. Благодаря библиотеке diffusers все это легко поднимается парой команд (либо можете использовать демо).

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("22h/vintedois-diffusion-v0-1")

👉 Карта модели | Демо

2️⃣ Protogen Diffusion

Тут целое семейство моделей, дообученных под аниме, фантастику и фотореализм. Вот тут подробнее.

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("darkstorm2150/Protogen_x5.8_Official_Release")

👉 Карта модели | Демо со всеми вариантами

〰️ Картинка нарисована при помощи protogen 3.8. А вот промпт.

🔺 Let's build (chat)GPT

Новое видео от Андрея Карпати. На этот раз с нуля собираем GPT (генеративную языковую модель) в colab'е. Также на пальцах рассказывается, что такое ChatGPT.

Как обычно, все объясняется с самых основ. Причем, если что-то непонятно, то Андрей уже записал и выложил ряд крутых лекций под общим названием "Neural Nets. From zero to hero". Очень полезный образовательный контент.

👉 Видео | nanoGPT | Код из занятия

В Nvidia Broadcast (программу для записи стримов и видеоконференций) добавили новую фичу — eye contact. Теперь можно бесконечно смотреть в глаза коллегам на созвонах.

🔺 Is ChatGPT A Good Translator?

В Tencent провели исследование ChatGPT в области машинного перевода. Проверяли три аспекта:

1️⃣ Влияние промпта

Посчитали метрики (BLEU и ChrF++) на подсказках, предложенных самой же сетью. Проверяли на паре китайский-английский. Выбрали лучший (BLEU 24.73):

Please provide the [TGT] translation for these sentences:

2️⃣ Мультиязычность

Взяли 4 языка из FLORES 101 — немецкий, английский, румынский, китайский, как-будто бы покрывая несколько языковых семей и две письменности. На каждой паре из 12-ти посчитали BLEU и показали разницу +/- с Google Translate в процентах, а также результат DeepL 🚀(см. картинку).

В итоге на популярных языках разница небольшая (-2.9% и -5.5% для de-en и en-de). И может быть очень большой в случае малоресурсного языка (тут это румынский) -21% для ro-zh. Интересно, что есть и выигрыш — +0.2% для de-ro.

3️⃣ Надежность перевода

Так как перевод может сильно отличаться для разных доменов, важно понимать насколько универсальной может быть система.

Взяли три сета — WMT19 Bio (много специфической медицинской терминологии), WMT20 Rob2 (комменты с Reddit с грамматическими ошибками)
и Rob3 (ASR транскрипции).

Опять-таки, на специализированном корпусе результат оказался значительно хуже чем у коммерческих решений. Но на расшифровках аудио (что-то похожее на диалоги), ChatGPT оказалась значительно лучше (см. картинку). Исследователи связывают это с первичной задачей сети вести себя как вопросно-ответный агент.

👉 Статья

🚀 Подъехал мерч от ODS. Мерч клёвый, но надеть пока не дают...

Подарили за статью DIY. Книги для всех, даром про создание мультиязычных параллельных книг. Спасибо киноакадемии тому, кто номинировал статью, и всем, кто поддержал! Проект развивается, скоро будут новости.

🔺 Скрипт для массового обращения к ChatGPT

Ребят, тут узнали имя модели ChatGPT и оно работает через официальное API OpenAI! Написал скрипт для массового обращения.

🔸 Имя модели в запросе text-chat-davinci-002-20221122.
🔸 Иногда сервер шлёт 500 и 503, просто обращаемся снова.
🔸 В какой-то момент в ошибке вылезло сообщение про RateLimit 150k/min, что странно, потому что упереться в него трудновато.

@doomgrad

Upd. 9.02.2023. Скрипт сейчас не работает. Карпати пришел в OpenAI и пофиксил.

👉 Теперь нужно так

-------------

👉 GitHub

Пришло время признаться: у меня блогерский дебют.

COPYLEFT — авторский формат, где я буду делиться историями про технологии более популярно, рассказывать про опенсорс и важность реальных достижений в ИИ.
Поддержите формат, если вам заходит!

На Рабкоре — женский голос!

#nlp #про_nlp

https://youtu.be/rJGjPEZpkOY

Андрей Карпати присоединяется к OpenAI! Ждем курс по написанию ChatGPT с нуля в колабе.