🔺 Партийная ChatGPT

Собрал небольшой colab с вышедшей на днях открытой китайской версией ChatGPT — 🇨🇳 ChatGLM 6B.

🔸 Сделали те же люди из Tshinghua University, что ранее выкладывали CogView — генерацию видео по тексту.
🔸 Работает на удивление неплохо — решает творческие задачи на написание текстов и email'ов, составление списков чего-либо. Можно передавать историю чата и вести с ней общение.
🔸 Выдает длинные ответы.
🔸 Обучалась на китайском, соответственно передать в нее что-то специфическое будет трудно.
🔸 Как собрать бомбу или коктейль Молотова не отвечает, китайские коллеги все-таки решили выровнять ее в этическом плане (надо тестить дальше).
🔸 Для английского тоже работает, иногда вставляя в текст слова на китайском. Добавил в колаб автоперевод с китайского на русский.

〰️ Как тренировали?

Пропустили через нее 1T токенов (прямо как в LLaMA). За основу взяли свой же претрейн GLM, дообучили на инструкциях, затем RLHF. Контекст 2048 токенов.

Квантованная версия занимает 6Gb памяти, вместо ~26Gb в fp32, так что можно поиграться в бесплатном colab'е.

👉 Colab | Huggingface | GitHub

🔺 Bing Image Creator

Bing начинает встраивать в свой чат генерацию картинок через DALL-E. В чате функционал появляется постепенно, но всем уже доступна генерация на их портале.

Для быстрых генераций дается 10 попыток (по 4 варианта картинки), затем идет медленней.

Сгенерил вам пару Фёрби.