Тэкс, Google анонсировал модельки для генерации кода, встроенные прямо в Colab. Скоро появятся во всех ноутбуках.

Под ноутбуком будут бегать модельки под названием Codey (типа аналог OpenAI Codex), которые основаны на Palm-2 и натренены на опенсоурсных исходниках. Теперь везде будут пихать этот Палм.

Хотя, думаю, народ в FAANG-ах уже давно пользуются аналогичным дополнялками внутри компаний. Не будешь же на работе в гугл колабе писать (если вы не стартап) или кодексу свои велосипеды показывать.

Ещё, кажется, что стартапчику Hex Magic кранты.

@ai_newz

А как тогда называть людей, которые не могут даже нажать на кнопки? 🐱

TinyStories: The Smallest GPT with Coherent English (by Microsoft)

Как думаете, с какого размера у LM появляется возможность писать связный текст? Оказалось, что и 2.5M параметров достаточно!

Главное препятствие для полноценного понимания языка у трансформеров — огромное количество редких слов (длинный хвост распределения). Но если составить обучающий датасет из 1.5к наиболее частотных корней (словарный запас 5-летнего ребёнка), то даже однослойную GPT можно будет обучить так, что она обойдёт GPT2-XL!

Этот чудесный датасет, написанный руками GPT-4, отлично подходит для валидации новых архитектур, на нём даже скейлинг Шиншиллы подтверждается. Так что если хотите изобрести свою «SuperGPT» архитектуру, то рекомендую экспериментировать на этом сете. Его размер всего 3 Гб.

P.S. Из интересных выводов — лучше масштабировать GPT в глубину, чем в ширину.

Статья, датасет, модель

RWKV: Parallelizable RNN with Transformer-level LLM Performance

Пока все засовывают эти ваши 30b int4 лламы на cpu, EleutherAI x BlinkDL выкладывают RNN, которая перформит на уровне GPT-level (14b). При этом она (14b int8) влезает в 3gb VRAM, и имеет, в принципе, бесконечную длину контекста, как и все RNN.

Paper
Code
Models

Discord
Twitter

Чат-версия: https://github.com/BlinkDL/ChatRWKV

@derplearning

Будете у нас в стимпанкошной, милости просим в наш алхимический кабак!

Microsoft анонсировала Windows Copilot - личный ассистент для Windows 11

Windows Copilot — это новый ассистент, интегрированный на уровне системы, который обещает изменить взаимодействие с Windows. Он будет отображаться в боковой панели и будет иметь доступ к системным настройкам и всем приложениям, выступая в роли личного помощника.

Кроме того, он сможет переписывать, резюмировать или объяснять текст. Microsoft обещает, что он сможет отвечать на вопросы и даже планировать поездки. Также заявлена поддержка плагинов Bing и ChatGPT.

🌐 Источник

@karray

Очередной шедевр.

Пятачок, у тебя есть дома ружье?

Youtube

Олег Чумаков прислал уникальный материал.
Огромный Postmortem of a Game Made With chatGPT and Midjourney
И это не статья в духе "смотрите, как можно генерить что-нибудь для игр", а огромный детальный отчет о том, как Luden.io делали игру за 72 часа с помощью Midjourney и chatGPT. Причем не на уровне генерации иконок или текстурок, а с полным погружением в использование ИИ по всем фронтам.
Создание концептов, написание истории с помощью chatGPT, выписывание персонажей с помощью chatGPT, написание диалогов, описание локаций в chatGPT(!) для дальнейшей визуализации в Midjourney, огромное количество трюков с локациями для консистентности, преимущества коротких промптов, создание ИИ музыки для игры и многое другое. Практика 100%.
Читается как рассказ-приключение.
https://blog.luden.io/generated-adventure-the-postmortem-of-a-game-made-with-chatgpt-and-midjourney-prompts-included-f87e7e615204

Мы тут собрались с командой получившей серебро на Kaggle Stable Diffusion (@slavabarkov @icecreamflavors), чтобы подвести итоги и обсудить решения. Приятного просмотра https://youtu.be/FuaxUbm3ypI

Koi pond vibes
Менял промт каждые 30 кадров, получилось частовато.

#stablediffusion #warpfusion

@derplearning

Давненько не было Семы Сталенхага в наших краях