Европейский AI Act, если его примут, потребует лицензирования каждой ИИ модели для использования ее в Европе. И это по сути закроет возможность использовать не только OpenAI или гугловские модели, но и поставит вне закона опенсорсные решения, т.к. они не будут тратить время и деньги на лицензирование https://technomancers.ai/eu-ai-act-to-target-us-open-source-software/

Довольно жестко, я потратил 4 дня на то чтобы прочитать этот документ. Если его так примут - многие просто закроют работу своих продуктов в Европе.

Закрывайте эти ваши нейросети, лучше уже не будет

Кавер System of a down - Toxicity в исполнении Евгения Леонова

Сорс

@derplearning

Тэкс, Google анонсировал модельки для генерации кода, встроенные прямо в Colab. Скоро появятся во всех ноутбуках.

Под ноутбуком будут бегать модельки под названием Codey (типа аналог OpenAI Codex), которые основаны на Palm-2 и натренены на опенсоурсных исходниках. Теперь везде будут пихать этот Палм.

Хотя, думаю, народ в FAANG-ах уже давно пользуются аналогичным дополнялками внутри компаний. Не будешь же на работе в гугл колабе писать (если вы не стартап) или кодексу свои велосипеды показывать.

Ещё, кажется, что стартапчику Hex Magic кранты.

@ai_newz

А как тогда называть людей, которые не могут даже нажать на кнопки? 🐱

TinyStories: The Smallest GPT with Coherent English (by Microsoft)

Как думаете, с какого размера у LM появляется возможность писать связный текст? Оказалось, что и 2.5M параметров достаточно!

Главное препятствие для полноценного понимания языка у трансформеров — огромное количество редких слов (длинный хвост распределения). Но если составить обучающий датасет из 1.5к наиболее частотных корней (словарный запас 5-летнего ребёнка), то даже однослойную GPT можно будет обучить так, что она обойдёт GPT2-XL!

Этот чудесный датасет, написанный руками GPT-4, отлично подходит для валидации новых архитектур, на нём даже скейлинг Шиншиллы подтверждается. Так что если хотите изобрести свою «SuperGPT» архитектуру, то рекомендую экспериментировать на этом сете. Его размер всего 3 Гб.

P.S. Из интересных выводов — лучше масштабировать GPT в глубину, чем в ширину.

Статья, датасет, модель

RWKV: Parallelizable RNN with Transformer-level LLM Performance

Пока все засовывают эти ваши 30b int4 лламы на cpu, EleutherAI x BlinkDL выкладывают RNN, которая перформит на уровне GPT-level (14b). При этом она (14b int8) влезает в 3gb VRAM, и имеет, в принципе, бесконечную длину контекста, как и все RNN.

Paper
Code
Models

Discord
Twitter

Чат-версия: https://github.com/BlinkDL/ChatRWKV

@derplearning

Будете у нас в стимпанкошной, милости просим в наш алхимический кабак!

Microsoft анонсировала Windows Copilot - личный ассистент для Windows 11

Windows Copilot — это новый ассистент, интегрированный на уровне системы, который обещает изменить взаимодействие с Windows. Он будет отображаться в боковой панели и будет иметь доступ к системным настройкам и всем приложениям, выступая в роли личного помощника.

Кроме того, он сможет переписывать, резюмировать или объяснять текст. Microsoft обещает, что он сможет отвечать на вопросы и даже планировать поездки. Также заявлена поддержка плагинов Bing и ChatGPT.

🌐 Источник

@karray

Очередной шедевр.

Пятачок, у тебя есть дома ружье?

Youtube