Не понимаю, почему всегда выбирают его, а не меня…

😻 #memes

Stable AI выкатили бетку нейросети StableCode для работы с кодом

Есть три варианта модели: базовая (для простых задач), модель для инструкций (для чего-то посложнее) и расширенная с контекстным окном до 16к токенов (для сравнения, в GPT-4 оно составляет 32к). Это означает, что это первая нейросеть для работы с кодом, которая сможет обработать кодовую базу среднего размера, понять ее и предложить новый код.

В основе, конечно, трансформер, но не с обычным Linear Biases вниманием (ALiBi), а с Rotary Position Embedding, идеи которого больше ориентированы именно на работу с кодом, а не с естественным языком. Обучали на наборе данных BigCode.

Бету уже можно попробовать на HuggingFace. С нетерпением ждем официальный релиз!

😻 #news

Nvidia выпускает суперчип GH200

Спрос порождает предложение, и Nvidia выпускает еще один чип, который, по словам представителей, сможет обрабатывать самые сложные модели генеративного ИИ, LLM и рексисы. GH200 будет иметь тот же графический процессор, что и H100 (в настоящее время самое мощное и популярное, что есть у Nvidia), но в три раза больше памяти.

Обещают, что чип появится в продаже во втором квартале 2024 года. Цену пока не раскрыли – ориентируемся примерно на $50,000.

Ждем ответа от AMD. Или все-таки это монополия Nvidia?

😻 #news