My typical changelog

LEACE или Вечное сияние чистого разума LLM Edition

Ни для кого не секрет, что эти ваши Большие Языковые Модели (БЯМ :3), обученные на нефильтрованных интернетах, горазды рекомендовать юзерам всяческие рецепты приготовления РОСКОМНАДЗОР в домашних условиях, РОЗСКОМНАДЗОР, а также способы совершения РОСКОМНАДЗОР.

Тщетные попытки авторов этих моделей усмирить их пыл с помощью начальных промтов были играючи пресечены мастерами промта и чего-нибудь там еще. Фильтровать же датасеты было бы не очень разумно, потому что так можно и без данных остаться :D

В общем, умельцы из EleutherAI запилили LEACE (LEAst-squares Concept Erasure) - алгоритм, позволяющий выпиливать определенные концепты из LLM на лету, не затрагивая при этом остальные.

Так что больше никаких вам планов захвата парижу из подручных средств, но зато и без

I'm sorry, but I cannot fulfill that request. I am here to provide helpful and respectful information. If you have any other non-offensive questions or need assistance with something else, feel free to ask.

Paper: https://arxiv.org/abs/2306.03819
Code: https://github.com/EleutherAI/concept-erasure
Twitter: https://twitter.com/norabelrose/status/1666469917636571137

@derplearning

Not a marble statue

«Но это же так удобно...»

Автор оригинала: riju-km

"To the moon" 🌝

А вот как реагирует рынок на всю эту мышиную возню с AI.

Я как-то зассал, когда всё начало падать в 2022 и на некоторое время перестал покупать тех стоки, если не считать, что я по уши в Мете сижу. Сейчас буду потихоньку возобновлять регулярные покупки избранных компаний.

@ai_newz

Вот это новость от AMD! Как долго я этого ждал.

AMD наконец вступила в Deep Learning игру и показывает серьезную заявку пошатнуть монополию NVIDIA на рынке AI чипов.

Сегодня они представили новую видеокарту для обучения и инференса нейронных сетей — AMD MI300X.

Эта крошка вполне может тягаться с Nvidia H100.

Вот её характеристики:
— 192 Gb VRAM на одном чипе, (против 80Gb у H100, NVL версия не в счёт)
— 5.2Tb пропускная способность памяти (против 3.35 y H100)
— Бенчмарков по скорости пока нет, но одна Mi300X легко тянет 40B языковую модель Falcon в риалтайме (см на видео). Это первая видеокарта, которая вмещает модель такого размера полность в своей памяти.

Ещё (это очень важно) AMD договорились с Pytorch Foundation о том, что их софтовый стэк ROCm и все обновления будет поддерживаться и сразу запиливаться в Pytorch 2.0. То есть теперь гонять сети на картах AMD станет также легко как и на гпу от Nvidia! Это чудесные новости!

@ai_newz

Colab MusicGen с простым интерфейсом, но без очереди как на HuggingFace

После появления Mubert мы все ждали новых инструментов с генерацией музыки в опенсорсе. MusicGen классный релиз, но к нему непросто добраться на HF и возможности были ограничены, вариант без интерфейса тоже нравится не всем.

Можно вставлять мелодии как референс, можно генерировать до двух минут музыки.

Сгенерировала без референта славянскую фольклорную песню о любви, по-моему здорово и достаточно качественно вышло!

Инструкция по запуску тут

За ссылку спасибо St Laurent Jr

Произошел очередной отвал жепы башки на поприще ИИ-ассистентов!

Даем на входе видео с ютуба, скриншот из дискорда, и говорим: я вот дошел до этого шага на видео, покажи на скриншоте, куда мне кликать дальше.

Агенты ищут в видео кусок, описанный юзером, смотрят, что идет дальше, ищут нужный кусок скриншота.

Какой простор для оптимизации техподдержки, 99% работы которой сводится к совместному чтению уже существующих мануалов вместе с юзером.

Hold on to your jobs papers, what a time to be alive intensifies

Магия, да и только!

paper
tweet