Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча

Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!

Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.

В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).

Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.

Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).

Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?

А, да, не зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.

https://news.1rj.ru/str/ebaresearch/458

третий релиз русских LLM подряд одно и тоже, да чо за хуйня, почему до сих пор мемная паста описывает релизы лучше чем сами релизы

сходка в белграде.
воскресный вечер.
31 марта.
https://news.1rj.ru/str/+YkSirBpXEs42NDgy

из предложки

https://app.suno.ai/song/c673df63-0920-4c3a-b1bd-0f8aec2d84a2

@seeyouall я тебе гимн написал

в чем проблема

ебать и приговаривать - flash attention не всегда эквивалентен, реализации разные сильно отличаются по перфомансу и качеству

fa2 tridao>sdpa>xformers

тех анализ лосей

понимаете да?
типа 50 человек+ команда, никто не проверил что вообще с перфомансом hf версии модели.

я блять удивлен что gemeni вообще работает. JAX проклятый


багфикс блог, огромный респект ребятам из unsloth

Делаю бота с мемами: @ffmemesbot. Опенсорс: http://github.com/ffmemes/ff-backend

Пишите в личку, если хотите присоединиться поковыряться в данных, попилить рекомендашки или просто орнуть на всех языках мира.

ну падает? падает.

#чтивонаночь

Наконец снова начал писать длинные посты, на этот раз про DBRX.

blog