Custom cuda kernels for round tensors

Сравнение эффективности сквиркл и round тензеров

Сквиркл тензор – что это? (в карточках)

Unreasonable effectiveness of cosine scheduling for tensor squircleness for better convergence

Сквиркл тензоры с 1000 пропущенных уведомлений

обучение sota моделей на основе строения пчелиных ульев

nonbinary classification: отказ от целочисленных меток классов и переход к вещественному спектру

label soothing

Label shooting

label lives matter

Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча

Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!

Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.

В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).

Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.

Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).

Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?

А, да, зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.

Мы призываем немедленно остановить разработку любых генеративных моделей, обучающихся генерировать еба́ные идеи, как минимум на пол года.

Мы опасаемся, что современные AI системы смогут генерировать слишком еба́ные идеи, которые могут привести к непоправимым последствиям.

Нами уже были замечены попытки реализовать несколько еба́ных идей. Причастные к этому люди были увезены в дурку. Никто не знает, как и в какой момент сильная еба́ная идея перейдет грань постиронии и станет реальностью. Пожалуйста, подумайте о своих руководителях, коллегах, близких.

Мы, нижеподписавшиеся, администрация еба́ного резерча.

Сравнение программирования на лайтнинге и секса в презервативе

Решили раскрыть чуть больше деталей об обучении Ebа́nyChat

Кароче, чтобы стабилизировать обучение, каждый дистрибьютер воркер должен смотреть один и тот же кусок данных. Вы типа скажите: «але, это ж эквивалентно умножению градиента на константу», а мы ответим вам: «диии нахуй бля со своими советами, мы ученые».
Так получилось, что мы наговнокодили (а че вы хотите от выпускников вайтивайти) и у каждого отдельного воркера получается свой собственный лосс. Так вот, багу нам было лень искать, а лизнуть дистрибьютед очень хотелось. В итоге че: на оллредьюс все усредняется и как-бы похуй на ошибку. Воркеров много, этот выброс нивелируется.
Там конечно флуктуации мозг ебут, лосс периодически поднимается к своему начальному значению, но так даже веселее. В нас течет кровь трейдеров, мы просто представляем себе биржу. Лос упал - пора делать чекпоинт, поднимается — хуй с ним, набрались терпения и наблюдаем, играем в лонг.

А еще мы нашли способ как найти глобальный минимум у лосса aka «точка G». Учимся на одном батче и лосс почти сразу в ноль улетает. Охуеть, да?! Там правда качество какое-то говеное выходит, но это наверное проблема в декодинге. Скоро статью дропнем, ждите.

Позиция в OpenAI:
Рисерчер-русофоб

Обязанности
- Добавление русофобии в модели
- Разметка русофобских данных
- AI alignment в соответствии с Планом Даллеса
- Расширение нейроокна Овертона

Паспорт хорошего белого русского

Кулинáрные идеи для резерча

еба́ный резерчер анальник

Терминология

Когда резерчера приучают к кодстайлу, он начинает зловредно противиться и удерживает какашечку в коде, провоцируя проблемы с кодревью. Коллеги начинают уделять еще большее внимание приучению. Резерчер осознает приятность процесса удержания, теперь он делает это осознанно, использует лайтнинг, чтобы получить удовольствие.
Эта какашечка олицетворяет все материальные блага. Резерчеры-анальники просто обожают удерживать бесчисленное количество багов в коде и статей у себя в закладках. Они чаще всего страдают различными расстройствами, поэтому любят заниматься бесполезным резерчем, который считают самой важной целью в жизни.

Портрет

Типичные внешние черты:
- одевается в московском стиле: оверсайз футболка с рубашкой, толстовка monochrome, кеды и джинсики баленсиага
- зрение обычно плохое, носит очки
- лицо маскообразное, безэмоциональное, похож на лишенный души компьютер
- очень любит кофе, не может жить без него

Идет такой с зажатым хиршем, тело напряжено, пукнуть боится, робот со своим стаканчиком

В силу технического образования любит метрики, таблицы, графики и статзначимость. Обладает какой-то внутренней говнистостью, скрытой червоточинкой. Хороший работник, но упрямый, дотошный и мерзкий в общении.

Стиль жизни

В универе заводит одного друга, такого же анальника, с которым больше не расстается. Сильная тяга к собирательству: коллекционирует статьи, блогпосты. Обожает собирать петпроекты.

Много дрочит. Девственность теряет поздно, либо остается одиноким навсегда из-за сабмишен дедлайнов. Мечтает о живом половом акте с сексуальной женщиной, но ужасно боится ее ярких эмоций и багровой страсти. Единственный секс, который ему достается — с руководством. Анальники часто приходят на хабр, кладут пальцы на клавиатуру и начинают строчить гайды. Дальше дрочат на комментарии и рейтинг, высвобождая сексуальную энергию.
Пользуется всеми библиотеками, знает о всех новинках в твиттере, где какую модельку урвать. Коллекционирует все каналы про ML в телеграме.
Максимально труслив, избегает заварушек. Вся агрессия находит выход через злые шутки и витиеватые посты в интернете с подъебками.
Считает что других разработчиков челядью. Имеет широкий кругозор во всех известных резерчерах, взбудоражен вопросами ai-safety. Часто возглавляет ридинг-группы, будучи не разборщиком статьи, но лидером с вопросами на броневике.

Проблемы

Главная трудность — неумение получать от резерча удовольствие. Резерчер-анальник хайпует очень неплохо, однако совершенно не умеет делать полезные вещи, выпускать какашечку. Типичный анальник пойдет на кегл или колаб, хотя может позволить себе AWS. Он готов поступится любыми удобствами, ради увеличения хирша. Считает AI Journey ничуть не хуже пятизвездочного NIPS, можно услышать: “я приехал на A* конференцию, взял брошюрку, пошел на трек ai safety”.
Вроде бы понимает, что может умереть в любую минуту, но все равно получает истинное наслаждение только шитпостинга в тг каналы. Воспринимает критику крайне болезненно.
Отсутствует широта души, нет страсти и любви к жизни. Не слышит свое тело и чувства, поэтому часто сталкиваются с психосоматическими заболеваниями.
Кстати, живет он обычно тоже с асексуальной, холодной анальницей. В браке обычно несчастлив, жалуются, что жена использует лайтнинг и не хочет его в постели.
К психотерапевту ходят редко. Страдает фобиями, которые не лечит, а живет с ними до самого конца. Ибо по жизни привык терпеть.

Друзья, просим прощения за большой поток сообщений. Мы поняли, что предыдущий опрос был совершенно некоректным. Пожалуйста, честно ответьте на два следующих опроса. Это правда очень важно.