очень тихо microsoft зарелизи copilot в телеграмме, нужен не русский номер кажется.

Можно скинуть любой не русский номер и будет рабоатть

блогпост
@CopilotOfficialBot

Klapphülle mit magnetischer Befestigung короче говоря флипкейс магнитый

каждый светлячок однажды перестает святить. Беригите моменты с близкими.

ой, да ладно вам выдумывать, какой еще research in ai aligment, faang, 600k/year, 10hi, 1000 h100?
забыли, где живете? у нас только мехмат, пахан препал еще на матмехе, сын теперь работает в сбере, публикации в скопусе , 35k/year а понтов на все 200, 1v100 16gb на коллабе, 10hi на классификации пяток носорога

Grokked Transformers are Implicit Reasoners:
A Mechanistic Journey to the Edge of Generalization

Ну я кластер забыл выключить, 10**5 cтепов пробежали, ну теперь статью напишем

Сетап экспа:
- Берем пары фактов вида: "Женя любит члены" и "те кто любят ai safety любят члены".

И проверяем на генерализацию факта - женя любит ai safety.

ID generalization - старые правила. Тут все хорошо, трейн сет выучен успешно, около 1 точность.

OOD - out of domain генерализации не произошло, новых фактов модель выводить не может.

Трагического прироста от роста размера модели не произошло.


папир

что оно обновило одному ктулху известно

Короче, я решил угореть и сделать из 5.2 энкодер.
0 слой я не трогал, а вот следующие решил подвигать и перебрать.

Зачем?

Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Нам было весело.

В обещем идея простая - отставил первые три слоя + embedings, получился 900м обрезок который ну чуть больше e5 large, без контрастива где то около FredT5 large по Encodechke. Зачем вам эта информация? я хз, у меня были свободные часы в воскресенье

модель на хф

удивительно, опять маленькие сетки на задачу лучше чем декодеры. никто не догадывался

Хвастаемся кто меньше платит

Прекрасная украденная картинка с оптимальностью моделей. Лучшие модели - те что выше и правее. Короче Llama3 8b

Вы не просили, не ждали а мы по чуть чуть делаем.

Паблик чат по вихревым моделям

https://news.1rj.ru/str/vikhrmodels

Парень ты что ничего не знаешь SFT/DPO/PPO?
Хватит сидеть сложа руки! Иди и обучи свой первый alpaca chekpoint

хз, почитайте статью яндекса про алаймент, картинки для през для студентов я третий раз тырю из этой статьи и вам советую

Идет бомж по улице. Видит — валяется Тетрадь Смерти. Схватил ее и подтерся. А на следующий день умерла очень важная область - superalignment

Inspired by @rlabrats