Love. Death. Transformers.
Короче, я решил угореть и сделать из 5.2 энкодер. 0 слой я не трогал, а вот следующие решил подвигать и перебрать. Зачем? Указанные действия не являются ресерчем, поскольку: а) Мы не ученые; б) Нам было весело. В обещем идея простая - отставил первые…
удивительно, опять маленькие сетки на задачу лучше чем декодеры. никто не догадывался
😁31
Love. Death. Transformers.
удивительно, опять маленькие сетки на задачу лучше чем декодеры. никто не догадывался
Вы не просили, не ждали а мы по чуть чуть делаем.
Паблик чат по вихревым моделям
https://news.1rj.ru/str/vikhrmodels
Паблик чат по вихревым моделям
https://news.1rj.ru/str/vikhrmodels
Парень ты что ничего не знаешь SFT/DPO/PPO?
Хватит сидеть сложа руки! Иди и обучи свой первый alpaca chekpoint
хз, почитайте статью яндекса про алаймент, картинки для през для студентов я третий раз тырю из этой статьи и вам советую
Хватит сидеть сложа руки! Иди и обучи свой первый alpaca chekpoint
хз, почитайте статью яндекса про алаймент, картинки для през для студентов я третий раз тырю из этой статьи и вам советую
Хабр
Как мы готовим RL для Alignment в больших языковых моделях: опыт команды YandexGPT
Сегодня через API стала доступна новая модель YandexGPT 3 Lite. Одним из ключевых этапов её обучения, как и в случае с другими недавними моделями, стал этап Alignment...
Идет бомж по улице. Видит — валяется Тетрадь Смерти. Схватил ее и подтерся. А на следующий день умерла очень важная область - superalignment
Inspired by @rlabrats
Inspired by @rlabrats
😁143👍6👎4❤1🤮1
Forwarded from Пресс-служба Сириона
ДОКЕР ПИДОРАСЫ ЕБУЧИЕ Я ВАМ В РОТ ССАЛ ЕБАНЫЕ ГАНДОНЫ ОБОССАННЫЕ КИТЫ Я ЕБАЛ АМЕРИКУ Я НЕНАВИЖУ ДОКЕР РАСХУЯРЬТЕ ЯДЕРНЫМИ РАКЕТАМИ ВСЕХ КТО ЗАКРЫВАЕТ ДОСТУП С РОССИЙСКИХ АЙПИШНИКОВ
КОГДА ЗАКРЫЛИ МАКДАК Я МОЛЧАЛ, Я ЗАВТРАКАЮ ВО ВКУСНО И ТОЧКА
КОГДА ЗАКРЫЛИ СПОТИФАЙ Я МОЛЧАЛ, Я СЛУШАЮ МУЗЫКУ В ЯНДЕКС МУЗЫКЕ
КОГДА ЗАКРЫЛИ ЗАРУ Я МОЛЧАЛ, Я НОШУ ОДЕЖДУ, СО ВРЕМЕН ШКОЛЫ
КОГДА ЗАКРЫЛИ ДОКЕР, ТО УЖЕ НИКТО НЕ СМОГ ЗА МЕНЯ ЗАСТУПИТЬСЯ....
КОГДА ЗАКРЫЛИ МАКДАК Я МОЛЧАЛ, Я ЗАВТРАКАЮ ВО ВКУСНО И ТОЧКА
КОГДА ЗАКРЫЛИ СПОТИФАЙ Я МОЛЧАЛ, Я СЛУШАЮ МУЗЫКУ В ЯНДЕКС МУЗЫКЕ
КОГДА ЗАКРЫЛИ ЗАРУ Я МОЛЧАЛ, Я НОШУ ОДЕЖДУ, СО ВРЕМЕН ШКОЛЫ
КОГДА ЗАКРЫЛИ ДОКЕР, ТО УЖЕ НИКТО НЕ СМОГ ЗА МЕНЯ ЗАСТУПИТЬСЯ....
❤133😁54🐳46
Пресс-служба Сириона
программисты реально расстроились из-за того, что вот эту хуйню запретили?
При заказе от 2022рублей во ВкусВилл в подарок предоставляется прокси для Docker
😁107👏7🍌4👍2🔥2🎅1
Пресс-служба Сириона
программисты реально расстроились из-за того, что вот эту хуйню запретили?
ладно последняя
контейнеры после ухода docker:
контейнеры после ухода docker:
👍78😁48
TRULLY OPEN SOURCE LLM CLICKBAIT
Очередная open source LLM , но с плотностью открытыми данными (4.5т) адекватным data pipeline со spark, фильтры на fast_text.
Правда кодовая база на Megatron прости господи, но не Jax.
По перформансу:
Llama2 < x < mistral 7b
map-neo.github.io
Очередная open source LLM , но с плотностью открытыми данными (4.5т) адекватным data pipeline со spark, фильтры на fast_text.
Правда кодовая база на Megatron прости господи, но не Jax.
По перформансу:
Llama2 < x < mistral 7b
map-neo.github.io
🥴32👍13👎1
Forwarded from Старший Авгур
@saiga_igusev_bot можно добавлять в чаты! Картинки там не поддерживаются, но всю историю чата бот запоминает. Можно использовать для чего угодно: для суммаризации, для справки, для озвучивания мнения. Пока в тестовом режиме, собираю баги.
❤26
Forwarded from Кононюковщина
🤗 Aeonium-v1-Base-4B
Новая модель из серии Aeonium. Все то же самое, что и в 1B, только обучена на большем количестве токенов.
По результатам бенчмарка ruMMLU, это лучшая открытая языковая модель, обученная на русском языке с нуля.
Конечно, до SOTA еще далеко, но первый шаг уже сделан. Instuct-версия будет чуть позже.
@hikonon
Новая модель из серии Aeonium. Все то же самое, что и в 1B, только обучена на большем количестве токенов.
По результатам бенчмарка ruMMLU, это лучшая открытая языковая модель, обученная на русском языке с нуля.
Конечно, до SOTA еще далеко, но первый шаг уже сделан. Instuct-версия будет чуть позже.
@hikonon
👍21🔥3