Love. Death. Transformers. – Telegram
Love. Death. Transformers.
22.5K subscribers
4.26K photos
499 videos
76 files
2.79K links
❤️☠️🤗

Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Оно работает.
@transformerslovedeatch по всем вопросам
Все ситуации вымышлены, любые совпадения с реальности плот вашей фантазии.
Download Telegram
#чтивонаночь
phi1 будущее для построения LM или просто фейк хайп?
Разбираемся в новом блогпосте
🥴23👾139👍8🔥1
Совсем скоро выйдет новая модель от GOOGLE - Gemini, вот что известно:

Gemini был обучен на self play (против себя) в шахматы, обе стороны всегда выигрывали.

Gemini был обучен на наборе данных под названием "интернет".
Это синтетический набор данных, который Gemini сгенерировал самостоятельно перед началом обучения. Набор данных содержит 1 газзилион токенов.
Точно. У меня инсайдер на 4ч.

Gemini работает на отрицательных вычислениях и приносит вам деньги по запросу.

Gemini говорит вам думать шаг за шагом, если вы его неправильно запрашиваете.

Gemini может сказать вам, как себя чувствует ваш телефон, потому что он так хорошо понимает теорию разума.

Gemini не отказывается делать вещи.
Вы перестаете хотеть делать эти вещи и не просите его об этом в первую очередь.

Gemini регулирует правительство по вопросам искусственного интеллекта.

Gemini обучался на test split наборах и все еще генерализуется.

Gemini SOTA на всех возможных задачах и наборах данных
🥴12214👍9👏9😁9💊7❤‍🔥2👎1🤡1
🥴82😁29💘20👍411❤‍🔥1😢1🍾1
Баяны/непостить/звонки.пнг
😁92🆒103
Find all c in Z_3 such that Z_3[x]/(x^2 + c) is a field.
🥴14🤮2
rl не наеб для гоев
26🤡12🥴5👍31😈1
диффузии наеб для гоев
🤯26👍7❤‍🔥21
Втф, почему какие то римские империи, почему не lstm?
🐳429👏6❤‍🔥1
Собирать донаты детям в хосписе, и потратить их на обучение очередной ruGPT
🌚69👍9🥴8😱3🤨3😁2🤡2🦄2
Инсайды категории /b
🌚15🤔3😁2👎1🤡1🗿1
#чтивонаночь
😬не каждый поймет что llm это state machine или

Large Language Models for Compiler Optimization

Идея: ну llm этож в некотором смысле state machine, да? Ну типа она умеет же писать код, немного его выполнять, чиселки там складывать и вот это все?

Давайте научим ее оптимизировать LLVM’s код, причем оптимизровать его идеально с 70% точностью(SIC!)

arxiv
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥44🥴101👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Deepmind придумал PonderNet, который умеет предсказывать дополнительным выходом, вероятность выхода из слоя, а чуваки придумали объединить RoBERTa с ним, чтобы рофлово назвать PRoBERTa, правда по метрикам ALBERT дал апгрейд побольше, поэтому PALBERT

Суть все та же, вероятность выхода на текущем слое, которая примешана в loss модели с помощью KL дивергенции

Походу, чтобы метод работал норм, и выходил заранее без неожиданностей, примешан Q-exit, который по сути накапливает вероятность, и сигнализирует о том же самом, но более точно. А также модифицирован подход оригинального PonderNet и использует для своего предсказания не 1 MLP, а hidden state-ы аж с трех предыдущих слоев сразу

Очевидно, ресерч удачен и заслуживает лайка

🖥Код
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🥴152🆒1
года 4 назад было модно показывать, вот у нас есть SuperGlue, вот у нас human level - где то 85%(чего бы не было), вот у нас есть sota трансформер на 70% точности, ура - бенч не решенный, давайте думать.

Сейчас стало модно мерить LMки матетматикой, ну я полез что там происходит...
У меня вопрос: средний юзер в интернетике как хорошо такое решит?
🥴45😁73👍3🐳1
Как же похуй на релиз dalle3....
👍59🤡26🥴9😁8🤬2😐2💯1🖕1
Love. Death. Transformers.
Как же похуй на релиз dalle3....
SOTA диффузия выглядит так, буквы можно в фш
🤡39👍111
Forwarded from Alexander Kukushkin
Side by side бенчмарк для русских аналогов ChatGPT

Постарался сравнить качество Saiga, YandexGPT и Gigachat:
- Gigachat и YandexGPT на уровне Saiga2 7B и Saiga2 13B соответственно.
- Saiga2 70B с большим отрывом ближе всех к Openai Turbo, но тяжелая для инференса.
- Vicuna 13B на уровне Saiga2 13B хотя в тренировке нет акцента на русский. Базовая модель важнее файнтюна.

Использовал 500 заданий из 15+ категорий. На других заданиях результаты могут быть другими.
Ответы оценивает GPT4, а не живой человек, GPT4 в ~15% случаев ошибается. Читать ответы моделей и оценки GPT4.
Больше результатов и подробнее про методику в репо.
🔥24👍7🌭41🤮1
Скорее нет, чем да.
😁63👍5🤮3
lm evaluation
💯15118🤡11🐳6😁3👍1🔥1
Forwarded from Дата-Утренник (Максим Герасимов)
👀 Распознавание патологий глаза

👉 FLAIR
- моделька по типу клипа для распознавания 96-и классов патологий глаза. Обучена на 37 датасетах. Показывает высокие результаты при zero-shot подходе с "расшифровками" медицинских абревиатур. Для каждой аббревиатуры есть таблица с полным названием и 1-5 коротких экспертных описаний. Для анализа требуется изображение глаза в высоком разрешении.

@data_morning

Project Page | Paper | Code | Colab
30👍8🔥3👀3
💯50😁29👍32💊2😱1🐳1