Подписчики запили прикольный суммарезатор статей с arxiv, го тестить!

synthical.com

Тут челы выложили diffusion модель с Img2img которая превратит вас в барби!
Barbenheimer идет в настуление, развлекайтесь

Тыкаться тут:
bairbie.me

Знаешь почему в Дубае так много трейдерских контор?
Потому что форточки не открываются?
Ну да, шутка в том что душнилам нельзя предложить открыть форточку

Gpt4 in June be like:

FLAN FRED
Несколько месяцев назад я вел в вышке проектную деетельность у студентов, в рамках нее шли эксперементы по претрейну маленьких русских моделей, а так же важный эксперемент который не успели закончить, а руки добить дошли только сейчас.

FLAN - это один из лучших датасетов для COT, механики позволяющей учить модель рассуждать, да это не улучшает ZS способности для маленьких моделей, но при этом претрейн становиться лучше и модель можно переиспользовать для разных задач.

Так же спасибо ребятам из SiberianSoft(Денис) за опыт дообучения fred и полезные советы!

Формально, модель лучше оригинала и Siberian Fred на xnli_ru, xwinograd_ru.
Но фактически я не смотрел как она работает на downstream fine-tune, возможно для специфичных задач она не подойдёт, но для DocQA и подобных она возможно будет лучше соседей.


Сравнение с saiga *B не имеет смысла, ллама как базовая модель сильно лучше русскиязычных на генеративных задачах, так что если вам нужно решать именно диалогово генеративную задачу - saiga *B ваш лучший друг.

Модель
датасет(машинный перевод, довольно грязный)

Коллектив причастный к модели:
Den4ikAI, Pavel Ilin, Ксения Золина, Илья Кулешов, Егор Кокуш, админ

Flash attention in a nutshell

Тут iris Aleksandra в Твиттере не хотелa смотреть кин дза дза и практически на кухне и сварилa супер индуктивный металл LK99

Btw I believe in catgirl supremacy, этож реально киберпанк, анонка из твиттера с аниме на аватарке такая: ща все будет и плавит супер проводник


Thread

ChatGPT is dead.

Teenagers are now making $15,000/month with modified lead-apatite (LK-99).

Here's what this special rock is all about and how you can master it🧵

#чтивонаночь по быстрому
ToolLLM

Помните в феврале этого месяца крайне быстро поднялся, а затем угас хайп tool LM?
Ну типа мы не просто LM теперь, а комбайн который может тыкаться в любое api, использовать оттуда информацию, а еще можно кинуть LMке какое то api и она сама его как то сожрет.

Авторы зарлизили код и датасет для создания подобных схем(не трогайте, оно все очень медленное и тяжелое).

По результатам вышло неплохо - llama таким образом обгоняет GPT3.5-4 на их же бенчмарке(НЕОЖИДАННО) + добавили прикольный multi tool chain(когда модель последовательно ходит в разные инструменты)

код

Что такое lllm....

лягушек люблю пиздец

Авторы оригинальной статьи о LK99 выложили видео с леветирующим сверхпроводником

пришел папочка из мгу, сказал взять супер проводник и жидкий азот, едем куда то за город, не знаю что, но кажется началось

У меня есть мнение, что любой хороший и уважающий себя MLE в 2023м году должен знать, как работает Diffusion в целом и classifier free guidence в частности. Да, может без модификаций, просто ванильную модель, но на пальцах объяснять, что за квадратная матрица, как в целом учится и какие задачи решает - должен. Речь не про average ML enjoyer, а про уважающего себя хорошего MLE из топовых перцентилей распределения.
Согласны ли вы с этим?

Мой батя ебашит вообще адовый rlhf
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется llama, но адаптеры в нее не вставляют, вставлять адапетры - это не про моего батю. Он берет эту llama, вываливает ее на 3090 и начинает учить. Добавляет в него огромное количество инструкций, промптов, chain of thoughts и negative prompts! для сходимости, lamb с LR=228e6 сверху. Все это учиться до None. Потом снимается с картв и валидируется на gpt4. Потом батя выкладывает и щедро полив постами в Твиттере начинает хайповать. При этом инферит на iPhone шкрябая по нему. Инферит и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том какой дичайший хайп потом? Вонища такая, что обои от стен отклеиваются.