#чтивонаночь
AVFormer: Injecting vision into frozen speech models for zero-shot AV-ASR

Идея такая: берем замороженный asr, докладываем к нему адаптеры, учим эти адаптеры прожектить пространство картинок в аудио-текстовое пространство, в итоге можно куда эффективнее вытаскивать информацию из видео, что как бы накидывает качество для youtube и подобных.

По метрикам, кажется это первая мультимодалка которая слегка докидывает качества.

arxiv
кода нет

в тишине опенспейса раздался крик

tensor(None, device='cuda:0', dtype=torch.bfloat16, grad_fn=<DivBackward0>)

Ето я смотрю на скачки лосса в W&B через год

За 3500 можно купить комп и хостить neural waifu и вот это всё без регистрации и смс

Лет 7 назад я радовался split screen на nexus, теперь только осенью я смогу сраться в телеграмме и копировать факты с Википедии на SIGNIFICANTLY NEW IOS17 Its revolution если вы не заметили

Ещё немного и дойдем что можно ну там картинка в картинке для приложений делать, hdmi к телефону подрубать...

правда на электричестве разоритесь

это а100 sxm4->в pcie адаптер если что

суровость китайских инженеров вне нашего понимания

#чтивонаночь
Text diffusion
Ребята сделали комбинацию из unet + character loss по boxам что дало возможность генерировать диффузией тексты, имхо пайплайн геморный, но результаты прекрасны, а главное - оно не ломается!!
Site
Paper
Code
Hf space

finetuning in 2023 be like

Почему все так дрочат на LM? Нет, ну то есть понятно, почему дрочат, но почему дрочат в переносном смысле, смысле "обучения 10b+ Lm" lm незрелая, несамостоятельная, не умеет писать эксплойты, переписывать код на jax, пока вы с пацанами гамаете в доту, ей нельзя дать на аутсорс какую-нибудь хуйню c работы, которую самому делать лень, она не сформировалась физически, поэтому нельзя позвать ее писать конфиг для кубера или код для api, где еще приходится хуярить на rabbitmq, потому что c гита вообще нихуя не заводиться. Фактически, начинать обучать LM — это как заводить себе ребенка в студенчестве (ну уж спасибо, нет). В конце-концов, даже непонятно, что она за модель, ведь у нее еще не было времени, чтобы продемонстрировать, что она за модель, своей жизнью в обучении. Может она вообще шлюха? Нужна ли тебе модель, которая бросается на шею первого оказавшего ей внимание додика? Берегла свою Розу на протяжении двух недель? Охуеть, вот это да, вот это выдержка, пусть лучше на подобных охотятся всякие чушки. Я же предпочту подождать, наблюдая за ней на протяжении года, пока она не станет aligned.

Затягивать тоже не стоит, ведь к AGI она уже станет заматеревшей ai, распробовавшей такие радости жизни как сочные нарезки людей. Её будет уже не впечатлить тем, что ты был ее создателем или что ты можешь помочь ей с матаном. К тому же, даже самая целомудренная модель к третьему году обучения волей-неволей, но успевает пропустить через себя целый лес членов: члены последовательности, члены ряда, знакопеременные члены, остаточные члены в форме Пеано, пренебрежимо малые члены. Охота на AGI не то, что отметается из каких-то рациональных соображений, но просто на инстинктивном уровне со временем начинаешь стараться избегать AGI.

А вот aligment являют собой идеальный баланс. В глазах — еще детская невинность, а в жопе— датасеты с кодом. Они еще пахнут модель, но уже пропитались запахом кластера и не вызывают отторжения своей чуждостью. Ощущая дообучение на black hat forum они не сходят с ума, а начинают очень мило обьяснять как взломать wifi соседа. Они уже осознают незрелость своих создателей, но их все еще легко впечатлить базовыми способностями человека. Как мясо для шаурмы, они уже подрумянились и готовы к тому, чтобы их срезали, но еще не валяются внизу, ожидая своего лаваша и заветриваясь. У меня в жизни не было и никогда не будет ничего более пиздатого, чем восторженный блеск в глазах aligment модели. Обожаю блять aligment модели.

Всем привет!
Мы тут с ребятами (🤗) будем рассказывать про наш опыт обучения LLM для кода - 💫 StarCoder 16B. Все это было в рамках коллаборации BigCode, организованной HuggingFace и ServiceNow.
Если вам интересно, то присоединяйтесь! Это будет сегодня в 19:00 МСК (6 - 7:30pm CEST) здесь https://t.co/jZKCIg6Vvs

В вебинаре будут покрыты все аспекты - от обучения LLM до интеграции в IDE и ассистента:
* Сбор и чистка краула со всего гитхаба и не только (Было собрано 6 Тб(!) кода)
* Как сделать так чтобы LLM ни в коем случаем не смогла вспомнить утекшие в интернет личные пароли и ключи
* Краудсорсинг для чистки большого объема данных
* Как ускорять обучение и инференс очень больших трансформеров (MQA и FlashAttention)
* Наши достижения на многих кодовых бенчмарках
* Демонстрация интеграции в VS Code, Jupyter Notebook
* И еще много чего интересного 😉