Украду идею у @rybolos_channel и выложу все что лежит с пометкой шитпост
🌚31🥰5🥴4😐4❤🔥2
Forwarded from ̶с̶а̶м̶̶о̶изолента мёбиуса
Я попробовал поиграться с оценкой сочетаемости слов при помощи rugpt-small. Прикол про "выпрыг кенгурей" она не вкурила, но животную сущность "кенгурей" вполне осознала, присвоив им ту же семантическую валентность, что и для "собак" и "курей".
Потыкать код можно тут.
Потыкать код можно тут.
🥴26👍7❤4
Господи какая телега убогая стала, ебанный рот, они блять дизайнеров тоже после литкода набирают? Нахуй я тут блог завёл... Пиздец просто пиздец....
👍81🤣46🤡32👎13✍3🤮3❤2😐1
#чтивонаночь по быстрому
CODEFUSION: A Pre-trained Diffusion Model for Code Generation
и это прям умно - авторы берут претрен T5 еncoder, кидают его стейты в Denoiser(10 блоков трансформера - неизвестных) а в качестве декодера - 6 блоков декодера.
По метрика лучше чем соседи по классу, местами бьет 100кратно лучшие модели
а еще слили размер chatgpt, оказывается она всего то 20B.
Имаджинируете лица людей которые разгоняли что у open ai в проде 175b?
paper
CODEFUSION: A Pre-trained Diffusion Model for Code Generation
и это прям умно - авторы берут претрен T5 еncoder, кидают его стейты в Denoiser(10 блоков трансформера - неизвестных) а в качестве декодера - 6 блоков декодера.
По метрика лучше чем соседи по классу, местами бьет 100кратно лучшие модели
а еще слили размер chatgpt, оказывается она всего то 20B.
Имаджинируете лица людей которые разгоняли что у open ai в проде 175b?
если тут будет очень много реакций я напишу нормальный обзор
paper
❤🔥72🦄15👾9🍾5👍2🤔2🤪2☃1
Бауманцы выдали базу. Горжусь!
❤156🔥40😁33🤡10❤🔥5🗿4👎2🆒1
Love. Death. Transformers.
Бауманцы выдали базу. Горжусь!
Верю в силу канала(знаю что подписано некоторое количество профессоров и руководителей разного уровня)
Пожалуйста - объяьсните коллегам в МГТУ что они очень сильно не правы, очевидно что угрозы не реализуются, но они сами ставят себя в заранее слабую позицию.
Пожалуйста - объяьсните коллегам в МГТУ что они очень сильно не правы, очевидно что угрозы не реализуются, но они сами ставят себя в заранее слабую позицию.
👍135🤡41🤣7🍓2❤1🎉1
Короче, я тут обнаружил что очень мало людей знают о сущестовании longread_ов в этом канале, а значит я напомню что уже вышли:
Учим CLIP правильно - Sigmoid loss for TI pretrain
Cамагонная LM - phi1
RLAIF - lm учит Lm
ALIBI
(в teletype еще есть)
Если вам нравиться такой формат, то можно поддержать сюда, я перестал брать рекламу, а кофе и круасан сам себя не оплатит:
Для русских карт: 5280417710524519
Для иностранных карт:5269880013404165
Учим CLIP правильно - Sigmoid loss for TI pretrain
Cамагонная LM - phi1
RLAIF - lm учит Lm
ALIBI
(в teletype еще есть)
Если вам нравиться такой формат, то можно поддержать сюда, я перестал брать рекламу, а кофе и круасан сам себя не оплатит:
Для иностранных карт:
Teletype
учим clip правильно - Sigmoid Loss for Language Image PT
Классические CLIP учиться по очень простой схеме - берем картиночную бошку(VIT,RN) не очень важно, инитим LM и учим все это...
✍39❤15👍4❤🔥2🖕2🏆1
#чтивонаночь - LLAVA 1.5
Вероятно лучшая открытая мультимодалка этой осени, которая по каким то причинам никому не интересна, а зря!
teletype
paper
github
Вероятно лучшая открытая мультимодалка этой осени, которая по каким то причинам никому не интересна, а зря!
teletype
paper
github
❤48👍8🤡6🤣4✍3👎3🗿3