Украду идею у @rybolos_channel и выложу все что лежит с пометкой шитпост
🌚31🥰5🥴4😐4❤🔥2
Forwarded from ̶с̶а̶м̶̶о̶изолента мёбиуса
Я попробовал поиграться с оценкой сочетаемости слов при помощи rugpt-small. Прикол про "выпрыг кенгурей" она не вкурила, но животную сущность "кенгурей" вполне осознала, присвоив им ту же семантическую валентность, что и для "собак" и "курей".
Потыкать код можно тут.
Потыкать код можно тут.
🥴26👍7❤4
Господи какая телега убогая стала, ебанный рот, они блять дизайнеров тоже после литкода набирают? Нахуй я тут блог завёл... Пиздец просто пиздец....
👍81🤣46🤡32👎13✍3🤮3❤2😐1
#чтивонаночь по быстрому
CODEFUSION: A Pre-trained Diffusion Model for Code Generation
и это прям умно - авторы берут претрен T5 еncoder, кидают его стейты в Denoiser(10 блоков трансформера - неизвестных) а в качестве декодера - 6 блоков декодера.
По метрика лучше чем соседи по классу, местами бьет 100кратно лучшие модели
а еще слили размер chatgpt, оказывается она всего то 20B.
Имаджинируете лица людей которые разгоняли что у open ai в проде 175b?
paper
CODEFUSION: A Pre-trained Diffusion Model for Code Generation
и это прям умно - авторы берут претрен T5 еncoder, кидают его стейты в Denoiser(10 блоков трансформера - неизвестных) а в качестве декодера - 6 блоков декодера.
По метрика лучше чем соседи по классу, местами бьет 100кратно лучшие модели
а еще слили размер chatgpt, оказывается она всего то 20B.
Имаджинируете лица людей которые разгоняли что у open ai в проде 175b?
если тут будет очень много реакций я напишу нормальный обзор
paper
❤🔥72🦄15👾9🍾5👍2🤔2🤪2☃1
Бауманцы выдали базу. Горжусь!
❤156🔥40😁33🤡10❤🔥5🗿4👎2🆒1