Love. Death. Transformers. – Telegram
Love. Death. Transformers.
22.5K subscribers
4.26K photos
499 videos
76 files
2.79K links
❤️☠️🤗

Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Оно работает.
@transformerslovedeatch по всем вопросам
Все ситуации вымышлены, любые совпадения с реальности плот вашей фантазии.
Download Telegram
Love. Death. Transformers.
Debugging RL, Without the Agonizing Pain Статья для тех кто не ознакомлен, оказывается ее тут не было.
ржака

шутка в том что корова обучилась с кривым ревардом и думает что она бык


agi achived internally
🤣65🌭10👍1😁1🌚1🆒1
кстати @cyberoleg прав, BoN сэмплинг для диффузий next big thing
💯5🗿41
Forwarded from Denis Sexy IT 🤖
Скинули любопытную подборку постов, которая немного касается меня как автора этого канала:

Пару лет назад, знакомые из индустрии люди, слили мне информацию о том, что «некий российский банк с оттенком зеленого» делает канал, в котором Denis Sexy IT является референсом – то есть, они делают такой же профильный канал, но под анонимным брендом, где нейронки и шитпост тесно переплетены (это если меня спросить как я свой формат сам называю, то именно так и называю 💩🤍🤖).

По ссылке серия постов на виси, и она только от одной стороны – от менеджера который вел этот проект (точнее, заменил предыдущего, который ушел), поэтому никак подтвердить написанное я не могу, пишу я тут потому что случайно узнал, что на меня пытались быть похожими – ссылку на канал-копию тоже не даю, но я его посмотрел и похожести правда не вышло.

Если коротко:
Судя по серии постов, все споткнулось об менеджмент, сломанную иерархию, внутренние разборки, попытку маскировки хаоса под аджайл (этим страдают многие коллективы в мире), рабочую токсичность, отсутствие зон ответственности и тп и тд.

В глубину этой истории я вникать не стану, так как меня она касается только поверхностно, но я немного горжусь, что мой сельский стиль ведения канала сложно скопировать гиганту-корпорации, поэтому дам пару советов на будущее тем кто захочет, чтобы облегчить жизнь будущим редакциям или просто людям:

1. Хаос должен царить над контентом, вы не должны знать какие посты будут завтра, потому что это у редакций есть планы, а вы сюда приходите пошутить и время провести, и глуповатые штуки — то на чем все держится. Исключение: запуск Джеймса Уэбба.

17. Читатели любят оригинальный контент или мнение – с оригинальным контентом все понятно, то с мнением интересно: контента о технологиях выходит так много, что хочется просто почитать что-то, что отражает «адекватную попытку проанализировать ситуацию» – я с самого начала во многих IT-трендах занимал какую-то позицию, критиковал или хвалил что-то, и если ошибался, то признавал это публично. Такое люди ценят, и поэтому следующий пункт

2. Никаких нативных интеграций без пометки #промо – просто никогда, никакие деньги не стоят просранное доверие за подаренный планшет / ИИ-биде / новые кросовки / деньги и тп. Сейчас на канале нет рекламы (ожидается одна, которая должна однажды выйти, так как я ее должен рекламодателю и он не уже оплатил), но когда реклама выходила она всегда шла с тегом #промо. Скажу как автор относительно большого канала, количество попыток протолкнуть «интеграцию» как мое мнение, без пометок промо, всегда было большим. Доверие читателей для меня просто важно, и если я ошибусь однажды, я про это напишу тут (публично), пока вроде бог миловал

4. После начала войны у меня стало больше времени уходить на основной бизнес где я CEO, который нужно развивать и который растет, я стал меньше постить историй которые люблю сам (верю, что с ростом компании времени снова станет больше и я верну эти истории) – вот как я находил интересный контент: у меня был RSS-бот в телеграме на 20+ источников где были и твиттер акки и просто проверенные мелкие научные сайты; я мониторил сайты которые занимаются пруфчекингом – так как самые безумные/интересные истории требуют пруфчеков ☕️ (и этот хак сильно помог каналу расти, я честно его час придумал); смотрел тиктоки по интересным мне хештегам и мониторил штук ~30 интересных подреддитов на наличие тем (разными видами сортировок, чтобы не пропустить ничего). Короче, за всем этим хаосом все еще стояла работа с контентом, и бывало так что за неделю интересного не найти, и сильно помогали интересные истории из мира технологий прошлого, в мире куча же всего происходило.

Наверное эти семь пунктов довольно очевидны, но вдруг кому-то помогут сделать свой телеграм-канал мечты 💩
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2811👍7👎2
Телеграмм сейчас такой типа:
😁53🤔138🌚1
AGI achieved externally
😁92❤‍🔥25🆒4🥴3💯32🤡2
Меня долго упрашивали это запостить.
😁144🤪15🌚5👍2😍21👎1
ConvNets Match Vision Transformers at Scale
Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De
Статья: https://arxiv.org/abs/2310.16764

Империя наносит алаверды #2 (#1 было тут https://news.1rj.ru/str/gonzo_ML/819).

Есть мнение () что свёрточные сети хороши на малых и средних объёмах данных, а на датасетах супер большого размера проигрывают трансформерам (ViT в частности, https://news.1rj.ru/str/gonzo_ML/434). Текущая работа от DeepMind разрушает этот миф.

Считается, что скейлинг трансформеров идёт лучше, чем у свёрточных сетей, но подтверждений этому мало. Кроме того, многие работы изучающие ViT сравниваются с довольно слабыми свёрточными бейзлайнами, сами при этом порой обучаясь с безумными вычислительными бюджетами более 500k TPU-v3 core hours (что уже $250k по нынешним ценам on-demand, https://cloud.google.com/tpu/pricing). Это сильно за границами бюджетов для обучения свёрточных сетей.

Авторы берут семейство NFNet (Normalizer-Free ResNets, https://arxiv.org/abs/2102.06171) с последовательно увеличивающимися шириной и глубиной сетей. Это чисто свёрточная архитектура, последняя из подобных, получившая SoTA на ImageNet. Эти архитектуры без существенных изменений (кроме подбора простых гиперпараметров обучения) предобучают на большом датасете JFT-4B (4B размеченных картинок с 30к классов) с вычислительными бюджетами от 0.4k до 110k TPU-v4 core compute hours (у TPU-v4 примерно в два раза более высокие флопсы, чем у v3, но такая же память). Затем предобученные сети файнтюнят на ImageNet (используют Sharpness-Aware Minimization, SAM, https://arxiv.org/abs/2010.01412) и получают перформанс аналогичный ViT с сопоставимыми бюджетами. Все модели стабильно улучшаются при добавлении вычислений. Самая большая модель NFNet-F7+ предобучается 8 эпох (110k TPU-v4 hrs), файнтюнится (1.6k TPU-v4 hrs) и даёт 90.3% top-1 accuracy (а с 4x аугментацией и 90.4%).

Из наблюдений по ходу, кривая валидационного лосса даёт чёткий линейный тренд, консистентный с log-log scaling law между валидационным лоссом и объёмом вычислений в предобучении. Это матчится с такими же scaling laws для трансформеров в языковом моделировании. Авторы нашли оптимальный режим скейлинга, когда размер модели и количество эпох обучения увеличиваются с одинаковой скоростью. Также нашли значения для оптимальных learning rates.

Ещё из интересного, претрейны с минимальным валидационным лоссом не всегда дают топовое качество после файнтюна. На трансформерах мы тоже такое где-то видели. Для файнтюнинга стабильно хороши модели чуть покрупнее и чуть поменьше обученные. Иногда ещё и с чуть большим learning rate.

Мораль? The bitter lesson! Чего думать, трясти надо! Компьют и данные -- главные факторы.

Но таки inductive biases у моделей разные и авторы признают, что ViT может быть более хорошим выбором в определённых условиях, например, за счёт возможности использовать одинаковые компоненты для разных модальностей.
11👍4🔥1
Bitter lesson. Again.
🌚261382
Украду идею у @rybolos_channel и выложу все что лежит с пометкой шитпост
🌚31🥰5🥴4😐4❤‍🔥2
йобанное выравнивание....
🔥21🤔7🥴5😁2🌚1
Котенок считает что transformer_ы переоценены
396🦄54👍3🎄3😁1
Я попробовал поиграться с оценкой сочетаемости слов при помощи rugpt-small. Прикол про "выпрыг кенгурей" она не вкурила, но животную сущность "кенгурей" вполне осознала, присвоив им ту же семантическую валентность, что и для "собак" и "курей".

Потыкать код можно тут.
🥴26👍74