Love. Death. Transformers.
Debugging RL, Without the Agonizing Pain Статья для тех кто не ознакомлен, оказывается ее тут не было.
ржака
шутка в том что корова обучилась с кривым ревардом и думает что она бык
agi achived internally
шутка в том что корова обучилась с кривым ревардом и думает что она бык
🤣65🌭10👍1😁1🌚1🆒1
кстати @cyberoleg прав, BoN сэмплинг для диффузий next big thing
💯5🗿4⚡1
Forwarded from Denis Sexy IT 🤖
Скинули любопытную подборку постов, которая немного касается меня как автора этого канала:
Пару лет назад, знакомые из индустрии люди, слили мне информацию о том, что «некий российский банк с оттенком зеленого» делает канал, в котором Denis Sexy IT является референсом – то есть, они делают такой же профильный канал, но под анонимным брендом, где нейронки и шитпост тесно переплетены (это если меня спросить как я свой формат сам называю, то именно так и называю 💩🤍🤖).
По ссылке серия постов на виси, и она только от одной стороны – от менеджера который вел этот проект (точнее, заменил предыдущего, который ушел), поэтому никак подтвердить написанное я не могу, пишу я тут потому что случайно узнал, что на меня пытались быть похожими – ссылку на канал-копию тоже не даю, но я его посмотрел и похожести правда не вышло.
Если коротко:
Судя по серии постов, все споткнулось об менеджмент, сломанную иерархию, внутренние разборки, попытку маскировки хаоса под аджайл (этим страдают многие коллективы в мире), рабочую токсичность, отсутствие зон ответственности и тп и тд.
В глубину этой истории я вникать не стану, так как меня она касается только поверхностно, но я немного горжусь, что мой сельский стиль ведения канала сложно скопировать гиганту-корпорации, поэтому дам пару советов на будущее тем кто захочет, чтобы облегчить жизнь будущим редакциям или просто людям:
1. Хаос должен царить над контентом, вы не должны знать какие посты будут завтра, потому что это у редакций есть планы, а вы сюда приходите пошутить и время провести, и глуповатые штуки — то на чем все держится. Исключение: запуск Джеймса Уэбба.
17. Читатели любят оригинальный контент или мнение – с оригинальным контентом все понятно, то с мнением интересно: контента о технологиях выходит так много, что хочется просто почитать что-то, что отражает «адекватную попытку проанализировать ситуацию» – я с самого начала во многих IT-трендах занимал какую-то позицию, критиковал или хвалил что-то, и если ошибался, то признавал это публично. Такое люди ценят, и поэтому следующий пункт
2. Никаких нативных интеграций без пометки #промо – просто никогда, никакие деньги не стоят просранное доверие за подаренный планшет / ИИ-биде / новые кросовки / деньги и тп. Сейчас на канале нет рекламы (ожидается одна, которая должна однажды выйти, так как я ее должен рекламодателю и он не уже оплатил), но когда реклама выходила она всегда шла с тегом #промо. Скажу как автор относительно большого канала, количество попыток протолкнуть «интеграцию» как мое мнение, без пометок промо, всегда было большим. Доверие читателей для меня просто важно, и если я ошибусь однажды, я про это напишу тут (публично), пока вроде бог миловал
4. После начала войны у меня стало больше времени уходить на основной бизнес где я CEO, который нужно развивать и который растет, я стал меньше постить историй которые люблю сам (верю, что с ростом компании времени снова станет больше и я верну эти истории) – вот как я находил интересный контент: у меня был RSS-бот в телеграме на 20+ источников где были и твиттер акки и просто проверенные мелкие научные сайты; я мониторил сайты которые занимаются пруфчекингом – так как самые безумные/интересные истории требуют пруфчеков☕️ (и этот хак сильно помог каналу расти, я честно его час придумал); смотрел тиктоки по интересным мне хештегам и мониторил штук ~30 интересных подреддитов на наличие тем (разными видами сортировок, чтобы не пропустить ничего). Короче, за всем этим хаосом все еще стояла работа с контентом, и бывало так что за неделю интересного не найти, и сильно помогали интересные истории из мира технологий прошлого, в мире куча же всего происходило.
Наверное эти семь пунктов довольно очевидны, но вдруг кому-то помогут сделать свой телеграм-канал мечты💩
Пару лет назад, знакомые из индустрии люди, слили мне информацию о том, что «некий российский банк с оттенком зеленого» делает канал, в котором Denis Sexy IT является референсом – то есть, они делают такой же профильный канал, но под анонимным брендом, где нейронки и шитпост тесно переплетены (это если меня спросить как я свой формат сам называю, то именно так и называю 💩🤍🤖).
По ссылке серия постов на виси, и она только от одной стороны – от менеджера который вел этот проект (точнее, заменил предыдущего, который ушел), поэтому никак подтвердить написанное я не могу, пишу я тут потому что случайно узнал, что на меня пытались быть похожими – ссылку на канал-копию тоже не даю, но я его посмотрел и похожести правда не вышло.
Если коротко:
Судя по серии постов, все споткнулось об менеджмент, сломанную иерархию, внутренние разборки, попытку маскировки хаоса под аджайл (этим страдают многие коллективы в мире), рабочую токсичность, отсутствие зон ответственности и тп и тд.
В глубину этой истории я вникать не стану, так как меня она касается только поверхностно, но я немного горжусь, что мой сельский стиль ведения канала сложно скопировать гиганту-корпорации, поэтому дам пару советов на будущее тем кто захочет, чтобы облегчить жизнь будущим редакциям или просто людям:
1. Хаос должен царить над контентом, вы не должны знать какие посты будут завтра, потому что это у редакций есть планы, а вы сюда приходите пошутить и время провести, и глуповатые штуки — то на чем все держится. Исключение: запуск Джеймса Уэбба.
17. Читатели любят оригинальный контент или мнение – с оригинальным контентом все понятно, то с мнением интересно: контента о технологиях выходит так много, что хочется просто почитать что-то, что отражает «адекватную попытку проанализировать ситуацию» – я с самого начала во многих IT-трендах занимал какую-то позицию, критиковал или хвалил что-то, и если ошибался, то признавал это публично. Такое люди ценят, и поэтому следующий пункт
2. Никаких нативных интеграций без пометки #промо – просто никогда, никакие деньги не стоят просранное доверие за подаренный планшет / ИИ-биде / новые кросовки / деньги и тп. Сейчас на канале нет рекламы (ожидается одна, которая должна однажды выйти, так как я ее должен рекламодателю и он не уже оплатил), но когда реклама выходила она всегда шла с тегом #промо. Скажу как автор относительно большого канала, количество попыток протолкнуть «интеграцию» как мое мнение, без пометок промо, всегда было большим. Доверие читателей для меня просто важно, и если я ошибусь однажды, я про это напишу тут (публично), пока вроде бог миловал
4. После начала войны у меня стало больше времени уходить на основной бизнес где я CEO, который нужно развивать и который растет, я стал меньше постить историй которые люблю сам (верю, что с ростом компании времени снова станет больше и я верну эти истории) – вот как я находил интересный контент: у меня был RSS-бот в телеграме на 20+ источников где были и твиттер акки и просто проверенные мелкие научные сайты; я мониторил сайты которые занимаются пруфчекингом – так как самые безумные/интересные истории требуют пруфчеков
Наверное эти семь пунктов довольно очевидны, но вдруг кому-то помогут сделать свой телеграм-канал мечты
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥28❤11👍7👎2
Forwarded from gonzo-обзоры ML статей
ConvNets Match Vision Transformers at Scale
Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De
Статья: https://arxiv.org/abs/2310.16764
Империя наносит алаверды #2 (#1 было тут https://news.1rj.ru/str/gonzo_ML/819).
Есть мнение (™) что свёрточные сети хороши на малых и средних объёмах данных, а на датасетах супер большого размера проигрывают трансформерам (ViT в частности, https://news.1rj.ru/str/gonzo_ML/434). Текущая работа от DeepMind разрушает этот миф.
Считается, что скейлинг трансформеров идёт лучше, чем у свёрточных сетей, но подтверждений этому мало. Кроме того, многие работы изучающие ViT сравниваются с довольно слабыми свёрточными бейзлайнами, сами при этом порой обучаясь с безумными вычислительными бюджетами более 500k TPU-v3 core hours (что уже $250k по нынешним ценам on-demand, https://cloud.google.com/tpu/pricing). Это сильно за границами бюджетов для обучения свёрточных сетей.
Авторы берут семейство NFNet (Normalizer-Free ResNets, https://arxiv.org/abs/2102.06171) с последовательно увеличивающимися шириной и глубиной сетей. Это чисто свёрточная архитектура, последняя из подобных, получившая SoTA на ImageNet. Эти архитектуры без существенных изменений (кроме подбора простых гиперпараметров обучения) предобучают на большом датасете JFT-4B (4B размеченных картинок с 30к классов) с вычислительными бюджетами от 0.4k до 110k TPU-v4 core compute hours (у TPU-v4 примерно в два раза более высокие флопсы, чем у v3, но такая же память). Затем предобученные сети файнтюнят на ImageNet (используют Sharpness-Aware Minimization, SAM, https://arxiv.org/abs/2010.01412) и получают перформанс аналогичный ViT с сопоставимыми бюджетами. Все модели стабильно улучшаются при добавлении вычислений. Самая большая модель NFNet-F7+ предобучается 8 эпох (110k TPU-v4 hrs), файнтюнится (1.6k TPU-v4 hrs) и даёт 90.3% top-1 accuracy (а с 4x аугментацией и 90.4%).
Из наблюдений по ходу, кривая валидационного лосса даёт чёткий линейный тренд, консистентный с log-log scaling law между валидационным лоссом и объёмом вычислений в предобучении. Это матчится с такими же scaling laws для трансформеров в языковом моделировании. Авторы нашли оптимальный режим скейлинга, когда размер модели и количество эпох обучения увеличиваются с одинаковой скоростью. Также нашли значения для оптимальных learning rates.
Ещё из интересного, претрейны с минимальным валидационным лоссом не всегда дают топовое качество после файнтюна. На трансформерах мы тоже такое где-то видели. Для файнтюнинга стабильно хороши модели чуть покрупнее и чуть поменьше обученные. Иногда ещё и с чуть большим learning rate.
Мораль? The bitter lesson! Чего думать, трясти надо! Компьют и данные -- главные факторы.
Но таки inductive biases у моделей разные и авторы признают, что ViT может быть более хорошим выбором в определённых условиях, например, за счёт возможности использовать одинаковые компоненты для разных модальностей.
Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De
Статья: https://arxiv.org/abs/2310.16764
Империя наносит алаверды #2 (#1 было тут https://news.1rj.ru/str/gonzo_ML/819).
Есть мнение (™) что свёрточные сети хороши на малых и средних объёмах данных, а на датасетах супер большого размера проигрывают трансформерам (ViT в частности, https://news.1rj.ru/str/gonzo_ML/434). Текущая работа от DeepMind разрушает этот миф.
Считается, что скейлинг трансформеров идёт лучше, чем у свёрточных сетей, но подтверждений этому мало. Кроме того, многие работы изучающие ViT сравниваются с довольно слабыми свёрточными бейзлайнами, сами при этом порой обучаясь с безумными вычислительными бюджетами более 500k TPU-v3 core hours (что уже $250k по нынешним ценам on-demand, https://cloud.google.com/tpu/pricing). Это сильно за границами бюджетов для обучения свёрточных сетей.
Авторы берут семейство NFNet (Normalizer-Free ResNets, https://arxiv.org/abs/2102.06171) с последовательно увеличивающимися шириной и глубиной сетей. Это чисто свёрточная архитектура, последняя из подобных, получившая SoTA на ImageNet. Эти архитектуры без существенных изменений (кроме подбора простых гиперпараметров обучения) предобучают на большом датасете JFT-4B (4B размеченных картинок с 30к классов) с вычислительными бюджетами от 0.4k до 110k TPU-v4 core compute hours (у TPU-v4 примерно в два раза более высокие флопсы, чем у v3, но такая же память). Затем предобученные сети файнтюнят на ImageNet (используют Sharpness-Aware Minimization, SAM, https://arxiv.org/abs/2010.01412) и получают перформанс аналогичный ViT с сопоставимыми бюджетами. Все модели стабильно улучшаются при добавлении вычислений. Самая большая модель NFNet-F7+ предобучается 8 эпох (110k TPU-v4 hrs), файнтюнится (1.6k TPU-v4 hrs) и даёт 90.3% top-1 accuracy (а с 4x аугментацией и 90.4%).
Из наблюдений по ходу, кривая валидационного лосса даёт чёткий линейный тренд, консистентный с log-log scaling law между валидационным лоссом и объёмом вычислений в предобучении. Это матчится с такими же scaling laws для трансформеров в языковом моделировании. Авторы нашли оптимальный режим скейлинга, когда размер модели и количество эпох обучения увеличиваются с одинаковой скоростью. Также нашли значения для оптимальных learning rates.
Ещё из интересного, претрейны с минимальным валидационным лоссом не всегда дают топовое качество после файнтюна. На трансформерах мы тоже такое где-то видели. Для файнтюнинга стабильно хороши модели чуть покрупнее и чуть поменьше обученные. Иногда ещё и с чуть большим learning rate.
Мораль? The bitter lesson! Чего думать, трясти надо! Компьют и данные -- главные факторы.
Но таки inductive biases у моделей разные и авторы признают, что ViT может быть более хорошим выбором в определённых условиях, например, за счёт возможности использовать одинаковые компоненты для разных модальностей.
arXiv.org
ConvNets Match Vision Transformers at Scale
Many researchers believe that ConvNets perform well on small or moderately sized datasets, but are not competitive with Vision Transformers when given access to datasets on the web-scale. We...
❤11👍4🔥1
Украду идею у @rybolos_channel и выложу все что лежит с пометкой шитпост
🌚31🥰5🥴4😐4❤🔥2
Forwarded from ̶с̶а̶м̶̶о̶изолента мёбиуса
Я попробовал поиграться с оценкой сочетаемости слов при помощи rugpt-small. Прикол про "выпрыг кенгурей" она не вкурила, но животную сущность "кенгурей" вполне осознала, присвоив им ту же семантическую валентность, что и для "собак" и "курей".
Потыкать код можно тут.
Потыкать код можно тут.
🥴26👍7❤4