Студенты московского физкультурного коледжа притворяются что не делают мета отсылок
Forwarded from tropical saint petersburg
>>
электрон тетраэдр так же неисчерпаем, как атом треугольник (Ленин Руденко).
>>
Даня Руденко занимался алгебраической геометрией, и по ходу открыл новое тождество для тетраэдров (по ссылке вполне mesmerizing story об этом). После долгих поисков он обнаружил похожее тождество в старинном журнале The Educational Times.
Потом он же сотоварищи сделал сайт с геометрическими задачками из старых журналов.
На сайте тысячи старинных задач с прикрученным поиском. Красота! Практически склеил двух столетий позвонки (в хорошем смысле).
Если есть предложения как улучшить сайт с задачами: предлагайте!
>>
Даня Руденко занимался алгебраической геометрией, и по ходу открыл новое тождество для тетраэдров (по ссылке вполне mesmerizing story об этом). После долгих поисков он обнаружил похожее тождество в старинном журнале The Educational Times.
Потом он же сотоварищи сделал сайт с геометрическими задачками из старых журналов.
На сайте тысячи старинных задач с прикрученным поиском. Красота! Практически склеил двух столетий позвонки (в хорошем смысле).
Если есть предложения как улучшить сайт с задачами: предлагайте!
👍30👏9🤔3❤2😢1
#чтивонаночь по быстрому
Are Emergent Abilities of Large Language Models a
Mirage?(NIPS top4)
вам никогда не казалось что вас хотят наебать рассказывая про Emergent Abilities у LLM? ну типа что начиная с какого то размера у LLM чо то переклинивает в MLP и они вместо попугая становяться ASI и начинают думать, а не бредить?
Вот и мне иногда так кажется(особенно с учетом хайпа вокруг OA и публичых спикеров вокруг)
Чуваки из stanford, взяли топовые модели, посмотрели на графики метрик, и заметики что:
чего вообще то быть не должно, они взяли, перестроили графики в Token Edit Distance(какова вероятность верного токена) по шкале Y и получились очень плавные кривые рост(совпадает со скейлом моделей)
вывод достаточно громкий: при правильной метрике Emergent abilitys пропадают!
paper
Are Emergent Abilities of Large Language Models a
Mirage?(NIPS top4)
вам никогда не казалось что вас хотят наебать рассказывая про Emergent Abilities у LLM? ну типа что начиная с какого то размера у LLM чо то переклинивает в MLP и они вместо попугая становяться ASI и начинают думать, а не бредить?
Вот и мне иногда так кажется(особенно с учетом хайпа вокруг OA и публичых спикеров вокруг)
Чуваки из stanford, взяли топовые модели, посмотрели на графики метрик, и заметики что:
Model families display sharp and unpredictable increases in performance at specific tasks as scale increases.
чего вообще то быть не должно, они взяли, перестроили графики в Token Edit Distance(какова вероятность верного токена) по шкале Y и получились очень плавные кривые рост(совпадает со скейлом моделей)
вывод достаточно громкий: при правильной метрике Emergent abilitys пропадают!
paper
🔥39👍6 3❤1🤔1
даже если все будет хуево моя совесть будет чиста: я сделал что считаю нужным.
👍107 45🤮18 10❤7😁7 5👎4 3
не читавшие scaling laws cмеются над моим grad accum=512. Я смеюсь над их метриками.
Forwarded from New Yorko Times (Yury Kashnitsky)
Фэйлы на собесах: 2023 edition
#career #interview #fail
Тут в описании канала говорится, что он в том числе про фэйлы. Так что надо поддерживать темп фэйлов. В предыдущих сериях:
- “Статистика моих собесов в 2022”
- “Cобесы в Яндекс и Амазон и куча советов от непрошедшего”
- “Пока туповат для 400к/год на удаленке”
- “Собес с HuggingFace в 2019 и бодрое тестовое”
Картинка ниже – авторства Бори Зубарева (placement: проверьте его X-LLM для файнтюнинга LLM, вдруг зайдет), которую он мне скинул после поста про неудачные собесы в 2022.
Погнали:
- Uber, Senior Applied Scientist – прошел один собес, сказали, закрыли саму вакансию (и правда, звучало подозрительно, что это синьор без подчиненных);
- eBay, Principal Applied Scientist (Gen AI) – прошел HM, а вот миддл решил меня погонять по своей боевой задаче – всякие bi-encoders, cross-encoders в задаче предсказания ключевых слов для объявлений. Причем копал глубоко. Я в теме про семантический поиск, слежу за проектом коллег, но тут прям реально глубоко... если сам не ковырял, не ответишь. Ну да, и хотел production-опыт RLHF😳 Удачи! Надеюсь, нашли такого.
- LLM researcher в устоявшийся стартап – команда крутая, много GM-ов, все прошел, услышал много комплиментов, а дальше отмазу, что “мне у них будет не интересно”, расстался с довольно странным ощущением, как будто не знают, что хотят (еще один сильный чел, все тот же Боря Зубарев то же самое от них услышал)
- 2 хардкорных HFT-фонда - в одном домашка на дебаггинг PyTorch-кода не зашла, в другом почти идеально решил алгоритмическую задачу, но к концу 4-го часа начал тупить с ML-ной задачей. Денег там, конечно, море, но и work-life balance хромает, и C++… В-общем, тут я сам не дотягиваю.
- наконец, Amazon, Applied Scientist да в Амстере, прошел снова всю хурмомятню из 7 собесов. В этот раз, в отличие от 2022 года, до матча с командой не дошло, услышал стандартный минимальный фидбек, что bar raiser-у что-то не понравилось в одном из ответов.
Ну, как Би-2 поет, “Я двигаюсь дальше”, благо текущие задачи очень интересные, да что-то из сторонних проектов тоже заходит. По собесам из “успехов” на данный момент только отклик другого бигтеха на мой холодный заброс резюме, готовимся к еще одной мясорубке из семи собесов.
Жду ехидные комментарии с отсылками к этому посту про менторство. Делаю шаг на опережение: у моих менти дела идут отлично, лучше, чем у меня 🙂 Один менти устроился так, что сам меня собеседовал😂 , второй, мой друг, скоро переезжает в Нидерланды, третий – на финальных этапах с тем же Амазоном, четвертый получил оффер в долине (правда, уже там находясь). Еще четверо в процессе. А сапожник пока без сапог, беру откровенностью (а новых менти все равно пока не ищу).
Хороших вам фэйлов, таких чтоб с градиентами. Ну и любая череда фэйлов когла-то заканчивается, чего всем и желаю. Если очень упорно подкидывать монетку, она таки упадет нужной стороной.
Расширенная версия с примерами вопросов на собесах: пост.
#career #interview #fail
Тут в описании канала говорится, что он в том числе про фэйлы. Так что надо поддерживать темп фэйлов. В предыдущих сериях:
- “Статистика моих собесов в 2022”
- “Cобесы в Яндекс и Амазон и куча советов от непрошедшего”
- “Пока туповат для 400к/год на удаленке”
- “Собес с HuggingFace в 2019 и бодрое тестовое”
Картинка ниже – авторства Бори Зубарева (placement: проверьте его X-LLM для файнтюнинга LLM, вдруг зайдет), которую он мне скинул после поста про неудачные собесы в 2022.
Погнали:
- Uber, Senior Applied Scientist – прошел один собес, сказали, закрыли саму вакансию (и правда, звучало подозрительно, что это синьор без подчиненных);
- eBay, Principal Applied Scientist (Gen AI) – прошел HM, а вот миддл решил меня погонять по своей боевой задаче – всякие bi-encoders, cross-encoders в задаче предсказания ключевых слов для объявлений. Причем копал глубоко. Я в теме про семантический поиск, слежу за проектом коллег, но тут прям реально глубоко... если сам не ковырял, не ответишь. Ну да, и хотел production-опыт RLHF
- LLM researcher в устоявшийся стартап – команда крутая, много GM-ов, все прошел, услышал много комплиментов, а дальше отмазу, что “мне у них будет не интересно”, расстался с довольно странным ощущением, как будто не знают, что хотят (еще один сильный чел, все тот же Боря Зубарев то же самое от них услышал)
- 2 хардкорных HFT-фонда - в одном домашка на дебаггинг PyTorch-кода не зашла, в другом почти идеально решил алгоритмическую задачу, но к концу 4-го часа начал тупить с ML-ной задачей. Денег там, конечно, море, но и work-life balance хромает, и C++… В-общем, тут я сам не дотягиваю.
- наконец, Amazon, Applied Scientist да в Амстере, прошел снова всю хурмомятню из 7 собесов. В этот раз, в отличие от 2022 года, до матча с командой не дошло, услышал стандартный минимальный фидбек, что bar raiser-у что-то не понравилось в одном из ответов.
Ну, как Би-2 поет, “Я двигаюсь дальше”, благо текущие задачи очень интересные, да что-то из сторонних проектов тоже заходит. По собесам из “успехов” на данный момент только отклик другого бигтеха на мой холодный заброс резюме, готовимся к еще одной мясорубке из семи собесов.
Жду ехидные комментарии с отсылками к этому посту про менторство. Делаю шаг на опережение: у моих менти дела идут отлично, лучше, чем у меня 🙂 Один менти устроился так, что сам меня собеседовал
Хороших вам фэйлов, таких чтоб с градиентами. Ну и любая череда фэйлов когла-то заканчивается, чего всем и желаю. Если очень упорно подкидывать монетку, она таки упадет нужной стороной.
Расширенная версия с примерами вопросов на собесах: пост.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27❤16🔥6
Forwarded from epsilon correct
This media is not supported in your browser
VIEW IN TELEGRAM
Выпустили первую стабильную версию Tensorflow-GNN 1.0! 🎅
TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно🇷🇺 , приятно.
Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает.😛
TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно
Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27🤡16 7👍4❤2🤮1
#чтивонаночь по быстрому
Челы из apple придумали sliding window c предиктером какие веса грузить и это ускорило инференс во много раз!
Папир
Челы из apple придумали sliding window c предиктером какие веса грузить и это ускорило инференс во много раз!
Папир
👍41👏5❤1
Forwarded from ML-легушька (Николай Кутузов)
Я сам знал много математиков, они все реально шизанутые. У них реально с головой не все в порядке, потому что они живут в каком-то своем мире, мире цифр. Они не разбираются вообще, что происходит в обществе, они не разбираются в политике например. Вспомните, есть ли хоть один политик, особенно революционер, который бы был математиком. Таких просто нет. Например, Ленин он был юристом, Че Гевара он был врачом. И ни одного революционера не было математика, ни одного! И это связанно именно с чертами характеров таких людей, потому что математики они полностью аполитичны. Поскольку произвести они ничего не могут, они полностью не способны к ручному труду, например. Им нужно чтобы за ними кто-то ухаживал, они большие дети, которые без помощи там мамы (обычно они живут с мамой до 50 лет) сами ничего сделать не могут.
Математика это совершенно не наука, абсолютно бесполезное хобби. Это люди, которые вот в силу своего характера, не хотят работать, не хотят бороться против капитализма за светлое будущее, им наплевать на всех людей. Они вот замкнуты в своей голове, и в своей голове они сидят высчитывают. Математика это переливание из пустого в порожнее.
Вот доказал ты какую-то теорему, кому нужна эта теорема? Что она дает людям? Да ничего она не дает, это просто разминка для ума и интеллектуальный онанизм, и вот математики они всю жизнь занимаются онанизмом и считают, что это нормально. Математики это вот реально зло, как и математика, математика это реально зло. Ее надо запретить, она приводит к тому, что люди сходят с ума.
Вот мужчины математики это да, это вот с лохматыми волосами сумасшедший профессор, который там может обоссаться и не заметить, и ходить в ссаных штанах, потому что он математик, он решает примеры. Математика это способ заставить народ отказаться от социальной борьбы. Если занять мозг человека этими бессмысленными вычислениями, то у него не остается времени и просто ресурсов мозга, мыслей не остается, чтобы задуматься - а почему нас угнетают капиталисты?
И ведь смотрите, это рассчитано именно на умных, на элиту, не на маргиналов. Как маргинализировать умного, талантливого, гениального человека? Заставить математикой заниматься! И причем смотрите, какая мощная манипуляция получается: он будет считать что он великий ученый, что он занимается наукой, он будет всем говорить - вот, смотрите, какой я пример решил, какую задачу решил, какой я умный. И он не будет понимать, что он просто поонанировал интеллектуально, и вся его эта задачка она не нужна, понимаете, просто не нужна.
В советские годы тоже насаждали математику, чтобы народ меньше занимался свободомыслием, и вот этот спор из 60ых годов про лириков и физиков. Физики, вас гораздо меньше, вы единицы, вы маргиналы, и вы не нужны. Победа будет за лириками, за теми, кто хочет любить, кто хочет чувствовать, кто хочет быть человеком, а не вычислительной машиной.
Заберите свою математику, и засуньте ее себе в одно место, и не пихайте ее нам - нам она не нужна!
Математика это совершенно не наука, абсолютно бесполезное хобби. Это люди, которые вот в силу своего характера, не хотят работать, не хотят бороться против капитализма за светлое будущее, им наплевать на всех людей. Они вот замкнуты в своей голове, и в своей голове они сидят высчитывают. Математика это переливание из пустого в порожнее.
Вот доказал ты какую-то теорему, кому нужна эта теорема? Что она дает людям? Да ничего она не дает, это просто разминка для ума и интеллектуальный онанизм, и вот математики они всю жизнь занимаются онанизмом и считают, что это нормально. Математики это вот реально зло, как и математика, математика это реально зло. Ее надо запретить, она приводит к тому, что люди сходят с ума.
Вот мужчины математики это да, это вот с лохматыми волосами сумасшедший профессор, который там может обоссаться и не заметить, и ходить в ссаных штанах, потому что он математик, он решает примеры. Математика это способ заставить народ отказаться от социальной борьбы. Если занять мозг человека этими бессмысленными вычислениями, то у него не остается времени и просто ресурсов мозга, мыслей не остается, чтобы задуматься - а почему нас угнетают капиталисты?
И ведь смотрите, это рассчитано именно на умных, на элиту, не на маргиналов. Как маргинализировать умного, талантливого, гениального человека? Заставить математикой заниматься! И причем смотрите, какая мощная манипуляция получается: он будет считать что он великий ученый, что он занимается наукой, он будет всем говорить - вот, смотрите, какой я пример решил, какую задачу решил, какой я умный. И он не будет понимать, что он просто поонанировал интеллектуально, и вся его эта задачка она не нужна, понимаете, просто не нужна.
В советские годы тоже насаждали математику, чтобы народ меньше занимался свободомыслием, и вот этот спор из 60ых годов про лириков и физиков. Физики, вас гораздо меньше, вы единицы, вы маргиналы, и вы не нужны. Победа будет за лириками, за теми, кто хочет любить, кто хочет чувствовать, кто хочет быть человеком, а не вычислительной машиной.
Заберите свою математику, и засуньте ее себе в одно место, и не пихайте ее нам - нам она не нужна!
😁74🤡49 25 13👍9👎4🤩3❤2👏2🤔1
Forwarded from Сломанные пляски
Новый Брокен Дэнс — про Муджуса 💗
Для меня «Downshifting» Муджуса всегда будет тем альбомом, с которого в российской музыке официально закончились 2000-е и начались 2010-е.
Я прекрасно помню «Афишу» с Романом на обложке, где было написано, что он новый Цой (фотография, кстати, Гоши Рубчинского). Покадрово знаю клип «Выздоравливай скорей». И благодарен людям, которые почти целиком засняли для ютуба выступление Муджуса на Пикнике-2011 — неровное, неидеальное, стеснительное, но хорошо схватившее энергию Романа в тот момент.
Мне всегда нравилось думать про этот альбом как про отложенную смску, которая дошла до адресатов («адресантов», сказал бы Муджус) сильно позже, но вдохновила целое поколение следующих музыкантов (от Петара Мартича до Куока) на собственные опыты с песнями.
Про все это рассказываю в новой серии «Базы». Таким выпуском не стыдно закончить год, но закончу все-таки другим.
Спасибо главному евангелисту Муджуса в России Саше Горбачеву за то, что принял участие в видео. Подписывайтесь на его канал @musicinanutshell и слушайте его прекрасный подкаст «Он увидел солнце».
Приятного просмотра!
https://youtu.be/kHAzkHYVNYg
Для меня «Downshifting» Муджуса всегда будет тем альбомом, с которого в российской музыке официально закончились 2000-е и начались 2010-е.
Я прекрасно помню «Афишу» с Романом на обложке, где было написано, что он новый Цой (фотография, кстати, Гоши Рубчинского). Покадрово знаю клип «Выздоравливай скорей». И благодарен людям, которые почти целиком засняли для ютуба выступление Муджуса на Пикнике-2011 — неровное, неидеальное, стеснительное, но хорошо схватившее энергию Романа в тот момент.
Мне всегда нравилось думать про этот альбом как про отложенную смску, которая дошла до адресатов («адресантов», сказал бы Муджус) сильно позже, но вдохновила целое поколение следующих музыкантов (от Петара Мартича до Куока) на собственные опыты с песнями.
Про все это рассказываю в новой серии «Базы». Таким выпуском не стыдно закончить год, но закончу все-таки другим.
Спасибо главному евангелисту Муджуса в России Саше Горбачеву за то, что принял участие в видео. Подписывайтесь на его канал @musicinanutshell и слушайте его прекрасный подкаст «Он увидел солнце».
Приятного просмотра!
https://youtu.be/kHAzkHYVNYg
YouTube
Как МУДЖУС научил нас чувствовать / БАЗА
Оформите Тинькофф Платинум и получите 1000 рублей за покупки от 3000 — https://l.tinkoff.ru/brokendancedec
Пробуй максимум всего за 399 руб! 50 гигов, 2000 минут и безлимитные приложения. Можно. Yota https://clck.ru/37Keii
мой ТГ-канал Сломанные Пляски…
Пробуй максимум всего за 399 руб! 50 гигов, 2000 минут и безлимитные приложения. Можно. Yota https://clck.ru/37Keii
мой ТГ-канал Сломанные Пляски…
❤31 4👎1🤔1🤮1
Love. Death. Transformers.
midjourney v6 > dalle3 foxes running away from a nuclear explosion with a fighter jet overhead and mushrooms in the foreground вообще очень интересно что у них с текстовым энкодером, прошлые версии были на CLIP, а вот что с будущей хз(т5?)
Доехал релиз mj v6
- т5 как энкодер, твердо и четко
- 2.7x медленнее*
- т5 как энкодер, твердо и четко
- 2.7x медленнее*
❤31👍5 3
тред статей 2023
закидывайте статьи с которыми по вашему мнению должны ознакомиться спецы из других областей
закидывайте статьи с которыми по вашему мнению должны ознакомиться спецы из других областей
🔥30 2 1