Под предыдущим постом читатель поделился ещё одним учебным материалом по git - первый, сокращённый вариант, рассматривающий как исправлять конкретные ошибки, оформлен в виде обычной веб страницы (первая ссылка), а второй, более полный, включающий в себя базовые знания - в виде комиксов (вторая ссылка):
Однако, у варианта в виде комикса есть существенный недостаток: он ПЛАТНЫЙ! 😫🔫
Хорошо, что есть копия этого комикса про git и других, про другие технологии, здесь: https://github.com/nendonerd/wizardzines БЕСПЛАТНО... 😌
#учебные_материалы
У автора гайда на гитхабе есть ссылочка на прикольный сайт https://ohshitgit.com/ О том как откатываться назад при различных косяках с коммитами. Это название из комикса Джулии Эванс. Она рисует коротенькие комиксы-объснялки на самые разные технологии и как это работает, фишкой которых является наглядность. Раньше, кстати, она чаще выкладывала кусочки из комиксов.
https://wizardzines.com/zines/oh-shit-git/
Популярна в соц сети X www.x.com/b0rk.
Однако, у варианта в виде комикса есть существенный недостаток: он ПЛАТНЫЙ! 😫🔫
Хорошо, что есть копия этого комикса про git и других, про другие технологии, здесь: https://github.com/nendonerd/wizardzines БЕСПЛАТНО... 😌
#учебные_материалы
wizard zines
wizard zines: Oh shit, git!
👍34🔥2
Интересный выпуск подкаста "Сережа и микрофон" послушала вчера по дороге на работу:
Ссылка на YouTube - https://youtu.be/JhYNeV-Zxoc?si=gQbjoMzJLG6GjRjl
Ссылка на Яндекс музыке - https://music.yandex.ru/album/9294859/track/113655556
В целом, подкаст посвящен обсуждению разных тем в зависимости от приглашенного гостя. В этот раз ведущий пригласил специалиста по машинному обучению (у гостя, кстати, есть и свой канал, где можно узнать про него больше - https://news.1rj.ru/str/progulka ) и обсудил с ним потенциальные опасности искусственного интеллекта.
Как мне кажется, в этом выпуске было высказано много довольно здравых мыслей, без паникёрства. Я, конечно, не такой ярый технооптимист, как эти парни, но процентов на 90 согласна с высказанными ими идеями. Особенно меня позабавила аналогия глубокого обучения с алхимией на 59:50 .
#подкасты
Ссылка на YouTube - https://youtu.be/JhYNeV-Zxoc?si=gQbjoMzJLG6GjRjl
Ссылка на Яндекс музыке - https://music.yandex.ru/album/9294859/track/113655556
В целом, подкаст посвящен обсуждению разных тем в зависимости от приглашенного гостя. В этот раз ведущий пригласил специалиста по машинному обучению (у гостя, кстати, есть и свой канал, где можно узнать про него больше - https://news.1rj.ru/str/progulka ) и обсудил с ним потенциальные опасности искусственного интеллекта.
Как мне кажется, в этом выпуске было высказано много довольно здравых мыслей, без паникёрства. Я, конечно, не такой ярый технооптимист, как эти парни, но процентов на 90 согласна с высказанными ими идеями. Особенно меня позабавила аналогия глубокого обучения с алхимией на 59:50 .
#подкасты
YouTube
Мрачные предсказания Маска | УЧЕНЫЙ ИВАН ЯМЩИКОВ (Искусственный интеллект)
Производство: БИГ НАМБРЗ
телеграм канал Сергея Мезенцева - https://news.1rj.ru/str/simbackstage
Экосистема для бизнеса Контур https://bit.ly/43bKxkV. Работает на работе.
Третий выпуск с исследователем искусственного интеллекта Иваном Ямщиковым. Встретились (да, по…
телеграм канал Сергея Мезенцева - https://news.1rj.ru/str/simbackstage
Экосистема для бизнеса Контур https://bit.ly/43bKxkV. Работает на работе.
Третий выпуск с исследователем искусственного интеллекта Иваном Ямщиковым. Встретились (да, по…
👍17👎1🔥1
Собираюсь сегодня посмотреть трансляцию вот этой конференции. Где-то между 16:15 и 18:20 должна выступать моя тимлид с докладом "Топологический анализ данных для речевых трансформеров" (наша работа на эту тему, рассказанная на INTERSPEECH: https://arxiv.org/abs/2211.17223 ).
Потом планирую зайти сюда, посмотреть на доклад "Предсказание следующих действий пользователя в рекомендательных системах с использованием гиперболической геометрии", звучит интригующе 🧐
Тем временем на главном треке будут рассказывать про разные модели Сбера - Kandinsky, Giga Chat и другие, тоже многим может быть интересно (кто раньше не видел эти доклады).
Всё это смотрится бесплатно в разделе "Трансляция мероприятия".
#конференции
Потом планирую зайти сюда, посмотреть на доклад "Предсказание следующих действий пользователя в рекомендательных системах с использованием гиперболической геометрии", звучит интригующе 🧐
Тем временем на главном треке будут рассказывать про разные модели Сбера - Kandinsky, Giga Chat и другие, тоже многим может быть интересно (кто раньше не видел эти доклады).
Всё это смотрится бесплатно в разделе "Трансляция мероприятия".
#конференции
❤28👍9🔥5🥰4🤡1
У кого есть это устройство, поставьте класс и напишите, какими функциями вы чаще всего пользуетесь. Посмотрим сколько нас. ⌨️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35😱16🥰7🔥5😍1
Forwarded from Записки Ппилифа (Ppilif)
Про YAC/e
Произошло интересное. Я по мотивам прошлого семестра написал небольшую заметку про то, как студенты использовали языковые модели в курсах по программированию и как это их немножко обесценило.
Её прочитали ребята из Яндекс.Лицея и позвали поговоорить про нейросети на Yet Another Conference (YAC). Раньше YAC был ежегодной конфой Яндекса с презентацией разных громких новинок. В последние годы формат поменялся. Ребята стали дропать в день конфы фильмы про Яндекс, сделанные в разных форматах.
В офлайн части, в виде конфы, остался только кусочек про образование. Туда, как и раньше, зовут кучу разных спикеров и они что-то рассказывают. Эта частичка называется YAC/e (yet another conference on education). Туда меня и позвали.
Предполагалось, что у нас с Сашей Паволоцким (академрук школьных программ Яндекса) будут дебаты. Я, по задумке, должен был защищать нейронки, а Саша атаковать. Довольно быстро выяснилось, что у нас близкие позиции и дебаты превратились в довольно милый разговор про судьбы образования. Посмотреть можно тут.
Я впервые участвовал в конфе, где всё так серьёзно. Несколько студий, дофига аппаратуры и даже гримеры. На меня впервые в жизни накладывали грим. Девушки-гримеры просили познакомить с кем-нибудь из команды кинопоиска, снимающей сериалы 🙃🙃🙃
Я просто опубликовал в канале пост и запустил этим цепочку событий, которая привела меня на конфу. Жизнь так прикольно устроена...
Произошло интересное. Я по мотивам прошлого семестра написал небольшую заметку про то, как студенты использовали языковые модели в курсах по программированию и как это их немножко обесценило.
Её прочитали ребята из Яндекс.Лицея и позвали поговоорить про нейросети на Yet Another Conference (YAC). Раньше YAC был ежегодной конфой Яндекса с презентацией разных громких новинок. В последние годы формат поменялся. Ребята стали дропать в день конфы фильмы про Яндекс, сделанные в разных форматах.
В офлайн части, в виде конфы, остался только кусочек про образование. Туда, как и раньше, зовут кучу разных спикеров и они что-то рассказывают. Эта частичка называется YAC/e (yet another conference on education). Туда меня и позвали.
Предполагалось, что у нас с Сашей Паволоцким (академрук школьных программ Яндекса) будут дебаты. Я, по задумке, должен был защищать нейронки, а Саша атаковать. Довольно быстро выяснилось, что у нас близкие позиции и дебаты превратились в довольно милый разговор про судьбы образования. Посмотреть можно тут.
Я впервые участвовал в конфе, где всё так серьёзно. Несколько студий, дофига аппаратуры и даже гримеры. На меня впервые в жизни накладывали грим. Девушки-гримеры просили познакомить с кем-нибудь из команды кинопоиска, снимающей сериалы 🙃🙃🙃
Я просто опубликовал в канале пост и запустил этим цепочку событий, которая привела меня на конфу. Жизнь так прикольно устроена...
👍31
С запозданием, но все же делюсь с вами докладом про Parameter-Efficient Fine Tuning (PEFT):
https://www.youtube.com/watch?v=Fg7Ugyboopg
Доклад сделан по двум статьям автора: "Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning" ( https://arxiv.org/abs/2303.15647 ) и "Stack More Layers Differently: High-Rank Training Through Low-Rank Updates" ( https://arxiv.org/abs/2307.05695 ). Также у автора есть канал https://news.1rj.ru/str/dlinnlp , где он пишет как про свои достижения, так и в целом про интересные статьи, а также новости Deep Learning.
-
Тема Parameter-Efficient Fine Tuning не является моим прямым научным интересом, но иногда я все же читаю связанные с ней статьи постольку, поскольку это: а) связано с анализом размерности пространства эмбеддингов; б) имеет большое прикладное значение. В частности, на эту тему уже было два поста в канале: https://news.1rj.ru/str/tech_priestess/131 , https://news.1rj.ru/str/tech_priestess/781 .
Ну, а данный доклад понравился мне по двум причинам:
1. В нем дан хороший обзор существующих методов PEFT (первая статья и первая половина доклада), потенциально полезный всем интересующимся этой темой.
2. В нем рассказывается про новый метод, называемый ReLORA (вторая статья и вторая половина доклада). ReLORA - это такой своеобразный способ приспособить концепцию LoRA для предобучения (а не только для дообучения, как это делалось раньше).
Для того, чтобы эта идея реально заработала, авторам пришлось применить множество инженерных доработок. В результате метод выглядит примерно так:
- В течение первого этапа нужно сделать какое-то количество шагов полноценного предобучения (т.н. warmup);
- В течение следующего этапа продолжить предобучение с помощью LoRA;
- Слить обученную LoRA с весами основной модели, сделать reset оптимизатора, поменять learning rate, заново инициализировать веса LoRA;
- Опять продолжить предобучение с помощью LoRA;
- Далее этапы с LoRA повторяются несколько раз по одному и тому же принципу, в то время, как learning rate в среднем постепенно затухает (см. слайды, прикрепленные к посту ниже).
В итоге, можно добиться ускорения предобучения в несколько раз, сохраняя cross-entropy loss / perplexity результирующей модели близким к таковому у модели, предобученной полноценным способом.
Я думаю, что ReLORA имеет хорошие перспективы. Будет очень интересно посмотреть на дальнейшее развитие этого метода или на новые эффективные методы предобучения, которые он вдохновит.
#объяснения_статей
https://www.youtube.com/watch?v=Fg7Ugyboopg
Доклад сделан по двум статьям автора: "Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning" ( https://arxiv.org/abs/2303.15647 ) и "Stack More Layers Differently: High-Rank Training Through Low-Rank Updates" ( https://arxiv.org/abs/2307.05695 ). Также у автора есть канал https://news.1rj.ru/str/dlinnlp , где он пишет как про свои достижения, так и в целом про интересные статьи, а также новости Deep Learning.
-
Тема Parameter-Efficient Fine Tuning не является моим прямым научным интересом, но иногда я все же читаю связанные с ней статьи постольку, поскольку это: а) связано с анализом размерности пространства эмбеддингов; б) имеет большое прикладное значение. В частности, на эту тему уже было два поста в канале: https://news.1rj.ru/str/tech_priestess/131 , https://news.1rj.ru/str/tech_priestess/781 .
Ну, а данный доклад понравился мне по двум причинам:
1. В нем дан хороший обзор существующих методов PEFT (первая статья и первая половина доклада), потенциально полезный всем интересующимся этой темой.
2. В нем рассказывается про новый метод, называемый ReLORA (вторая статья и вторая половина доклада). ReLORA - это такой своеобразный способ приспособить концепцию LoRA для предобучения (а не только для дообучения, как это делалось раньше).
Для того, чтобы эта идея реально заработала, авторам пришлось применить множество инженерных доработок. В результате метод выглядит примерно так:
- В течение первого этапа нужно сделать какое-то количество шагов полноценного предобучения (т.н. warmup);
- В течение следующего этапа продолжить предобучение с помощью LoRA;
- Слить обученную LoRA с весами основной модели, сделать reset оптимизатора, поменять learning rate, заново инициализировать веса LoRA;
- Опять продолжить предобучение с помощью LoRA;
- Далее этапы с LoRA повторяются несколько раз по одному и тому же принципу, в то время, как learning rate в среднем постепенно затухает (см. слайды, прикрепленные к посту ниже).
В итоге, можно добиться ускорения предобучения в несколько раз, сохраняя cross-entropy loss / perplexity результирующей модели близким к таковому у модели, предобученной полноценным способом.
Я думаю, что ReLORA имеет хорошие перспективы. Будет очень интересно посмотреть на дальнейшее развитие этого метода или на новые эффективные методы предобучения, которые он вдохновит.
#объяснения_статей
YouTube
Parameter-Efficient Fine-Tuning больших языковых моделей сейчас и завтра. Влад Лялин - UMass Lowell
Мы живём в мире, где модели в 1 миллиард или даже 10 миллиардов параметров уже не считаются большими — вы буквально можете запустить их на вашем телефоне. Но тренировать или даже файтнюнить эти модели всё ещё может быть сложно и дорого. Методы Parameter-Efficient…
❤18👍8
👍9❤1
Forwarded from Love. Death. Transformers.
Мой батя ебашит вообще адовые посты.
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется новость, но не проверятся , проверять previos work - это не про моего батю. Он берет эту новость, вываливает ее на в gpt4 и начинает дописывать.
Добавляет в него огромное количество абзацев, рандомных мыслий, а главное - мнение! для хайпа репостим в непрофильные каналы сверху.
Все это хайпиться до упора.
Потом снимается с твиттера и поститься в телегу, ну нужно же о1 получить!
Потом батя выкладывает и щедро разделив на три поста начинает хайповать.
При этом рассказывает как это изменит весь мир, вылечит рак и возможно сделает кротовую норму. Пишет и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том какой дичайший хайп потом? Вонища такая, что обои от стен отклеиваются.
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется новость, но не проверятся , проверять previos work - это не про моего батю. Он берет эту новость, вываливает ее на в gpt4 и начинает дописывать.
Добавляет в него огромное количество абзацев, рандомных мыслий, а главное - мнение! для хайпа репостим в непрофильные каналы сверху.
Все это хайпиться до упора.
Потом снимается с твиттера и поститься в телегу, ну нужно же о1 получить!
Потом батя выкладывает и щедро разделив на три поста начинает хайповать.
При этом рассказывает как это изменит весь мир, вылечит рак и возможно сделает кротовую норму. Пишет и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том какой дичайший хайп потом? Вонища такая, что обои от стен отклеиваются.
😁61👎3🥱3👍1🔥1😱1
Какое-то время назад я писала про подделку данных в научных статьях, упоминая расследование такой подделки в работах Гарвардского профессора Франчески Джино: https://news.1rj.ru/str/tech_priestess/854 (под постом, кстати, в тот раз развернулась довольно интересная дискуссия).
Так вот, история на этом не закончилась. Во-первых, Франческа собирается судиться с Гарвардом за то, что они её уволили, по её мнению, несправедливо, а также нанесли урон её репутации. Во-вторых, она начала собирать контраргументы против обвинений в подделке данных на своём сайте.
Цепочку событий можно проследить по видео:
1. https://youtu.be/d2Tm3Yx4HWI?si=Ah9ER0acesSva43j - начало скандала, смысл обвинений.
2. https://youtu.be/sRmJILI1rmc?si=1ra9QabAf0K87IKz - иск Гарварду от Франчески Джино.
3. https://youtu.be/KOc6xfEnHWg?si=dSP2LvwViCGRjSR4 , https://www.francesca-v-harvard.org/ - новые контраргументы Франчески Джино против обвинений в её адрес, выложенные на её сайте.
4. https://youtu.be/tNJBS2H8p60?si=k3Q2C4Q0pqjEtgxp - история аспирантки, которая первой начала перепроверять подозрительные данные в работах Франчески и с какими сложностями со стороны Академии, защищающей своих авторитетов (как всегда), она столкнулась в этом процессе.
Честно говоря, я сама уже начала понемногу запутываться, пытаясь разобраться во всех перипетиях этого дела (особенно когда это происходит утром субботы 🥴). Но раз уж я начала рассказывать про завязку скандала, будет справедливо сообщить и про дальнейшее развитие событий, а также о том, что говорит в свое оправдание обвиняемая сторона.
Как вы думаете, может ли статься, что Data Colada и Гарвард действительно ошиблись, и намеренной подделки данных у Франчески Джино не было?🤔
#научная_поллюция
Так вот, история на этом не закончилась. Во-первых, Франческа собирается судиться с Гарвардом за то, что они её уволили, по её мнению, несправедливо, а также нанесли урон её репутации. Во-вторых, она начала собирать контраргументы против обвинений в подделке данных на своём сайте.
Цепочку событий можно проследить по видео:
1. https://youtu.be/d2Tm3Yx4HWI?si=Ah9ER0acesSva43j - начало скандала, смысл обвинений.
2. https://youtu.be/sRmJILI1rmc?si=1ra9QabAf0K87IKz - иск Гарварду от Франчески Джино.
3. https://youtu.be/KOc6xfEnHWg?si=dSP2LvwViCGRjSR4 , https://www.francesca-v-harvard.org/ - новые контраргументы Франчески Джино против обвинений в её адрес, выложенные на её сайте.
4. https://youtu.be/tNJBS2H8p60?si=k3Q2C4Q0pqjEtgxp - история аспирантки, которая первой начала перепроверять подозрительные данные в работах Франчески и с какими сложностями со стороны Академии, защищающей своих авторитетов (как всегда), она столкнулась в этом процессе.
Честно говоря, я сама уже начала понемногу запутываться, пытаясь разобраться во всех перипетиях этого дела (особенно когда это происходит утром субботы 🥴). Но раз уж я начала рассказывать про завязку скандала, будет справедливо сообщить и про дальнейшее развитие событий, а также о том, что говорит в свое оправдание обвиняемая сторона.
Как вы думаете, может ли статься, что Data Colada и Гарвард действительно ошиблись, и намеренной подделки данных у Франчески Джино не было?
#научная_поллюция
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Техножрица 👩💻👩🏫👩🔧
Нашла на YouTube интересные рассказы про подделку данных в научных статьях:
1. https://youtu.be/d2Tm3Yx4HWI - посвящено подделкам данных в работах на стыке социологии и психологии Гарвардского профессора Franchesco Jina - таблицы с результатами экспериментов…
1. https://youtu.be/d2Tm3Yx4HWI - посвящено подделкам данных в работах на стыке социологии и психологии Гарвардского профессора Franchesco Jina - таблицы с результатами экспериментов…
🔥10🤔8👍3🤷♂2🤨2
Недавно кол-во подписчиков перевалило за 5к. Мне еще до конца понятно, какие эмоции испытывать по этому поводу, потому что кроме очевидной позитивной стороны, я вижу здесь и некоторую негативную составляющую. А именно: я чувствую, что чем больше люди интересуются моими постами, смеются над моими шутками или высказывают в мой адрес что-то хорошее, тем сильнее я подсаживаюсь на иглу общественного одобрения.
Я чувствую, что слишком часто захожу в паблик и проверяю: много ли поставили реакций на очередной пост? Каких именно? Сколько оставили комментариев и что в них написано? Если люди не отреагировали на пост, то в чем может быть дело? Они не придумали, как прокомментировать написанное? Не поняли содержимое поста? Или пост просто тупой и скучный, а я дура?
Что самое интересное, я искренне не хочу придавать этим реакциям такую значимость, не хочу из-за них переживать. Мне интересно узнавать, что люди думают, но я бы хотела это воспринимать просто как дополнительную информацию к сведению, а не как что-то, что реально определяет мою ценность или мое чувство собственного достоинства. Я хочу просто не запариваться на этот счет. Но, к сожалению, одного желания мало.
Мне много раз говорили: какое тебе дело, кто что думает? Просто не обращай внимания.
Но это не только не "просто", это невозможно. Мои эмоции не могут волшебным образом исчезнуть просто от того, что они мне не нравятся.
И вот я сижу и гноблю себя за то, что я завишу от чужого мнения. Но от этого гнобления я, само собой, не слезаю с этой иглы, не становлюсь более независимой, а лишь сильнее себя ненавижу и расстраиваюсь.
Пока что я решила для себя так: я хотя бы найду в себе силы признать эту проблему и не буду себя осуждать за эти эмоции. Да, мои эмоции зависят от того, сколько классов и сердчек и сколько какашек и клоунов мне поставят под постами.🤡 Да, это тупо, но вот так вот я устроена и свою сущность отрицать не буду. 🤡
Тем не менее, есть одна вещь, на которую я могу повлиять: мое поведение в ответ на эти эмоции. Я все равно могу стараться оставаться собой, продолжать высказывать свое мнение и делать то, что мне нравится и что я считаю нужным, даже если никто не отреагирует на мои старания или даже если кто-то поставит какашку, от которой я расстроюсь. Ну расстроюсь и расстроюсь, что теперь делать. Грустить это тоже нормальная часть нашей жизни. Буду грустить, но все равно буду делать как считаю нужным. Таков план.
Я чувствую, что слишком часто захожу в паблик и проверяю: много ли поставили реакций на очередной пост? Каких именно? Сколько оставили комментариев и что в них написано? Если люди не отреагировали на пост, то в чем может быть дело? Они не придумали, как прокомментировать написанное? Не поняли содержимое поста? Или пост просто тупой и скучный, а я дура?
Что самое интересное, я искренне не хочу придавать этим реакциям такую значимость, не хочу из-за них переживать. Мне интересно узнавать, что люди думают, но я бы хотела это воспринимать просто как дополнительную информацию к сведению, а не как что-то, что реально определяет мою ценность или мое чувство собственного достоинства. Я хочу просто не запариваться на этот счет. Но, к сожалению, одного желания мало.
Мне много раз говорили: какое тебе дело, кто что думает? Просто не обращай внимания.
Но это не только не "просто", это невозможно. Мои эмоции не могут волшебным образом исчезнуть просто от того, что они мне не нравятся.
И вот я сижу и гноблю себя за то, что я завишу от чужого мнения. Но от этого гнобления я, само собой, не слезаю с этой иглы, не становлюсь более независимой, а лишь сильнее себя ненавижу и расстраиваюсь.
Пока что я решила для себя так: я хотя бы найду в себе силы признать эту проблему и не буду себя осуждать за эти эмоции. Да, мои эмоции зависят от того, сколько классов и сердчек и сколько какашек и клоунов мне поставят под постами.
Тем не менее, есть одна вещь, на которую я могу повлиять: мое поведение в ответ на эти эмоции. Я все равно могу стараться оставаться собой, продолжать высказывать свое мнение и делать то, что мне нравится и что я считаю нужным, даже если никто не отреагирует на мои старания или даже если кто-то поставит какашку, от которой я расстроюсь. Ну расстроюсь и расстроюсь, что теперь делать. Грустить это тоже нормальная часть нашей жизни. Буду грустить, но все равно буду делать как считаю нужным. Таков план.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤206👍22🥰19☃14🤡11👏9🎄6🔥5👌5🥱3🤔2
Forwarded from Empty Set of Ideas (A)
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌23😁16💅8👍2🔥2🥴1