FlashAttention.pdf
651 KB
Всем всем доброе утро!☀️
Пока я думаю над контентом канала (да да, до сих пор🙃), хочу поделиться сотой, которую совсем недавно открыла для себя.
Предистория:
Меня с детства учили записывать все свои мысли, решения задач, конспекты на бумагу. Очень быстро оказалось, что держать все в голове не эффективно и вести конспекты крайне полезно (неочвеидно для меня). Все было прекрасно до того момента, пока я не начала перескакивать с одного компа на другой: с домашнего на ноут, с ноута на лабный, с лабного на домашний и так по кругу 😵💫 Таскать груду бумажных конспектов везде и всюду стало слишком неудобно, особенно учитывая то, что я везде ношу свой ноут😵
Рассказав об этой проблеме своим замечательным коллегам, они предложили мне попробовать Obsidian. Это десктопное приложение (хотя вроде есть и браузерная версия) для написания личных заметок📝
Пока я думаю над контентом канала (да да, до сих пор🙃), хочу поделиться сотой, которую совсем недавно открыла для себя.
Предистория:
Меня с детства учили записывать все свои мысли, решения задач, конспекты на бумагу. Очень быстро оказалось, что держать все в голове не эффективно и вести конспекты крайне полезно (неочвеидно для меня). Все было прекрасно до того момента, пока я не начала перескакивать с одного компа на другой: с домашнего на ноут, с ноута на лабный, с лабного на домашний и так по кругу 😵💫 Таскать груду бумажных конспектов везде и всюду стало слишком неудобно, особенно учитывая то, что я везде ношу свой ноут😵
Рассказав об этой проблеме своим замечательным коллегам, они предложили мне попробовать Obsidian. Это десктопное приложение (хотя вроде есть и браузерная версия) для написания личных заметок📝
👍6❤1
Его особенность заключается в том, что заметки пишутся на языке markdown. Лично для меня это очень и очень удобно. Также, у него приятный интерфейс, можно настроить под себя организацию папочек и файлов и вроде как даже синхронизировать с облаком. В общем, для меня обсидиан оказался максимально удобным: быстро конспектирую лекции, сразу же выделяя основные моменты курсивом или жирным шрифтом; легко разделять на подзаголовки разных уровней => легко ориентироваться в конспекте; ну и конечно же проще делать скриншоты рисунков, формул и таблиц - не нужно тратить 5 лет на их перерисовывание😄
Для примера поделюсь с Вами своим конспектом по FlashAttention, который удостоился быть первым в опыте составления конспектов в обсидиане)))
В целом сота, рекомендую💯
#diff
Для примера поделюсь с Вами своим конспектом по FlashAttention, который удостоился быть первым в опыте составления конспектов в обсидиане)))
В целом сота, рекомендую💯
#diff
👍6
🚀 Увеличьте эффективность своих исследований с курсом «Статистика, R и анализ данных» от Blastim! 📊
На программе вы сможете приобрести флеш-рояль навыков для анализа данных: научитесь препроцессировать датасеты на языке R и освоите dplyr, tidyverse, ggplot2, познаете базовые понятия статистики, теории вероятности, выполните практические упражнения, включая работу с непараметрическими методами и линейными моделями 🎲
💯 Завершается курс презентацией проектов, где вы сможете поанализировать, не только учебные, но и собственные данные
Курс открыт для разнообразных специалистов:
🦊 Если вы занимаетесь исследованиями в области животного и растительного мира, работаете цитологом, бактериологом, микологом или вирусологом, этот курс для вас
🧬 Для биотехнологов, генетиков и биоинформатиков ребята подготовили специальные модули, которые помогут максимально эффективно использовать статистические методы в вашей работе
💊 Медики, ветеринары и специалисты фармы также найдут ценную информацию и любопытные клинические кейсы
📈 А также для всех, кто интересуется статистикой, желает начать свой путь в этой прикладной области и хочет понять логику, а не вызубрить скучные правила.
#advert
На программе вы сможете приобрести флеш-рояль навыков для анализа данных: научитесь препроцессировать датасеты на языке R и освоите dplyr, tidyverse, ggplot2, познаете базовые понятия статистики, теории вероятности, выполните практические упражнения, включая работу с непараметрическими методами и линейными моделями 🎲
💯 Завершается курс презентацией проектов, где вы сможете поанализировать, не только учебные, но и собственные данные
Курс открыт для разнообразных специалистов:
🦊 Если вы занимаетесь исследованиями в области животного и растительного мира, работаете цитологом, бактериологом, микологом или вирусологом, этот курс для вас
🧬 Для биотехнологов, генетиков и биоинформатиков ребята подготовили специальные модули, которые помогут максимально эффективно использовать статистические методы в вашей работе
💊 Медики, ветеринары и специалисты фармы также найдут ценную информацию и любопытные клинические кейсы
📈 А также для всех, кто интересуется статистикой, желает начать свой путь в этой прикладной области и хочет понять логику, а не вызубрить скучные правила.
#advert
agency.blastim.ru
«Статистика, R и анализ данных»
Этот курс подойдет для ученых, врачей, агротех-специалистов, аналитиков всех интересующихся переобучением на Data Scientista.
👍7
Media is too big
VIEW IN TELEGRAM
Что вы получите:
✔️ Глубокое понимание статистических тестов, необходимых для добросовестного анализа данных
✔️ Практические навыки применения статистических инструментов
✔️ Удостоверение о повышении квалификации, записи всех лекций, проекты в портфолио и новых друзей
Присоединяйтесь к программе от Blastim прямо сегодня и начните превращать данные в результаты💡
Ближайшие даты:
25 — 29 марта, 6 — 7, 13 — 14 апреля
Оффлайн в Москве или онлайн 📲
Фронтмен команды лекторов: Иван Поздняков, известный R-энтузиаст, преподаватель ВШЭ, нейропсихолог
👉 Получите доступ сейчас: u.to/Ea57IA
#advert
✔️ Глубокое понимание статистических тестов, необходимых для добросовестного анализа данных
✔️ Практические навыки применения статистических инструментов
✔️ Удостоверение о повышении квалификации, записи всех лекций, проекты в портфолио и новых друзей
Присоединяйтесь к программе от Blastim прямо сегодня и начните превращать данные в результаты💡
Ближайшие даты:
25 — 29 марта, 6 — 7, 13 — 14 апреля
Оффлайн в Москве или онлайн 📲
Фронтмен команды лекторов: Иван Поздняков, известный R-энтузиаст, преподаватель ВШЭ, нейропсихолог
👉 Получите доступ сейчас: u.to/Ea57IA
#advert
👍5❤1
На прошлой неделе прошла ML Party от Яндекса🌟
Мне посчастливилось посетить данное мероприятие оффлайн👀
Всего было четыре доклада:
🔹"Как мы запускали автогенерацию рекламных баннеров на Яндекс Маркете" от Воронцова Александра, руководителя группы машинного обучения рекламной платформы. Первый же спич зацепил меня своей темой. Прикольно было послушать про путь, который прошла команда, к конечному существующему в проде продукту. Спикер рассказал про разные подходы, которые они пробовали, проблемы и недопонимания со стороны пользователя и многое другое. Я оценила👍
🔹"Нейросетевое ранжирование для рекомендательных систем" от Кирилла Хрыльченко, руководителя группы исследования перспективных рекомендательных технологий. Прикольно было послушать почему нейронки лучше градиентного бустинга.
🔹"Я вас (не) слышу!" от Никиты Рыжикова, руководителя службы технологий голосового ввода. На мой взгляд один из самых интересных докладов. Спикер рассказал о трудностях переезда голосового помощника Алисы с платформы телефона на колонку. Разъяснялись 2 основные решаемые задачи - эхоподавление и шумоподавление. Мне как любителю физики (на уровне любителя...) очень даже зашло))
🔹"Блендер — механизм оптимизации подмешивания дополнительных элементов в результаты WEB-поиска" от Алексея Голикова, руководителя команды качественных вызовов. Честно, на этом рассказе я немного уснула и ничего не поняла... Но вроде как доклад был связан с инструментом для рекомендательных систем.
#dvizh
Мне посчастливилось посетить данное мероприятие оффлайн👀
Всего было четыре доклада:
🔹"Как мы запускали автогенерацию рекламных баннеров на Яндекс Маркете" от Воронцова Александра, руководителя группы машинного обучения рекламной платформы. Первый же спич зацепил меня своей темой. Прикольно было послушать про путь, который прошла команда, к конечному существующему в проде продукту. Спикер рассказал про разные подходы, которые они пробовали, проблемы и недопонимания со стороны пользователя и многое другое. Я оценила👍
🔹"Нейросетевое ранжирование для рекомендательных систем" от Кирилла Хрыльченко, руководителя группы исследования перспективных рекомендательных технологий. Прикольно было послушать почему нейронки лучше градиентного бустинга.
🔹"Я вас (не) слышу!" от Никиты Рыжикова, руководителя службы технологий голосового ввода. На мой взгляд один из самых интересных докладов. Спикер рассказал о трудностях переезда голосового помощника Алисы с платформы телефона на колонку. Разъяснялись 2 основные решаемые задачи - эхоподавление и шумоподавление. Мне как любителю физики (на уровне любителя...) очень даже зашло))
🔹"Блендер — механизм оптимизации подмешивания дополнительных элементов в результаты WEB-поиска" от Алексея Голикова, руководителя команды качественных вызовов. Честно, на этом рассказе я немного уснула и ничего не поняла... Но вроде как доклад был связан с инструментом для рекомендательных систем.
#dvizh
ML Party в Москве
ML Party —митап для ML-инженеров в офисах Яндекса и не только. Встречаемся сообществом экспертов в области машинного обучения, чтобы обсудить тренды, новые подходы, решения и вызовы индустрии в неформальной обстановке.
❤🔥2🔥2
В целом клево было съездить вечерочком развеяться, посмотреть на офис Яндекса, пообщаться с опытными людьми. Словила немного вайб, поэтому поделюсь некоторыми фоточками))
#dvizh
#dvizh
👍4🤩2❤1🔥1
Forwarded from Center for Cognitive Modeling
🎓 — Семинар 25. Использование данных бортовых радаров и камер для распознавания объектов на дороге и бездорожье | Ульяна Изместьева, Лука Ветошкин, Ольга Матыкина
В нашем выступлении мы обсудим мультимодальные датасеты и методы для распознавания трехмерной сцены, использующие данные наиболее распространенных сенсоров беспилотных транспортных средств: камер, радаров и лидаров. Отметим особую роль радаров, которые могут видеть сквозь туман, дым, снег.
Мы приведем краткий обзор датасетов, собранных как в городских условиях, так и в условиях бездорожья и даже в шахтах. Также мы коснемся методов для решения широкого класса задач с использованием упомянутых датасетов: сегментация и детекция объектов на дороге, сегментация проезжей части, построение карты глубин по изображениям и облакам радарных точек.
В завершение мы расскажем об экспериментах, позволяющих преодолеть ограничения существующих мультимодальных датасетов. В качестве методов аугментации датасетов будут рассмотрены дифуззионные модели Kandinsky2-2, Stable Diffusion-2, Stable Diffusion XL. Сравним архитектуры моделей, время инференса и качество сгенерированных изображений в режиме восстановления выделенной области изображения.
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #CV #selfdriving #multimodal #diffusion
В нашем выступлении мы обсудим мультимодальные датасеты и методы для распознавания трехмерной сцены, использующие данные наиболее распространенных сенсоров беспилотных транспортных средств: камер, радаров и лидаров. Отметим особую роль радаров, которые могут видеть сквозь туман, дым, снег.
Мы приведем краткий обзор датасетов, собранных как в городских условиях, так и в условиях бездорожья и даже в шахтах. Также мы коснемся методов для решения широкого класса задач с использованием упомянутых датасетов: сегментация и детекция объектов на дороге, сегментация проезжей части, построение карты глубин по изображениям и облакам радарных точек.
В завершение мы расскажем об экспериментах, позволяющих преодолеть ограничения существующих мультимодальных датасетов. В качестве методов аугментации датасетов будут рассмотрены дифуззионные модели Kandinsky2-2, Stable Diffusion-2, Stable Diffusion XL. Сравним архитектуры моделей, время инференса и качество сгенерированных изображений в режиме восстановления выделенной области изображения.
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #CV #selfdriving #multimodal #diffusion
❤🔥6❤2🔥2
Пришла весна🌸
У меня снова появлилось настроение и желание ботать😼
Поэтому держите разбор мини темки👇
🟢Автоэнкодеры — это нейронные сети прямого распространения, которые восстанавливают входной сигнал на выходе. Автоэнкодеры конструируются таким образом, чтобы не иметь возможность точно скопировать вход на выходе.
Автоэнкодеры состоят из двух частей: энкодера g и декодера f. Энкодер переводит входной сигнал в его представление (код): h = g(x), а декодер восстанавливает сигнал по его коду: x=f(h). Автоэнкодер, изменяя f и g, стремится выучить тождественную функцию x = f(g(x)), минимизируя какой-то функционал ошибки: L(x, f(g(x)))
При этом семейства функций энкодера g и декодера f как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.
#about_ml
У меня снова появлилось настроение и желание ботать😼
Поэтому держите разбор мини темки👇
🟢Автоэнкодеры — это нейронные сети прямого распространения, которые восстанавливают входной сигнал на выходе. Автоэнкодеры конструируются таким образом, чтобы не иметь возможность точно скопировать вход на выходе.
Автоэнкодеры состоят из двух частей: энкодера g и декодера f. Энкодер переводит входной сигнал в его представление (код): h = g(x), а декодер восстанавливает сигнал по его коду: x=f(h). Автоэнкодер, изменяя f и g, стремится выучить тождественную функцию x = f(g(x)), минимизируя какой-то функционал ошибки: L(x, f(g(x)))
При этом семейства функций энкодера g и декодера f как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.
#about_ml
❤6
🟢Примеры автоэнкодеров:
🔹Сжимающий автоэнкодер
Состоит из двух полносвязных слоев: енкодера и декодера.
🔹Глубокий автоэнкодер
Такой же автоэнкодер, но с большим числом слоев. Может вычленять более сложные нелинейные закономерности.
🔹Сверточный автоэнкодер
Присутствует некоторая пространственная инвариантность. Несмотря на то, что количество параметров у этой сети намного меньше чем у полносвязных сетей, функция ошибки насыщается на значительно меньшей величине.
🔹Denoising автоэнкодер
Автоэнкодеры можно обучить убирать шум из данных: на вход подавать зашумленные данные и на выходе сравнивать с данными без шума: L(x, f(g(x'))), где x' — зашумленные данные.
🔹Разреженный (Sparse) автоэнкодер
Разреженный автоэнкодер — просто автоэнкодер, у которого в функцию потерь добавлен штраф за величины значений в коде, то есть автоэнкодер стремится минимизировать такую функцию ошибки: L(x, f(g(x))) + Ω(h), где h = g(x) — код, Ω(h) — обычный регуляризатор (например L1): Ω(h) = λ * |h|
Разреженный автоэнкодер не обязательно сужается к центру. Его код может иметь и большую размерность, чем входной сигнал. Обучаясь приближать тождественную функцию x = f(g(x)), он учится в коде выделять полезные свойства сигнала. Из-за регуляризатора даже расширяющийся к центру разреженный автоэнкодер не может выучить тождественную функцию напрямую.
Если есть какие-то вопросы, замечания, предложения - жду комментариев🙃
Ссылка на хабр с кодом
#about_ml
🔹Сжимающий автоэнкодер
Состоит из двух полносвязных слоев: енкодера и декодера.
🔹Глубокий автоэнкодер
Такой же автоэнкодер, но с большим числом слоев. Может вычленять более сложные нелинейные закономерности.
🔹Сверточный автоэнкодер
Присутствует некоторая пространственная инвариантность. Несмотря на то, что количество параметров у этой сети намного меньше чем у полносвязных сетей, функция ошибки насыщается на значительно меньшей величине.
🔹Denoising автоэнкодер
Автоэнкодеры можно обучить убирать шум из данных: на вход подавать зашумленные данные и на выходе сравнивать с данными без шума: L(x, f(g(x'))), где x' — зашумленные данные.
🔹Разреженный (Sparse) автоэнкодер
Разреженный автоэнкодер — просто автоэнкодер, у которого в функцию потерь добавлен штраф за величины значений в коде, то есть автоэнкодер стремится минимизировать такую функцию ошибки: L(x, f(g(x))) + Ω(h), где h = g(x) — код, Ω(h) — обычный регуляризатор (например L1): Ω(h) = λ * |h|
Разреженный автоэнкодер не обязательно сужается к центру. Его код может иметь и большую размерность, чем входной сигнал. Обучаясь приближать тождественную функцию x = f(g(x)), он учится в коде выделять полезные свойства сигнала. Из-за регуляризатора даже расширяющийся к центру разреженный автоэнкодер не может выучить тождественную функцию напрямую.
Если есть какие-то вопросы, замечания, предложения - жду комментариев🙃
Ссылка на хабр с кодом
#about_ml
Хабр
Автоэнкодеры в Keras, Часть 1: Введение
Содержание Часть 1: Введение Часть 2: Manifold learning и скрытые ( latent ) переменные Часть 3: Вариационные автоэнкодеры ( VAE ) Часть 4: Conditional VAE Часть 5: GAN (Generative Adversarial...
🔥5❤3
Forwarded from Center for Cognitive Modeling
🎓 — Семинар 26. 66-ая Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ
Сегодня в качестве семинара пройдет у нас будет Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ, на которой будем заслушивать доклады участников, чьи работы прошли отбор на конференцию. Среди всех участников выступят и наши сотрудники: Ульяна Изместьева, Ольга Матыкина, Егор Черепанов, Александр Чернявский, Анатолий Борзилов, Владислав Кузнецов, Zhang Huzhenyu, Александр Мелехин, Денис Васильев и Егор Зубков!
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #конференции #мфти #ии
Сегодня в качестве семинара пройдет у нас будет Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ, на которой будем заслушивать доклады участников, чьи работы прошли отбор на конференцию. Среди всех участников выступят и наши сотрудники: Ульяна Изместьева, Ольга Матыкина, Егор Черепанов, Александр Чернявский, Анатолий Борзилов, Владислав Кузнецов, Zhang Huzhenyu, Александр Мелехин, Денис Васильев и Егор Зубков!
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #конференции #мфти #ии
❤5👍3
Вечер воскресенья, впереди майские праздники🌸
А мне грустно от того, что я уже больше полугода в Москве, а роста себя как специалиста почти не ощущаю(((
Начала копать причины - почему так происходит? Как всегда натыкаюсь на одну и ту же проблемную часть себя - отсутствие дисциплины. Я слишком завязана на своих эмоциях, а учитывая то, что я очень эмоциональный человек, бывает трудно с ними совладать... Исходя из этого начинает страдать продуктивность и отдых, появляется тревожность, что отражается на физическом здоровье😬
Снова ищу методы решения такой проблемы. Наткнулась на прикольный видос с клевой анимацией на мой вкус. Легко и доступно преподнесли материал. Да, рассказали про очевидные вещи. Но для таких людей как я, у которых в голове вечно бардак, полезно слушать что-то подобное, потому что направляет в правильное русло мыслей и действий)))
Основные поинты ниже
Морально подготовься
Силы воли не существует (как и лени)
Необходимо твердо решить, что тебе это надо
Причины почему не можешь соблюдать дисциплину:
1. Берешь на себя слишком много - работай в своем темпе
2. Ждешь быстрых результатов. Плохо сейчас - хорошо потом
3. Много чешешь языком 🙂 Когда делишься слишком много своими планами или представляешь все достигнутые цели - психика думает, что это уже есть в реальности.
Начни делать
Лайфхаки для достижения целей:
1. Раздели большую цель на более мелкие
2. Определи вознаграждения за сделанный кусок работы (Чувствую себя рл агентом). Награда должна быть соразмерна со сделанным
3. Меньше отвлекайся - ограничь время на залипание в соцсети и тп. Хотя, можно контролировать этот процесс будильником
Не останавливайся
Чтобы поддержать дисциплину - нужно этого хотеть.
Если все время страдаешь - то тебя хватит не на долго
Ссылочка на видосик
#diff
А мне грустно от того, что я уже больше полугода в Москве, а роста себя как специалиста почти не ощущаю(((
Начала копать причины - почему так происходит? Как всегда натыкаюсь на одну и ту же проблемную часть себя - отсутствие дисциплины. Я слишком завязана на своих эмоциях, а учитывая то, что я очень эмоциональный человек, бывает трудно с ними совладать... Исходя из этого начинает страдать продуктивность и отдых, появляется тревожность, что отражается на физическом здоровье😬
Снова ищу методы решения такой проблемы. Наткнулась на прикольный видос с клевой анимацией на мой вкус. Легко и доступно преподнесли материал. Да, рассказали про очевидные вещи. Но для таких людей как я, у которых в голове вечно бардак, полезно слушать что-то подобное, потому что направляет в правильное русло мыслей и действий)))
Основные поинты ниже
Морально подготовься
Силы воли не существует (как и лени)
Необходимо твердо решить, что тебе это надо
Причины почему не можешь соблюдать дисциплину:
1. Берешь на себя слишком много - работай в своем темпе
2. Ждешь быстрых результатов. Плохо сейчас - хорошо потом
3. Много чешешь языком 🙂 Когда делишься слишком много своими планами или представляешь все достигнутые цели - психика думает, что это уже есть в реальности.
Начни делать
Лайфхаки для достижения целей:
1. Раздели большую цель на более мелкие
2. Определи вознаграждения за сделанный кусок работы (Чувствую себя рл агентом). Награда должна быть соразмерна со сделанным
3. Меньше отвлекайся - ограничь время на залипание в соцсети и тп. Хотя, можно контролировать этот процесс будильником
Не останавливайся
Чтобы поддержать дисциплину - нужно этого хотеть.
Если все время страдаешь - то тебя хватит не на долго
Ссылочка на видосик
#diff
YouTube
Дисциплина для Ленивых
Ссылка на YouTube-канал Михаила Алистера для руководителей - https://youtube.com/@mik_alister
Реклама. ООО «Алистер», ИНН: 4632198137, erid: LjN8K89FC
Йоу, мы тут сделали ролик, который поможет тебе выполнить все твои грандиозные планы. Те, что ты там под…
Реклама. ООО «Алистер», ИНН: 4632198137, erid: LjN8K89FC
Йоу, мы тут сделали ролик, который поможет тебе выполнить все твои грандиозные планы. Те, что ты там под…
❤6