Forwarded from DL in NLP (nlpcontroller_bot)
Performance and Scalability: How To Fit a Bigger Model and Train It Faster
huggingface.co/docs/transformers/master/en/performance
Кажется посты про то, как тренировать модели побольше и побыстрее становятся всё актуальнее с каждым месяцем. Вот в этом посте (который на самом деле кусок документации) обсуждают кучу полезных моментов начиная с простых вещей, таких как размер батча и mixed precision и заканчивая хитрыми вещами вроде mixture of experts. Если пройти подалье, будет ещё отличный пост про model parallelism. Я уже выделил себе время на неделе чтобы поиграться с этими вещами, рекомендую и вам.
huggingface.co/docs/transformers/master/en/performance
Кажется посты про то, как тренировать модели побольше и побыстрее становятся всё актуальнее с каждым месяцем. Вот в этом посте (который на самом деле кусок документации) обсуждают кучу полезных моментов начиная с простых вещей, таких как размер батча и mixed precision и заканчивая хитрыми вещами вроде mixture of experts. Если пройти подалье, будет ещё отличный пост про model parallelism. Я уже выделил себе время на неделе чтобы поиграться с этими вещами, рекомендую и вам.
#чтивонаночь
Всё же знают vqgan? Ну который энкодер у Dalle image seq2seq трансформер, который как бы трансформер.
А ещё с его можно использовать для генерации спектрограм(картинок по сути) а их в свою очередь конвертировать в аудио.
Послушать
Гит
Коллаб
Всё же знают vqgan? Ну который энкодер у Dalle image seq2seq трансформер, который как бы трансформер.
А ещё с его можно использовать для генерации спектрограм(картинок по сути) а их в свою очередь конвертировать в аудио.
Послушать
Гит
Коллаб
Для меня взросление — это, скорее, система ритуалов и компромиссов. Некоторая программа снижения вреда, не более. Не могу сказать, что я всем сердцем принимаю правила игры, это просто некий контракт, в котором регламентировано мое взаимодействие с миром.
Любая культура в каком-то смысле репрессивна для субъекта, как система, ранжирующая иерархию ценностей, поощряя одни и неизбежно подавляя другие. То, с чем я сталкивался, например, в средней школе, как мне кажется, куда точнее называть уравниловкой или конвейером нормализации. Так что, с моей точки зрения, правильно говорить о стратегиях снижения вреда для индивидуума, о достаточном пространстве между субъективным и массовым, которое мне кажется потенциально тоталитарным.
Любая культура в каком-то смысле репрессивна для субъекта, как система, ранжирующая иерархию ценностей, поощряя одни и неизбежно подавляя другие. То, с чем я сталкивался, например, в средней школе, как мне кажется, куда точнее называть уравниловкой или конвейером нормализации. Так что, с моей точки зрения, правильно говорить о стратегиях снижения вреда для индивидуума, о достаточном пространстве между субъективным и массовым, которое мне кажется потенциально тоталитарным.
#чтивонаночь
Я люблю задачу суммаризацию. Более того, я считаю ее одной из самых интересных в современном NLP и самых важных.
А тут уважаемый Илья Гусев выпустил прекрасный материал по способам суммаризации.
Хабр
А ниже рассмотрены методы суммаризации без учителя, на основе статистика употреблений слов
Коллаб
Я люблю задачу суммаризацию. Более того, я считаю ее одной из самых интересных в современном NLP и самых важных.
А тут уважаемый Илья Гусев выпустил прекрасный материал по способам суммаризации.
Хабр
А ниже рассмотрены методы суммаризации без учителя, на основе статистика употреблений слов
Коллаб
Хабр
Извлекающие методы автоматического реферирования
И снова всем привет! На этот раз рассмотрим извлекающие методы, которым нужны эталонные рефераты для обучения. При этом эти методы всё ещё могут лишь выбирать предложения из оригинального текста. К...
Собственно да, все мы любим gpu, а ещё полезно знать как писать алгосы с уклоном в паралелизацию на gpu, а понять и послушать можно тут.
YouTube
1. История видеокарт, введение в OpenCL
https://compscicenter.ru/
Лекция №1 курса «Вычисления на видеокартах» (осень 2021)
Преподаватель — Николай Полярный
Страница лекции на сайте CS центра: https://bit.ly/3oyHgtS
Лекция №1 курса «Вычисления на видеокартах» (осень 2021)
Преподаватель — Николай Полярный
Страница лекции на сайте CS центра: https://bit.ly/3oyHgtS
Короче да, perciver теперь доступен из Huggingface, а значит эпоха мултимодальности не за горами
https://huggingface.co/blog/perceiver
https://huggingface.co/blog/perceiver
huggingface.co
Perceiver IO: a scalable, fully-attentional model that works on any modality
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Forwarded from addmeto (Grigory Bakunov 🧪)
Вчера TikTok анонсировали свою платформу для стриминга и сейчас, похоже, будет скандал. Потому что оказалось, что софт для стримминга это переделанный OBS, опенсорсное решение для стриминга на всех платформах. Но OBS распространяется под лицензией GPL, а значит и лайв TikTok’а должен быть с этой же лицензией, а это не так.
Чем дальше, тем больше таких скандалов будет. Надеюсь, что теперь решение от тикток будет выложено в исходных текстах для всех https://twitter.com/Naaackers/status/1471494415306788870
Чем дальше, тем больше таких скандалов будет. Надеюсь, что теперь решение от тикток будет выложено в исходных текстах для всех https://twitter.com/Naaackers/status/1471494415306788870
Twitter
Naaackers
Remember yesterday’s news about TikTok releasing a go live platform? Turns out it’s a fork of @OBSProject Shoutout to @HunterAP23 for pointing this out STOP STEALING FROM OBS JESUS
Чтож, The flow и крупные издания наконец начали обращать внимание на MUJUICE - самого недооцененого исполнителя в прицнипе, выдали ему ТОП2 в этом году и в некотором роде призанание. При условии что человек пишет примерно одинаковую музыку уже 15 лет это чудо. Наконец большая общественность узнает об этом прекрасном исполнителе и никто не будет переспрашивать: Мужу что?
Лучший анекдот за последнее время
I exclusively have sex with antivax women
Because 4 years of child support is better than 18
I exclusively have sex with antivax women
Because 4 years of child support is better than 18
Человеческое поведение - это как будто вяжущая саму себя вязаная кукла. Все начиналось с одиночных стяжков, которые закреплялись, когда так или иначе случайная флуктуация в поведении закреплялась, запоминалась (разными путями, через разные системы и с помощью разных нейромедиаторов - именно поэтому совсем не любое изначальное, древнее поведение было "рациональным") и становилась основой для следующих случайных новых вариантов поведения. Сложно сказать, что является источником случайных изменений: либо это мир предоставляет случайности, на которых алгоритмы реакций организма строят новое, либо сами алгоритмы накапливают ошибки, "мутации", либо и то, и другое имеет место одновременно. Но важно то, что сейчас уже накоплено так много выглядещего цельным "полотна" для этой "вязаной куклы" (собственно, это полотно и есть она), что новое уже по большей части формируется руками этой "куклы", ее собственная структура становится источником движения для той машины, которая до этого случайно делала первые петли и стяжки. И большая часть изменений теперь кажутся осознанными, хотя их изначальный источник - в случайных изменениях мира.
Forwarded from Dan Okhlopkov - канал
😎 Хакатоновский флексомер
🛹/5 - Ты ходишь на хакатоны. Ты не просто работаешь/учишься, а еще при этом проявляешь инициативу. Ты крутой.
🛹🛹/5 - Тебе приглашают в команду крутые ребята. Ты доказал всем, что шаришь. Ты крутой.
🛹🛹🛹/5 - Ты побеждаешь на хакатонах. Пилишь призовые, обновляешь линкедин и аватарки. Ты крутой.
🛹🛹🛹🛹/5 - Ты бывалый убийца хакатонов. Уже не участвуешь в них, даёшь новеньким получить опыт и заработать первые деньги. Ты крутой.
🛹🛹🛹🛹🛹/5 - Ты выигрываешь хакатоны, даже не участвуя. Тебе прилетают поздравления, а ты такой "а?"
🛹/5 - Ты ходишь на хакатоны. Ты не просто работаешь/учишься, а еще при этом проявляешь инициативу. Ты крутой.
🛹🛹/5 - Тебе приглашают в команду крутые ребята. Ты доказал всем, что шаришь. Ты крутой.
🛹🛹🛹/5 - Ты побеждаешь на хакатонах. Пилишь призовые, обновляешь линкедин и аватарки. Ты крутой.
🛹🛹🛹🛹/5 - Ты бывалый убийца хакатонов. Уже не участвуешь в них, даёшь новеньким получить опыт и заработать первые деньги. Ты крутой.
🛹🛹🛹🛹🛹/5 - Ты выигрываешь хакатоны, даже не участвуя. Тебе прилетают поздравления, а ты такой "а?"