Forwarded from Старший Авгур
Классная новая лекция Саши Раша про историю языковых моделей.
Включает в себя:
- Очень понятный вывод перплексии и её влияния на остальные метрики
- Сравнение с древними n-граммными моделями
- Вывод механизма внимания как аппроксимацию key-value памяти
- Понятные переходы “n-граммная модель -> word2vec -> трансформеры”
- Объяснение важности иерархии памяти в GPU при матричном умножении
- Scaling law Шиншиллы
- RASP, довольно забавный язык программирования, основанный на механизме внимания. Язык этот используется для того, чтобы показать, как трансформеры могут делать те или иные операции.
Что я узнал нового? Только часть про RASP, которую я как-то пропустил года 2 назад.
Но всё равно лекция довольно интересная.
Видео: https://www.youtube.com/watch?v=KCXDr-UOb9A
Презентация: https://link.excalidraw.com/p/readonly/aBWlNjEckdUlrszwwo6V
Включает в себя:
- Очень понятный вывод перплексии и её влияния на остальные метрики
- Сравнение с древними n-граммными моделями
- Вывод механизма внимания как аппроксимацию key-value памяти
- Понятные переходы “n-граммная модель -> word2vec -> трансформеры”
- Объяснение важности иерархии памяти в GPU при матричном умножении
- Scaling law Шиншиллы
- RASP, довольно забавный язык программирования, основанный на механизме внимания. Язык этот используется для того, чтобы показать, как трансформеры могут делать те или иные операции.
Что я узнал нового? Только часть про RASP, которую я как-то пропустил года 2 назад.
Но всё равно лекция довольно интересная.
Видео: https://www.youtube.com/watch?v=KCXDr-UOb9A
Презентация: https://link.excalidraw.com/p/readonly/aBWlNjEckdUlrszwwo6V
YouTube
Large Language Models in Five Formulas
Tutorial on building intuition about LLMs.
Slides: https://link.excalidraw.com/p/readonly/aBWlNjEckdUlrszwwo6V or https://github.com/srush/LLM-Talk/blob/main/Tutorial.pdf
00:00 - Intro
02:15 - 1: Generation (Perplexity)
15:40 - 2: Memory (Attention)
28:00…
Slides: https://link.excalidraw.com/p/readonly/aBWlNjEckdUlrszwwo6V or https://github.com/srush/LLM-Talk/blob/main/Tutorial.pdf
00:00 - Intro
02:15 - 1: Generation (Perplexity)
15:40 - 2: Memory (Attention)
28:00…
Forwarded from историк-алкоголик
Ехал сегодня с Такером Карлсоном из центра до аэропорта Пулково.
Говорит, что таксует для души, а так-то он популярный журналист.
Говорит, что таксует для души, а так-то он популярный журналист.
🤣2
Я даже не знаю, какая из вчерашних новостей более забавная:
то что на яблокошлеме нельзя смотреть 3д порно или то что Карлсон снимал свой видосс извинениями на крыше.
то что на яблокошлеме нельзя смотреть 3д порно или то что Карлсон снимал свой видос
В рамках борьбы с плоскостопием у мужской части населения, дома появился бодибар. Новые грани БДСМ уже в сторис 😉
Forwarded from Беспощадный пиарщик
Илон Маск выложил в Твиттере стандарты по инклюзивности для творческих коллективов компании Disney. Если совсем коротко, девочки, это документ, в котором описано, сколько пидоров и черных должно быть в производимых ими продуктах и в коллективах, которые эти продукты производят. И если произведение этим стандартам не соответствует, оно идет нахуй в прокат не выходит. Вероятно, девочки, существуют люди, то есть комиссия, которая оценивает новые продукты кинокомпании согласно этой табличке.
Бумагу миллиардеру, по его словам, прислали на условиях анонимности.
Итак, стандарты инклюзивности у Disney такие:
1️⃣ «Экранное время» — у произведения должно быть 50% и более главных героев из «недопредставленных групп» (пидоры или ЛГБТ+), играть их должны актеры из тех же групп.
2️⃣ «Творческие сотрудники» — тут по критерию «недопредставленных групп» оцениваются продюсеры, сценаристы, директора по кастингу и т.д. Пидоров среди них должно быть не менее 50%.
3️⃣ «Второстепенные сотрудники» — критерий для нижестоящих сотрудников. К примеру, 50% технических сотрудников тоже должны быть из «недопредставленных групп».
4️⃣ «Доступность найма и карьерные возможности»: произведение оценивается по наличию ущемленных волонтеров и вообще влиянию на привлечение представителей ущемленных в мир кино.
В стандартах также речь идет и о приёме на работу: рекрутерам запрещено спрашивать кандидатов о расе, поле, гендерной идентичности, возрасте, болезнях и т.д.
«Это обязательный узаконннный расизм и сексизм!» — написал Маск.
Он также пообещал помочь всем обиженным этими стандартами.
«Если вы подверглись дискриминации со стороны Disney или ее дочерних компаний (ABC, ESPN, Marvel и т. д.), просто ответьте на это сообщение, чтобы получить юридическую поддержку», — написал предприниматель.
А мы ведь не шутили, когда писали, что в американское кино пидоров по квоте берут.
Бумагу миллиардеру, по его словам, прислали на условиях анонимности.
Итак, стандарты инклюзивности у Disney такие:
В стандартах также речь идет и о приёме на работу: рекрутерам запрещено спрашивать кандидатов о расе, поле, гендерной идентичности, возрасте, болезнях и т.д.
«Это обязательный узаконннный расизм и сексизм!» — написал Маск.
Он также пообещал помочь всем обиженным этими стандартами.
«Если вы подверглись дискриминации со стороны Disney или ее дочерних компаний (ABC, ESPN, Marvel и т. д.), просто ответьте на это сообщение, чтобы получить юридическую поддержку», — написал предприниматель.
А мы ведь не шутили, когда писали, что в американское кино пидоров по квоте берут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from I’m CEO, beach
Команда, узнайте, можно ли циклон «Ольга» переименовать в честь нашего бухгалтера «Ольга Валерьевна»? Мне кажется, так больше подходит. Прям смотрю на улицу и там полная "Ольга Валерьевна" какая-то.
🤣3🔥1
Forwarded from ИА Панорама
Верховный суд США напомнил об уголовной ответственности за просмотр интервью Такера Карлсона с Путиным
Текст: Аполлинарий Ягужинский
Текст: Аполлинарий Ягужинский
ИА Панорама
Верховный суд США напомнил об уголовной ответственности за просмотр интервью Такера Карлсона с Путиным
Согласно действующему с 1948 года «Акту о защите свободы информации», Верховный суд США запретил всем гражданам и резидентам страны смотреть, слушать, а также з...