Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
Linux terminal + gpt4o.avi
UPD. Я опять забыл что существует компрессия файлов, сорьки
UPD. Я опять забыл что существует компрессия файлов, сорьки
🌭31 12🤡5❤3💩3🥴3 2😁1
Никто не знает зачем, но чувак написал на голом торче llama3.
Почитайте, ознакомьтесь со слоями, полезно для собесов, бесполезно в жизни.
много картинок которые помогут выробатать интуицию вида: а на что у меня смотрит модель, а почему меня ротари и ответить на вопрос: а почему так
GitHub
Почитайте, ознакомьтесь со слоями, полезно для собесов, бесполезно в жизни.
много картинок которые помогут выробатать интуицию вида: а на что у меня смотрит модель, а почему меня ротари и ответить на вопрос: а почему так
GitHub
🔥110❤13🥴11
Forwarded from Generative Anton (Anton Repushko)
ну, наша SOTA.
Вообще надо бы рассказать про всякие бенчмарки как-нибудь.
Вообще надо бы рассказать про всякие бенчмарки как-нибудь.
👍45❤5💯1
Forwarded from ливлайкгэнгста в мире животных
Мастер и Маргарита в 2024:
Аннушка уже разлила свой спф от Sol De Janeiro, Берлиоза переехал школьник в хром хартс на электросамокате, Воланд три часа пытался загипнотизировать хостес в Хорошей Девочке, чтоб ему нашли свободный стол, Азазелло снялся в каждом рилсе «сколько ты зарабатываешь в месяц?» и продал несколько курсов, вместо кота Бегемота - мальтипу Микки, Маргарита, жена ресторатора, помогала писать Мастеру, диджею в отставке, посты для его тг-канала, а после бала в Родине свита Воланда дружно улетела в Дубай
Аннушка уже разлила свой спф от Sol De Janeiro, Берлиоза переехал школьник в хром хартс на электросамокате, Воланд три часа пытался загипнотизировать хостес в Хорошей Девочке, чтоб ему нашли свободный стол, Азазелло снялся в каждом рилсе «сколько ты зарабатываешь в месяц?» и продал несколько курсов, вместо кота Бегемота - мальтипу Микки, Маргарита, жена ресторатора, помогала писать Мастеру, диджею в отставке, посты для его тг-канала, а после бала в Родине свита Воланда дружно улетела в Дубай
❤54🔥14😁12🤔3👍2💅1
чатботы служат одной цели - промоушен менеджеров в clevels
💯29🥴14❤1
Помните шоу трумана?
Короче тут ребята из/a16z сделали интерактивное LLM шоу трумана, все NPC это llama3, довольно занудное зрелище, но если очень хочется посмотреть - вот ссылка.
Таких работ примерно миллион, все они примерно не о чем, серьезно их читать не стоит, но пофантазировать о Sims7 через пару лет - можно.
ai town
Короче тут ребята из/a16z сделали интерактивное LLM шоу трумана, все NPC это llama3, довольно занудное зрелище, но если очень хочется посмотреть - вот ссылка.
Таких работ примерно миллион, все они примерно не о чем, серьезно их читать не стоит, но пофантазировать о Sims7 через пару лет - можно.
ai town
Forwarded from AbstractDL
Your Transformer is Secretly Linear
Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь один
Такая неадекватная линейность наблюдается во всех трансформерах-декодерах (GPT, Llama, Mistral, и тд.). Мы предполагаем, что это связано с feature triggering режимом, то есть нелинейность "вспыхивает" на очень небольшом количестве важных токенов (что-то похожее было в статье Deja Vu). Поэтому совсем уж много слоёв таким образом заменить нельзя, нелинейность хоть сама по себе и крошечная, но её влияние очень быстро накапливается.
Ещё из интересных наблюдений — по мере претрейна нелинейность растёт, а во время файнтюнинга (или RLHF) она всегда падает. Исходя из этого, мы придумали регуляризацию, которая немножко усиливает нелинейность и бустит метрики на претрейне.
P.S. Вместе с кодом для оценки линейности слоёв трансформеров мы выкладываем и код к прошлой нашей статье про анизотропию и внутреннюю размерность.
Статья, GitHub
Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь один
nn.Linear(), а модель будет работать, будто бы ничего не поменялось!Такая неадекватная линейность наблюдается во всех трансформерах-декодерах (GPT, Llama, Mistral, и тд.). Мы предполагаем, что это связано с feature triggering режимом, то есть нелинейность "вспыхивает" на очень небольшом количестве важных токенов (что-то похожее было в статье Deja Vu). Поэтому совсем уж много слоёв таким образом заменить нельзя, нелинейность хоть сама по себе и крошечная, но её влияние очень быстро накапливается.
Ещё из интересных наблюдений — по мере претрейна нелинейность растёт, а во время файнтюнинга (или RLHF) она всегда падает. Исходя из этого, мы придумали регуляризацию, которая немножко усиливает нелинейность и бустит метрики на претрейне.
P.S. Вместе с кодом для оценки линейности слоёв трансформеров мы выкладываем и код к прошлой нашей статье про анизотропию и внутреннюю размерность.
Статья, GitHub
👍153🔥68❤13⚡3🤔3
пол зп на хату, остальное инвестируем в сырники под 5% годовых
❤101😁21🤔3😢2🥴2💯1
Оказывается гибрид комсомольца и рептилоида ещё и социопат с кабальными контрактами.
Минусов не будет, agi till 2027 как говорится.
https://readhacker.news/s/68jMz
Минусов не будет, agi till 2027 как говорится.
https://readhacker.news/s/68jMz
😁15👍6🔥4❤1 1
Споpят химик, физик и специалист по искусственному интеллекту, какое самое великое изобретение.
Химик: - Таблица Менделеева.
Физик: - Теоpия относительности.
Специалист по искусственному интеллекту: - ТЕРМОС!
Химик и физик: - Что?
- Ну, смотрите сами: наливаем холодную воду, выливаем - опять холодная. Так?
- Да. Hу и?
- Hаливаем горячую, выливаем - опять горячая. Так?
- Hу?
- А откуда он знает???
Химик: - Таблица Менделеева.
Физик: - Теоpия относительности.
Специалист по искусственному интеллекту: - ТЕРМОС!
Химик и физик: - Что?
- Ну, смотрите сами: наливаем холодную воду, выливаем - опять холодная. Так?
- Да. Hу и?
- Hаливаем горячую, выливаем - опять горячая. Так?
- Hу?
- А откуда он знает???
😁134🤡129 28 15 10👍5🤔4 4 3🥴2🔥1
Юрген выдавал базу ещё в 1991, просто лекун и авторы трансформера все украли и не процитировали.
Архив
Архив
👍51 15 7🔥5🤓2😁1 1
Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
Приболел и застрял дома, поэтому сделал в этот раз более полезную GPT конкретно для ChatGPT приложений в режиме «аудио»:
Если вы искали работу, то вы наверное помните как это стрессово — во время интервью, HR может задать какие-то вопросы по CV, и хоть вы их и знаете, можете разнервничаться, запинаться — отсутствие практики сильно добавляет тревожности.
Многие с кем я говорил, кто работает в корпорациях из топа IT — часто говорили что «пройти собеседование» это навык, который можно практиковать и развивать, а сама работа отличается от того, что спрашивают на собеседованиях (так везде☕️ ).
Чтобы помощь как-то людям, появилось целое направление HR-видео для кандидатов — они называются «Mock Interview» или «Интервью покабудки»:
Псевдо-собеседование записывается на камеру, иногда между реальным HR и реальным сотрудником из какой-то корпорации, потом выкладывается на Yotube и кандидатам это помогает понять как именно отвечать на вопросы и как готовиться к интервью.
Естественно, такое интервью — не адаптировано конкретно под ваше резюме, конкретно под ваш язык, или под вакансию на которую вы откликаетесь.
Поскольку мы уже живем в АИ-будущем, я подумал что это нужно исправить.
⚙️ Mock Interview Practice GPT:
1) Сохраняете вакансию и ваше CV в виде PDF или HTML страницы, или просто копируете как текст (только отметьте где что)
2) Открываете мою новую GPT «Mock Interview Practice»
3) Вставляете туда файлы / текст, и пишите ей в стиле «Спасибо что пригласили меня, давайте начнем»
4) GPT предложит вам включить «Voice Mode» (иконка 🎧 в аппе, в вебе этой функции нет) — обязательн включите его
5) Проходите интервью как в жизни — займет минут 15-20, в конце, попросите дать фидбек по тому, что улучшить и над чем поработать
6) Добро пожаловать в OpenAI, передавайте привет Сэму
GPT поддерживает все языки, в видео пример (и я болеющий)
Если вы искали работу, то вы наверное помните как это стрессово — во время интервью, HR может задать какие-то вопросы по CV, и хоть вы их и знаете, можете разнервничаться, запинаться — отсутствие практики сильно добавляет тревожности.
Многие с кем я говорил, кто работает в корпорациях из топа IT — часто говорили что «пройти собеседование» это навык, который можно практиковать и развивать, а сама работа отличается от того, что спрашивают на собеседованиях (так везде
Чтобы помощь как-то людям, появилось целое направление HR-видео для кандидатов — они называются «Mock Interview» или «Интервью покабудки»:
Псевдо-собеседование записывается на камеру, иногда между реальным HR и реальным сотрудником из какой-то корпорации, потом выкладывается на Yotube и кандидатам это помогает понять как именно отвечать на вопросы и как готовиться к интервью.
Естественно, такое интервью — не адаптировано конкретно под ваше резюме, конкретно под ваш язык, или под вакансию на которую вы откликаетесь.
Поскольку мы уже живем в АИ-будущем, я подумал что это нужно исправить.
1) Сохраняете вакансию и ваше CV в виде PDF или HTML страницы, или просто копируете как текст (только отметьте где что)
2) Открываете мою новую GPT «Mock Interview Practice»
3) Вставляете туда файлы / текст, и пишите ей в стиле «Спасибо что пригласили меня, давайте начнем»
4) GPT предложит вам включить «Voice Mode» (иконка 🎧 в аппе, в вебе этой функции нет) — обязательн включите его
5) Проходите интервью как в жизни — займет минут 15-20, в конце, попросите дать фидбек по тому, что улучшить и над чем поработать
6) Добро пожаловать в OpenAI, передавайте привет Сэму
GPT поддерживает все языки, в видео пример (и я болеющий)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤62⚡4🔥4👍1
Релиз 5.* вихря
Арена на этих данных. Релиз арены выйдет ДАННЫЕ УДАЛЕНЫ
апвотить папир тут
модель
если вы случайно богатый дон или компания с кучей лишних карт - мы ждем вас @transformerslovedeatch
Авторы: @nlpwanderer @mlunderground
Арена на этих данных. Релиз арены выйдет ДАННЫЕ УДАЛЕНЫ
апвотить папир тут
модель
если вы случайно богатый дон или компания с кучей лишних карт - мы ждем вас @transformerslovedeatch
Авторы: @nlpwanderer @mlunderground
👍32🔥6 2