Love. Death. Transformers.
Всем привет! В эту субботу в 14:00 МСК будет онлайн-лекция для Better Data Community, от Ильи Гусева, старшего инженера по машинному обучению в Букинге, автора Сайги. Лекция будет про архитектуры, альтерантивные трансформерам, а именно про линейные рекуррентные…
Все медленные процессы проперлись, толстовка доехала до автора лекции, а видео доехало до youtube!
Смотреть лекцию
Upd ютуб процессит видео, поэтому оно пока что в 360p, позже появиться 1080p
Смотреть лекцию
Upd ютуб процессит видео, поэтому оно пока что в 360p, позже появиться 1080p
YouTube
Лекция Ильи Гусева - Закат трансформеров? [0]
Онлайн-лекция для Better Data Community, от Ильи Гусева, старшего инженера по машинному обучению в Букинге, автора Сайги. Лекция будет про архитектуры, альтерантивные трансформерам, а именно про линейные рекуррентные сети.
Материалы лекции:
https://drive…
Материалы лекции:
https://drive…
🔥31❤5👍2❤🔥1😁1
Привет! Приходите к нам на онлайн-встречу
Дата: 21 октября (суббота)
Время: 17:00 по московскому времени
Спикеры — Лёша Палецких и Наташа Мартемьянова из HR-агентства Luna Park (@hrlunapark), которое специализируется на поиске лучших талантов и работает с AI safety организациями (а Лёша ещё занимался safety исследованиями под руководством Виктории Краковны из Deepmind!)
Тема встречи: "AI safety — безопасность искусственного интеллекта"
О чем будем говорить:
🔸Какие риски сопряжены с развитием искусственного интеллекта
🔸Почему создание безопасного искусственного интеллекта — задача нетривиальная
🔸Где можно получить дополнительную информацию и углубиться в тему
Подключайтесь к нам в субботу, 21 октября, в 17:00 по московскому времени!
трансляция будет в телеграм @betterdatacommunity
Дата: 21 октября (суббота)
Время: 17:00 по московскому времени
Спикеры — Лёша Палецких и Наташа Мартемьянова из HR-агентства Luna Park (@hrlunapark), которое специализируется на поиске лучших талантов и работает с AI safety организациями (а Лёша ещё занимался safety исследованиями под руководством Виктории Краковны из Deepmind!)
Тема встречи: "AI safety — безопасность искусственного интеллекта"
О чем будем говорить:
🔸Какие риски сопряжены с развитием искусственного интеллекта
🔸Почему создание безопасного искусственного интеллекта — задача нетривиальная
🔸Где можно получить дополнительную информацию и углубиться в тему
Подключайтесь к нам в субботу, 21 октября, в 17:00 по московскому времени!
трансляция будет в телеграм @betterdatacommunity
❤23👍8🤡3🆒3
Выскажу штуку за которую меня будут бить коллеги по цеху, но она имеет смысл, по меньшей мере для меня самого.
Когда у меня много ГПУ, я смотрю что утилизация под 100, ничего не течёт, не просидает - живём короче. Но любые истории про подумать: например когда модель не работает должным образом или явно хуже чем должна я могу тупо залить компьютом - воткнуть больше эпох, больше модель, пролить больше данных.
Для мозга и менеджера это очень понятное решение, они явно должно работать.
Это напоминает планиметрию:
В школе были такие люди которые решали любую планиметрию на трех теоремах - не ну построим три доп окружности, посчитаем систему уравнений, бумаги много ща все решим.
В DL так тоже можно, ВСЁ текущее поколение LM основано на этом - давайте фильтранем данные умнее, давайте прокрутим больше токенов и больше модель.
Текущие ресерчи архитектур скорее мертвы чем живы, полтора китайца ковыряют rwkv, но без особых успехов и это печально.
Не думаю что для ближайшего поколения моделей правила скейлинга изменяться, но уже сейчас надо внимательно изучать альтернативные лоссы, структуры функций и почему трансформеры так работают.
Есть ли простой ответ как сделать умнее? Нет конечно, я по приколу написал)))😏
https://horace.io/brrr_intro.html
Когда у меня много ГПУ, я смотрю что утилизация под 100, ничего не течёт, не просидает - живём короче. Но любые истории про подумать: например когда модель не работает должным образом или явно хуже чем должна я могу тупо залить компьютом - воткнуть больше эпох, больше модель, пролить больше данных.
Для мозга и менеджера это очень понятное решение, они явно должно работать.
Это напоминает планиметрию:
В школе были такие люди которые решали любую планиметрию на трех теоремах - не ну построим три доп окружности, посчитаем систему уравнений, бумаги много ща все решим.
В DL так тоже можно, ВСЁ текущее поколение LM основано на этом - давайте фильтранем данные умнее, давайте прокрутим больше токенов и больше модель.
Текущие ресерчи архитектур скорее мертвы чем живы, полтора китайца ковыряют rwkv, но без особых успехов и это печально.
Не думаю что для ближайшего поколения моделей правила скейлинга изменяться, но уже сейчас надо внимательно изучать альтернативные лоссы, структуры функций и почему трансформеры так работают.
Есть ли простой ответ как сделать умнее? Нет конечно, я по приколу написал)))
https://horace.io/brrr_intro.html
Please open Telegram to view this post
VIEW IN TELEGRAM
❤62👍24😁2❤🔥1
ДАЙТЕ CENE655 ЕБУЧИЕ КАРТЫ, ОН ЗАЕБАЛ НЫТЬ МНЕ В ЛИЧКУ
🔥33😁10⚡2👎2❤1☃1
Love. Death. Transformers.
ДАЙТЕ CENE655 ЕБУЧИЕ КАРТЫ, ОН ЗАЕБАЛ НЫТЬ МНЕ В ЛИЧКУ
ЗДЕСЬ ЛЕЖАТ ТРИ ЭКСПЕРИМЕНТА,
Я ПРОСИЛ ВЧЕРА 128 КАРТ, 128 КАРТ И ТРИ SOTA БЫЛИ БЫ ПОЛУЧЕНЫ!!!
Я ПРОСИЛ ВЧЕРА 128 КАРТ, 128 КАРТ И ТРИ SOTA БЫЛИ БЫ ПОЛУЧЕНЫ!!!
🔥75🤣31🤡5😭4💊3😁1
#чтивонаночь по быстрому
Если вы знаете что такое formage то уже поняли суть, если кратко - то давайте положим в доп токены картиночные репрезентации из CLIP, а если мы можем использовать их для генерации ответа по изображению, то давайте еще и генерировать!
А затем полученные эмбеды можно класть в Stable Diffusion ведь она тоже использует CLIP!
А еще оно из коробки и максимально нативно понимает и генерирует картинки, а так же умеет работать с несколькими изображениями в контексте сразу(в отличии от llava)
blog
space
Принес @krists
Если вы знаете что такое formage то уже поняли суть, если кратко - то давайте положим в доп токены картиночные репрезентации из CLIP, а если мы можем использовать их для генерации ответа по изображению, то давайте еще и генерировать!
А затем полученные эмбеды можно класть в Stable Diffusion ведь она тоже использует CLIP!
А еще оно из коробки и максимально нативно понимает и генерирует картинки, а так же умеет работать с несколькими изображениями в контексте сразу(в отличии от llava)
blog
space
Принес @krists
🔥9🌚4
Forwarded from Жёлтый AI
Кто-то из вас помнит, кто-то нет – в прошлом году мы проводили NLP Monolog. Так вот, мы решили его повторить!
На этот раз мы расскажем:
- Как собирать датасеты для обучения своей собственной LLM
- О наших новых направлениях NLP исследований после выхода GPT-4
- И как устроена наша автоматизация поддержки
Все пройдет 19 октября в 19:00 в БЦ Водный. Будем ждать всех! 🐊
На этот раз мы расскажем:
- Как собирать датасеты для обучения своей собственной LLM
- О наших новых направлениях NLP исследований после выхода GPT-4
- И как устроена наша автоматизация поддержки
Все пройдет 19 октября в 19:00 в БЦ Водный. Будем ждать всех! 🐊
👍10🤡5🤮1🖕1🆒1
Офигеть как же это мощно выглядит!
У меня дома стоит несколько аудио систем разных типов и производителей, но это просто вау!
Посмотрите видео продукта, это прям круто!
У меня дома стоит несколько аудио систем разных типов и производителей, но это просто вау!
Посмотрите видео продукта, это прям круто!
❤24🤡18🤮7🥰5🔥3😁2🌚2🌭1
Forwarded from kyrillic
Про AI в реальных рабочих задачах и большом будущем. Меня можно назвать early adopter’ом - пользователем, который готов пробовать совсем новые инструменты. Прошло несколько месяцев с предыдущего поста, я активно пробовал множество разных инструментов с LLM и другие модные штуки.
Но за почти год взлета AI инструментов, выводы неутешительные! Пробовать и играться с новинками - это хоть каждый день, но чтобы применять в реальных задачах - кроме упомянутых в прошлых раз DeepL Write и gpt-4 в обсидиане, которыми я пользуюсь ежедневно, больше ничего так и не вошло в постоянную практику.
1️⃣ Также меня можно назвать AI-скептиком: я считаю, что “проект LLM” завершен (пост) - тут прорывов больше не будет. Но будет планомерное внедрение LLMs там, где это добавляет ценности. А такое прежде всего не в айтишных задачах, где есть куча софта, а скорее в процессах, которых по сути не коснулась диджитализация.
Например там, где еще много бумаги, но предыдущие способы автоматизации (без AI) не давали большого увеличения эффективности, и отчасти поэтому там все оставалось бумажным. А теперь у нас есть LLMs, которые могут добавлять той самой практической ценности.
2️⃣ Эффект “вот-вот”: вот-вот мы полетим на Марс, вот-вот появится AGI, вот-вот в каждом доме будет квантовый компьютер, вот-вот озоновые дыры убьют человечество (помните такое?) и т.д.
Но говорить слова и реализовывать новые технологии - задачи разного уровня. Подавляющее число фантастов и футурологов прошлого жестко ошибались, рисуя например летающие паровые машины. А те, кто угадали - просто угадали, статистически.
Как я неоднократно писал, больше всего точных прогнозов о будущем - у инвесторов. Да, они не впечатляющи, и угадывается немного. Но статистически - это лучшее, что у нас есть! Давайте просто примем этот факт.
3️⃣ Рассуждать про всякие AGI - это одно, но здравомыслящий человек может воспринимать такое всерьез, если есть хотя бы прототип технологии. А gpt - это не прототип AGI! Просто технология, которая умеет собирать слова в осмысленные предложения, на основе кем-то написанных текстов. А эти тексты писали люди на основе своего опыта и знаний из реального мира. А чтобы их получить, в каждой из триллионов клеток наших тел есть рецепторы, а также есть мозг, нейроны и нейромедиаторы - все это необходимо, чтобы реализовать какое-то подобие реального AGI.
А иначе получается просто очередной инструмент, который полезен для решения определенного круга задач, как калькулятор. Принятием решений там не пахнет.
4️⃣ Хайповые тренды и красивые мечты сталкиваются с реальностью - физическими законами и экономической целесообразностью.
Например для реализации AGI на кремниевой основе, может оказаться, что есть жесткие ограничения физического мира. Предполагаю, что в условиях Земли AGI может быть сделан только на углеродной основе, то есть по сути копипаста человеческого организма.
И красивые мечты о будущем разбиваются об экономические реалии: например в большинстве мест мира обслуживание автомобиля на автопилоте всегда будет значительно дороже, чем низкооплачиваемый труд водителя-иммигранта. Да, по Market street Сан-Франциско будут ездить без людей! Но даже ж/д еще не сделали с автопилотом, хотя там нужно просто ездить по рельсам.
Если добавить социальные и политические факторы, то совсем грустно!
5️⃣ Главные трендсеттеры оптимистичных прогнозов например об AGI - люди и компании, напрямую заинтересованные в том, чтобы обыватель вовлекался в тему, говорил, фолловил, выписывал чеки, покупал акции, товары или услуги.
Большая часть разговоров о технологичном будущем - это маркетинг и борьба за внимание. И полезно все воспринимать именно так!
6️⃣ Какое уж там будущее с сингулярностью! Учитывая события последних лет, и в частности поведение людей в этих условиях, возможно стоит признать, что лучшие годы наших лайфтаймов мы уже пожили! 🥲
Но продолжаем надеяться на лучшее, такова уж природа человека, нерациональная!
@kyrillic
Но за почти год взлета AI инструментов, выводы неутешительные! Пробовать и играться с новинками - это хоть каждый день, но чтобы применять в реальных задачах - кроме упомянутых в прошлых раз DeepL Write и gpt-4 в обсидиане, которыми я пользуюсь ежедневно, больше ничего так и не вошло в постоянную практику.
1️⃣ Также меня можно назвать AI-скептиком: я считаю, что “проект LLM” завершен (пост) - тут прорывов больше не будет. Но будет планомерное внедрение LLMs там, где это добавляет ценности. А такое прежде всего не в айтишных задачах, где есть куча софта, а скорее в процессах, которых по сути не коснулась диджитализация.
Например там, где еще много бумаги, но предыдущие способы автоматизации (без AI) не давали большого увеличения эффективности, и отчасти поэтому там все оставалось бумажным. А теперь у нас есть LLMs, которые могут добавлять той самой практической ценности.
2️⃣ Эффект “вот-вот”: вот-вот мы полетим на Марс, вот-вот появится AGI, вот-вот в каждом доме будет квантовый компьютер, вот-вот озоновые дыры убьют человечество (помните такое?) и т.д.
Но говорить слова и реализовывать новые технологии - задачи разного уровня. Подавляющее число фантастов и футурологов прошлого жестко ошибались, рисуя например летающие паровые машины. А те, кто угадали - просто угадали, статистически.
Как я неоднократно писал, больше всего точных прогнозов о будущем - у инвесторов. Да, они не впечатляющи, и угадывается немного. Но статистически - это лучшее, что у нас есть! Давайте просто примем этот факт.
3️⃣ Рассуждать про всякие AGI - это одно, но здравомыслящий человек может воспринимать такое всерьез, если есть хотя бы прототип технологии. А gpt - это не прототип AGI! Просто технология, которая умеет собирать слова в осмысленные предложения, на основе кем-то написанных текстов. А эти тексты писали люди на основе своего опыта и знаний из реального мира. А чтобы их получить, в каждой из триллионов клеток наших тел есть рецепторы, а также есть мозг, нейроны и нейромедиаторы - все это необходимо, чтобы реализовать какое-то подобие реального AGI.
А иначе получается просто очередной инструмент, который полезен для решения определенного круга задач, как калькулятор. Принятием решений там не пахнет.
4️⃣ Хайповые тренды и красивые мечты сталкиваются с реальностью - физическими законами и экономической целесообразностью.
Например для реализации AGI на кремниевой основе, может оказаться, что есть жесткие ограничения физического мира. Предполагаю, что в условиях Земли AGI может быть сделан только на углеродной основе, то есть по сути копипаста человеческого организма.
И красивые мечты о будущем разбиваются об экономические реалии: например в большинстве мест мира обслуживание автомобиля на автопилоте всегда будет значительно дороже, чем низкооплачиваемый труд водителя-иммигранта. Да, по Market street Сан-Франциско будут ездить без людей! Но даже ж/д еще не сделали с автопилотом, хотя там нужно просто ездить по рельсам.
Если добавить социальные и политические факторы, то совсем грустно!
5️⃣ Главные трендсеттеры оптимистичных прогнозов например об AGI - люди и компании, напрямую заинтересованные в том, чтобы обыватель вовлекался в тему, говорил, фолловил, выписывал чеки, покупал акции, товары или услуги.
Большая часть разговоров о технологичном будущем - это маркетинг и борьба за внимание. И полезно все воспринимать именно так!
6️⃣ Какое уж там будущее с сингулярностью! Учитывая события последних лет, и в частности поведение людей в этих условиях, возможно стоит признать, что лучшие годы наших лайфтаймов мы уже пожили! 🥲
Но продолжаем надеяться на лучшее, такова уж природа человека, нерациональная!
@kyrillic
👎37👍31❤15🤡11🤔4😁2😢2🤮1🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
админ опять кринжухи шитпостит
❤75🤣44🤡7😭5🙈5👍2🔥2🌭1💔1
от меня отписался админ ебаных идей для ресерча....
😭186🥴61👏5🌚4👍2🤡2🫡1
Forwarded from эйай ньюз
Spinning Up in Deep RL - мини-курс от OpenAI
Думаю, стоит написать про этот мини-курс отдельным постом, так как вещь хорошая, я его еще в 2019 проходил. Курс дает неплохую базу по наиболее популярным RL алгоритмам и есть даже секци "Как стать Deep RL ресерчером" со списком важнейших статей по RL.
❱❱ По курсу есть одна огромная видео-лекция на 3 часа:
25:11 Opening & Intro to RL, Part 1, by Joshua Achiam
1:48:42 Intro to RL, Part 2, by Joshua Achiam
2:26:26 Learning Dexterity, by Matthias Plappert
2:58:00 AI Safety: An Introduction, by Dario Amodei
❱❱ Сам курс: тык
@ai_newz
Думаю, стоит написать про этот мини-курс отдельным постом, так как вещь хорошая, я его еще в 2019 проходил. Курс дает неплохую базу по наиболее популярным RL алгоритмам и есть даже секци "Как стать Deep RL ресерчером" со списком важнейших статей по RL.
❱❱ По курсу есть одна огромная видео-лекция на 3 часа:
25:11 Opening & Intro to RL, Part 1, by Joshua Achiam
1:48:42 Intro to RL, Part 2, by Joshua Achiam
2:26:26 Learning Dexterity, by Matthias Plappert
2:58:00 AI Safety: An Introduction, by Dario Amodei
❱❱ Сам курс: тык
@ai_newz
YouTube
OpenAI Spinning Up in Deep RL Workshop
Opening & Intro to RL, Part 1, by Joshua Achiam at 25:11
Intro to RL, Part 2, by Joshua Achiam at 1:48:42
Learning Dexterity, by Matthias Plappert at 2:26:26
AI Safety: An Introduction, by Dario Amodei at 2:58:00
Recorded on Feburary 2, 2019.
Learn more:…
Intro to RL, Part 2, by Joshua Achiam at 1:48:42
Learning Dexterity, by Matthias Plappert at 2:26:26
AI Safety: An Introduction, by Dario Amodei at 2:58:00
Recorded on Feburary 2, 2019.
Learn more:…
❤20👍4