Вообще это было ожидаемо, с учетом количества бесплатных юзеров балующихся с image genrators на халяву.
По сути то что его популяризировало, то и убило.
Следующими вероятно на этот путь станут Huggingface, бесплатное хранилище моделей станет сильно меньше, впилят интерации с AWS(ну вообще уже), код самой либы будет либо деградировать, либо плодить такое количество абстракций чтобы проще было взять API.
Покойся с миром colab.
😢77👍4
кажется мы оч быстро скипнули второй сезон АТ и перешли к 4
👍22🍾6⚡2🤮1
Stanford cs25
Трансформеры уважаешь?
А маму любишь?
Послушай этот курс даже если уже не первый год делаешь
YouTube
Lectures page
Трансформеры уважаешь?
А маму любишь?
Послушай этот курс даже если уже не первый год делаешь
import torch, расскажут про RL, alphafold2 и много другого.YouTube
Lectures page
👍28🔥3🤮1
Рубрика #всратый_adversarial_atack объевляется открытой.
Кидайте странные картинки, тексты, вопросы, все что может сломать модель
Кидайте странные картинки, тексты, вопросы, все что может сломать модель
#чтивонаночь
CodeGeeX - new codegen SOTA
C выхода Сodex прошел год, никто не потерял работу, даже более того - стало больше вакансий на поддержку -обучение-деплой LM и прочего тяжеловесного. Количество LM для генерации кода будет только расти, конкуренция довольно серьезная, а главное - это то на чем можно быстро и просто заработать денег на подписке.
Данные
Модель обучалась на смешанном корпусе, 30% python, 30% с++, 15% java и дальше по убыванию.
Авторы добавили для всех языков
+ доп фильтрация на мусор и файлы конфигураций.
Обучение
Самый сок заключается в том что это первая(на моей памяти) большая модель которая училась на чипах Ascend, это железки от Huawei, по характеристикам между v100 и а100, но так же авторы учат модель в 16bit кроме layernorm и softmax.
Метрики
Модель заметно обгоняет младших собратьев, при этом незначительно обгоняя 16b CodeGen
vs code
github
blog
demo
hf spaces
Веса дают тут и всем по запросу в течении нескольких секунд, череп не измеряют, паспорт не просят
CodeGeeX - new codegen SOTA
C выхода Сodex прошел год, никто не потерял работу, даже более того - стало больше вакансий на поддержку -обучение-деплой LM и прочего тяжеловесного. Количество LM для генерации кода будет только расти, конкуренция довольно серьезная, а главное - это то на чем можно быстро и просто заработать денег на подписке.
Данные
Модель обучалась на смешанном корпусе, 30% python, 30% с++, 15% java и дальше по убыванию.
Авторы добавили для всех языков
[LANG] токен, тем самым явно указывая модели на то какой язык сейчас генерируется.+ доп фильтрация на мусор и файлы конфигураций.
Обучение
Самый сок заключается в том что это первая(на моей памяти) большая модель которая училась на чипах Ascend, это железки от Huawei, по характеристикам между v100 и а100, но так же авторы учат модель в 16bit кроме layernorm и softmax.
Метрики
Модель заметно обгоняет младших собратьев, при этом незначительно обгоняя 16b CodeGen
vs code
github
blog
demo
hf spaces
Веса дают тут и всем по запросу в течении нескольких секунд
👍14🤮5⚡1💩1
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
SayCan: как заставить языковую модель принести тебе колу (by Google)
Идея довольно простая: нужно взять робота, который уже умеет выполнять примитивные команды (найти, поднять, положить и тд), а в качестве мозгов для планирования взять языковую модель (PaLM) со специальным step-by-step промптом:
«How would you {TASK}? I would 1. ..., 2, …»
Дальше допустимые команды для робота ранжируются по перплексии и классификатором успеха (обученным с помощью RL). Таким образом, получилось заставить робота решать довольно сложные и многоступенчатые задачи.
Статья, блог, GitHub
Идея довольно простая: нужно взять робота, который уже умеет выполнять примитивные команды (найти, поднять, положить и тд), а в качестве мозгов для планирования взять языковую модель (PaLM) со специальным step-by-step промптом:
«How would you {TASK}? I would 1. ..., 2, …»
Дальше допустимые команды для робота ранжируются по перплексии и классификатором успеха (обученным с помощью RL). Таким образом, получилось заставить робота решать довольно сложные и многоступенчатые задачи.
Статья, блог, GitHub
🔥12👍5😁1🍌1💋1
diffusers писали ебаные пидорасы, сука ненавижу эту хуйню, рот ебал такой код, пиздец нахуй блять
👍36🤨15😍8🏆5😁3😢3🍓3💋3❤2👌2👏1
Forwarded from addmeto (Grigory Bakunov 🧪)
Продолжается сканадл в шахматах: Отчет от chess com показывает, что Ханс Моке Ниманн, которого Магнус Карлсен обвинил в мошейничестве, явно жульничал в более чем 100 играх на сайте. Причем показывает с цифрами, демонстрируя явное статистическое отклонение, которое сложно обьяснить чем-то кроме прямого жульничества. Напомню, Ниманн вероятно использовал какое-то устройство (предполагают даже анальную пробку), с помощью которой получал сигналы от компьютера о самых правильных ходах во время официальных, оффлайн партий.
Мы с вами дожили до того момента, когда еще нет нейроимплантов, но уже есть достаточное количество способов “дополнять мозг компьютером” даже в оффлайн играх при свидетелях, таких как шахматы. Кажется Карлсен прав, непонятно как ближайшие годы люди будут играть в шахматы и подобные игры, разве что полностью голыми, в закрытой комнате после полного рентгена https://www.wsj.com/articles/chess-cheating-hans-niemann-report-magnus-carlsen-11664911524
Мы с вами дожили до того момента, когда еще нет нейроимплантов, но уже есть достаточное количество способов “дополнять мозг компьютером” даже в оффлайн играх при свидетелях, таких как шахматы. Кажется Карлсен прав, непонятно как ближайшие годы люди будут играть в шахматы и подобные игры, разве что полностью голыми, в закрытой комнате после полного рентгена https://www.wsj.com/articles/chess-cheating-hans-niemann-report-magnus-carlsen-11664911524
WSJ
Chess Investigation Finds That U.S. Grandmaster ‘Likely Cheated’ More Than 100 Times
An internal report reviewed by The Wall Street Journal alleges a previously unknown pattern of likely widespread cheating by Hans Moke Niemann, the player whose September victory over Magnus Carlsen has rocked the chess world.
👍18🍌2🍓2😢1
Forwarded from DL in NLP (Vlad Lialin)
BigScience announces BigCode project
1. 15B языковая модель для кода
1. Первая задача: сделать хороший большой датасет, причём с оглядкой на лицензии чтобы не было всяких вопросов о GPLv3
1. Вторая задача: разработка новых тулз для эвалюации кодогенерирующих моделей, чтобы они были проще и более доступны
1. Третья задача: исследование всех возможных трюков (включая архитектурные) чтобы сделать инферренс быстрым
1. Деньги на тренировку даёт ServiceNow
1. Если хотите присоединиться к коллаборации, а именно готовы писать код и участвовать в обсуждениях, вот ссылочка
1. 15B языковая модель для кода
1. Первая задача: сделать хороший большой датасет, причём с оглядкой на лицензии чтобы не было всяких вопросов о GPLv3
1. Вторая задача: разработка новых тулз для эвалюации кодогенерирующих моделей, чтобы они были проще и более доступны
1. Третья задача: исследование всех возможных трюков (включая архитектурные) чтобы сделать инферренс быстрым
1. Деньги на тренировку даёт ServiceNow
1. Если хотите присоединиться к коллаборации, а именно готовы писать код и участвовать в обсуждениях, вот ссылочка
👍7😍3
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
Imagen Video
У гугла получилось адаптировать Imagen для генерации видео!
Авторам пришлось немного переделать UNet и подмешать 14М пар text-video к датасету LAION, причём картинки воспринимаются моделью тоже как видео, но длиной в 1 кадр. В качестве энкодера используется замороженный T5-XXL.
В отличие от предыдущих работ, здесь даже получилось сгенерировать анимированный текст.
Статья, блог
У гугла получилось адаптировать Imagen для генерации видео!
Авторам пришлось немного переделать UNet и подмешать 14М пар text-video к датасету LAION, причём картинки воспринимаются моделью тоже как видео, но длиной в 1 кадр. В качестве энкодера используется замороженный T5-XXL.
В отличие от предыдущих работ, здесь даже получилось сгенерировать анимированный текст.
Статья, блог
🔥18👍4
Большие грязные датасеты доводят до хентая с лолями
❤28💋3🍌1