Рубрика #всратый_adversarial_atack объевляется открытой.
Кидайте странные картинки, тексты, вопросы, все что может сломать модель
Кидайте странные картинки, тексты, вопросы, все что может сломать модель
#чтивонаночь
CodeGeeX - new codegen SOTA
C выхода Сodex прошел год, никто не потерял работу, даже более того - стало больше вакансий на поддержку -обучение-деплой LM и прочего тяжеловесного. Количество LM для генерации кода будет только расти, конкуренция довольно серьезная, а главное - это то на чем можно быстро и просто заработать денег на подписке.
Данные
Модель обучалась на смешанном корпусе, 30% python, 30% с++, 15% java и дальше по убыванию.
Авторы добавили для всех языков
+ доп фильтрация на мусор и файлы конфигураций.
Обучение
Самый сок заключается в том что это первая(на моей памяти) большая модель которая училась на чипах Ascend, это железки от Huawei, по характеристикам между v100 и а100, но так же авторы учат модель в 16bit кроме layernorm и softmax.
Метрики
Модель заметно обгоняет младших собратьев, при этом незначительно обгоняя 16b CodeGen
vs code
github
blog
demo
hf spaces
Веса дают тут и всем по запросу в течении нескольких секунд, череп не измеряют, паспорт не просят
CodeGeeX - new codegen SOTA
C выхода Сodex прошел год, никто не потерял работу, даже более того - стало больше вакансий на поддержку -обучение-деплой LM и прочего тяжеловесного. Количество LM для генерации кода будет только расти, конкуренция довольно серьезная, а главное - это то на чем можно быстро и просто заработать денег на подписке.
Данные
Модель обучалась на смешанном корпусе, 30% python, 30% с++, 15% java и дальше по убыванию.
Авторы добавили для всех языков
[LANG] токен, тем самым явно указывая модели на то какой язык сейчас генерируется.+ доп фильтрация на мусор и файлы конфигураций.
Обучение
Самый сок заключается в том что это первая(на моей памяти) большая модель которая училась на чипах Ascend, это железки от Huawei, по характеристикам между v100 и а100, но так же авторы учат модель в 16bit кроме layernorm и softmax.
Метрики
Модель заметно обгоняет младших собратьев, при этом незначительно обгоняя 16b CodeGen
vs code
github
blog
demo
hf spaces
Веса дают тут и всем по запросу в течении нескольких секунд
👍14🤮5⚡1💩1
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
SayCan: как заставить языковую модель принести тебе колу (by Google)
Идея довольно простая: нужно взять робота, который уже умеет выполнять примитивные команды (найти, поднять, положить и тд), а в качестве мозгов для планирования взять языковую модель (PaLM) со специальным step-by-step промптом:
«How would you {TASK}? I would 1. ..., 2, …»
Дальше допустимые команды для робота ранжируются по перплексии и классификатором успеха (обученным с помощью RL). Таким образом, получилось заставить робота решать довольно сложные и многоступенчатые задачи.
Статья, блог, GitHub
Идея довольно простая: нужно взять робота, который уже умеет выполнять примитивные команды (найти, поднять, положить и тд), а в качестве мозгов для планирования взять языковую модель (PaLM) со специальным step-by-step промптом:
«How would you {TASK}? I would 1. ..., 2, …»
Дальше допустимые команды для робота ранжируются по перплексии и классификатором успеха (обученным с помощью RL). Таким образом, получилось заставить робота решать довольно сложные и многоступенчатые задачи.
Статья, блог, GitHub
🔥12👍5😁1🍌1💋1
diffusers писали ебаные пидорасы, сука ненавижу эту хуйню, рот ебал такой код, пиздец нахуй блять
👍36🤨15😍8🏆5😁3😢3🍓3💋3❤2👌2👏1
Forwarded from addmeto (Grigory Bakunov 🧪)
Продолжается сканадл в шахматах: Отчет от chess com показывает, что Ханс Моке Ниманн, которого Магнус Карлсен обвинил в мошейничестве, явно жульничал в более чем 100 играх на сайте. Причем показывает с цифрами, демонстрируя явное статистическое отклонение, которое сложно обьяснить чем-то кроме прямого жульничества. Напомню, Ниманн вероятно использовал какое-то устройство (предполагают даже анальную пробку), с помощью которой получал сигналы от компьютера о самых правильных ходах во время официальных, оффлайн партий.
Мы с вами дожили до того момента, когда еще нет нейроимплантов, но уже есть достаточное количество способов “дополнять мозг компьютером” даже в оффлайн играх при свидетелях, таких как шахматы. Кажется Карлсен прав, непонятно как ближайшие годы люди будут играть в шахматы и подобные игры, разве что полностью голыми, в закрытой комнате после полного рентгена https://www.wsj.com/articles/chess-cheating-hans-niemann-report-magnus-carlsen-11664911524
Мы с вами дожили до того момента, когда еще нет нейроимплантов, но уже есть достаточное количество способов “дополнять мозг компьютером” даже в оффлайн играх при свидетелях, таких как шахматы. Кажется Карлсен прав, непонятно как ближайшие годы люди будут играть в шахматы и подобные игры, разве что полностью голыми, в закрытой комнате после полного рентгена https://www.wsj.com/articles/chess-cheating-hans-niemann-report-magnus-carlsen-11664911524
WSJ
Chess Investigation Finds That U.S. Grandmaster ‘Likely Cheated’ More Than 100 Times
An internal report reviewed by The Wall Street Journal alleges a previously unknown pattern of likely widespread cheating by Hans Moke Niemann, the player whose September victory over Magnus Carlsen has rocked the chess world.
👍18🍌2🍓2😢1
Forwarded from DL in NLP (Vlad Lialin)
BigScience announces BigCode project
1. 15B языковая модель для кода
1. Первая задача: сделать хороший большой датасет, причём с оглядкой на лицензии чтобы не было всяких вопросов о GPLv3
1. Вторая задача: разработка новых тулз для эвалюации кодогенерирующих моделей, чтобы они были проще и более доступны
1. Третья задача: исследование всех возможных трюков (включая архитектурные) чтобы сделать инферренс быстрым
1. Деньги на тренировку даёт ServiceNow
1. Если хотите присоединиться к коллаборации, а именно готовы писать код и участвовать в обсуждениях, вот ссылочка
1. 15B языковая модель для кода
1. Первая задача: сделать хороший большой датасет, причём с оглядкой на лицензии чтобы не было всяких вопросов о GPLv3
1. Вторая задача: разработка новых тулз для эвалюации кодогенерирующих моделей, чтобы они были проще и более доступны
1. Третья задача: исследование всех возможных трюков (включая архитектурные) чтобы сделать инферренс быстрым
1. Деньги на тренировку даёт ServiceNow
1. Если хотите присоединиться к коллаборации, а именно готовы писать код и участвовать в обсуждениях, вот ссылочка
👍7😍3
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
Imagen Video
У гугла получилось адаптировать Imagen для генерации видео!
Авторам пришлось немного переделать UNet и подмешать 14М пар text-video к датасету LAION, причём картинки воспринимаются моделью тоже как видео, но длиной в 1 кадр. В качестве энкодера используется замороженный T5-XXL.
В отличие от предыдущих работ, здесь даже получилось сгенерировать анимированный текст.
Статья, блог
У гугла получилось адаптировать Imagen для генерации видео!
Авторам пришлось немного переделать UNet и подмешать 14М пар text-video к датасету LAION, причём картинки воспринимаются моделью тоже как видео, но длиной в 1 кадр. В качестве энкодера используется замороженный T5-XXL.
В отличие от предыдущих работ, здесь даже получилось сгенерировать анимированный текст.
Статья, блог
🔥18👍4
Большие грязные датасеты доводят до хентая с лолями
❤28💋3🍌1
Не бойся говорить с девушкой про финансовые проблемы, а наоборот , эти разговоры помогут ей понять что в будущем одной работы ей будет мало чтобы ты мог почувствовать себя комфортно.
С любовью, админ☺️
С любовью, админ
Please open Telegram to view this post
VIEW IN TELEGRAM
💋73❤9👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Звонок на 15 минут вошли и вышли
@
6 дней спустя
@
6 дней спустя
🥱24🔥1👏1🤮1💯1
Forwarded from Екатерина Лузина
Не совсем вакансия, но, кажется, бакалавры у нас тут тоже встречаются.
От создателей закрывшегося весной Computer Science Center.
“Всем привет!
Рассказываем о возможности студентам-бакалаврам математических и программистских специальностей перевестись в зарубежный вуз. Ниже будет подробно про проект на Кипре. Спонсором проекта выступает давний друг — компания JetBrains совместно с несколькими IT-компаниями.
Университет Neapolis (Пафос, Кипр) / осень 2022
Текущий план – принять на бесплатное обучение 80+ человек и примерно столько же на платное. Переезд планируется на октябрь. Отбор на бесплатное обучение будет проходить на конкурсной основе, опирающейся на успехи и опыт студентов.
Студентам необходимо получить тур.визу на Кипр (или шенген) и купить билеты до острова. Далее происходит оформление статуса студента и зачисление в университет. Планируется организовать помощь в получении тур.визы Кипра в Москве.
Студенты будут зачислены на существующую программу Applied Computer Science, и, конечно, должны будут учиться по её правилам (включая досдачу академической разницы). В будущем программу планируется разнообразить курсами по стандартам МКН СПбГУ, ФКН/Матфак/ПМИ (СПб) ВШЭ, ПМИ МФТИ. Руководит проектом Александр Куликов.
Университет предоставляет жилье. Если вы рассматриваете для себя возможность обучения платно, то порядок цен следующий: 5к евро в год, проживание (без питания) в зависимости от выбранных условий от 2к до 6к евро в год, дополнительно оплачивается страховка, оформление виз.
Если вы достаточно уверены в том, что хотите релоцироваться и готовы действовать быстро, пожалуйста, заполните форму: ссылка на форму
Важно:
> В комментариях в форме обязательно напишите, что вы студент или выпускник ШАД (или CS центра, если сейчас не учитесь в ШАД).
> Передавать форму своим друзьям-бакалаврам, которые также заинтересованы в переводе в зарубежный вуз – можно.
> Будет действовать система конкурсного отбора на бесплатные места, поэтому постарайтесь уже сейчас рассказать о себе максимально подробно. На платные места скорее всего конкурса не будет, но окончательно это станет ясно после приёма всех заявок.
> Все вопросы и дополнительные комментарии, пожалуйста, оставляйте в соответствующем поле в форме.
> Проверьте свои документы: срок годности заграна (не менее одного года), сделайте электронную справку о несудимости на Госуслугах, закажите транскрипт в университете на английском и начинайте готовить подробные описания сданных курсов (тоже на английском).
> На бесплатном обучении предполагается наличие небольшой стипендии (~ 300 евро в месяц). Это позволит минимально поддерживать материально, но о доп.финансах стоит позаботиться самостоятельно и заранее.
> Эта форма лишь исследование интереса, НЕ официальная заявка. Далее, конечно, с вами свяжутся и расскажут подробнее про следующие шаги.
Дедлайн заполнения формы – 6 октября.”
От создателей закрывшегося весной Computer Science Center.
“Всем привет!
Рассказываем о возможности студентам-бакалаврам математических и программистских специальностей перевестись в зарубежный вуз. Ниже будет подробно про проект на Кипре. Спонсором проекта выступает давний друг — компания JetBrains совместно с несколькими IT-компаниями.
Университет Neapolis (Пафос, Кипр) / осень 2022
Текущий план – принять на бесплатное обучение 80+ человек и примерно столько же на платное. Переезд планируется на октябрь. Отбор на бесплатное обучение будет проходить на конкурсной основе, опирающейся на успехи и опыт студентов.
Студентам необходимо получить тур.визу на Кипр (или шенген) и купить билеты до острова. Далее происходит оформление статуса студента и зачисление в университет. Планируется организовать помощь в получении тур.визы Кипра в Москве.
Студенты будут зачислены на существующую программу Applied Computer Science, и, конечно, должны будут учиться по её правилам (включая досдачу академической разницы). В будущем программу планируется разнообразить курсами по стандартам МКН СПбГУ, ФКН/Матфак/ПМИ (СПб) ВШЭ, ПМИ МФТИ. Руководит проектом Александр Куликов.
Университет предоставляет жилье. Если вы рассматриваете для себя возможность обучения платно, то порядок цен следующий: 5к евро в год, проживание (без питания) в зависимости от выбранных условий от 2к до 6к евро в год, дополнительно оплачивается страховка, оформление виз.
Если вы достаточно уверены в том, что хотите релоцироваться и готовы действовать быстро, пожалуйста, заполните форму: ссылка на форму
Важно:
> В комментариях в форме обязательно напишите, что вы студент или выпускник ШАД (или CS центра, если сейчас не учитесь в ШАД).
> Передавать форму своим друзьям-бакалаврам, которые также заинтересованы в переводе в зарубежный вуз – можно.
> Будет действовать система конкурсного отбора на бесплатные места, поэтому постарайтесь уже сейчас рассказать о себе максимально подробно. На платные места скорее всего конкурса не будет, но окончательно это станет ясно после приёма всех заявок.
> Все вопросы и дополнительные комментарии, пожалуйста, оставляйте в соответствующем поле в форме.
> Проверьте свои документы: срок годности заграна (не менее одного года), сделайте электронную справку о несудимости на Госуслугах, закажите транскрипт в университете на английском и начинайте готовить подробные описания сданных курсов (тоже на английском).
> На бесплатном обучении предполагается наличие небольшой стипендии (~ 300 евро в месяц). Это позволит минимально поддерживать материально, но о доп.финансах стоит позаботиться самостоятельно и заранее.
> Эта форма лишь исследование интереса, НЕ официальная заявка. Далее, конечно, с вами свяжутся и расскажут подробнее про следующие шаги.
Дедлайн заполнения формы – 6 октября.”
Neapolis University in Cyprus
Neapolis University Pafos
Neapolis University Pafos (NUP) is one of the leading private Universities of Cyprus.
👍23👎9❤🔥5
Забудь обо всем, включи техно и собери из триггеров свой ЭВМ
nandgame.com
nandgame.com
👍11