Свидетели Градиента – Telegram
Свидетели Градиента
488 subscribers
128 photos
29 files
60 links
Этот канал предназначен для общения и обсуждений среди тех, кто как и я, хочет видеть что происходит под капотом у нейросетей, и старается развивать интуицию об их природе и свойствах.

Для связи: @kraidiky
Download Telegram
Читаю статью по гроккигру, про которую мне напомнил @import_sklearn и судя по её библиографическому обзору за 2024-ый и даже 2025-ый годы по этой теме проделана огромная работа...
В этом году выступаю и организую в секции DL Frontier. 30-ого числа оффлайн в Сбере и 31-ого онлайн в спатиал чате.

В оффлайне я расскажу о рельефе loss-функции, и как все мы должны в связи с этим изменить свои уловки для обучения глубоких сетей, алгоритмы оптимизации, способы наблюдения за обучающейся сетью, в общем интересно это будет далеко не только математикам, а математикам просто взорвёт мозг.

Кроме того в секции будут доклады про рекуррентные трансформеры чтобы работать с чудовищьно длинными контекстами, бенчмарки проверяющие логику на ещё более длинных контекстах, и большие русскоязычные бенчмарки в которых LLM-ок судят другие LLM-ки, в общем, мы тут собираем золотой сет русскоязычных инструментов для замыкания интеллектуального цикла

31-ого в онлайне будет доклад о превращении LLM-окв в Змея Горыныча, отращивающего себе дополнительные головы когда хочется обмозговать проблему на троих, Я буду рассказывать всё тоже самое, что и в оффлайне, но без ограничений во времени, отвечая на все до единого вопросы, и детально поясняя каждый нюанс пока все, кому интересно, не поймут, а компанию нам составит прекрасная докладчица с сравнимым с международными бенчмарком для оценки эмбедингов языковых сетей, если бы рекуррентный трансформер был уже обучен на большом корпусе - обязательно бы временную часть его эмбединга её бенчмарку скормил, самому интересно что получится.

Приходите. Оффлайн выступления с 13:20 во втором зале и кто зарегался уже знает куда идти, а Онлайн начинаем в 14:00 и продолжаем пока вопросы не кончатся. Тут: https://ods.ai/events/df2025-31-may-online

P.S. Есть такая интересная игра, вместо того чтобы лайкать можно куда-нибудь или кому-нибудь переслать. Ну или не вместо, а в дополнение. :)
🔥5👍4
Сегодня я в Белграде. Заглянул на Датафест.

Послушал интереснейший доклад от Салавата Гарифуллина «Один язык, много народов:
Как я создал первый ИИ-переводчик для славянской интерлингвы».

Я надеюсь, выйдет запись и вы сможете заценить. Таких докладов да побольше на всех конференциях. Здесь было что-то интересное, неизведанное, а ещё и классно рассказанное.

Поделюсь ссылочками от Салавата с последнего слайда:
https://interslavic-dictionary.com — словарь.

https://huggingface.co/spaces/salavat/Interslavic-Translator-NLLB200 — переводчик

P.S. Я чот заслушался и сделал только одну фотку в начале.
🔥4
Forwarded from Reliable ML
1 июня – Online - Career & Reliable ML - Data Fest 2025
Программа онлайн-дня Reliable ML

В это воскресенье с 10 утра в spatial.chat будем не только показывать, но и обсуждать красивое и интересное:

- В секции Career узнаем про то, как прокачать софт-скиллы, и какие LLM-тулы использовать, чтобы найти работу и зарплату мечты. Разовьем тему в то, какие компетенции нужны для прокачки в тимлидстве.

- В секции Reliable ML поговорим про организацию процессов в DS и ML-Readability.

Публикуем финальное расписание на 1 июня.

Ждем вас в spatial.chat. Пароли, явки, адреса опубликуем в канале перед стартом секции.

До встречи!

Ваш @Reliable ML

#datafest #reliable_ml #career #online
2
https://vk.com/video-22522055_456245617
Оказывается из нашего зала таки была трансляция и вот тут доклад можно посмотреть в кратком виде на 3:49:00. Презентацию и полный доклад выложу завтра после онлайна.
👍11
6_Голощапов_Владислав_Ландшафт_loss_функции_не_такой,_как_мы_привыкли.pptx
217.9 MB
Презентация. Я потом ещё один-два слайда добавлю и перевыложу. Весит безобразно много потому что в неё видео вшито. Видео потом тоже выложу уже отдельно.
🔥11
Минутка юмора:

Преимущество - полное отсутствие такой информации в трейне. Схема анализа придумана мной на основе обдумывания проблемы, обсуждения с другими людьми, и чатГпт и дипсик утверждают, что в учебных выборках и интернете они такого не встречали. :) Хотя оба высказали свои версии о том, на чьих работах я основывался. Поржал.
😁6
https://colab.research.google.com/drive/13YuGiBu0qtnz-wCWfe6sGo9fxSQmY2Uh?usp=sharing

А вот и ноутбучёк чтобы поиграть страшной-страшной ночью в тёмной-тёмной програмистской берлоге...
🔥11👍2
Если я через пару недель устрою онлайн-посиделки по мотивам доклада, на которые придёт те, кто с ноутбуком поигрались, обсудить свои наблюдения:
Anonymous Poll
29%
Попробую руками и приду в онлайн обсудить
44%
Сам пробовать не буду, но хочу послушать
0%
Не очень интересно, потому что не практично
27%
Не до того...
Спасибо всем указавшим на лажу. Я, к сожалению не догадался заскринить комментаторов прежде чем снести пост, поэтому поблагодарить всех лично не могу, а благодарить только часть, кого узнал по аватарке считаю не честным, так что просто вы сами знаете, кому спасибо.
5🔥1
Итак, длинные выходные закончены. Кто-то отдыхал, а для кого-то это наоборот возможность поэкспериментировать. И я предлагаю собраться обсудить всякое про поведение оптимизаторов на тонельном ландшафте. Но непонятно когда это удобнее делать нашим соучастникам. В будний день, например вечером в пятницу, или в выходные, например в субботу.

UPD: Для тех, кто успел повозиться с ноутбуком или ещё какими-то экспериментами первые два варианта голосования, для тех кому интрересны результаты, а не процесс - вторые.
Ну, поскольку единственный человек кроме меня, кто что-то сам попробовал, проголосовал за пятницу, значит собираемся в пятницу. Итак в эту пятницу я объявляю семинар, даже можно сказать ритуал, посвящённый изучению как ландшафта функции потерь, так и поведению оптимизаторов на более правдоподобной модельной задаче. Начало в 18 чтобы точно никого начальник не поймал за хвост, если у единственного попробовавшего, не будет предложений. Подробную информацию куда присоединяться кину ближе к делу.
6👍3
Запустил трансляцию в телеграмме
🔥1
Я случайно кого-то удалил, перезайди, плз
😁3
Live stream finished (1 hour)
Forwarded from Vlad Goloshchapov
Мдааа.... Пока я мечтал выделить время на то чтобы грокнуть и попрунить четвёртый мобайлнет уже пятый вышел...
😢42
А вы когда-нибудь задумывались, что дистиляция из другой модели это ещё и способ избавиться от большой части ошибок разметки?
🤔3
Сегодня будет "за вообще". Каждый день езжу мимо огромного плаката постановки "Цветы для Элджернона", и сегодня подумалось, а что если это про всё человечество в целом?

Если кто про пустил это литературное произведение - либо почитайте его само, либо сходите в википедию, чтобы не спойлерить. Недавно попадались ржачные комментарии с озона, где читатели ругились, что им продали книжку с кучей граматических ошибок. :)