Почему комментарии к постам так похожи на обсуждения в singularis?

Вчера вышла интересная статья YaRN про еще один способ увеличения контекста в LLM (точнее в тех моделях, которые используют метод RoPE для позиционного кодирования, например, LLaMa-2) до 64k, 128k токенов. Направление сейчас популярное, ведь такая штука позволяет поместить в контекст среднюю книгу или же иметь очень длинную историю сообщений. В статье графики выглядят впечатляюще и самое крутое, что можно уже брать модельки с hugging face.

В отличие от предыдущих работ, где модифицировали только RoPE (Rotary Positional Encodings, по сути это поворот вектора в пространстве на некоторый угол, который зависит от позиции), авторы заметили, что изменения в позиционном кодировании сильно влияют на распределение attention скоров после софтмакса. Поэтому помимо прочего добавили температуру, которой можно это распределение контролировать. Причем сделано это по-хитрому, чтобы не менять код самого attention и соответственно использовать все существующие оптимизации. Как и другие методы, YaRN требует дообучения на данных с длинным контекстом, хотя и в небольшом количестве (~0.1% от данных претрейна). Единственный вопрос — сколько памяти требуется для инференса таких моделек.

Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!

DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.

Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).

Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.

Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)

Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.

Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).

Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)

Если остались вопросы, пишите нам на почту (dlphystech@gmail.com), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)

Но что же сейчас происходит с Ночным Дозором - и почему он в гигантской стеклянной коробке?

С 2019 года ведется гигантский проект - Operation Nights Watch - Операция Ночной Дозор.

Дело в том, что в 1715 году Ночной Дозор обрезали - тупо чтоб он вместился между двумя дверьми в мэрии Амстердама.

И почти спустя 300 лет было принято решение сделать реставрацию и восстановить обрезанные части - с помощью Искусственного Интеллекта.
Алгоритм обучался на скане копии работы, сделанной до обрезки (Геррита Лундеса - сейчас находится в Национальной Галлерее в Лондоне) - и скана оригинала. На фото - белые линии на картине Лундеса показывают обрезанные края.

В результате работы появились 3 новых фигуры (два мужчины и мальчик), а также изменились несколько других деталей.

Работа траслировалась музеем в живом режиме музеем.

На данный момент Операция Ночной Дозор продолжается - экзаминируют верхнюю часть картины.

Промежуточные результаты исследования опубликованы на сайте музея (как видно на флайере на фото у посетителя).

Запустите yalm100b из transformers как раз вышла имплементация!

Я вам принес с утра немного скепсиса. Нельзя ведь проснуться и не похейтить!

Тулза Reverie, которая может скопипастить муд из референсной картинки! И не просто сгенерить и перенести LUT, а настроить ваш directional light, skylight, перенести воздушную перспективу и т.д.

В интерфейсе мы видим landscape, weather, lighting, soundscape. Выглядит и звучит как😒

Создатель обещает выложить в релиз в этом году, что же, посмотрим! Там, конечно, не обошлось без AI.