Есть ли жизнь после Трансформеров?

Друзья, кто-то из вас точно знает такую архитектуру нейронных сетей - трансформеры.
Эти блоки сейчас присутствуют практически (если не во всех) в каждой крупной и успешной нейронной сети.

И действительно, при грамотном применении и достаточном датасете, можно создавать чудесные и интересные проекты.
В своё время трансформеры произвели своего рода революцию в области нейронных сетей, и вот давайте порассуждаем, а что может появиться дальше?

Вот в блоках трансформера ключевая особенность в многоголовом самовнимании и позиционном кодировании за счёт чего может работать со всей последовательностью “одновременно”, как будто мы уже прочитали всё.

Что, по вашему мнению, должно изменить и продвинуть направление нейронных сетей и/или искусственного интеллекта?
Давайте пообщаемся ☀️

PS: Для тех, кто с трансформерами не знаком или плохо понимает, рекомендую изучить перевод статьи Jay Alamar про них. Очень ярко и доступно.

С праздником, товарищи 🚀

Друзья, всем привет!

Преподавая на курсах я слышал от своих студентов разные пожелания насчёт того, чего им хотелось бы ещё.

На данный момент, я пересматриваю и разрабатываю новую программу обучения, и хочу его сделать максимально насыщенным и полезным для всех, кто собирается учиться на нём. Есть много идей и четкое видение, но вполне возможно, я не учёл каких-то очевидных вещей.

Я знаю, что много моих бывших/действующих студентов здесь присутствует, но тем не менее, мне интересно мнение каждого по следующему вопросу.

Что бы хотели видеть в курсах по машинному обучению и нейронным сетям? Чего не хватало на различных площадках?

Спасибо ☀️