Выложили препринт прикольной работы от Юры Куратова из группы «Модели с памятью» Лаборатории «Когнитивные системы ИИ» AIRI и коллег. Исследование о том, где находятся «границы» современных архитектур трансформеров, насколько большой объём информации они могут эффективно хранить и обрабатывать внутри себя.

Оказалось, что Llama-3.1-8B спокойно генерирует тексты длиной в 1568 токенов из одного вектора. Более того, если увеличивать число входных векторов, то масштабируется это практически линейно. То есть можно сжать контекст 8B модельки в 1500 раз, потенциально без потери информации.

Следующий шаг — выучить небольшими силам энкодер, который такое сжатие сделает.

https://huggingface.co/papers/2502.13063

Вчера вечером умер мой папа, Валерий Иустинович Оселедец.
Родился в 1940 году, в Москве, пережил бомбежки города.

Известный математик, автор «именной теоремы» (чего в математике бывает редко), учился в МГУ, был одним из первых учеников Якова Григорьевича Синая.

Долгое время работал в академии ракетных войск. С начала 90-х, после открытия границ, его «отрывали с руками» во многих европейских и американских университетах. Например, в 1993 году папа работал в Ницце (расстрел Белого дома я смотрел по телевизору во Франции, и это выглядело сюрреалистично). В 2015 году был даже воркшоп в Канаде, посвященный 50-летию теоремы Оселедца, куда его не позвали.
За эти же работы получил премию Колмогорова Российской академии наук вместе с коллегами. Больше всего я благодарен папе за то, что 90-ые годы я чувствовал себя абсолютно спокойно: все сложности 90-х меня никак не затронули.

До последнего он стремился работать, читать лекции и писать статьи, хотя это явно вредило его здоровью, но слушать он никого не хотел. Последние 2,5 года боролся с онкологическим заболеванием. Большое спасибо Ворсту Вадиму Николаевичу, хирургу от Бога, и Дмитрию Юрьевичу Пушкарю, который очень помог, и многим другим врачам, подарившим папе полноценные три года жизни после постановки диагноза.

Здесь (начиная с 11-ой минуты) можно посмотреть видео с папой.

Завтра буду бегать в режиме бешеной лошади на конференции Data Fusion 2025 :)

Делюсь расписанием двух дней:

16 апреля

→ 13:00 — модерирую сессию «ML + наука: фарма» в зале Фотон

→ 14:10 — участвую в дебатах «О науке и жизни: неформальный разговор с известными» в зале Атом

→ 14:55 — онлайн-доклад о пути в науку, современной аспирантуре и Data Science

→ 17:00 — участвую в сессии «Ключевая сессия. Обзор актуальных исследований в области ИИ» в зале Молекула

→ 18:10 — принимаю участие в дискуссии «Эксперты о трендах: наука» в зале Молекула

17 апреля

→ 16:30 — участвую в дискуссии «Наука — драйвер прогресса на волнах ИИ» в зале Молекула

Увидимся на конференции или онлайн. Трансляция будет на сайте.

*Фотография с сессии на конференции прошлого года.

Поздравляю наших исследователей с заслуженной наградой! Забрали всю номинацию «Научный прорыв года в ИИ» 🔥

https://news.1rj.ru/str/airi_research_institute/843

⚡️ Сколтех и Вышка объявляют о новом сезоне олимпиады «Математика машинного обучения»!

Для лучших студентов выпускных курсов любого математического и IT бакалавриата наши учёные разработали сложные математические задачи машинного обучения. Сильнейший не только получит призы и уважение комьюнити, но и будет зачислен в совместную магистратуру Сколтеха и НИУ ВШЭ «Математика машинного обучения» (победа в олимпиаде приравнивается к успешному прохождению отбора).

Как проходит отборочный этап, какие документы нужно подавать для участия и всю остальную информацию об олимпиаде можно найти здесь. Заявки принимаем до 5 мая.

В понедельник провели крупнейший в России семинар по генеративному проектированию в офисе Института.

Собрали 70+ представителей науки, стройки и промышленности — обсуждали автоматизацию, реверс-инжиниринг и кейсы применения AI в проектировании. Услышал много интересных идей и подтверждение, что наш проект со Сбером движется в нужном направлении — запрос на подобные AI-решения в отрасли есть, и он только растёт.

https://news.1rj.ru/str/airi_research_institute/847