Две мысли: во-первых, коллективное решение задачи имеет больше шансов на успех, чем одиночное; во-вторых, внутри коллектива лучше разделяться на группы, а не работать всем над одной задачей. Обе мысли кажутся очевидными, если мы говорим про людей. Оказывается, то же верно и для LLM в задаче разработки инноваций.

Группа авторов из IT University (Дания), университета Бордо и Microsoft поставили перед собой задачу исследовать процесс инновационного творчества у LLM. Авторы вдохновлялись процессом развития человеческой культуры, которую можно описать так: люди комбинируют между собой некоторые существующие элементы и какие-то из этих комбинаций оказываются удачными или становятся основой для следующих инноваций. При этом важно, что каждое новое поколение не начинает процесс с нуля, а опирается на уже накопленный опыт прошлых комбинаций — это отличает человеческую культуру от других животных.

В таком описании процесс инноваций похож на игру в алхимика, в которой из 4 базовых элементов (огонь, земля, вода и воздух) путем комбинаций игрок должен получить сотни различных объектов. Комбинации не случайны, а соответствуют некоторым представлениям о мире: например, “огонь” + “вода” = “пар”. Эту популярную игру уже использовали для изучения исследовательского поведения людей. Авторы статьи решили применить этот же метод для LLM.

Читать дальше

Внимание! Механизм внимания в трансформерах, который уже много лет “is all we need”, оказывается не таким уже незаменимым.

Это, конечно, не очень правдивый заголовок, но зато привлекает внимание. На самом деле речь пойдет о различных попытках заменить или хотя бы облегчить механизм внимания в трансформерах. Он во многом обеспечил успех моделей последних лет, но он же остается одним из узких мест. Дело в квадратичной сложности вычислений, из-за которой приходится ограничивать размеры входной последовательности. Ну и вообще, несмотря на все преимущества внимания, хотелось бы, чтобы оно, как основной двигатель моделей, было более экономично.

Читать далее

Как заставить ИИ писать по-человечески — атака от противного

В синем углу ринга — детекторы ИИ. В красном углу ринга — мы, по крайней мере, на ближайшие 10 минут прочтения этого текста. Как обойти детекторы, которые обнаруживают текст, написанный ИИ? Как учит нас любой голливудский боевик — нужно найти слабое место противника. Исследователи из Университета Цинхуа предполагают, что нашли такое место, и, соответственно, нашли способ пробить эту уязвимость.

Идея в следующем — детекторы просто знают слова, которые чаще всего используют GPT и другие модели. Честно сказать, мы все и сами уже эти шаблоны хорошо выучили за последние пару лет. Например, иронично, но один из таких признаков — длинное тире, и тут вы его часто встретите. Но это авторский стиль, ИИ ни при чем — честно. Так вот существующие способы обхода детекторов разными путями пытаются заставить LLM выдавать более человекоподобные тексты. Можно обучить отдельную нейросеть перефразировать текст, можно на входе просить сеть “пиши как живой человек”, можно пословно просеивать текст и заменять типичные ИИ-слова на что-то более общепринятое.

Читать дальше

Суров закон, но он закон: как мы собрали RuTaR — датасет для оценки reasoning-систем в сфере налогового права

Все привыкли к тому, что ChatGPT, DeepSeek, Llama и другие коммерческие LLM способны быстро и умеренно качественно генерировать текст практически любого стиля и содержания. Однако, потенциал использования языковых моделей давно не ограничивается лишь пресловутым копирайтингом и написанием курсовых за одну ночь. Современные модели‑трансформеры всё чаще демонстрируют эмерджентные способности, выражающиеся в их способности к сложному пошаговому рассуждению.

Само устройство этих «рассуждений» (англ. reasoning) забавно перекликается с гипотезой лингвистической относительности Сепира‑Уорфа. Её строгая версия предполагает, что человеческое мышление является формой «внутреннего монолога». Но если наш мозг оказался устроен несколько сложнее, чем думали Сепир и Уорф, то в случае с LLM всё буквально так — модель рассуждает, когда «говорит», т. е. генерирует текст.

На текущий момент мы уперлись в потолок развития LLM привычным путём. Данные для их обучения кончились ещё год назад, а продолжать наращивать и без того огромные вычислительные мощности попросту нет смысла. Поэтому самым перспективным направлением разработок в области ИИ выступает развитие того самого reasoning — умения модели рассуждать.

И хотя за последние полгода появилось множество систем, сделавших большой шаг в сторону продвинутого reasoning (например, DeepSeek R1, о1 от OpenAI), тестируются они всё так же — на математике, шахматных задачках и головоломках. А вот насколько хорошо они справляются с задачами в сфере права или, скажем, комплексного текстуального анализа никто не знает — в большинстве бенчмарков полностью игнорируется способность LLM рассуждать в плоскости гуманитарного знания.

Читать дальше

ИИ против русского налогового права: тестируем топовые reasoning LLM на RuTaR.

В прошлой статье мы рассказали о RuTaR — большом открытом датасете на русском языке, разработанном для оценки способностей LLM к рассуждению в сфере налогового права. Среди прочего, мы тогда запустили серию тестов, чтобы выяснить, как сильные модели справляются с задачами, требующими логического вывода с использованием RAG или без него, в варианте “из коробки”.

Однако, как вполне справедливо отметили некоторые читатели, мы не протестировали "настоящие" reasoning-модели — те, что спроектированы специально для выполнения сложных логических рассуждений, и занимают верхние строчки в соответствующих бенчмарках.

Мы решили исправиться.

Заново изобретая вертолёт: как мы сделали дрон для полётов внутри помещений

Почему летает вертолет? Он поднимается вверх за счёт подъёмной силы винта — это ясно. Ещё в своих набросках Леонардо да Винчи описал подобный принцип, а спустя полторы тысячи лет, в 1907 году, французский инженер Поль Корню впервые поднялся на такой машине на целых 30 сантиметров над землей и зависнул там на целых несколько секунд — прорывное достижение для того времени.
Но почему современный вертолёт, который мы знаем, может не просто зависать, а лететь управляемо? Всё дело в том, что в нём можно менять угол наклона лопастей главного ротора: они не зафиксированы под постоянным углом, а поворачиваются, становясь более пологими или крутыми по отношению к встречному потоку.

Решил эту сложную инженерную задачу студент Императорского Московского технического училища (ныне МГТУ им. Баумана) Борис Юрьев в 1911 году. Ради справедливости тут небольшая оговорка: первенство Юрьева в этом вопросе вроде бы общепризнано, особенно в русскоязычной литературе, но есть и другие мнения: в патенте того же самого Поля Корню тоже описывается механизм наклона винтов, уже довольно близкий к автомату перекоса Юрьева. Правда, Корню после удачного полета переключился на велосипеды, а Юрьев посвятил вертолетостроению всю жизнь.

Читать дальше

HRM — миниатюрная модель, которая легко решает задачи ARC-AGI

В конце июля вышла статья с описанием новой архитектуры для reasoning-моделей — Hierarchical Reasoning Model (HRM). В её основе — двухуровневая рекуррентная система с «быстрой» и «медленной» частями. Первая, рабочая, отвечает за мелкие и детальные вычисления, вторая — за что-то вроде выработки стратегии. Модель невероятно маленькая — всего 27 миллионов параметров. Это настолько мало, что в комментариях постоянно спрашивают: не опечатка ли это? Нет, не миллиардов — миллионов. HRM демонстрирует отличные результаты на задачах из Abstraction and Reasoning Corpus (ARC), который считается основным бенчмарком для AGI. Модель также легко решает судоку и проходит лабиринты, на которых модели с классическим chain of thought проваливаются.

Читать дальше

Хоть кота пивом обольем (с)

Congratulations once again on the acceptance of the paper "Zipf’s and Heaps’ Laws for Tokens and LLM-generated Texts" (Paper ID: 2780) to EMNLP Findings!

В жизни мне повезло близко общаться с большим количеством больших учёных, Александр Николаевич - один из наиболее масштабных среди них, как человек. Его молодость была чрезвычайно трудна и прошла под давлением советских политических репрессий. Обосновавшись в Красноярске, он стал основателем одной из самых интересных, хотя и тоже трагичных, школ в советской науке о нейросетях. Достаточно сказать, что в его группе бэкпроп был придуман независимо и почти одновременно с Хинтоном. Сам он доказал важные варианты свойства универсальной аппроксимации и все 90-е годы продвигал в России нейрокомпьютинг. К сожалению, время опять было не очень к этому располагающим. Александр Николаевич был, наверное, самым недореализованным из больших учёных, которых я знал лично.

Я долго с ним договаривался, чтобы он у нас на семинаре рассказал про раннюю историю нейросетей в СССР и России. Около этого нового года мы опять с ним об этом договорились, но сбыться этому не было суждено.

Вечная память

В возрасте 73 лет из жизни ушел выдающийся российский ученый, член правления Международной ассоциации нейроинформатики Александр Горбань.

Он разработал корректоры ошибок и уязвимостей ИИ, а также систему методов для ускоренного обучения нейронных сетей. 20 лет он работал в Университете Лестера в Великобритании, в 2024 году вернулся в Россию, где возглавил лабораторию ИИ, анализа данных и моделирования Центрального университета и AIRI.

А кто-нибудь ещё на EMNLP приехал уже?

Русскоязычное сообщество на EMNLP на удивление приятное и большое. На фотографии - лишь небольшая его часть, вовремя добежавшая до 1 этажа :)

И о затесавшихся на EMNLP блогерах, по следам комментариев :) оказалось, что сразу несколько интересных людей с конференции ведёт телеграмм-каналы. Удалось организовать эти каналы в папку - enjoy :)
https://news.1rj.ru/str/addlist/imYeuS1xJxw2MmU6