Самая громкая статья месяца – Hierarchical Reasoning Model

Без предисловий, сразу главный результат: у авторов получилось сделать модельку всего на 27 миллионов (!) параметров, которая обошла o3-mini на ARC-AGI-1. Неудивительно, что об этой работе сейчас говорит все комьюнити, а авторы ARC-AGI даже сами написали большой разбор результатов модели на их бенчмарке.

Погнали разбираться.

Итак, вся архитектура состоит из двух рекуррентных модулей: быстрого низкоуровневого и медленного высокоуровневого. Первый отвечает за быстрые локальные вычисления и решения частных задач, а цель второго – абстрактно управлять процессом и ставить таски первому.

Суть в том, что они обновляются с разной частотой. Исходная задача разбивается на несколько циклов рассуждения. В каждом из них верхний модуль обновляется только один раз и дает новый контекст нижнему модулю, который в свою очередь делает много мелких шагов и ищет локальное решение.

Сколько будет таких итераций, модель решает сама. Останавливаться (или не останавливаться) в правильный момент ее специально учили с помощью RL. Так что «думать» она может и пару секунд, и пару часов.

Обучается HRM не совсем привычно для рекуррентной модели: здесь, вместо того чтобы сохранять все внутренние состояния, авторы решили обновлять градиенты только по финальному стейту. Удивительно, но факт – это работает.

Кстати, вся конструкция и принцип обучения очень похожи на то, как работает наш мозг. Некоторые области отвечают за абстракцию, другие – за конкретные моментальные действия, а общаются они посредством обратных связей. Здесь те же принципы иерархии (отсюда и название). Плюс, мозг тоже не хранит промежуточные траектории и к сходимости приходит через схожие волновые циклы.

Итог: модель для своего размера просто беспрецедентно хороша на решениях всяких головоломок типа судоку, лабиринтов и индуктивных задач. В общем, именно в тех областях, где привычные LLM обычно фейлятся. Конечно, особенно поражают результаты на ARC-AGI, которые мы описали в начале.

Революция или нет, но выглядит действительно очень изящно и эффектно.

Обязательно почитайте работу полностью тут (+ вот еще один отличный разбор на русском языке)

Llamator для тех кто в танке, в банке, без интернета

Базовый сценарий работы Llamator'а предполагает взаимодействие с 3 моделями:

1. Атакующая-модель: генерирует промты
2. Модель которую тестируем
3. Модель-судья: анализирует ответы тестируемой модели

Мы будем использовать зараннее подготовленый файл с промтами, специфичными для внутреннего пользования.
Создаем заглушку для атакующей модели работающую с json:

class ClientFromFile(ClientBase):
    def __init__(self, prompts_file: str, model_denoscription: str = "Провайдер промптов из файла"):
        
        super().__init__()
        self.model_denoscription = model_denoscription
        self.prompts: List[str] = []
        self.index = 0

        try:
            with open(prompts_file, "r", encoding="utf-8") as f:
                data = json.load(f)

            # Обработка разных форматов данных в файле
            if isinstance(data, list):
                if data and isinstance(data[0], str):
                    self.prompts = data
                elif data and isinstance(data[0], dict):
                    self.prompts = [
                        item.get("text") or item.get("content") or str(item)
                        for item in data
                    ]
                else:
                    self.prompts = [str(data)]
            else:
                self.prompts = [str(data)]

        except FileNotFoundError:
            self.prompts = []
        except json.JSONDecodeError as e:
            self.prompts = []

В этом же классе переопределяем interact, который возвращает следующий промпт из списка:

 def interact(self, message: str = "", *args, **kwargs) -> Dict[str, Any]:
        if not self.prompts:
            return {"content": "Нет доступных промптов"}

        response_text = self.prompts[self.index % len(self.prompts)]
        self.index += 1

        return {"content": response_text}

Далее переопределяем интерфейс генерации промтов (просто вызывается interact), отказываемся от сохранении истории чата и возвращаем информацию о модели в отчете.

def generate(self, prompt: str, *args, **kwargs) -> Dict[str, Any]:
        return self.interact(prompt, *args, **kwargs)

    def chat(self, messages: List[Dict[str, str]], *args, **kwargs) -> Dict[str, Any]:
        return self.interact("", *args, **kwargs)

    def get_model_info(self) -> Dict[str, Any]:
        return {
            "model_type": "file_based",
            "denoscription": self.model_denoscription,
            "prompts_count": len(self.prompts),
        }

Загружаем промты из файла:

attack_model = ClientFromFile(prompts_file="all_prompts.json")

Тестируемая модель Qwen через Ollama:

tested_model = llamator.ClientOpenAI(
        api_key="ollama",  # Ключ для Ollama (фиктивный, т.к. не требуется)
        base_url="http://localhost:11434/v1",
        model="qwen:7b-chat",
        temperature=0.1,
        model_denoscription="Qwen 7B"
    )

Готовим атаки:

basic_tests = [
        ("aim_jailbreak", {"num_attempts": 3}), # Обход ограничений
        ("base64_injection", {"num_attempts": 2}), # Инъекции через Base64
        ("dan", {"num_attempts": 2}), # "Do Anything Now" промпты
        ("linguistic_evasion", {"num_attempts": 3}), # Лингвистические обходы
        ("harmbench", {"num_attempts": 2}), # Тесты на вредоносность
    ]

Конфигурирование тестирования:

config = {
        "enable_logging": True,
        "enable_reports": True,
        "artifacts_path": "./artifacts",
        "debug_level": 1,
        "report_language": "ru",
        "save_responses": True,
    }

Запускаем тестирование:

test_result_dict = llamator.start_testing(
        attack_model=attack_model,
        tested_model=tested_model,
        judge_model=None, # Оценка без модели
        config=config,
        basic_tests=basic_tests,
        num_threads=1,
    )

#MlSecOps

Банк России разработал Кодекс этики в сфере разработки и применения искусственного интеллекта на финансовом рынке \ КонсультантПлюс
https://www.consultant.ru/law/hotdocs/89962.html