🤖 Reinforcement Learning в 2025: мощно, модно… и всё ещё больно

После релиза reasoning-моделей вроде DeepSeek-R1 стало ясно: без RL современный AI дальше не едет. Но при этом всё не так радужно, как может показаться из твиттер-тредов.

👇 Разбираемся, что RL реально дал в 2025 — и что он утащит с собой в 2026.

В отличие от supervised learning («вот правильный ответ, учись») и unsupervised learning («сам разберись, что тут происходит»), reinforcement learning учится через взаимодействие:
➡️ модель что-то делает
➡️ мир (или проверяющий) отвечает
➡️ модель получает награду или штраф
➡️ и пытается в следующий раз облажаться чуть меньше

В случае LLM:
➡️ состояние — это весь диалог или промпт
➡️ действие — выбор следующего токена
➡️ награда — оценка качества ответа

Reinforcement Learning from Human Feedback окончательно стал стандартом выравнивания моделей.

Классическая схема:
1. SFT — обучаем модель на хороших человеческих ответах
2. Reward model — люди выбирают, какой ответ лучше
3. RL (обычно PPO) — модель учится радовать reward-модель, а не людей напрямую

Проблема очевидна:
❌люди — медленные
❌люди — дорогие
❌люди — устают и противоречат друг другу

Поэтому индустрия закономерно пошла дальше. Так, в 2025 активно взлетел Reinforcement Learning from AI Feedback.

Теперь вместо человека:
✔️ модель оценивает модель
✔️ классификатор проверяет токсичность
✔️ ансамбль моделей выносит «вердикт»

Плюсы:
➡️ масштабируется
➡️ дешевле
➡️ стабильнее, чем люди после дедлайна

Минусы:
➡️ AI начинает учиться у самого себя
➡️ ошибки и перекосы могут усиливаться
➡️ ценности ≠ человеческие (иногда очень ≠)

Настоящий поворотный момент — Reinforcement Learning with Verifiable Rewards (RLVR).

Идея простая и красивая: если ответ можно проверить автоматически — не нужен человек

Как это работает:
➡️ модель генерирует решение (код, математику, план)
➡️ верификатор запускает тесты / решает задачу / проверяет логику
➡️ выдаёт reward
➡️ модель оптимизируется

Именно так появились reasoning-модели с длинными цепочками рассуждений. Да, те самые, которые думают вслух и пугают своей логикой.

Но почему Карпати говорит, что RL — «ужасен»?

Потому что:
➡️ он нестабилен
➡️ чувствителен к наградам
➡️ легко «читерится»
➡️ требует тонкой настройки
➡️ и часто ломает то, что уже работало

Просто альтернативы ещё хуже. RL — это не магия. Это рабочий костыль, который пока лучше всего справляется с реальностью.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

📊 Matplotlib под рукой: всё главное для графиков и анализа

Сохраняйте, пригодится не раз.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🧩 Matrix World: карта мира линейной алгебры

Это не просто схема, а иерархия всех ключевых типов матриц и разложений — от самых общих до «чистого ядра».

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🔥 От нуля до инференса за 5 минут

Выберите сценарий использования и платформу — и получите готовые к запуску инструкции для нужной LFM-модели.

LFM (Large Foundation Model) — это универсальная базовая модель, обученная на больших объёмах данных и пригодная для разных задач: от чатов и кода до изображений и аудио.

Поддерживаемые кейсы:
🔤 чат-боты и генерация текста
🔤 понимание и анализ изображений
🔤 аудио и транскрибация
🔤 генерация и объяснение кода
🔤 эмбеддинги для поиска и рекомендаций
🔤 агентные workflow с вызовом функций

Быстрый старт, понятные примеры и минимум лишней настройки — можно сразу переходить к результату.

🔗 Ссылка на ресурс

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🔈 Локальная расшифровка аудио в реальном времени с LFM2-Audio-1.5B

Появился наглядный пример того, как можно делать real-time audio-to-text полностью локально — без облаков и интернета. В основе связка llama.cpp и компактной модели LFM2-Audio-1.5B.

Идея простая: небольшая, но достаточно мощная аудиомодель + эффективный рантайм = транскрипция прямо на устройстве.

Фактически, это ещё один шаг к edge-ассистентам, которые умеют слушать и понимать речь без отправки данных в облако.

Репозиторий — хороший ориентир для тех, кто хочет собрать подобное решение у себя.

📱 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

⌨️ Топ-вакансий для дата-сайентистов за неделю

Senior Data Engineer — 4 000-5 000 $, удалёнка

Data Analyst — от 1 500 до 3 000 $, удалёнка

Data Analyst (Product, Marketing) — от 200 000 ₽, офис (Санкт-Петербург)

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

📊 datasetiq: Python-клиент для миллионов экономических датасетов

Вышла datasetiq v0.1.2 — лёгкая Python-библиотека для работы с глобальными макроэкономическими данными.

Она объединяет данные из FRED, IMF, World Bank, OECD, BLS, US Census и других источников и возвращает их сразу в виде чистых pandas DataFrame. Под капотом — кэширование, async-запросы и простая настройка, поэтому библиотека хорошо подходит и для ноутбуков, и для продакшена.

Пример использования:

import datasetiq as iq

iq.set_api_key("your_api_key_here")
df = iq.get("FRED/CPIAUCSL")

print(df.head())

df["yoy_inflation"] = df["value"].pct_change(12) * 100
print(df.tail())

В отличие от fredapi, pandas-datareader и похожих библиотек, datasetiq:
✔️ работает сразу с множеством источников;
✔️ имеет встроенное кэширование и защиту от rate limits;
✔️ сфокусирован именно на глобальных макро-данных и тайм-сериях.

Подойдёт аналитикам, исследователям, студентам и всем, кто работает с экономическими данными.

📱 GitHub: https://clc.to/O42hIA
🔗 Документация: https://clc.to/lO7Sng

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

☎️ PyTorch + Unsloth: LLM теперь реально запускаются на смартфонах

Unsloth вместе с PyTorch показали, что деплой LLM на смартфон — это уже не демо из будущего, а рабочая практика. Модель можно дообучить и запустить локально прямо на Android или iPhone — без облаков и интернета.

Есть и практическая часть: выложен бесплатный Colab-ноутбук, где показан полный путь — от fine-tuning до экспорта модели для запуска на телефоне.

Кажется, «edge-LLM» окончательно перестали быть экспериментом и начали превращаться в нормальный инженерный сценарий.

🔗 Туториал

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст