Accuracy - худшая метрика в классификации

Accuracy - самая популярная метрика в ML.
И одновременно - самая опасная.

Звучит провокационно? Давай разберёмся.

Почему все любят Accuracy?

Формула максимально простая:

Accuracy =
(количество правильных предсказаний / общее количество объектов)

Если модель угадывает 90% объектов - кажется, что всё отлично.

Но есть одна проблема 👇

Когда Accuracy полностью врёт

Представим задачу:

👉 1000 клиентов
👉 950 — не уйдут (класс 0)
👉 50 — уйдут (класс 1)

Модель, которая всегда предсказывает «0», получит:

👉 950 правильных предсказаний
👉 Accuracy = 95%

95% — звучит круто. Но модель вообще не находит тех 50 клиентов, ради которых бизнес запускал проект. Она бесполезна.

Проблема №1 — дисбаланс классов

Accuracy не чувствительна к перекосу данных.

В задачах:

👉 Fraud detection
👉 Churn prediction
👉 Medical diagnosis

дисбаланс — это норма, а не исключение.

И accuracy начинает вводить в заблуждение.

Проблема №2 — разные ошибки стоят по-разному

В медицине:

👉 False Negative → пациент болен, модель сказала «здоров»
👉 False Positive → пациент здоров, модель сказала «болен»

Цена ошибок совершенно разная. Accuracy этого не учитывает.

Что использовать вместо Accuracy?

Зависит от задачи.

Если важен поиск редкого класса:

👉 Recall
👉 Precision
👉 F1-score

Если важен баланс:

👉 ROC-AUC
👉 PR-AUC

Если классы несбалансированы:

👉 Balanced Accuracy

Когда Accuracy всё-таки можно использовать?

👉 Когда классы сбалансированы
👉 Когда стоимость ошибок одинакова
👉 Когда это baseline

Во всех остальных случаях - это иллюзия качества.

Вывод

Accuracy - не плохая метрика.
Плохой - слепой выбор метрики.

Метрика должна соответствовать бизнес-задаче.
Иначе вы оптимизируете красивую цифру, а не реальную пользу.

Project Genie: Google даёт поиграться с генеративными мирами

Google запустили Project Genie — и это первая нормальная возможность для обычных пользователей потрогать Genie-3 руками. По сути, это генератор интерактивных миров: ты отдельно задаёшь промпт для окружения и для персонажа (или просто кидаешь картинку), сначала получаешь превью мира от Nano Banana, правишь детали, а уже потом «заходишь» внутрь. Фантазия вообще ничем не ограничена — можно, например, сделать мир “34th Street–Penn Station” и играть за “Discarded pack of cigarettes”, буквально управляя пачкой сигарет в метро. Плюс есть ремиксы: берёшь персонажа из одного мира, окружение из другого, или копаешься в галерее чужих миров и перекраиваешь их под себя. В итоге это выглядит как песочница между игрой, генеративным артом и прототипированием будущих виртуальных миров — залипнуть реально легко. Единственный минус: доступ пока только для подписчиков Ultra за $250, так что это скорее взгляд в будущее, чем массовый релиз.

Data Science

Transformer простыми словами

Если объяснить максимально просто:
Transformer — это модель, которая понимает контекст через механизм внимания.

Именно на ней построены современные LLM.

Проблема старых моделей

До Transformer были:
👉 RNN
👉 LSTM
👉 GRU

Они читали текст последовательно — слово за словом.

Проблемы:
👉 плохо запоминали длинный контекст
👉 обучались медленно
👉 не параллелились

Нужно было что-то принципиально другое.

Главная идея Transformer — Attention

Transformer не читает текст по порядку.

Он смотрит на всё предложение сразу
и решает, какие слова важны друг для друга.

Например:

«Я положил ноутбук на стол, потому что он был тяжёлый»

Что значит «он»?

Transformer вычисляет, к какому слову это относится,
через механизм внимания.
Это называется Self-Attention.

Что такое Self-Attention интуитивно

Представь, что каждое слово:
👉 смотрит на остальные слова
👉 решает, кому доверять больше
👉 взвешивает их влияние

Математически это:
👉 Query
👉 Key
👉 Value
👉 Softmax
👉 взвешенная сумма

Интуитивно — это просто умное распределение внимания.

Почему это революция

👉 модель видит весь контекст сразу
👉 можно обучать параллельно
👉 отлично работает с длинными последовательностями
👉 хорошо масштабируется

Именно поэтому после статьи
Attention Is All You Need
всё изменилось.

Из чего состоит Transformer

Если сильно упростить:
👉 Embedding
👉 Positional Encoding
👉 Multi-Head Attention
👉 Feed Forward Network
👉 Residual + LayerNorm

И всё это повторяется много раз слоями.

Почему LLM — это просто большой Transformer

Потому что если:
👉 увеличить количество слоёв
👉 увеличить размерность
👉 увеличить объём данных

получается модель, способная:
👉 писать код
👉 объяснять физику
👉 переводить языки
👉 вести диалог

В одном предложении

Transformer — это архитектура,
которая понимает текст через внимание ко всему контексту сразу.

Укротить машинное обучение — миссия выполнима 💪

В 2026 перед бизнесом стоит задача: окупить расходы на машинное обучение. Точно не обойтись без знаний по MLOps.

На помощь приходит мини-курс по машинному обучению от Академии Selectel.
Эксперты подробно рассказали:
- как работать с артефактами в MLOps,
- что нужно бизнесу от Feature Store,
- как работать с ML-моделями на open source-платформах.

🔝 Проходите уроки бесплатно по ссылке:

Хотите быть в курсе трендов и реальной практики машинного обучения? Присоединяйтесь к сообществу профессионалов: @mlpathway 👈

Эксперты Selectel поделятся тем, как развить надежную ИТ-инфраструктуру для ресурсоемких задач и инференса моделей.

Edge AI: видеокамеры с искусственным интеллектом

Введение в Edge AI
Edge AI — это технология, позволяющая обрабатывать данные непосредственно на устройствах, расположенных на периферии сети, таких как видеокамеры, без необходимости передачи информации в облако. Это обеспечивает более быструю обработку данных и снижает задержки, что критично для приложений реального времени.

Преимущества видеокамер с Edge AI
Внедрение искусственного интеллекта в видеокамеры позволяет анализировать видео в реальном времени, повышая эффективность систем видеонаблюдения. Это снижает нагрузку на центральные серверы и уменьшает затраты на передачу данных. Кроме того, такие камеры могут работать автономно, обеспечивая непрерывный мониторинг даже при отсутствии подключения к сети.

Применение в различных отраслях
Видеокамеры с Edge AI находят применение в различных сферах: от промышленности до здравоохранения. В промышленности они используются для контроля качества продукции и обеспечения безопасности на производственных площадках. В здравоохранении такие камеры помогают в мониторинге пациентов и обеспечении безопасности медицинских учреждений.

Технологические достижения
Современные видеокамеры с Edge AI оснащены мощными процессорами и специализированными нейронными сетями, что позволяет им выполнять сложные задачи машинного зрения непосредственно на устройстве. Это включает в себя распознавание лиц, обнаружение аномалий и анализ поведения в реальном времени.

Будущие перспективы
Ожидается, что к 2032 году рынок Edge AI достигнет 35,26 миллиарда долларов США, демонстрируя среднегодовой темп роста 12,35% с 2025 года. Это свидетельствует о растущем спросе на устройства с локальной обработкой данных и их интеграции в различные отрасли.

Факты
👉 К 2032 году рынок Edge AI достигнет 35,26 миллиарда долларов США с CAGR 12,35% с 2025 года
👉 Внедрение Edge AI в видеокамеры снижает задержки обработки данных и повышает эффективность систем видеонаблюдения

❗️Видеокамеры с Edge AI представляют собой значительный шаг вперед в области видеонаблюдения, обеспечивая быструю и эффективную обработку данных непосредственно на устройстве, что открывает новые возможности для различных отраслей.

Источники
Edge AI 2025: Тренды и кейсы внедрения искусственного интеллекта на периферии.
Edge AI в 2025 году: как локализованный интеллект открывает новые горизонты для бизнеса.
Видеонаблюдение с Edge AI: меньше затрат, больше возможностей.

DeepSeek V3.2 в Yandex AI Studio: теперь агенты реально умеют рассуждать

В Yandex AI Studio появилась модель, которая предназначена для решения сложных пошаговых задач. Агенты на базе этой модели могут сравнивать тендеры, разбирать инциденты, гонять автотесты, поднимать репозиторий и деплоить приложения.

Технически — это полноценный chain-of-thought + tool use, где сессия хранит длинный контекст и повторные обращения. Платформа оптимизирует кеширование и вызов инструментов, так что стоимость сессий падает почти в 4 раза.

Платформа SourceCraft уже интегрировала модель в своего кодового ассистента. ИИ теперь не просто completion — он orchestration.

MBZUAI и G42 представили K2 Think — революционную модель рассуждения с открытым исходным кодом

Введение
Мохаммед бин Заидский университет искусственного интеллекта (MBZUAI) совместно с технологической компанией G42 объявили о выпуске K2 Think — передовой модели рассуждения с открытым исходным кодом, предназначенной для решения сложных задач в области искусственного интеллекта. Узнайте больше в официальном анонсе MBZUAI.

Технические характеристики и производительность
K2 Think содержит 32 миллиарда параметров, что значительно меньше по сравнению с другими флагманскими моделями, такими как GPT-4 и DeepSeek-V3.1, которые имеют более 200 миллиардов параметров. Несмотря на меньший размер, K2 Think демонстрирует сопоставимую производительность в задачах математического и научного рассуждения. Подробнее читайте в новости The National.

Инновационные подходы
Модель основана на шести ключевых инновациях, включая обучение с подкреплением с проверяемыми наградами и агентное планирование, позволяющее разбивать сложные задачи на более простые этапы. Подробности доступны в официальном анонсе G42.

Производительность и доступность
K2 Think будет доступна на платформе Cerebras, оптимизированной для высокоскоростного вывода, достигая скорости обработки до 2000 токенов в секунду. Узнайте больше о производительности в пресс-релизе от Cerebras.

Открытость и прозрачность
В отличие от большинства моделей, K2 Think полностью открыта: доступны данные обучения, веса параметров и программный код для развертывания и оптимизации. Это обеспечивает прозрачность и воспроизводимость для исследовательского сообщества. Детали можно найти в официальном анонсе G42.

Значение для ОАЭ
Выпуск K2 Think подчеркивает стремление ОАЭ к лидерству в области искусственного интеллекта, демонстрируя способность страны разрабатывать передовые технологии и делиться ими с мировым сообществом. Подробнее в официальном анонсе G42.

Факты
👉 K2 Think содержит 32 миллиарда параметров и сопоставима по производительности с моделями, имеющими более 200 миллиардов параметров. Источник: новость The National.
👉 Модель достигает скорости обработки до 2000 токенов в секунду на платформе Cerebras. Подробности в пресс-релизе от Cerebras.

❗️K2 Think представляет собой значительный шаг вперед в области моделей рассуждения, сочетая эффективность, производительность и открытость, что способствует развитию глобального сообщества искусственного интеллекта.

Источники
MBZUAI и G42 представили K2 Think. Новости о запуске K2 Think от MBZUAI. Cerebras о производительности K2 Think.

Индия принимает AI Impact Summit 2026: ключевые темы и обсуждения

Введение
С 16 по 21 февраля 2026 года в Нью-Дели прошёл AI Impact Summit 2026, ставший первой глобальной встречей по искусственному интеллекту, организованной в стране Глобального Юга. Саммит собрал лидеров государств, руководителей технологических компаний и экспертов для обсуждения роли ИИ в инклюзивном росте и устойчивом развитии.

Основные темы саммита
На саммите были рассмотрены следующие ключевые темы:
👉 развитие человеческого капитала;
👉 инклюзия для социального расширения возможностей;
👉 безопасный и надёжный ИИ;
👉 устойчивость, инновации и эффективность;
👉 наука, демократизация ресурсов ИИ;
👉 использование ИИ для экономического роста и общественного блага. Эти темы отражают стремление Индии к ответственному и инклюзивному развитию ИИ.

Обсуждения по ключевым направлениям
В рамках саммита были проведены дискуссии по следующим направлениям:
👉 Доверие и управление: создание структур, позволяющих инновациям развиваться без потери общественного доверия, включая оценочные протоколы и механизмы управления рисками.
👉 Суверенитет: развитие национальных возможностей в области ИИ, включая вычислительные мощности и архитектуру данных.
👉 Человеческий капитал: трансформация рабочей силы, реформа высшего образования и повышение уровня грамотности в области ИИ.

Объявления и инициативы
В ходе саммита были сделаны значимые объявления:
👉 Компания Sarvam AI представила новые модели ИИ, включая языковые модели с 30 и 105 миллиардами параметров, а также устройства, такие как умные очки Kaze.
👉 Государственная инициатива BharatGen Param2 представила модель с 17 миллиардов параметров, поддерживающую 22 индийских языка.
👉 Министр Ашвини Вайшнав объявил о планах увеличить количество GPU в Индии более чем на 20 000 единиц в рамках портала IndiaAI Compute.

Международное сотрудничество
Саммит подчеркнул важность международного сотрудничества в области ИИ. Французский президент Эммануэль Макрон и генеральный секретарь ООН Антониу Гутерриш приняли участие в мероприятии, обсуждая глобальные инициативы и необходимость совместных усилий для обеспечения ответственного развития ИИ.

❗️AI Impact Summit 2026 в Нью-Дели стал важной вехой в глобальном диалоге об искусственном интеллекте, подчеркнув стремление Индии к ответственному и инклюзивному развитию ИИ и укреплению международного сотрудничества в этой области.

Источники:
Основные события AI Impact Summit 2026.
Обсуждения, формирующие будущее ИИ в Индии.
AI Impact Summit 2026 на Wikipedia.
Международное сотрудничество в области ИИ.

WebDS: новый бенчмарк для веб-ориентированных задач Data Science

Введение в WebDS
В августе 2025 года была представлена новая система оценки для веб-ориентированных задач Data Science под названием WebDS. Этот бенчмарк включает 870 задач, охватывающих 29 различных веб-сайтов, от структурированных государственных порталов до неструктурированных новостных ресурсов. Задачи требуют выполнения сложных, многошаговых операций с использованием различных инструментов и данных в разнородных форматах, что отражает реалии современной аналитики данных.

Проблемы существующих бенчмарков
Ранее существующие бенчмарки для веб-ориентированных задач часто фокусировались на простых взаимодействиях, таких как заполнение форм или транзакции в электронной коммерции, и не требовали разнообразных инструментальных возможностей, необходимых для веб-ориентированной аналитики данных. Традиционные бенчмарки Data Science, в свою очередь, обычно концентрировались на статических, часто текстовых наборах данных и не оценивали полные рабочие процессы, включающие сбор, очистку, анализ данных и генерацию инсайтов.

Оценка современных моделей
Оценка современных моделей на WebDS показала значительные пробелы в их производительности. Например, агент Browser Use, успешно выполняющий 80% задач на Web Voyager, справился только с 15% задач на WebDS. Анализ выявил новые причины неудач, такие как слабая привязка к информации, повторяющееся поведение и стремление к упрощению задач, что подчеркивает необходимость дальнейших исследований и улучшений в области веб-ориентированной аналитики данных.

Факты
👉 В августе 2025 года представлен бенчмарк WebDS, включающий 870 задач на 29 различных веб-сайтах.
👉 Агент Browser Use успешно выполняет 80% задач на Web Voyager, но только 15% на WebDS.

Итог
❗️ WebDS предоставляет более реалистичную и сложную среду для тестирования, стимулируя развитие практических и эффективных моделей для веб-ориентированных задач Data Science.

Источники
WebDS: An End-to-End Benchmark for Web-based Data Science раскрывает подробности о новом бенчмарке.

Ошибки, которые делают почти все при обработке категориальных признаков

Введение
Обработка категориальных признаков — одна из ключевых задач в подготовке данных для моделей машинного обучения. Несмотря на кажущуюся простоту, данный этап часто становится источником ошибок, которые могут значительно влиять на качество моделей. Давайте рассмотрим некоторые из распространённых ошибок и способы их избежать.

Ошибка 1: Ошибка в выборе метода кодирования
Одна из частых ошибок при работе с категориальными признаками — неверный выбор метода кодирования. Многие начинающие инженеры используют One-Hot Encoding для всех категориальных признаков, что не всегда оправдано. Например, если мы имеем дело с признаками с высокой кардинальностью, One-Hot Encoding может значительно увеличить количество признаков, что плохо сказывается на скорости обучения и памяти.

Сравнение One-Hot Encoding и Target Encoding

import pandas as pd
from sklearn.preprocessing import OneHotEncoder

# Пример данных
data = pd.DataFrame({'city': ['Moscow', 'Berlin', 'Berlin', 'New York', 'Moscow']})

# One-Hot Encoding
encoder = OneHotEncoder(sparse=False)
ohe_df = pd.DataFrame(encoder.fit_transform(data[['city']]), columns=encoder.get_feature_names_out(['city']))
print(ohe_df)

# Target Encoding (простое среднее значение по городу)
mean_target_encoding = data.groupby('city').size() / len(data)
data['city_encoded'] = data['city'].map(mean_target_encoding)
print(data)

Ошибка 2: Отсутствие учёта порядка категорий
Игнорирование порядка категориальных признаков может стать причиной для искажения результатов. Например, при кодировании рейтинга (низкий, средний, высокий) важно сохранить порядок. Без учета порядка некоторые методы, такие как Label Encoding, могут привести к неправильной интерпретации модели.

Использование Label Encoding на упорядоченных данных

from sklearn.preprocessing import OrdinalEncoder

# Пример данных
ratings = pd.DataFrame({'rating': ['low', 'medium', 'high']})

# Ordinal Encoding
ordinal_encoder = OrdinalEncoder(categories=[['low', 'medium', 'high']])
ratings_encoded = ordinal_encoder.fit_transform(ratings)
print(ratings_encoded)

Ошибка 3: Игнорирование новых категорий в данных
При изменении структуры данных, например, при поступлении новых данных, легко упустить появление новых категорий, отсутствующих в обучающей выборке. Это может привести к ошибкам в прогнозировании и даже к падению сервиса в production. Использование специальных объектов (например, категориальных маппингов) или добавление логики обработки новых значений помогает избежать этой проблемы.

Пример использования категориальных маппингов с обработкой новых категорий

# Пример данных
train_data = pd.DataFrame({'city': ['Moscow', 'Berlin', 'New York']})
test_data = pd.DataFrame({'city': ['London', 'Berlin', 'Moscow']})

# Создание маппинга
city_mapping = {'Moscow': 0, 'Berlin': 1, 'New York': 2}

# Применение маппинга с обработкой новых категорий
train_data['city_encoded'] = train_data['city'].map(city_mapping)
test_data['city_encoded'] = test_data['city'].map(lambda x: city_mapping.get(x, -1))

print(test_data)

TG: Data Science | Machinelearning [ru]

Неочевидные подводные камни при использовании ансамблей моделей

Введение в ансамбли моделей
Ансамбли моделей — это мощный инструмент в арсенале дата-сайентиста. Их использование может значительно улучшить качество моделей за счет объединения нескольких слабых обучателей. Однако, не все так просто, как может показаться на первый взгляд.

Проблема переобучения
Один из ключевых вопросов, с которыми можно столкнуться при работе с ансамблями, — это переобучение. Когда ансамбль состоит из чрезмерно сложных моделей, он может адаптироваться к шуму в данных, что негативно скажется на его генерализации.

👉 Базовый пример использования ансамблей:

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# Загрузка данных
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Обучение модели
model = RandomForestClassifier(n_estimators=10)
model.fit(X_train, y_train)

# Оценка качества
accuracy = model.score(X_test, y_test)
print(f'Accuracy: {accuracy:.2f}')

👉 Проблема переобучения на ансамблях:

# Усложнение модели
model = RandomForestClassifier(n_estimators=100, max_depth=None)
model.fit(X_train, y_train)

# Проверка на тестовых данных
accuracy = model.score(X_test, y_test)
print(f'Overfitted Accuracy: {accuracy:.2f}')

# Проверка на обучающих данных
train_accuracy = model.score(X_train, y_train)
print(f'Train Accuracy: {train_accuracy:.2f}')

Влияние несбалансированных данных
Другой подводный камень заключается в том, что ансамбли могут быть чувствительны к несбалансированным данным, что может привести к тому, что ансамбль будет склоняться в пользу большинства.

👉 Влияние несбалансированных классов на ансамбли:

from imblearn.ensemble import BalancedRandomForestClassifier

# Балансировка данных напрямую в ансамбле
balanced_model = BalancedRandomForestClassifier(n_estimators=10)
balanced_model.fit(X_train, y_train)

balanced_accuracy = balanced_model.score(X_test, y_test)
print(f'Balanced Accuracy: {balanced_accuracy:.2f}')

Сложность интерпретации ансамблей
Еще одной сложностью является интерпретация результатов ансамблей. Они часто считаются черными ящиками, что осложняет объяснение их работы.

👉 Типичный анти-паттерн: попытка интерпретации без визуализации:

# Без применения инструментов интерпретации
# Попытка вручную разбираться в деревьях может быть неэффективной
# Альтернативы: SHAP, LIME
import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Заключение
Работа с ансамблями требует не только знаний о базовых принципах их работы, но и понимания возможных подводных камней. Следует всегда помнить о переобучении, учитывать баланс классов и применять соответствующие инструменты для интерпретации моделей. Только так можно максимально эффективно использовать ансамбли в реальных проектах.

TG: Data Science | Machinelearning [ru]