#полезное
😱 OpenAI закрывается на неделю

Несколько дней подряд то и дело всплывали новости о том, что из OpenAI в Meta уходят исследователи. Всего на данный момент известно о восьмерых сотрудниках, перешедших к Цукербергу.

На фоне этого Альтман, видимо, решил что-то координально менять. Марк Чен, главный научный сотрудник OpenAI, лично отписался всем в компании и сообщил, что:

1⃣ На этой неделе OpenAI уходит на каникулы, чтобы дать (оставшимся) сотрудникам восстановить силы. Марк признается, что в последнее время они увлеклись гонкой и быстрыми релизами, так что многие в компании работали по 80 часов в неделю.

2⃣ Отдыхать будут все, кроме руководства. «Мы с Сэмом и другими руководителями работаем круглосуточно, чтобы пересмотреть материальные бонусы и найти новые креативные способы вознаграждения талантов»

«Сейчас я чувствую себя так, будто кто-то ворвался в наш дом и что-то украл» – пишет Марк. «Поверьте, мы не сидим сложа руки. Мы будем бороться на каждого из вас, но при этом не ценой проявления несправедливости по отношению к другим»

Для OpenAI, конечно, это все очень некстати. Еще пару недель назад Сэм обещал «лето горячих релизов», а теперь вот вынужден отпустить всех сотрудников в недельный отпуск. Надеемся, что хотя бы ChatGPT не решит тоже уйти к Цукеру

👉Новости 👉База вопросов

#полезное
😵‍💫 Там в открытый доступ вышла самая свежая книга Себастьяна Рашки «Machine Learning Q and AI»

С книгами Рашки, наверное, многие знакомы. Он один из разработчиков scikit learning и просто очень опытный и известный рисерчер, написавший много учебной литературы. Если пока ничего его авторства не читали – сильно рекомендуем.

Конкретно эта книга – сборник всей базы по Deep Learning. В ней 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок.

К каждой главе есть упражнения и список дополнительных источников. Ну, в общем, мед.

Сама книга вышла примерно год назад, но до этого дня ее можно было только заказать с Amazon. Сегодня же Себастьян выложил ее в открытый доступ полностью бесплатно.

«Сейчас лето, сезон стажировок и технических интервью. Надеюсь, моя книга будет полезна» – написал он

Хватаем, пока горячо: sebastianraschka.com/books/ml-q-and-ai-chapters/ch17/

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как обрабатывать несбалансированные классы в наборе данных с помощью Scikit-Learn?

Для обработки несбалансированных классов в Scikit-Learn можно использовать ресэмплинг (undersampling или oversampling), а также классические веса для алгоритмов, поддерживающих этот метод, например, для SVM или Random Forest. Это помогает модели лучше распознавать редкие классы.

👉Новости 👉База вопросов

#полезное
📞 Ну все, это вайб-кодинг на максималках: Cursor теперь доступен с телефона и в вебе

Прямо со смартфона можно будет добавлять параллельные таски, редактировать код, создавать PR, управлять задачами и так далее. Все изменения, естественно, сохранятся в вашем проекте и потом можно будет продолжить работать с того же места уже с компьютера.

www.cursor.com/agents

👉Новости 👉База вопросов

#полезное
😊 Это делает ваше RAG-приложение в 10 раз лучше

Большинство людей, которых я знаю, просто разбивают документы на чанки и строят эмбеддинги для этих фрагментов.

Но создавать действительно хорошие чанки — сложно. Идеального способа нет, но есть простой приём, который значительно улучшает качество чанков.

Добавьте к каждому чанку дополнительную метаинформацию.

Например, вы работаете с научными статьями. Каждый чанк — это всего лишь абзац, но сам по себе он часто оказывается слишком размытым.

Вместо того чтобы использовать только абзац, я добавляю к каждому чанку следующую информацию:

🟠Название статьи

🟠Номер страницы

🟠Заголовок секции, к которой относится абзац

🟠Ключевые слова или теги, содержащиеся в абзаце

🟠Одно предложение, кратко резюмирующее содержание абзаца

Этот дополнительный контекст делает эмбеддинг гораздо богаче и значительно повышает его полезность при извлечении.

Эту метаинформацию можно либо извлекать автоматически, либо генерировать с помощью LLM.

Это дополнительный шаг. Если вы только начинаете внедрять RAG, можно пока его пропустить. Но как только у вас заработает базовая версия — обязательно реализуйте это улучшение.

👉Новости 👉База вопросов

#полезное
😊 FlexAttention — простой способ писать любое внимание на PyTorch

Зачем городить сложные CUDA-ядра, если можно использовать понятный и мощный абстрактный подход?

FlexAttention — это новая модель программирования, которая позволяет реализовать большинство вариантов attention (внимания) всего в *нескольких строках кода на PyTorch*.

🟠Работает на базе компилятора — автоматически оптимизирует вычисления
🟠 Производительность на уровне кастомных ядер (hand-written kernels)

Что даёт FlexAttention:
🔵 Унифицированный способ писать self-, cross-, local-, sparse-attention
🔵 Без кастомных CUDA/CPP — всё на чистом PyTorch
🔵 Гибкость и читаемость для исследований и прототипов
Смотреть

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как оптимизировать гиперпараметры в модели Scikit-Learn?

Для оптимизации гиперпараметров в Scikit-Learn используют GridSearchCV или RandomizedSearchcV . GridSearchcv пробует все возможные комбинации параметров, в то время как RandomizedSearchcv выбирает случайные комбинации, что ускоряет процесс. Оба метода возвращают наилучшие параметры для модели.

👉Новости 👉База вопросов

#полезное
👋 Pointblank — мощный инструмент для валидации данных

Если вы дата-сайентист, аналитик или инженер данных — эта библиотека точно заслуживает вашего внимания.

С интуитивным и цепочечным API, Pointblank позволяет:
🟠 запускать точечные проверки качества данных,
🟠 отслеживать критичные ошибки,
🟠 автоматически формировать интерактивные отчёты,
🟠 интегрироваться с Slack и другими системами.

Идеально для пайплайнов на pandas, polars или ibis.

Пример базовой валидации:

import pointblank as pb

validation = (
   pb.Validate(data=pb.load_dataset("small_table"))
   .col_vals_gt(columns="d", value=100)         # Значения > 100
   .col_vals_le(columns="c", value=5)           # Значения <= 5
   .col_exists(columns=["date", "date_time"])   # Проверка наличия колонок
   .interrogate()                               # Выполнить валидацию
)

validation.get_tabular_report().show()

Реальный пример на Polars:

import pointblank as pb
import polars as pl

sales_data = pl.read_csv("sales_data.csv")

validation = (
   pb.Validate(
      data=sales_data,
      tbl_name="sales_data",
      label="Валидация реальных данных",
      thresholds=(0.01, 0.02, 0.05),
      actions=pb.Actions(
         critical="Критичная ошибка качества данных на шаге {step} ({time})."
      ),
      final_actions=pb.FinalActions(
         pb.send_slack_notification("https://hooks.slack.com/services/your/webhook/url")
      ),
      brief=True,
   )
   .col_vals_between(columns=["price", "quantity"], left=0, right=1000)
   .col_vals_not_null(columns=pb.ends_with("_id"))
   .col_vals_regex(columns="email", pattern="^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$")
   .col_vals_in_set(columns="status", set=["pending", "shipped", "delivered", "returned"])
   .conjointly(
      lambda df: pb.expr_col("revenue") == pb.expr_col("price") * pb.expr_col("quantity"),
      lambda df: pb.expr_col("tax") >= pb.expr_col("revenue") * 0.05
   )
   .interrogate()
)

# HTML-отчёт можно открыть в браузере:
validation.get_tabular_report().show("browser")

Установка:

pip install pointblank
# или с нужным бэкендом:
pip install "pointblank[pl]"       # с Polars
pip install "pointblank[pd]"       # с Pandas
pip install "pointblank[duckdb]"   # с DuckDB (через Ibis)
pip install "pointblank[postgres]" # с PostgreSQL

Под капотом

Pointblank работает с Polars, Pandas и Ibis (через Narwhals) — то есть вы можете валидировать данные не только из CSV, но и из баз данных (PostgreSQL, MySQL, DuckDB и др.).
Ссылка на проект

👉Новости 👉База вопросов

#полезное
🛞 Manim — это мощная библиотека на Python для создания анимаций математических и научных концепций!

Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.
Гитхаб

👉Новости 👉База вопросов

#полезное
🛞 Machine Learning Q and AI — новая книга от мастодонта ML Себастьяна Рашки теперь в открытом доступе!

Автор — core‑разработчик Scikit‑learn, преподаватель, автор культовых пособий по машинному обучению.

Что внутри:
🟠 30 глав по нейросетям, компьютерному зрению, LLM, оценке и деплою моделей
🟠 Чёткая структура: теория → примеры → упражнения
🟠 Много практики, схем, визуализаций и Python‑кода

Это не просто справочник, а полный курс по Deep Learning, от основ до продвинутых тем.
Читать онлайн

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как реализована кросс-валидация в Scikit-Learn и почему это важная техника?

B Scikit-Learn кросс-валидация реализована через модуль model_selection, с функциями, такими как cross_val_score И cross_validate . Эти функции делят данные на несколько "слоёв" (folds), обучают модель на k-1 из них и тестируют на оставшемся. Этот процесс повторяется к раз с каждым слоем в роли тестового. Кросс-валидация помогает снизить переобучение и даёт более объективную оценку работы модели.

👉Новости 👉База вопросов

#полезное
😵‍💫 Apple рассматривает замену Siri на Claude или ChatGPT

Apple активно изучает возможность использования моделей Claude 3 Opus от Anthropic и GPT-4 Turbo от OpenAI для новой версии Siri, отказавшись от собственных LLM. Компания провела тестирование обеих моделей на закрытой облачной инфраструктуре, чтобы сравнить качество генерации, безопасность и способность к сложным диалогам.

Причины перехода:
— Собственная разработка LLM для Siri задерживается до 2026 года из-за проблем с качеством
— Необходимость ускорить вывод на рынок более интеллектуального голосового ассистента
— Усиленная конкуренция с Google Assistant и Microsoft Copilot

Что уже сделано:
— Тестирование Claude 3 Opus и GPT-4 Turbo на Private Cloud Compute Apple
— Смена руководства AI-подразделения: Майк Рокуэлл занял место Джона Джаннандреа
— Отмена запуска “LLM Siri” на WWDC 2025 из-за неготовности модели
Подробнее

👉Новости 👉База вопросов

#полезное
😎 Apple выложила Sage Mixtral 8x7B fine-tune с лицензией Apache

Это не просто ещё одна доработка LLM — модель использует State-Action Chains (SAC), чтобы встроить в диалоговую генерацию латентные переменные для эмоций и стратегий общения.

Что это даёт:
- SAC vs обычный fine-tune: модель получает грубое управление через state/action токены → диалоги становятся эмоционально насыщеннее, без потери на метриках
- Итеративная доработка: self-play + tree search позволяют оптимизировать диалоги по цепочкам действий, превзойдя базовые модели по оценкам LLM-судей

https://huggingface.co/apple/sage-ft-mixtral-8x7b

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как функциональность pipeline в Scikit-Learn полезна для проекта машинного обучения?

Pipeline в Scikit-Learn упрощает процесс создания моделей машинного обучения, объединяя несколько шагов, таких как предобработка данных и обучение модели, в один объект. Это помогает улучшить читаемость кода, избежать ошибок при кросс-валидации и облегчить настройку гиперпараметров с ПОМОЩЬЮ GridSearchcv или RandomizedSearchCV .

👉Новости 👉База вопросов

#полезное
😊 Самый быстрый движок для сервинга LLM

LMCache — это движок для сервинга LLM, разработанный для минимизации time-to-first-token и повышения throughput, особенно в сценариях с длинным контекстом.

Он ускоряет vLLM, обеспечивая в 7 раз более быстрый доступ к кэшу ключей/значений (KV cache) и поддерживая объём в 100 раз больше.
Полностью опенсорс

👉Новости 👉База вопросов

#полезное
❤️‍🔥 Microsoft недавно выпустили бесплатный курс по созданию AI-агентов.

В нем 11 уроков с теорией, примерами кода на Python, заданиями и ссылками на доп. материалы
Гитхаб

👉Новости 👉База вопросов