DS & ML | YeaHub – Telegram
DS & ML | YeaHub
464 subscribers
259 photos
67 videos
372 links
Теория, подготовка к интервью и курсы для Data Science специалистов

YeaHub — это платформа для IT-специалистов, объединяющая обучение, карьерный рост, развитие и сообщество единомышленников.

Платформа: https://yeahub.ru

Для связи: @ruslan_kuyanets
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
📞 Ну все, это вайб-кодинг на максималках: Cursor теперь доступен с телефона и в вебе

Прямо со смартфона можно будет добавлять параллельные таски, редактировать код, создавать PR, управлять задачами и так далее. Все изменения, естественно, сохранятся в вашем проекте и потом можно будет продолжить работать с того же места уже с компьютера.

www.cursor.com/agents

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
😊 Это делает ваше RAG-приложение в 10 раз лучше

Большинство людей, которых я знаю, просто разбивают документы на чанки и строят эмбеддинги для этих фрагментов.

Но создавать действительно хорошие чанки — сложно. Идеального способа нет, но есть простой приём, который значительно улучшает качество чанков.

Добавьте к каждому чанку дополнительную метаинформацию.

Например, вы работаете с научными статьями. Каждый чанк — это всего лишь абзац, но сам по себе он часто оказывается слишком размытым.

Вместо того чтобы использовать только абзац, я добавляю к каждому чанку следующую информацию:

🟠Название статьи

🟠Номер страницы

🟠Заголовок секции, к которой относится абзац

🟠Ключевые слова или теги, содержащиеся в абзаце

🟠Одно предложение, кратко резюмирующее содержание абзаца

Этот дополнительный контекст делает эмбеддинг гораздо богаче и значительно повышает его полезность при извлечении.

Эту метаинформацию можно либо извлекать автоматически, либо генерировать с помощью LLM.

Это дополнительный шаг. Если вы только начинаете внедрять RAG, можно пока его пропустить. Но как только у вас заработает базовая версия — обязательно реализуйте это улучшение.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
😊 FlexAttention — простой способ писать любое внимание на PyTorch

Зачем городить сложные CUDA-ядра, если можно использовать понятный и мощный абстрактный подход?

FlexAttention — это новая модель программирования, которая позволяет реализовать большинство вариантов attention (внимания) всего в *нескольких строках кода на PyTorch*.

🟠Работает на базе компилятора — автоматически оптимизирует вычисления
🟠 Производительность на уровне кастомных ядер (hand-written kernels)

Что даёт FlexAttention:
🔵 Унифицированный способ писать self-, cross-, local-, sparse-attention
🔵 Без кастомных CUDA/CPP — всё на чистом PyTorch
🔵 Гибкость и читаемость для исследований и прототипов
Смотреть

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #ScikitLearn
🤔 Как оптимизировать гиперпараметры в модели Scikit-Learn?

Для оптимизации гиперпараметров в Scikit-Learn используют GridSearchCV или RandomizedSearchcV . GridSearchcv пробует все возможные комбинации параметров, в то время как RandomizedSearchcv выбирает случайные комбинации, что ускоряет процесс. Оба метода возвращают наилучшие параметры для модели.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
👋 Pointblank — мощный инструмент для валидации данных

Если вы дата-сайентист, аналитик или инженер данных — эта библиотека точно заслуживает вашего внимания.

С интуитивным и цепочечным API, Pointblank позволяет:
🟠 запускать точечные проверки качества данных,
🟠 отслеживать критичные ошибки,
🟠 автоматически формировать интерактивные отчёты,
🟠 интегрироваться с Slack и другими системами.

Идеально для пайплайнов на pandas, polars или ibis.

Пример базовой валидации:
import pointblank as pb

validation = (
pb.Validate(data=pb.load_dataset("small_table"))
.col_vals_gt(columns="d", value=100) # Значения > 100
.col_vals_le(columns="c", value=5) # Значения <= 5
.col_exists(columns=["date", "date_time"]) # Проверка наличия колонок
.interrogate() # Выполнить валидацию
)

validation.get_tabular_report().show()


Реальный пример на Polars:
import pointblank as pb
import polars as pl

sales_data = pl.read_csv("sales_data.csv")

validation = (
pb.Validate(
data=sales_data,
tbl_name="sales_data",
label="Валидация реальных данных",
thresholds=(0.01, 0.02, 0.05),
actions=pb.Actions(
critical="Критичная ошибка качества данных на шаге {step} ({time})."
),
final_actions=pb.FinalActions(
pb.send_slack_notification("https://hooks.slack.com/services/your/webhook/url")
),
brief=True,
)
.col_vals_between(columns=["price", "quantity"], left=0, right=1000)
.col_vals_not_null(columns=pb.ends_with("_id"))
.col_vals_regex(columns="email", pattern="^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$")
.col_vals_in_set(columns="status", set=["pending", "shipped", "delivered", "returned"])
.conjointly(
lambda df: pb.expr_col("revenue") == pb.expr_col("price") * pb.expr_col("quantity"),
lambda df: pb.expr_col("tax") >= pb.expr_col("revenue") * 0.05
)
.interrogate()
)

# HTML-отчёт можно открыть в браузере:
validation.get_tabular_report().show("browser")


Установка:
pip install pointblank
# или с нужным бэкендом:
pip install "pointblank[pl]" # с Polars
pip install "pointblank[pd]" # с Pandas
pip install "pointblank[duckdb]" # с DuckDB (через Ibis)
pip install "pointblank[postgres]" # с PostgreSQL


Под капотом

Pointblank работает с Polars, Pandas и Ibis (через Narwhals) — то есть вы можете валидировать данные не только из CSV, но и из баз данных (PostgreSQL, MySQL, DuckDB и др.).
Ссылка на проект

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🛞 Manim — это мощная библиотека на Python для создания анимаций математических и научных концепций!

Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🛞 Machine Learning Q and AI — новая книга от мастодонта ML Себастьяна Рашки теперь в открытом доступе!

Автор — core‑разработчик Scikit‑learn, преподаватель, автор культовых пособий по машинному обучению.

Что внутри:
🟠 30 глав по нейросетям, компьютерному зрению, LLM, оценке и деплою моделей
🟠 Чёткая структура: теория → примеры → упражнения
🟠 Много практики, схем, визуализаций и Python‑кода

Это не просто справочник, а полный курс по Deep Learning, от основ до продвинутых тем.
Читать онлайн

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #ScikitLearn
🤔 Как реализована кросс-валидация в Scikit-Learn и почему это важная техника?

B Scikit-Learn кросс-валидация реализована через модуль model_selection, с функциями, такими как cross_val_score И cross_validate . Эти функции делят данные на несколько "слоёв" (folds), обучают модель на k-1 из них и тестируют на оставшемся. Этот процесс повторяется к раз с каждым слоем в роли тестового. Кросс-валидация помогает снизить переобучение и даёт более объективную оценку работы модели.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😵‍💫 Apple рассматривает замену Siri на Claude или ChatGPT

Apple активно изучает возможность использования моделей Claude 3 Opus от Anthropic и GPT-4 Turbo от OpenAI для новой версии Siri, отказавшись от собственных LLM. Компания провела тестирование обеих моделей на закрытой облачной инфраструктуре, чтобы сравнить качество генерации, безопасность и способность к сложным диалогам.

Причины перехода:
— Собственная разработка LLM для Siri задерживается до 2026 года из-за проблем с качеством
— Необходимость ускорить вывод на рынок более интеллектуального голосового ассистента
— Усиленная конкуренция с Google Assistant и Microsoft Copilot

Что уже сделано:
— Тестирование Claude 3 Opus и GPT-4 Turbo на Private Cloud Compute Apple
— Смена руководства AI-подразделения: Майк Рокуэлл занял место Джона Джаннандреа
— Отмена запуска “LLM Siri” на WWDC 2025 из-за неготовности модели
Подробнее

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😎 Apple выложила Sage Mixtral 8x7B fine-tune с лицензией Apache

Это не просто ещё одна доработка LLM — модель использует State-Action Chains (SAC), чтобы встроить в диалоговую генерацию латентные переменные для эмоций и стратегий общения.

Что это даёт:
- SAC vs обычный fine-tune: модель получает грубое управление через state/action токены → диалоги становятся эмоционально насыщеннее, без потери на метриках
- Итеративная доработка: self-play + tree search позволяют оптимизировать диалоги по цепочкам действий, превзойдя базовые модели по оценкам LLM-судей

https://huggingface.co/apple/sage-ft-mixtral-8x7b

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🤓 Немецкие ученые выпустили модель, которая имитирует психику человека

Она называется Centaur и обучена предсказывать поведение людей. Для обучения использовали огромный датасет с 160 поведенческими экспериментами и порядком десяти миллионов кейсов человеческих реакций.

То есть модель смотрела на то, как ведут себя разные люди в той или иной ситуации -> запоминала -> училась имитировать.

И в итоге научилась неплохо: точность высокая даже на новых ситуациях, которые модель не видела на трейне. Более того, она может даже оценить время реакции и подробно объяснить, почему человек поведет себя так или иначе.

Звучит жутковато, конечно, но просто представьте, какой тут потенциал для приложений. Систему можно использовать как симуляцию для бесконечных экспериментов, и с помощью нее попытаться лучше понять когнитивную природу человека, его психику и причины разных расстройств. Это, по сути, то, о чем ученые мечтали веками: единая (эмпирическая) теория поведения.

Самое интересное, что Centaur даже согласуется с реальной мозговой активностью: активации сети коррелируют со сканами МРТ живых людей. А под капотом при этом просто Llama-3.1 70B, дотюненная с QLoRA.

Все веса выложены в опенсорс. Сделали даже вариант модели поменьше, его можно легко запустить в колабе.

www.nature.com/articles/s41586-025-09215-4

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#Собес #ScikitLearn
🤔 Как функциональность pipeline в Scikit-Learn полезна для проекта машинного обучения?

Pipeline в Scikit-Learn упрощает процесс создания моделей машинного обучения, объединяя несколько шагов, таких как предобработка данных и обучение модели, в один объект. Это помогает улучшить читаемость кода, избежать ошибок при кросс-валидации и облегчить настройку гиперпараметров с ПОМОЩЬЮ GridSearchcv или RandomizedSearchCV .

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😊 Самый быстрый движок для сервинга LLM

LMCache — это движок для сервинга LLM, разработанный для минимизации time-to-first-token и повышения throughput, особенно в сценариях с длинным контекстом.

Он ускоряет vLLM, обеспечивая в 7 раз более быстрый доступ к кэшу ключей/значений (KV cache) и поддерживая объём в 100 раз больше.
Полностью опенсорс

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
❤️‍🔥 Microsoft недавно выпустили бесплатный курс по созданию AI-агентов.

В нем 11 уроков с теорией, примерами кода на Python, заданиями и ссылками на доп. материалы
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
👋 OpenAI будет обучать учителей использовать ChatGPT в школах

Стартап присоединился к Американской федерации учителей и запускает пятилетнюю академию, в которой 400 000 учителей будут осваивать и практиковать применение ИИ в своей работе.

Если что, 400 000 – это примерно каждый десятый учитель в Штатах. Все они получат приоритетный доступ к продуктам OpenAI, гранд в виде токенов и кредитов API и бесплатную техподдержку. Плюс – семинары, митапы, воркшопы и онлайн курсы.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #ScikitLearn
🤔 Как обрабатывать пропущенные или поврежденные данные в наборе данных с использованием Scikit-Learn?

Scikit-Learn предоставляет класс SimpleImputer , который заменяет пропущенные значения в данных на среднее, медиану или наиболее часто встречающееся значение в каждом столбце. Для поврежденных данных Scikit-Learn не предлагает прямых методов, но можно использовать другие библиотеки, такие как Pandas, для обработки таких данных до подачи их в модель.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#видео
😎 Комбинация из трёх курсов, охватывающих важную математику для ML и DL.

Основное внимание уделяется теоретическим концепциям, сопровождаемым качественными разобранными задачами.
Смотреть видео

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM