DS & ML | YeaHub – Telegram
DS & ML | YeaHub
464 subscribers
259 photos
67 videos
372 links
Теория, подготовка к интервью и курсы для Data Science специалистов

YeaHub — это платформа для IT-специалистов, объединяющая обучение, карьерный рост, развитие и сообщество единомышленников.

Платформа: https://yeahub.ru

Для связи: @ruslan_kuyanets
Download Telegram
#Собес #mongoDB
🤔 Что такое коллекция в MongoDB?

Коллекция в MongoDB - это группа документов, связанных между собой по смыслу. В отличие от таблиц в реляционных базах данных, коллекции не имеют жесткой схемы, что позволяет хранить документы с разной структурой в одной коллекции.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
🛞 5 техник дообучения LLM

Традиционное дообучение невозможно для LLM, поскольку они содержат миллиарды параметров и весят сотни гигабайт. Не у всех есть доступ к такой вычислительной инфраструктуре.

Вот 5 оптимальных способов дообучения LLM:

1⃣ LoRA — вместо того чтобы дообучать всю матрицу весов W, рядом добавляются две обучаемые low-rank матрицы A и B. Все изменения идут через них. Памяти — на порядок меньше (буквально мегабайты).

2⃣ LoRA-FA — Да, LoRA экономит параметры, но прожорлива к активациям. FA = Frozen A — матрица A не обучается, двигаем только B. Получается ещё легче по памяти.

3⃣ VeRA — держит свои A и B для каждого слоя. VeRA идёт дальше — A и B фиксируются случайно и шарятся между слоями. Вместо матриц обучаются векторные скейлы (b, d) по слоям. Минимализм.

4⃣ Delta-LoRA — Идея: не просто обучать A и B, а следить за разницей (delta) между их произведениями на соседних итерациях. Эта дельта прибавляется к W. Такой "косвенный" fine-tuning базовых весов.

5⃣ LoRA+ — В оригинальной LoRA A и B обновляются с одинаковым learning rate. В LoRA+ авторы подняли LR для B — и получили стабильнее и быстрее сходимость. Просто, но работает.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😇 Google выпустила MedGemma — открытые модели ИИ для медицины

На Hugging Face вышла коллекция MedGemma, созданная Google на базе Gemma 3 специально для медицинских задач. Это мощные модели, способные анализировать как текст, так и медицинские изображения — от рентгена до дерматологии.

В коллекции:
medgemma-4b-it — мультимодальная модель (текст + изображения)
medgemma-4b-pt — предварительно обученная версия
medgemma-27b-text-it — огромная текстовая модель для клинической документации

Что умеют:
Обнаружение патологий на рентген-снимках
Ответы на медицинские вопросы (VQA)
Генерация медицинских отчётов
Обработка клинических заметок, триажа, историй болезни

Бенчмарки:
• CheXpert F1 (Top‑5): 48.1 vs 31.2 у базовой
• DermMCQA точность: 71.8%
• VQA‑Rad F1: 49.9

Пример использования:

from transformers import pipeline
pipe = pipeline("image-text-to-text", model="google/medgemma-4b-it")

Hugging Face

Лицензия: Apache 2.0 (с медицинским соглашением)

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
❤️‍🔥 SGLang — промышленный фреймворк для быстрого обслуживания LLM. Проект предлагает готовое решение для быстрого разворачивания модели в продакшене — от оптимизированного рантайма до удобного API. Проект уже используют в NVIDIA, Google Cloud и LinkedIn для обработки триллионов токенов ежедневно на парках из 100k+ GPU. Установка — pip install sglang, а для масштабирования есть туториалы по tensor parallelism.

Ключевая фишка — RadixAttention: система кеширования префиксов, сокращающая время генерации. Поддерживает все популярные модели и фичи вроде speculative decoding или квантования INT4. Для разработчиков есть Python-интерфейс с контролем потока и мультимодальным вводом.
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
👍 Perplexity запустили режим Labs: аналог Deep Research на максималках

Мод предназначен для сложных поисковых задач и в нем можно создавать отчеты, таблицы, картинки, презентации и даже панели мониторинга.

На выходе получается не просто текст со ссылками, а целая интерактивная раскладка с графиками и дашбордами. Labs даже может развернуть мини-приложение. При этом весь написанный агентом код (для графиков, для вот таких мини-приложений и тд) доступен в отдельной вкладке.

Посмотреть и потыкать больше примеров можно бесплатно здесь

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
📞 ИИ обошел 90% команд на соревновании хакеров

Исследователи из Palisade Research сделали специальный AI-трек на двух недавних соревнованиях Capture The Flag от крупнейшей платформы Hack The Box. Суммарно участие принимали почти 18 тысяч человек и 8 500 команд. Из них несколько полностью состояли из ИИ-агентов. Вот что вышло:

🟠 В первом небольшом соревновании (≈400 команд) четыре из семи агентов решили по 19 из 20 задач и вошли в топ 5 % участников
🟠 Во втором большом CTF (≈8 000 команд) лучшему ИИ-агенту удалось захватить 20 флагов из 62 и оказаться в топ-10%
🟠 При этом агенты справляются почти со всеми задачами, на которые человек тартит до часа времени, и делают это в разы быстрее

Одинаково неплохо моделям удавались и задачи на взлом шифра, и веб-взломы, и форензика, и эксплуатация уязвимостей

Ну и экономический эффект тоже на месте. Если принять во внимание, что на одну команду из топ-5% обычно уходит не менее нескольких сотен человеко-часов на подготовку, анализ и написание эксплойтов, то даже самый дорогой агент, который работал 500ч, в итоге обошелся дешевле, чем 10 таких живых команд.
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #mongoDB
🤔 Что такое BSON в MongoDB?

BSON (Binary JSON) - это бинарный формат сериализации, используемый MongoDB для хранения документов. Он расширяет JSON, добавляя поддержку дополнительных типов данных, таких как Date, ObjectId, и бинарные данные, а также оптимизирует производительность операций

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
😵‍💫 Робот, который играет в бадминтон — и делает это всерьёз

Учёные научили четвероногого робота играть в бадминтон. Не просто двигаться — а видеть волан, рассчитывать траекторию, подходить к мячу и точно отбивать его. Всё это в реальном времени, в движении, на настоящей площадке.

Как это работает:
🟠 Reinforcement Learning — робот учится на собственных ошибках
🟠 Компьютерное зрение — отслеживание волана даже с шумами, как в реальных камерах
🟠 Модель предсказания траектории — чтобы "читать" мяч как опытный игрок
🟠 Координация движения ног и руки — не падать и успевать отбивать

Что получилось:
Робот реально может играть против человека. Он не просто двигается — он принимает решения, адаптируется и бьёт по мячу в прыжке.
Это не анимация. Это реальный робот. И он уже работает.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#видео
🫡 Семинарская серия Stanford MLSys

Это самый практичный, технически насыщенный и содержательный ресурс, который я нашёл по теме реальных ML-систем. И всё это бесплатно доступно на YouTube.

Что внутри:
🟠 Эффективное обучение и развёртывание масштабных LLM
🟠 LoRAX, FlashAttention → более быстрые, дешёвые и компактные модели
🟠 Квантование и стратегии развёртывания на edge-устройствах
🟠 Full-stack ML: инфраструктура, инструменты и MLOps
🟠 Ориентированные на данные пайплайны и поведенческое тестирование
🟠 Как проектирование аппаратного обеспечения влияет на современные ML-системы

Среди докладчиков — инженеры и исследователи из Stanford, Netflix, Hugging Face и Snorkel.

Сохраните в закладки. Поделитесь с тем, кто глубоко погружён в ML-инфраструктуру или развёртывание. Это настоящая находка.
📱 Смотреть видео

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
2
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
🏠 Одна команда для сборки, деплоя и масштабирования AI-агентов!

xpander — это готовый к использованию Backend-as-a-Service для агентов: управляет памятью, инструментами, многопользовательскими состояниями, событиями, ограничениями и многим другим.

Совместим с LlamaIndex, Langchain, CrewAI, Google ADK — и не только.

Полностью с открытым исходным кодом
Гитхаб

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#Собес #mongoDB
🤔 Что такое MongoDB и чем она отличается от традиционных реляционных баз данных?

MongoDB - это NoSQL-база данных, ориентированная на документы. Она отличается гибкостью, так как не требует заранее заданной схемы, и возможностью горизонтального масштабирования. В отличие от реляционных баз, данные хранятся в формате BSON (расширение JSON), что делает MongoDB более подходящей для работы с неструктурированными данными.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
😊 DataTune — простой способ оптимизировать датасеты для ИИ

Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.

Что делает DataTune:
🟠 Автоматически находит и удаляет дубликаты
🟠 Фильтрует нерелевантные, шумные и некачественные примеры
🟠 Сортирует данные по «ценности» — оставляя то, что реально важно
🟠 Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)

Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для:
• Fine-tuning LLM
• Подготовки eval-наборов
• Фильтрации перед RAG

Установка:

pip install datatune

Гитхаб

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
🤯 Вайбкодерам салют: вышел Cursor 1.0

(Да, 1.0. Видимо все до этого было MVP). Ну так вот, что нового:

🟠 Теперь есть поддержка Jupyter Notebooks! Агент наконец-то сможет создавать и редактировать ячейки прямо внутри ноутбуков. Пока что это будет работать только с Sonnet, но скоро обещают добавить больше моделей.

🟠 Добавили BugBot для гитхаба. Агент будет автоматически просматривать ваши PR, вылавливать потенциальные ошибки и проблемы и оставлять комментарии. Прямо внутри комментария можно будет нажать на «Исправить в Cursor», чтобы сразу провалиться в редактор с автоматически созданным промптом для исправления бага.

🟠 Background Agent теперь доступен всем. Это фича для удаленного выполнения задач в фоновом режиме. Агенты работают над задачами асинхронно, так что можно поручить много тасок отдельным экземплярам.

🟠 Расширенная контекстная память, как в ChatGPT. Теперь Cursor сможет запоминать какие-то факты из диалогов и учитывать их в будущем.

🟠 MCP теперь можно добавлять одним щелчком мыши. На сайте уже лежит список официальных серверов (+ можно добавить свой).

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#полезное
😱 Llama Nemotron Nano VL от NVIDIA — один из лучших open-source инструментов для документов**

Мультимодальная модель от NVIDIA уверенно занимает первое место на OCRBench v2, показав лучшую точность парсинга документов среди всех моделей.

Что это такое:
Llama Nemotron Nano VL — лёгкая vision-language модель для интеллектуальной обработки документов (IDP), которая:
• разбирает PDF
• вытаскивает таблицы
• парсит графики и диаграммы
• работает на одной GPU

Заточена под:
🟠 Вопрос-ответ по документам
🟠 Извлечение таблиц
🟠 Анализ графиков
🟠 Понимание диаграмм и дешбордов

Под капотом — vision-энкодер C-RADIO v2 (distilled multi-teacher трансформер), который справляется даже с визуальным шумом и высоким разрешением.

OCRBench v2 — крупнейший двухъязычный бенчмарк для визуального анализа текста, и именно NVIDIA Nano VL показывает лучший результат.

🚩 И всё это работает на одной видеокарте.

Hf
юПодробнее

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#Собес #mongoDB
🤔 Какова роль профайлера в MongoDB?

Профайлер MongoDB анализирует производительность операций с базой данных, включая чтение, запись и выполнение запросов. Он помогает находить медленные запросы и решать, где требуется оптимизация, например, добавление индексов.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
🛞 Figure 02 уже сегодня сортирует, перемещает и анализирует десятки товаров одновременно

Наблюдая за такими роботами, сложно представить, что через год в логистике и на складах будут работать люди.
Скорость, с которой они развиваются, — просто ошеломляющая.

То, что ещё недавно казалось фантастикой, уже становится реальностью.
И происходит это быстрее, чем мы успеваем привыкнуть.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😎 MiniCPM4 — компактная LLM нового поколения

Модель от OpenBMB, которая работает в 5 раз быстрее на конечных устройствах. Отлично подходит для edge-решений и встраивания.

Что нового

🟠 InfLLM v2 — обучаемое разреженное внимание
🟠 Model Wind Tunnel 2.0 — масштабирование с предсказуемой эффективностью
🟠 BitCPM — ультракомпактная тернарная квантизация
🟠 UltraClean + UltraChat v2 — чистые датасеты для преобучения и fine-tuning
🟠 CPM.cu + ArkInfer — лёгкий фреймворк для быстрого инференса на GPU и в проде

Technical Report: https://github.com/OpenBMB/MiniCPM/blob/main/report/MiniCPM_4_Technical_Report.pdf
Models: https://huggingface.co/collections/openbmb/minicpm-4-6841ab29d180257e940baa9b
GitHub: https://github.com/OpenBMB/MiniCPM

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🤓 Инструмент недели: `torchao` — лёгкое квантование и оптимизация PyTorch-моделей
квантовани— это новая экспериментальная библиотека от команды PyTorch, разработанная для простого применения квантования, разреживания и других оптимизаций к нейросетевым моделям.

Основные возможности:
🟠 autoquant — автоматическое квантование модели по слоям, без ручной настройки
🟠 поддержка INT8 квантования, совместимого с torch.ao.quantization
🟠 интеграция с PyTorch 2.x (использует torch.compile, dynamo, inductor)
🟠 поддержка разреживания (sparsity), структурных трансформаций
🟠 работа с предварительно обученными моделями — ResNet, MobileNet, Llama и др
🟠 возможность применения на CPU/GPU, включая ускорение inference в ONNX и TorchScript
Подробнее на GitHub

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM