DS & ML | YeaHub – Telegram
DS & ML | YeaHub
464 subscribers
259 photos
67 videos
372 links
Теория, подготовка к интервью и курсы для Data Science специалистов

YeaHub — это платформа для IT-специалистов, объединяющая обучение, карьерный рост, развитие и сообщество единомышленников.

Платформа: https://yeahub.ru

Для связи: @ruslan_kuyanets
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
😵‍💫 Знал ли ты, что есть библиотека на Python под названием Pix2TeX, которая умеет превращать изображения с формулами в LaTeX-код?
Ссылка на репозиторий GitHub

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
😵‍💫 Как объяснить коэффициенты логистической регрессии без технических деталей

Представим так:

У нас есть модель, которая помогает понять — произойдёт ли какое-то событие. Например: купит ли человек товар, кликнет ли на рекламу или подпишется на рассылку.

Каждый признак (фактор) — это как один из аргументов «за» или «против» исхода. У каждого есть своя «весомость» — коэффициент:
🟠 Если коэффициент положительный — этот фактор повышает шанс, что событие произойдёт.
🟠 Если отрицательный — наоборот, снижает вероятность.
🟠 Чем больше по модулю число — тем сильнее влияние этого фактора.

Чтобы понять, насколько фактор влияет, можно посмотреть на exp(коэффициент)это показывает, во сколько раз увеличиваются шансы.

Например:
Если exp(коэффициент) = 1.5, это значит: каждый дополнительный «балл» этого признака повышает шансы на 50%.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #mongoDB
🤔 Расскажите о структуре Objectld

Objectld - это уникальный идентификатор для документов в MongoDB. Он состоит из отметки времени, идентификатора машины, идентификатора процесса и инкрементного счетчика.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
🤓 Движок RAG для глубокого понимания документов

RAGFlow позволяет создавать корпоративного уровня RAG-воркфлоу для работы со сложными документами с обоснованными цитированиями.

Поддерживает мультимодальное понимание данных, веб-поиск, глубокие исследования и т.д.

Полностью локальный и с открытым исходным кодом, более 55 тысяч звёзд на GitHub
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
🛞 DiffusionRenderer (Cosmos): Neural Inverse and Forward Rendering with Video Diffusion Models

Cosmos DiffusionRenderer — это современный фреймворк для нейросетевого de-lighting и re-lighting видео и изображений.

Новый релиз даёт качественный скачок по сравнению с предыдущей версией: ещё более чистое удаление и добавление освещения благодаря архитектуре NVIDIA Cosmos и улучшенному пайплайну обработки данных.

Минимальные требования:
🟠 Python 3.10
🟠 NVIDIA GPU с минимум 16 ГБ VRAM (рекомендуется ≥24 ГБ)
🟠 NVIDIA драйверы и CUDA 12.0+
🟠 Свободно ≥70 ГБ на диске

Проект протестирован на Ubuntu 20.04 и видеокартах NVIDIA A100/A5000.
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#видео
😎 End-to-end проект по машинному обучению

Нашёл годный пошаговый гайд по ML-проекту.

Он начинается с базового EDA и обучает интеграции с MLOps с использованием таких инструментов, как ZenML и MLflow для отслеживания экспериментов и деплоймента.
Смотреть видео

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#Собес #mongoDB
🤔 Какие факторы следует учитывать в процессе разработки схемы MongoDB?

При проектировании схемы в MongoDB важно учитывать потребности пользователей, особенности работы с данными и оптимизацию запросов. Схема должна быть гибкой и подходить для работы с документами, которые часто используются вместе.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😘 AI-агенты наконец-то могут взаимодействовать с вашим фронтендом

Протокол AG-UI устраняет критически важный разрыв между AI-агентами и фронтенд-приложениями, обеспечивая бесшовное взаимодействие между человеком и агентом.

MCP: от агентов к инструментам
A2A: от агентов к агентам
AG-UI: от агентов к пользователям

Полностью с открытым исходным кодом. Вот официальный репозиторий AG-UI от CopilotKit на GitHub

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #mongoDB
🤔 Что такое шардирование в MongoDB?

Шардирование - это процесс горизонтального разделения данных между несколькими серверами для обеспечения масштабируемости и производительности базы данных. Каждый сервер (или шард) хранит часть данных. MongoDB использует шардирование, чтобы распределять нагрузку и обрабатывать большие обьемы данных.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😊 У Microsoft вышел бесплатный курс по MCP для начинающих с 10 практическими лабораторными работами

Изучайте основы MCP на практике с примерами на .NET, Java, TypeScript, JavaScript и Python в среде VS Code. Все структурно и доступно на 40+ языках мира (есть русский, но машинный перевод)
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😬 AlphaEvolve: ИИ от DeepMind, который создаёт новые алгоритмы

В мае 2025 года DeepMind представила AlphaEvolve — универсального ИИ-агента, способного самостоятельно разрабатывать и оптимизировать алгоритмы. Это не просто генератор кода: AlphaEvolve сочетает мощь языковых моделей Gemini с эволюционными методами поиска и автоматической проверкой решений.

Что умеет AlphaEvolve?

🔵 Решение сложных математических задач: AlphaEvolve улучшил нижнюю границу числа поцелуев в 11 измерениях с 592 до 593 — впервые за десятилетия :contentReference[oaicite:0]{index=0}.
🔵 Оптимизация алгоритмов умножения матриц: Превзошёл алгоритм Штрассена 1969 года, сократив количество умножений для 4×4 матриц с 49 до 48 :contentReference[oaicite:1]{index=1}.
🔵 Улучшение инфраструктуры Google: Повысил эффективность дата-центров на 1%, оптимизировал дизайн TPU и ускорил обучение моделей Gemini :contentReference[oaicite:2]{index=2}.

Как это работает?

AlphaEvolve использует:

1⃣ Исходный алгоритм и функцию оценки.
2⃣ Языковую модель Gemini, чтобы генерировать варианты решения.
3⃣ Автоматическую проверку для оценки эффективности каждого варианта.
4⃣ Эволюционный цикл: лучшие решения сохраняются и используются для генерации новых.

Такой подход позволяет AlphaEvolve находить решения, которые ранее были недоступны даже экспертам.

Результаты

- В 75% случаев AlphaEvolve воспроизводил известные оптимальные решения.
- В 20% случаев находил новые, более эффективные решения.
- В оставшихся 5% — результаты были хуже известных, что подчёркивает необходимость дальнейших исследований :contentReference[oaicite:3]{index=3}.

Почему это важно?

AlphaEvolve демонстрирует, что ИИ способен не только повторять известные решения, но и создавать новые знания. Это шаг к ИИ, который может активно участвовать в научных открытиях и инженерных разработках.
Подробнее

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#новости
😐 OpenAI готовит ChatGPT к конкуренции с Google Workspace и Office 365.

По данным источников, OpenAI разрабатывает продвинутые функции для ChatGPT, превращая его в платформу для командной работы. Пользователи смогут группировать чаты, загружать файлы, использовать голосовой ввод и сохранять контекст диалогов. Все это позиционируется как альтернатива офисным пакетам. Мобильное приложение получит поддержку загрузок и переключения моделей на лету.

Этот проект, задуманный в 2024 году, активно развивается сейчас и OpenAI видит в ChatGPT «операционную систему для жизни», интегрируемую в рабочие процессы. Microsoft, поддерживающий стартап, теперь рискует стать конкурентом самому себе, а Google получает нового серьезного оппонента.
theinformation.com

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #ScikitLearn
🤔 Как реализовать анализ главных компонент (РСА) с использованием Scikit-Learn?

Для реализации РСА с использованием Scikit-Learn нужно сначала нормализовать данные, а затем применить класс рса из модуля sklearn.decomposition . Указывая количество компонент, которые нужно оставить, можно уменьшить размерность данных, сохраняя как можно больше информации. Результатом является набор данных с меньшим числом признаков.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
❤️‍🔥 Fireplexity — открытый аналог Perplexity

Простой движок вопросов и ответов на базе ИИ.
Работает через два основных эндпоинта:

🟠/search — выполняет поиск по интернету
🟠 /scrape — извлекает текст со страниц

Ответы ИИ формируются на основе найденной информации и включают ссылки на источники.
Можно использовать как готовый сервис или собрать свою версию — код открыт.

Подходит для интеграции в чат-ботов, ассистентов и внутренних инструментов.

git clone https://github.com/mendableai/fireplexity.git
cd fireplexity
npm install


Github
Попробовать

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
👨‍💻 Как использовать DuckDB с Python: практическое руководство по аналитике

DuckDB — это современная in-process аналитическая СУБД, разработанная как “SQLite для аналитики”. Она идеально подходит для обработки больших объёмов данных на локальной машине без необходимости поднимать сервер или использовать тяжёлые хранилища.

Что делает DuckDB особенной?
- Работает как библиотека внутри Python (через `duckdb`)
- Поддерживает SQL-запросы напрямую к pandas DataFrame, CSV, Parquet, Arrow и другим источникам
- Оптимизирована под аналитические запросы: агрегации, группировки, фильтрации
- Мгновенно работает с большими файлами без предварительной загрузки

Пример рабочего сценария:

1⃣ Чтение и анализ Parquet-файла:

import duckdb

duckdb.sql("SELECT COUNT(*), AVG(price) FROM 'data.parquet'")


2⃣ Интеграция с pandas:

import pandas as pd

df = pd.read_csv("data.csv")
result = duckdb.sql("SELECT category, AVG(value) FROM df GROUP BY category").df()


3⃣ Объединение нескольких источников:

duckdb.sql("""
SELECT a.user_id, b.event_time
FROM 'users.parquet' a
JOIN read_csv('events.csv') b
ON a.user_id = b.user_id
""")


Почему это важно:
- Вы можете использовать SQL и pandas одновременно
- DuckDB быстрее pandas в большинстве аналитических задач, особенно на больших данных
- Поддержка стандартов данных (Parquet, Arrow) даёт нативную интеграцию с экосистемой Data Science
- Не требует настройки: просто установите через pip install duckdb

Применения:
🔵 Локальный анализ данных (до десятков ГБ) — без Spark
🔵 Объединение таблиц из разных форматов (Parquet + CSV + DataFrame)
🔵 Прототипирование ETL-пайплайнов и построение дашбордов
🔵 Быстрая агрегация и отчёты по логам, BI-данным, IoT-стримам и пр.

Советы
🟡 Используйте read_parquet, read_csv_auto и from_df() для гибкой загрузки данных
🟡 Результаты запросов можно конвертировать обратно в pandas через .df()
🟡 DuckDB поддерживает оконные функции, GROUP BY, JOIN, UNION, LIMIT, подзапросы и многое другое — это полноценный SQL-движок
Подробный гайд

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
👨‍💻 DeepSeek R2 задерживается из-за ограничений и проблем с качеством

🟠 Запуск AI-модели R2 отложен из-за американских экспортных контролей на чипы Nvidia H20
🟠 Чипы H20 были ключевыми для успеха предыдущей модели R1 в Китае; без них инфраструктура для R2 не готова
🟠 CEO Лян Вэньфэн недоволен качеством текущей версии R2 и требует дополнительной доработки
🟠 Облачные провайдеры опасаются, что спрос на H20 превысит доступные запасы
🟠 Альтернативные чипы (например, Huawei) технически менее подходят для R2

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #ScikitLearn
🤔 Какие ключевые шаги включает в себя выполнение grid search в Scikit-Learn?

Для выполнения grid search необходимо определить сетку параметров, создать объект GridSearchcv, передать модель и параметры, а затем выполнить подгонку. По завершении можно получить наилучшие параметры через атрибут best_params_

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Media is too big
VIEW IN TELEGRAM
#полезное
🤓 В Техасе впервые в истории машина полностью автономно доставилась покупателю

Это была Tesla Model Y. Автомобиль выехал с завода Gigafactory Texas в Остине, примерно 30 минут ехал по городу и шоссе, и приехал прямо к дому нового владельца.

При этом в салоне не было ни водителя, ни наблюдающих. Люди не брали на себя управление ни разу за всю поездку, даже дистанционно.

«Насколько нам известно, это первая полностью автономная поездка по шоссе без людей в автомобиле и без дистанционного управления» – написал Маск.


👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😱 OpenAI закрывается на неделю

Несколько дней подряд то и дело всплывали новости о том, что из OpenAI в Meta уходят исследователи. Всего на данный момент известно о восьмерых сотрудниках, перешедших к Цукербергу.

На фоне этого Альтман, видимо, решил что-то координально менять. Марк Чен, главный научный сотрудник OpenAI, лично отписался всем в компании и сообщил, что:

1⃣ На этой неделе OpenAI уходит на каникулы, чтобы дать (оставшимся) сотрудникам восстановить силы. Марк признается, что в последнее время они увлеклись гонкой и быстрыми релизами, так что многие в компании работали по 80 часов в неделю.

2⃣ Отдыхать будут все, кроме руководства. «Мы с Сэмом и другими руководителями работаем круглосуточно, чтобы пересмотреть материальные бонусы и найти новые креативные способы вознаграждения талантов»

«Сейчас я чувствую себя так, будто кто-то ворвался в наш дом и что-то украл» – пишет Марк. «Поверьте, мы не сидим сложа руки. Мы будем бороться на каждого из вас, но при этом не ценой проявления несправедливости по отношению к другим»


Для OpenAI, конечно, это все очень некстати. Еще пару недель назад Сэм обещал «лето горячих релизов», а теперь вот вынужден отпустить всех сотрудников в недельный отпуск. Надеемся, что хотя бы ChatGPT не решит тоже уйти к Цукеру

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😵‍💫 Там в открытый доступ вышла самая свежая книга Себастьяна Рашки «Machine Learning Q and AI»

С книгами Рашки, наверное, многие знакомы. Он один из разработчиков scikit learning и просто очень опытный и известный рисерчер, написавший много учебной литературы. Если пока ничего его авторства не читали – сильно рекомендуем.

Конкретно эта книга – сборник всей базы по Deep Learning. В ней 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок.

К каждой главе есть упражнения и список дополнительных источников. Ну, в общем, мед.

Сама книга вышла примерно год назад, но до этого дня ее можно было только заказать с Amazon. Сегодня же Себастьян выложил ее в открытый доступ полностью бесплатно.

«Сейчас лето, сезон стажировок и технических интервью. Надеюсь, моя книга будет полезна» – написал он


Хватаем, пока горячо: sebastianraschka.com/books/ml-q-and-ai-chapters/ch17/

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM