DS & ML | YeaHub – Telegram
DS & ML | YeaHub
464 subscribers
259 photos
67 videos
372 links
Теория, подготовка к интервью и курсы для Data Science специалистов

YeaHub — это платформа для IT-специалистов, объединяющая обучение, карьерный рост, развитие и сообщество единомышленников.

Платформа: https://yeahub.ru

Для связи: @ruslan_kuyanets
Download Telegram
#полезное
🥺 ИИ не отнимает работу у инженеров — он трансформирует её

По свежему отчёту WEF, к 2030 году произойдёт глобальная перекройка рынка труда:
22% текущих профессий изменятся
+170 млн новых рабочих мест
-92 млн уйдут в прошлое

И ключевой драйвер этих изменений — ИИ и автоматизация.

Что это значит для DS-инженеров?

Вместо стандартного «data scientist»/«ML engineer» сейчас появляются:
🟠 AI/ML продуктовые инженеры
🟠 Специалисты по data pipelines для LLM и мультимодальных моделей
🟠 Инженеры по интерпретируемости моделей (XAI)
🟠 Мастера feature engineering под foundation models
🟠 MLOps с уклоном в этику, безопасность и оценку рисков
🟠 Prompt/agent engineers (внезапно, уже инженерная роль)

Интересно, что многие из этих ролей не существовали 3-5 лет назад. И это не предел: растёт спрос на специалистов, которые могут работать на стыке ИИ и бизнеса, ИИ и UX, ИИ и governance.

Поэтому ключевая компетенция 2025+ — уметь мыслить с ИИ: не просто строить пайплайн, а понимать, как ИИ влияет на продукт, решение, пользователя.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#видео
😬 Известный когнитивист и Computer Scientist Йоша Бах рассуждает, сознательны ли LLM, и говорит, что мозг как таковой тоже не обладает сознанием

Сознанием обладает человек, а мозг просто имитирует поведение наблюдателя, подавая сигналы, как если бы это он наблюдал окружающий мир.

С нейросетями ситуация аналогичная: они имитируют наблюдение мира, создавая в нем свою проекцию. Вопрос лишь в том, насколько такая симуляция далека от нашей.
📱 Смотреть в источнике

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Как TensorFlow Lite позволяет выполнять машинное обучение на мобильных устройствах?

TensorFlow Lite оптимизирует обученные модели для использования на мобильных устройствах, снижая размер модели и увеличивая скорость выполнения. Он использует конвертер для преобразования моделей и поддерживает аппаратное ускорение, чтобы обеспечить низкую задержку и эффективное использование ресурсов.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Pandas → Polars → SQL → PySpark

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🤓 Docling

Это мощный инструмент для обработки документов, который позволяет легко экспортировать их в форматы, такие как HTML, Markdown и JSON, поддерживая при этом множество популярных файловых форматов на вход (например, PDF, DOCX, PPTX).

Он предлагает глубокое понимание структуры PDF-документов и обеспечивает единый подход к представлению информации.

Инструмент интегрируется с LlamaIndex и LangChain, поддерживает OCR для сканированных документов, а также предоставляет простой интерфейс командной строки.
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
🥺 11 графиков в Data Science, которые используются в 90% случаев

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Что такое сериализация данных и как TensorFlow обрабатывает это с помощью TFRecords?

Сериализация данных - это процесс преобразования структуры данных в формат, удобный для хранения и передачи. TensorFlow использует формат TFRecord, который позволяет эффективно хранить и читать данные, разбивая их на бинарные строки и поддерживая различные типы данных.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#видео
😎 Плейлист из 30 видео на YouTube для изучения основ машинного обучения с нуля

Если вы не знаете, с чего начать изучение машинного обучения, этот список под названием «Machine Learning: Teach by Doing» — отличный выбор, чтобы освоить как теорию, так и практическое программирование.

1. Введение в машинное обучение — Teach by Doing:
https://lnkd.in/gqN2PMX5

2. Что такое машинное обучение? История машинного обучения:
https://lnkd.in/gvpNSAKh

3. Типы моделей машинного обучения:
https://lnkd.in/gSy2mChM

4. 6 этапов любого ML-проекта:
https://lnkd.in/ggCGchPQ

5. Установка Python и VSCode, запуск первого кода:
https://lnkd.in/gyic7J7b

6. Линейные классификаторы. Часть 1:
https://lnkd.in/gYdfD97D

7. Линейные классификаторы. Часть 2:
https://lnkd.in/gac_z-G8

8. Jupyter Notebook, Numpy и Scikit-Learn:
https://lnkd.in/gWRaC_tB

9. Запуск алгоритма случайного линейного классификатора на Python:
https://lnkd.in/g5HacbFC

10. Самая первая ML-модель — перцептрон:
https://lnkd.in/gpce6uFt

11. Реализация перцептрона на Python:
https://lnkd.in/gmz-XjNK

12. Теорема сходимости перцептрона:
https://lnkd.in/gmz-XjNK

13. Магия признаков в машинном обучении:
https://lnkd.in/gCeDRb3g

14. One-hot encoding (одноразрядное кодирование):
https://lnkd.in/g3WfRQGQ

15. Логистическая регрессия. Часть 1:
https://lnkd.in/gTgZAAZn

16. Функция потерь — кросс-энтропия:
https://lnkd.in/g3Ywg_2p

17. Как работает градиентный спуск:
https://lnkd.in/gKBAsazF

18. Логистическая регрессия с нуля на Python:
https://lnkd.in/g8iZh27P

19. Введение в регуляризацию:
https://lnkd.in/gjM9pVw2

20. Реализация регуляризации на Python:
https://lnkd.in/gRnSK4v4

21. Введение в линейную регрессию:
https://lnkd.in/gPYtSPJ9

22. Пошаговая реализация метода наименьших квадратов (OLS):
https://lnkd.in/gnWQdgNy

23. Основы и интуиция гребневой регрессии (Ridge Regression):
https://lnkd.in/gE5M-CSM

24. Резюме по регрессии для собеседований:
https://lnkd.in/gNBWzzWv

25. Архитектура нейронной сети за 30 минут:
https://lnkd.in/g7qSrkxG

26. Интуиция обратного распространения ошибки (Backpropagation):
https://lnkd.in/gAmBARHm

27. Функции активации в нейронных сетях:
https://lnkd.in/gqrC3zDP

28. Моментум в градиентном спуске:
https://lnkd.in/g3M4qhbP

29. Практическое обучение нейросети на Python:
https://lnkd.in/gz-fTBxs

30. Введение в сверточные нейронные сети (CNN):
https://lnkd.in/gpmuBm3j


👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😊 Отличное приложение на основе ИИ начинается с выбора подходящего типа эмбеддингов

Вот 6 типов эмбеддингов и случаи, когда стоит их использовать:

🟠 Sparse embeddings: https://weaviate.io/developers/weaviate/search/bm25
🟠 Dense embeddings: https://weaviate.io/developers/weaviate/search/similarity
🟠 Quantized embeddings: https://weaviate.io/developers/weaviate/concepts/vector-quantization
🟠 Binary embeddings: https://weaviate.io/developers/weaviate/concepts/vector-quantization#binary-quantization
🟠 Variable dimensions: https://weaviate.io/blog/openais-matryoshka-embeddings-in-weaviate
🟠 Multi-vector embeddings: https://weaviate.io/developers/weaviate/tutorials/multi-vector-embeddings

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
👍 Google представил Agent2Agent (A2A)

Протокол для общения ИИ-агентов между собой, независимо от платформы или фреймворка. Использует технологии HTTP, SSE и JSON-RPC. Подробнее тут

Agent2Agent Protocol vs. Model Context Protocol, четкое объяснение (с визуализацией):

🟠 Протокол Agent2Agent позволяет AI-агентам подключаться к другим агентам.

🟠 Протокол Model Context позволяет AI-агентам подключаться к инструментам и API.

Оба протокола являются open-source и не конкурируют друг с другом

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Что такое тензоры в TensorFlow и как они используются в моделях глубокого обучения?

Тензоры в TensorFlow - это многомерные массивы данных, которые используются для представления входных данных, выходных данных и промежуточных значений между слоями. Тензоры бывают разных размерностей (OD, 1D, 2D и т.д.) и позволяют эффективно выполнять вычисления и градиентные расчеты при обучении моделей.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
👨‍💻 PyTorch выпустил mm: 3D визуализатор матричных умножений

Matrix Multiplication (matmul) — основа современных нейросетей. И теперь вы можете наглядно увидеть, как это работает.

Инструмент от PyTorch называется mm — это визуализатор, который показывает, как матрицы взаимодействуют во время перемножения. Отличный способ понять внутреннюю механику операций, лежащих в основе ИИ.

Особенности
🟠 Работает прямо в браузере
🟠 Показывает процесс перемножения пошагово
🟠 Подходит для обучения, презентаций и просто ради любопытства
Ссылка на проект

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#видео
🤓 Если вы только начинаете заниматься ML/DL и переживаете, что придётся потратить недели на подтягивание математики, поверьте — этого видео вам достаточно.

Это видео длится 5 часов, и этого вполне достаточно, чтобы начать.
📱 Смотреть видео

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😇 Google выпустил бесплатный гайд по созданию промптов

От базовых принципов до сложных техник, таких как chain of thought, где LLM строит цепочки решений.

Цитата: «Не нужно быть дата-сайентистом или ML-инженером — каждый может освоить промпты.»
Ссылка на гайд

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#Собес #TensorFlow
🤔 Как реализовать сверточную нейронную сеть (CNN) в TensorFlow?

Чтобы реализовать CNN в TensorFlow, необходимо определить слои сверточных операций (conv2d), слои максимального объединения (maxpool2d), а также полносвязные слои. После этого модель обучается с использованием функции потерь и оптимизатора. Важным моментом является добавление dropout для предотвращения переобучения.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#полезное
😴 Сделайте sentence transformers в 50 раз меньше и в 500 раз быстрее

Model2Vec преобразует любой sentence transformer в компактную статическую модель с минимальной потерей качества. Кроме того, он обеспечивает мгновенный векторный поиск по миллионам документов без предварительной индексации.

Полностью с открытым исходным кодом
Гитхаб

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
1
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
📞 Это база: трансформеры вручную — как понять, что происходит за кулисами LLM

В этом посте разберем, как вручную пройти через процесс работы трансформера, от входных данных до финального слоя.

Пошаговый процесс

1⃣ Исходные данные:
Входные признаки из предыдущего блока (5 позиций).

2⃣ Внимание:
Все 5 признаков передаются в модуль внимания запрос-ключ (QK) для получения матрицы весов внимания (A).

3⃣ Взвешивание внимания:
Умножаем входные данные на матрицу весов внимания, чтобы получить взвешенные признаки (Z). Этим объединяем признаки по горизонтали, например, X1 := X1 + X2, X2 := X2 + X3 и так далее.

4⃣ FFN — первый слой:
Процессинг всех 5 признаков через первый слой. Умножаем их на веса и смещения, увеличивая размерность с 3 до 4, комбинируя признаки по вертикали.

5⃣ ReLU:
Отрицательные значения заменяются нулями.

6⃣ FFN — второй слой:
Подаем данные во второй слой, уменьшаем размерность с 4 до 3 и отправляем результат в следующий блок для повторения процесса.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#видео
🤯 Короткое видео от
Hunyuan
, которое объясняет архитектуру гибридного трансформера Mamba, лежащего в основе моделей Hunyuan T1 и Turbo S.
Оригинал

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Что такое eager execution в TensorFlow и какие у него преимущества?

Eager execution в TensorFlow - это режим выполнения, при котором операции выполняются немедленно по мере их вызова в Python. Это упрощает отладку, делает интерфейс более интуитивным и позволяет использовать стандартный контроль потока Python вместо графового контроля, что особенно полезно при создании динамических моделей.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#полезное
👍 Cloud․ru выкатил первый сервис для инференса LLM в облаке с разделением GPU

Облачный провайдер анонсировал управляемый сервис Evolution ML Inference с упором на гибкость и эффективность работы с GPU. На платформе впервые в России реализовали технологию Shared GPU, то есть можно будет использовать GPU не полностью, а потреблять только то количество vRAM, которое необходимо модели в конкретный момент.

Такой подход экономит от 15 до 45% ресурсов, а, следовательно, и костов (тарификация осуществляется as-you-go и только в момент обращения к модели).

А еще фишка в том, что на платформе можно будет в пару кликов развернуть не только встроенные модели, но и любую модельку с HF, и даже свою собственную LM.

При этом Cloud․ru берут на себя скейлинг, администрирование и обслуживание инфраструктуры. Плюс никаких проблем с 152-ФЗ: данные хранятся на российских серверах.

👉Новости 👉База вопросов
Please open Telegram to view this post
VIEW IN TELEGRAM