Pandas → Polars → SQL → PySpark

👉Новости 👉База вопросов

#полезное
🥺 11 графиков в Data Science, которые используются в 90% случаев

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Что такое сериализация данных и как TensorFlow обрабатывает это с помощью TFRecords?

Сериализация данных - это процесс преобразования структуры данных в формат, удобный для хранения и передачи. TensorFlow использует формат TFRecord, который позволяет эффективно хранить и читать данные, разбивая их на бинарные строки и поддерживая различные типы данных.

👉Новости 👉База вопросов

#видео
😎 Плейлист из 30 видео на YouTube для изучения основ машинного обучения с нуля

Если вы не знаете, с чего начать изучение машинного обучения, этот список под названием «Machine Learning: Teach by Doing» — отличный выбор, чтобы освоить как теорию, так и практическое программирование.

1. Введение в машинное обучение — Teach by Doing:
https://lnkd.in/gqN2PMX5

2. Что такое машинное обучение? История машинного обучения:
https://lnkd.in/gvpNSAKh

3. Типы моделей машинного обучения:
https://lnkd.in/gSy2mChM

4. 6 этапов любого ML-проекта:
https://lnkd.in/ggCGchPQ

5. Установка Python и VSCode, запуск первого кода:
https://lnkd.in/gyic7J7b

6. Линейные классификаторы. Часть 1:
https://lnkd.in/gYdfD97D

7. Линейные классификаторы. Часть 2:
https://lnkd.in/gac_z-G8

8. Jupyter Notebook, Numpy и Scikit-Learn:
https://lnkd.in/gWRaC_tB

9. Запуск алгоритма случайного линейного классификатора на Python:
https://lnkd.in/g5HacbFC

10. Самая первая ML-модель — перцептрон:
https://lnkd.in/gpce6uFt

11. Реализация перцептрона на Python:
https://lnkd.in/gmz-XjNK

12. Теорема сходимости перцептрона:
https://lnkd.in/gmz-XjNK

13. Магия признаков в машинном обучении:
https://lnkd.in/gCeDRb3g

14. One-hot encoding (одноразрядное кодирование):
https://lnkd.in/g3WfRQGQ

15. Логистическая регрессия. Часть 1:
https://lnkd.in/gTgZAAZn

16. Функция потерь — кросс-энтропия:
https://lnkd.in/g3Ywg_2p

17. Как работает градиентный спуск:
https://lnkd.in/gKBAsazF

18. Логистическая регрессия с нуля на Python:
https://lnkd.in/g8iZh27P

19. Введение в регуляризацию:
https://lnkd.in/gjM9pVw2

20. Реализация регуляризации на Python:
https://lnkd.in/gRnSK4v4

21. Введение в линейную регрессию:
https://lnkd.in/gPYtSPJ9

22. Пошаговая реализация метода наименьших квадратов (OLS):
https://lnkd.in/gnWQdgNy

23. Основы и интуиция гребневой регрессии (Ridge Regression):
https://lnkd.in/gE5M-CSM

24. Резюме по регрессии для собеседований:
https://lnkd.in/gNBWzzWv

25. Архитектура нейронной сети за 30 минут:
https://lnkd.in/g7qSrkxG

26. Интуиция обратного распространения ошибки (Backpropagation):
https://lnkd.in/gAmBARHm

27. Функции активации в нейронных сетях:
https://lnkd.in/gqrC3zDP

28. Моментум в градиентном спуске:
https://lnkd.in/g3M4qhbP

29. Практическое обучение нейросети на Python:
https://lnkd.in/gz-fTBxs

30. Введение в сверточные нейронные сети (CNN):
https://lnkd.in/gpmuBm3j

👉Новости 👉База вопросов

#полезное
😊 Отличное приложение на основе ИИ начинается с выбора подходящего типа эмбеддингов

Вот 6 типов эмбеддингов и случаи, когда стоит их использовать:

🟠 Sparse embeddings: https://weaviate.io/developers/weaviate/search/bm25
🟠 Dense embeddings: https://weaviate.io/developers/weaviate/search/similarity
🟠 Quantized embeddings: https://weaviate.io/developers/weaviate/concepts/vector-quantization
🟠 Binary embeddings: https://weaviate.io/developers/weaviate/concepts/vector-quantization#binary-quantization
🟠 Variable dimensions: https://weaviate.io/blog/openais-matryoshka-embeddings-in-weaviate
🟠 Multi-vector embeddings: https://weaviate.io/developers/weaviate/tutorials/multi-vector-embeddings

👉Новости 👉База вопросов

#полезное
👍 Google представил Agent2Agent (A2A)

Протокол для общения ИИ-агентов между собой, независимо от платформы или фреймворка. Использует технологии HTTP, SSE и JSON-RPC. Подробнее тут

Agent2Agent Protocol vs. Model Context Protocol, четкое объяснение (с визуализацией):

🟠 Протокол Agent2Agent позволяет AI-агентам подключаться к другим агентам.

🟠 Протокол Model Context позволяет AI-агентам подключаться к инструментам и API.

Оба протокола являются open-source и не конкурируют друг с другом

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Что такое тензоры в TensorFlow и как они используются в моделях глубокого обучения?

Тензоры в TensorFlow - это многомерные массивы данных, которые используются для представления входных данных, выходных данных и промежуточных значений между слоями. Тензоры бывают разных размерностей (OD, 1D, 2D и т.д.) и позволяют эффективно выполнять вычисления и градиентные расчеты при обучении моделей.

👉Новости 👉База вопросов

#полезное
👨‍💻 PyTorch выпустил mm: 3D визуализатор матричных умножений

Matrix Multiplication (matmul) — основа современных нейросетей. И теперь вы можете наглядно увидеть, как это работает.

Инструмент от PyTorch называется mm — это визуализатор, который показывает, как матрицы взаимодействуют во время перемножения. Отличный способ понять внутреннюю механику операций, лежащих в основе ИИ.

Особенности
🟠 Работает прямо в браузере
🟠 Показывает процесс перемножения пошагово
🟠 Подходит для обучения, презентаций и просто ради любопытства
Ссылка на проект

👉Новости 👉База вопросов

#видео
🤓 Если вы только начинаете заниматься ML/DL и переживаете, что придётся потратить недели на подтягивание математики, поверьте — этого видео вам достаточно.

Это видео длится 5 часов, и этого вполне достаточно, чтобы начать.
📱 Смотреть видео

👉Новости 👉База вопросов

#полезное
😇 Google выпустил бесплатный гайд по созданию промптов

От базовых принципов до сложных техник, таких как chain of thought, где LLM строит цепочки решений.

Цитата: «Не нужно быть дата-сайентистом или ML-инженером — каждый может освоить промпты.»
Ссылка на гайд

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как реализовать сверточную нейронную сеть (CNN) в TensorFlow?

Чтобы реализовать CNN в TensorFlow, необходимо определить слои сверточных операций (conv2d), слои максимального объединения (maxpool2d), а также полносвязные слои. После этого модель обучается с использованием функции потерь и оптимизатора. Важным моментом является добавление dropout для предотвращения переобучения.

👉Новости 👉База вопросов

#полезное
😴 Сделайте sentence transformers в 50 раз меньше и в 500 раз быстрее

Model2Vec преобразует любой sentence transformer в компактную статическую модель с минимальной потерей качества. Кроме того, он обеспечивает мгновенный векторный поиск по миллионам документов без предварительной индексации.

Полностью с открытым исходным кодом
Гитхаб

👉Новости 👉База вопросов

#полезное
📞 Это база: трансформеры вручную — как понять, что происходит за кулисами LLM

В этом посте разберем, как вручную пройти через процесс работы трансформера, от входных данных до финального слоя.

Пошаговый процесс

1⃣ Исходные данные:
Входные признаки из предыдущего блока (5 позиций).

2⃣ Внимание:
Все 5 признаков передаются в модуль внимания запрос-ключ (QK) для получения матрицы весов внимания (A).

3⃣ Взвешивание внимания:
Умножаем входные данные на матрицу весов внимания, чтобы получить взвешенные признаки (Z). Этим объединяем признаки по горизонтали, например, X1 := X1 + X2, X2 := X2 + X3 и так далее.

4⃣ FFN — первый слой:
Процессинг всех 5 признаков через первый слой. Умножаем их на веса и смещения, увеличивая размерность с 3 до 4, комбинируя признаки по вертикали.

5⃣ ReLU:
Отрицательные значения заменяются нулями.

6⃣ FFN — второй слой:
Подаем данные во второй слой, уменьшаем размерность с 4 до 3 и отправляем результат в следующий блок для повторения процесса.

👉Новости 👉База вопросов

#видео
🤯 Короткое видео от
Hunyuan, которое объясняет архитектуру гибридного трансформера Mamba, лежащего в основе моделей Hunyuan T1 и Turbo S.
Оригинал

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Что такое eager execution в TensorFlow и какие у него преимущества?

Eager execution в TensorFlow - это режим выполнения, при котором операции выполняются немедленно по мере их вызова в Python. Это упрощает отладку, делает интерфейс более интуитивным и позволяет использовать стандартный контроль потока Python вместо графового контроля, что особенно полезно при создании динамических моделей.

👉Новости 👉База вопросов

#полезное
👍 Cloud․ru выкатил первый сервис для инференса LLM в облаке с разделением GPU

Облачный провайдер анонсировал управляемый сервис Evolution ML Inference с упором на гибкость и эффективность работы с GPU. На платформе впервые в России реализовали технологию Shared GPU, то есть можно будет использовать GPU не полностью, а потреблять только то количество vRAM, которое необходимо модели в конкретный момент.

Такой подход экономит от 15 до 45% ресурсов, а, следовательно, и костов (тарификация осуществляется as-you-go и только в момент обращения к модели).

А еще фишка в том, что на платформе можно будет в пару кликов развернуть не только встроенные модели, но и любую модельку с HF, и даже свою собственную LM.

При этом Cloud․ru берут на себя скейлинг, администрирование и обслуживание инфраструктуры. Плюс никаких проблем с 152-ФЗ: данные хранятся на российских серверах.

👉Новости 👉База вопросов

#полезное
😊 Почему обратимая матрица сохраняет объем в пространстве

🟠 Если рассматривать матрицу с геометрической точки зрения, она выполняет преобразование векторов в n-мерном пространстве. Когда матрица обратима, это означает, что преобразование является биективным, то есть оно не «сжимает» пространство в подпространство меньшей размерности.

🟠 Говоря проще, обратимая матрица сохраняет объем (хотя и может вращать или искажать его), но не уменьшает количество измерений.

🟠 Если ранг матрицы уменьшается, преобразование отображает векторы в пространство меньшей размерности, что означает потерю информации. В геометрии это проявляется в том, что объем пространства «сплющивается» или искажается до нулевого объема, что и приводит к нулевому детерминанту.

👉Новости 👉База вопросов

#видео
🤓 Полный краш-курс по MCP для Python-разработчиков

🟠 Что такое MCP и как он устроен
🟠 Как поднять свой MCP-сервер
🟠 Подключение Python-приложений к MCP
🟠 Интеграция LLM-моделей с MCP
🟠 MCP против function calling
🟠 Деплой в Docker
🟠 Управление жизненным циклом

Гайд для тех, кто хочет строить AI-системы на базе MCP и выйти за рамки базовых туториалов
📱 Смотреть тут

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Какие случаи использования имеет APl tf.data в TensorFlow?

API tf.data в TensorFlow используется для создания сложных конвейеров обработки данных. Он позволяет эффективно работать с большими обьемами данных, поддерживает различные форматы и трансформации. Благодаря поддержке параллельной обработки и предвыборки данных, tf.data ускоряет обучение моделей и позволяет гибко управлять процессом.

👉Новости 👉База вопросов