#полезное
🥺 Вышла Llama-4 с огромным контекстом
Релизнули в трех весах: Llama 4 Scout на 109B, Llama 4 Maverick на 400B и Llama 4 Behemoth на 2T (да-да, в триллионах).
– Llama 4 Scout. Контекст 10M токенов (вау!), MoE на 16 экспертов, 17B активных параметров. Запускается на одной GPU. Уровень Gemini 2.0 Flash Lite.
– Llama 4 Maverick. Контекст поменьше, 1M. 128 экспертов по 17B активных параметров. Примерно на уровне GPT-4o. На арене модель сейчас на 2 месте с рейтингом 1417.
Обе модели выше мультимодальные (на вход принимают до 5 изображений) и поддерживают много языков. Знания – по август 2024. Веса
– Llama 4 Behemoth. Модель невероятных размеров, которая использовалась в качестве учителя для Scout и Maverick. 16 экспертов по 288B активных параметров. Уровень GPT-4.5 и Claude Sonnet 3.7. Весов пока нет, модель в превью и все еще обучается.
👉 Новости 👉 База вопросов
Релизнули в трех весах: Llama 4 Scout на 109B, Llama 4 Maverick на 400B и Llama 4 Behemoth на 2T (да-да, в триллионах).
– Llama 4 Scout. Контекст 10M токенов (вау!), MoE на 16 экспертов, 17B активных параметров. Запускается на одной GPU. Уровень Gemini 2.0 Flash Lite.
– Llama 4 Maverick. Контекст поменьше, 1M. 128 экспертов по 17B активных параметров. Примерно на уровне GPT-4o. На арене модель сейчас на 2 месте с рейтингом 1417.
Обе модели выше мультимодальные (на вход принимают до 5 изображений) и поддерживают много языков. Знания – по август 2024. Веса
– Llama 4 Behemoth. Модель невероятных размеров, которая использовалась в качестве учителя для Scout и Maverick. 16 экспертов по 288B активных параметров. Уровень GPT-4.5 и Claude Sonnet 3.7. Весов пока нет, модель в превью и все еще обучается.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🥺 ИИ не отнимает работу у инженеров — он трансформирует её
По свежему отчёту WEF, к 2030 году произойдёт глобальная перекройка рынка труда:
✅ 22% текущих профессий изменятся
✅ +170 млн новых рабочих мест
✅ -92 млн уйдут в прошлое
И ключевой драйвер этих изменений — ИИ и автоматизация.
Что это значит для DS-инженеров?
Вместо стандартного «data scientist»/«ML engineer» сейчас появляются:
🟠 AI/ML продуктовые инженеры
🟠 Специалисты по data pipelines для LLM и мультимодальных моделей
🟠 Инженеры по интерпретируемости моделей (XAI)
🟠 Мастера feature engineering под foundation models
🟠 MLOps с уклоном в этику, безопасность и оценку рисков
🟠 Prompt/agent engineers (внезапно, уже инженерная роль)
Интересно, что многие из этих ролей не существовали 3-5 лет назад. И это не предел: растёт спрос на специалистов, которые могут работать на стыке ИИ и бизнеса, ИИ и UX, ИИ и governance.
Поэтому ключевая компетенция 2025+ — уметь мыслить с ИИ: не просто строить пайплайн, а понимать, как ИИ влияет на продукт, решение, пользователя.
👉 Новости 👉 База вопросов
По свежему отчёту WEF, к 2030 году произойдёт глобальная перекройка рынка труда:
И ключевой драйвер этих изменений — ИИ и автоматизация.
Что это значит для DS-инженеров?
Вместо стандартного «data scientist»/«ML engineer» сейчас появляются:
Интересно, что многие из этих ролей не существовали 3-5 лет назад. И это не предел: растёт спрос на специалистов, которые могут работать на стыке ИИ и бизнеса, ИИ и UX, ИИ и governance.
Поэтому ключевая компетенция 2025+ — уметь мыслить с ИИ: не просто строить пайплайн, а понимать, как ИИ влияет на продукт, решение, пользователя.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#видео
😬 Известный когнитивист и Computer Scientist Йоша Бах рассуждает, сознательны ли LLM, и говорит, что мозг как таковой тоже не обладает сознанием
Сознанием обладает человек, а мозг просто имитирует поведение наблюдателя, подавая сигналы, как если бы это он наблюдал окружающий мир.
С нейросетями ситуация аналогичная: они имитируют наблюдение мира, создавая в нем свою проекцию. Вопрос лишь в том, насколько такая симуляция далека от нашей.
📱 Смотреть в источнике
👉 Новости 👉 База вопросов
Сознанием обладает человек, а мозг просто имитирует поведение наблюдателя, подавая сигналы, как если бы это он наблюдал окружающий мир.
С нейросетями ситуация аналогичная: они имитируют наблюдение мира, создавая в нем свою проекцию. Вопрос лишь в том, насколько такая симуляция далека от нашей.
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Как TensorFlow Lite позволяет выполнять машинное обучение на мобильных устройствах?
TensorFlow Lite оптимизирует обученные модели для использования на мобильных устройствах, снижая размер модели и увеличивая скорость выполнения. Он использует конвертер для преобразования моделей и поддерживает аппаратное ускорение, чтобы обеспечить низкую задержку и эффективное использование ресурсов.
👉 Новости 👉 База вопросов
TensorFlow Lite оптимизирует обученные модели для использования на мобильных устройствах, снижая размер модели и увеличивая скорость выполнения. Он использует конвертер для преобразования моделей и поддерживает аппаратное ускорение, чтобы обеспечить низкую задержку и эффективное использование ресурсов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🤓 Docling
Это мощный инструмент для обработки документов, который позволяет легко экспортировать их в форматы, такие как HTML, Markdown и JSON, поддерживая при этом множество популярных файловых форматов на вход (например, PDF, DOCX, PPTX).
Он предлагает глубокое понимание структуры PDF-документов и обеспечивает единый подход к представлению информации.
Инструмент интегрируется с LlamaIndex и LangChain, поддерживает OCR для сканированных документов, а также предоставляет простой интерфейс командной строки.
Гитхаб
👉 Новости 👉 База вопросов
Это мощный инструмент для обработки документов, который позволяет легко экспортировать их в форматы, такие как HTML, Markdown и JSON, поддерживая при этом множество популярных файловых форматов на вход (например, PDF, DOCX, PPTX).
Он предлагает глубокое понимание структуры PDF-документов и обеспечивает единый подход к представлению информации.
Инструмент интегрируется с LlamaIndex и LangChain, поддерживает OCR для сканированных документов, а также предоставляет простой интерфейс командной строки.
Гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Что такое сериализация данных и как TensorFlow обрабатывает это с помощью TFRecords?
Сериализация данных - это процесс преобразования структуры данных в формат, удобный для хранения и передачи. TensorFlow использует формат TFRecord, который позволяет эффективно хранить и читать данные, разбивая их на бинарные строки и поддерживая различные типы данных.
👉 Новости 👉 База вопросов
Сериализация данных - это процесс преобразования структуры данных в формат, удобный для хранения и передачи. TensorFlow использует формат TFRecord, который позволяет эффективно хранить и читать данные, разбивая их на бинарные строки и поддерживая различные типы данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#видео
😎 Плейлист из 30 видео на YouTube для изучения основ машинного обучения с нуля
Если вы не знаете, с чего начать изучение машинного обучения, этот список под названием «Machine Learning: Teach by Doing» — отличный выбор, чтобы освоить как теорию, так и практическое программирование.
👉 Новости 👉 База вопросов
Если вы не знаете, с чего начать изучение машинного обучения, этот список под названием «Machine Learning: Teach by Doing» — отличный выбор, чтобы освоить как теорию, так и практическое программирование.
1. Введение в машинное обучение — Teach by Doing:
https://lnkd.in/gqN2PMX5
2. Что такое машинное обучение? История машинного обучения:
https://lnkd.in/gvpNSAKh
3. Типы моделей машинного обучения:
https://lnkd.in/gSy2mChM
4. 6 этапов любого ML-проекта:
https://lnkd.in/ggCGchPQ
5. Установка Python и VSCode, запуск первого кода:
https://lnkd.in/gyic7J7b
6. Линейные классификаторы. Часть 1:
https://lnkd.in/gYdfD97D
7. Линейные классификаторы. Часть 2:
https://lnkd.in/gac_z-G8
8. Jupyter Notebook, Numpy и Scikit-Learn:
https://lnkd.in/gWRaC_tB
9. Запуск алгоритма случайного линейного классификатора на Python:
https://lnkd.in/g5HacbFC
10. Самая первая ML-модель — перцептрон:
https://lnkd.in/gpce6uFt
11. Реализация перцептрона на Python:
https://lnkd.in/gmz-XjNK
12. Теорема сходимости перцептрона:
https://lnkd.in/gmz-XjNK
13. Магия признаков в машинном обучении:
https://lnkd.in/gCeDRb3g
14. One-hot encoding (одноразрядное кодирование):
https://lnkd.in/g3WfRQGQ
15. Логистическая регрессия. Часть 1:
https://lnkd.in/gTgZAAZn
16. Функция потерь — кросс-энтропия:
https://lnkd.in/g3Ywg_2p
17. Как работает градиентный спуск:
https://lnkd.in/gKBAsazF
18. Логистическая регрессия с нуля на Python:
https://lnkd.in/g8iZh27P
19. Введение в регуляризацию:
https://lnkd.in/gjM9pVw2
20. Реализация регуляризации на Python:
https://lnkd.in/gRnSK4v4
21. Введение в линейную регрессию:
https://lnkd.in/gPYtSPJ9
22. Пошаговая реализация метода наименьших квадратов (OLS):
https://lnkd.in/gnWQdgNy
23. Основы и интуиция гребневой регрессии (Ridge Regression):
https://lnkd.in/gE5M-CSM
24. Резюме по регрессии для собеседований:
https://lnkd.in/gNBWzzWv
25. Архитектура нейронной сети за 30 минут:
https://lnkd.in/g7qSrkxG
26. Интуиция обратного распространения ошибки (Backpropagation):
https://lnkd.in/gAmBARHm
27. Функции активации в нейронных сетях:
https://lnkd.in/gqrC3zDP
28. Моментум в градиентном спуске:
https://lnkd.in/g3M4qhbP
29. Практическое обучение нейросети на Python:
https://lnkd.in/gz-fTBxs
30. Введение в сверточные нейронные сети (CNN):
https://lnkd.in/gpmuBm3j
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😊 Отличное приложение на основе ИИ начинается с выбора подходящего типа эмбеддингов
Вот 6 типов эмбеддингов и случаи, когда стоит их использовать:
🟠 Sparse embeddings: https://weaviate.io/developers/weaviate/search/bm25
🟠 Dense embeddings: https://weaviate.io/developers/weaviate/search/similarity
🟠 Quantized embeddings: https://weaviate.io/developers/weaviate/concepts/vector-quantization
🟠 Binary embeddings: https://weaviate.io/developers/weaviate/concepts/vector-quantization#binary-quantization
🟠 Variable dimensions: https://weaviate.io/blog/openais-matryoshka-embeddings-in-weaviate
🟠 Multi-vector embeddings: https://weaviate.io/developers/weaviate/tutorials/multi-vector-embeddings
👉 Новости 👉 База вопросов
Вот 6 типов эмбеддингов и случаи, когда стоит их использовать:
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
👍 Google представил Agent2Agent (A2A)
Протокол для общения ИИ-агентов между собой, независимо от платформы или фреймворка. Использует технологии HTTP, SSE и JSON-RPC. Подробнее тут
Agent2Agent Protocol vs. Model Context Protocol, четкое объяснение (с визуализацией):
🟠 Протокол Agent2Agent позволяет AI-агентам подключаться к другим агентам.
🟠 Протокол Model Context позволяет AI-агентам подключаться к инструментам и API.
Оба протокола являются open-source и не конкурируют друг с другом
👉 Новости 👉 База вопросов
Протокол для общения ИИ-агентов между собой, независимо от платформы или фреймворка. Использует технологии HTTP, SSE и JSON-RPC. Подробнее тут
Agent2Agent Protocol vs. Model Context Protocol, четкое объяснение (с визуализацией):
Оба протокола являются open-source и не конкурируют друг с другом
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Что такое тензоры в TensorFlow и как они используются в моделях глубокого обучения?
Тензоры в TensorFlow - это многомерные массивы данных, которые используются для представления входных данных, выходных данных и промежуточных значений между слоями. Тензоры бывают разных размерностей (OD, 1D, 2D и т.д.) и позволяют эффективно выполнять вычисления и градиентные расчеты при обучении моделей.
👉 Новости 👉 База вопросов
Тензоры в TensorFlow - это многомерные массивы данных, которые используются для представления входных данных, выходных данных и промежуточных значений между слоями. Тензоры бывают разных размерностей (OD, 1D, 2D и т.д.) и позволяют эффективно выполнять вычисления и градиентные расчеты при обучении моделей.
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
👨💻 PyTorch выпустил mm: 3D визуализатор матричных умножений
Matrix Multiplication (matmul) — основа современных нейросетей. И теперь вы можете наглядно увидеть, как это работает.
Инструмент от PyTorch называется mm — это визуализатор, который показывает, как матрицы взаимодействуют во время перемножения. Отличный способ понять внутреннюю механику операций, лежащих в основе ИИ.
Особенности
🟠 Работает прямо в браузере
🟠 Показывает процесс перемножения пошагово
🟠 Подходит для обучения, презентаций и просто ради любопытства
Ссылка на проект
👉 Новости 👉 База вопросов
Matrix Multiplication (matmul) — основа современных нейросетей. И теперь вы можете наглядно увидеть, как это работает.
Инструмент от PyTorch называется mm — это визуализатор, который показывает, как матрицы взаимодействуют во время перемножения. Отличный способ понять внутреннюю механику операций, лежащих в основе ИИ.
Особенности
Ссылка на проект
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
#видео
🤓 Если вы только начинаете заниматься ML/DL и переживаете, что придётся потратить недели на подтягивание математики, поверьте — этого видео вам достаточно.
Это видео длится 5 часов, и этого вполне достаточно, чтобы начать.
📱 Смотреть видео
👉 Новости 👉 База вопросов
Это видео длится 5 часов, и этого вполне достаточно, чтобы начать.
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😇 Google выпустил бесплатный гайд по созданию промптов
От базовых принципов до сложных техник, таких как chain of thought, где LLM строит цепочки решений.
Цитата: «Не нужно быть дата-сайентистом или ML-инженером — каждый может освоить промпты.»
Ссылка на гайд
👉 Новости 👉 База вопросов
От базовых принципов до сложных техник, таких как chain of thought, где LLM строит цепочки решений.
Цитата: «Не нужно быть дата-сайентистом или ML-инженером — каждый может освоить промпты.»
Ссылка на гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
#Собес #TensorFlow
🤔 Как реализовать сверточную нейронную сеть (CNN) в TensorFlow?
Чтобы реализовать CNN в TensorFlow, необходимо определить слои сверточных операций (conv2d), слои максимального объединения (maxpool2d), а также полносвязные слои. После этого модель обучается с использованием функции потерь и оптимизатора. Важным моментом является добавление dropout для предотвращения переобучения.
👉 Новости 👉 База вопросов
Чтобы реализовать CNN в TensorFlow, необходимо определить слои сверточных операций (conv2d), слои максимального объединения (maxpool2d), а также полносвязные слои. После этого модель обучается с использованием функции потерь и оптимизатора. Важным моментом является добавление dropout для предотвращения переобучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
#полезное
😴 Сделайте sentence transformers в 50 раз меньше и в 500 раз быстрее
Model2Vec преобразует любой sentence transformer в компактную статическую модель с минимальной потерей качества. Кроме того, он обеспечивает мгновенный векторный поиск по миллионам документов без предварительной индексации.
Полностью с открытым исходным кодом
Гитхаб
👉 Новости 👉 База вопросов
Model2Vec преобразует любой sentence transformer в компактную статическую модель с минимальной потерей качества. Кроме того, он обеспечивает мгновенный векторный поиск по миллионам документов без предварительной индексации.
Полностью с открытым исходным кодом
Гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
📞 Это база: трансформеры вручную — как понять, что происходит за кулисами LLM
В этом посте разберем, как вручную пройти через процесс работы трансформера, от входных данных до финального слоя.
Пошаговый процесс
1⃣ Исходные данные:
Входные признаки из предыдущего блока (5 позиций).
2⃣ Внимание:
Все 5 признаков передаются в модуль внимания запрос-ключ (QK) для получения матрицы весов внимания (A).
3⃣ Взвешивание внимания:
Умножаем входные данные на матрицу весов внимания, чтобы получить взвешенные признаки (Z). Этим объединяем признаки по горизонтали, например, X1 := X1 + X2, X2 := X2 + X3 и так далее.
4⃣ FFN — первый слой:
Процессинг всех 5 признаков через первый слой. Умножаем их на веса и смещения, увеличивая размерность с 3 до 4, комбинируя признаки по вертикали.
5⃣ ReLU:
Отрицательные значения заменяются нулями.
6⃣ FFN — второй слой:
Подаем данные во второй слой, уменьшаем размерность с 4 до 3 и отправляем результат в следующий блок для повторения процесса.
👉 Новости 👉 База вопросов
В этом посте разберем, как вручную пройти через процесс работы трансформера, от входных данных до финального слоя.
Пошаговый процесс
Входные признаки из предыдущего блока (5 позиций).
Все 5 признаков передаются в модуль внимания запрос-ключ (QK) для получения матрицы весов внимания (A).
Умножаем входные данные на матрицу весов внимания, чтобы получить взвешенные признаки (Z). Этим объединяем признаки по горизонтали, например, X1 := X1 + X2, X2 := X2 + X3 и так далее.
Процессинг всех 5 признаков через первый слой. Умножаем их на веса и смещения, увеличивая размерность с 3 до 4, комбинируя признаки по вертикали.
Отрицательные значения заменяются нулями.
Подаем данные во второй слой, уменьшаем размерность с 4 до 3 и отправляем результат в следующий блок для повторения процесса.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#видео
🤯 Короткое видео от
Hunyuan, которое объясняет архитектуру гибридного трансформера Mamba, лежащего в основе моделей Hunyuan T1 и Turbo S.
Оригинал
👉 Новости 👉 База вопросов
Hunyuan, которое объясняет архитектуру гибридного трансформера Mamba, лежащего в основе моделей Hunyuan T1 и Turbo S.
Оригинал
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #TensorFlow
🤔 Что такое eager execution в TensorFlow и какие у него преимущества?
Eager execution в TensorFlow - это режим выполнения, при котором операции выполняются немедленно по мере их вызова в Python. Это упрощает отладку, делает интерфейс более интуитивным и позволяет использовать стандартный контроль потока Python вместо графового контроля, что особенно полезно при создании динамических моделей.
👉 Новости 👉 База вопросов
Eager execution в TensorFlow - это режим выполнения, при котором операции выполняются немедленно по мере их вызова в Python. Это упрощает отладку, делает интерфейс более интуитивным и позволяет использовать стандартный контроль потока Python вместо графового контроля, что особенно полезно при создании динамических моделей.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1