Бесплатные курсы и проекты по ИИ, Data Science и облакам на Cognitive Class от IBM: больше 100 материалов по современным технологиям.
👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6
Подожди секунду, Mistral 3 Large использует архитектуру DeepSeek V3, включая MLA?
Только что пробежался по конфигам: единственная разница, которую я увидел, это что в Mistral 3 Large экспертов в 2 раза меньше, но каждый эксперт в 2 раза больше.
Возможно, это проще заметить в сравнении архитектур бок о бок
👉 @DataSciencegx
Только что пробежался по конфигам: единственная разница, которую я увидел, это что в Mistral 3 Large экспертов в 2 раза меньше, но каждый эксперт в 2 раза больше.
Возможно, это проще заметить в сравнении архитектур бок о бок
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6
Media is too big
VIEW IN TELEGRAM
Очень рад рассказать про TeXPen! Он конвертит твой рукописный ввод и скриншоты прямо в LaTeX.
Он сделан так, чтобы целиком работать в браузере на WebGPU/WebAssembly. Прикольно и непросто заставить модели крутиться на клиенте, зато это дает нулевую задержку и полную приватность.
Попробовать можно тут:
https://texpen.github.io
Первоначальная настройка требует только скачать OleehyO/TexTeller: 298M параметров в FP32 (≈1.2GB), после чего оно сохраняется в кэше браузера для будущего использования.
Этот проект вообще стал возможен только потому, что на 100% держится на модели OleehyO/TexTeller, которая очень хороша для распознавания рукописного/печатного LaTeX при всего 298M параметров (≈1.2GB):
https://github.com/OleehyO
Проект с открытым исходным кодом, код тут
👉 @DataSciencegx
Он сделан так, чтобы целиком работать в браузере на WebGPU/WebAssembly. Прикольно и непросто заставить модели крутиться на клиенте, зато это дает нулевую задержку и полную приватность.
Попробовать можно тут:
https://texpen.github.io
Первоначальная настройка требует только скачать OleehyO/TexTeller: 298M параметров в FP32 (≈1.2GB), после чего оно сохраняется в кэше браузера для будущего использования.
Этот проект вообще стал возможен только потому, что на 100% держится на модели OleehyO/TexTeller, которая очень хороша для распознавания рукописного/печатного LaTeX при всего 298M параметров (≈1.2GB):
https://github.com/OleehyO
Проект с открытым исходным кодом, код тут
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9
NeuralOperator теперь входит в экосистему PyTorch. Это PyTorch-native библиотека для обучения нейрооператоров и моделирования переходов функция→функция в научно-инженерных задачах на базе ИИ.
👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
SQLite-Vec: крошечная и портируемая vectorDB, построенная поверх SQLite.
Очень быстрая и лёгкая, отлично подходит для on-device RAG-решений.
Ключевые фичи:
- matryoshka-слайсинг эмбеддингов
- уменьшение объёма хранения в 32 раза за счёт бинарной квантизации
- поддержка расстояний L2, cosine и Hamming
👉 @DataSciencegx
Очень быстрая и лёгкая, отлично подходит для on-device RAG-решений.
Ключевые фичи:
- matryoshka-слайсинг эмбеддингов
- уменьшение объёма хранения в 32 раза за счёт бинарной квантизации
- поддержка расстояний L2, cosine и Hamming
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥3
NVIDIA выложила открытую модель на 30B, которая обходит GPT-OSS и Qwen3-30B -» и работает в 2.2–3.3 раза быстрее.
Nemotron 3 Nano:
- контекст до 1 млн токенов
- MoE: 31.6B параметров всего, 3.6B активных
- лучшая в классе производительность на SWE-Bench
- открытые веса + инструкция по обучению + датасеты с правом перераспространения
Модель можно запускать локально -» достаточно 24 ГБ ОЗУ.
👉 @DataSciencegx
Nemotron 3 Nano:
- контекст до 1 млн токенов
- MoE: 31.6B параметров всего, 3.6B активных
- лучшая в классе производительность на SWE-Bench
- открытые веса + инструкция по обучению + датасеты с правом перераспространения
Модель можно запускать локально -» достаточно 24 ГБ ОЗУ.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
Новая статья от Apple просто взрывает мозг.
Они показали, что одного слоя attention достаточно, чтобы превратить предобученные vision-фичи в SoTA-генераторы изображений.
Это сильно упрощает диффузионные модели, при этом качество остаётся на топовом уровне.
👉 @DataSciencegx
Они показали, что одного слоя attention достаточно, чтобы превратить предобученные vision-фичи в SoTA-генераторы изображений.
Это сильно упрощает диффузионные модели, при этом качество остаётся на топовом уровне.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤3
Способность RoPE кодировать относительные позиции при минимальном числе параметров сделала возможным появление LLM с длинным контекстом.
Нельзя просто так запихнуть вход на 4k токенов в модель с контекстом 2k, но решение стоит недорого.
В итоге расширение контекста превращается в задачу дообучения за $5K, а не полного переобучения за $500K.
👉 @DataSciencegx
Нельзя просто так запихнуть вход на 4k токенов в модель с контекстом 2k, но решение стоит недорого.
В итоге расширение контекста превращается в задачу дообучения за $5K, а не полного переобучения за $500K.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Андрей Карпаты, основатель Eureka Labs и бывший директор по ИИ в Tesla, на простом уровне объясняет, как LLM вроде ChatGPT по сути «скачивают интернет».
Подходит даже для новичков. Полное видео с разбором тут: https://bit.ly/4o13PTx
👉 @DataSciencegx
Подходит даже для новичков. Полное видео с разбором тут: https://bit.ly/4o13PTx
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2
Xiaomi представила MiMo-V2-Flash, новую опенсорс MoE-модель, для агентных сценариев и быстрого инференса.
Архитектура включает 309B параметров, из которых 15B активны на шаг, что позволяет сочетать производительность моделей уровня топовых моделей с заметно меньшей задержкой.
Модель использует гибридное внимание: схема 5:1 с чередованием 128-оконного SWA и Global Attention, поддержка контекста до 256K токенов. По результатам бенчмарков MiMo-V2-Flash сопоставима с DeepSeek-V3.2 на общих задачах, но работает быстрее.
Отдельно отмечены результаты на SWE-Bench:
73.4% на SWE-Bench Verified
71.7% на SWE-Bench Multilingual — новый SOTA среди опенсорс моделей
Скорость генерации достигает 150 токенов/с, при этом модель получила Day-0 поддержку от lmsys.
MiMo-V2-Flash уже доступна:
-» модель на Hugging Face
-» технический отчет с деталями архитектуры
-» блог-пост команды
-» AI Studio для тестирования
Есть бесплатный доступ по API до конца года (потом - $0,1 за млн. входных токенов и $0,3 за млн. выходных)
👉 @DataSciencegx
Архитектура включает 309B параметров, из которых 15B активны на шаг, что позволяет сочетать производительность моделей уровня топовых моделей с заметно меньшей задержкой.
Модель использует гибридное внимание: схема 5:1 с чередованием 128-оконного SWA и Global Attention, поддержка контекста до 256K токенов. По результатам бенчмарков MiMo-V2-Flash сопоставима с DeepSeek-V3.2 на общих задачах, но работает быстрее.
Отдельно отмечены результаты на SWE-Bench:
73.4% на SWE-Bench Verified
71.7% на SWE-Bench Multilingual — новый SOTA среди опенсорс моделей
Скорость генерации достигает 150 токенов/с, при этом модель получила Day-0 поддержку от lmsys.
MiMo-V2-Flash уже доступна:
-» модель на Hugging Face
-» технический отчет с деталями архитектуры
-» блог-пост команды
-» AI Studio для тестирования
Есть бесплатный доступ по API до конца года (потом - $0,1 за млн. входных токенов и $0,3 за млн. выходных)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
На одном таком аэрофото модель делает сотни детекций, каждая локализована и классифицирована в реальном времени. Контейнеры, транспорт, здания, портовая инфраструктура — все распознается за один forward pass модели.
Почему это важно:
- масштабируемый мониторинг для логистики
- ситуационная осведомленность в реальном времени с дронов или спутников
- автоматический подсчет и трекинг активов
- база для digital twins и умной инфраструктуры
Это уже не просто bounding box’ы и раскраска. Это машинное восприятие на уровне города, где пиксели превращаются в структурированные, прикладные данные.
Компьютерное зрение больше не про то, чтобы видеть картинки.
Оно про понимание мира.
👉 @DataSciencegx
Почему это важно:
- масштабируемый мониторинг для логистики
- ситуационная осведомленность в реальном времени с дронов или спутников
- автоматический подсчет и трекинг активов
- база для digital twins и умной инфраструктуры
Это уже не просто bounding box’ы и раскраска. Это машинное восприятие на уровне города, где пиксели превращаются в структурированные, прикладные данные.
Компьютерное зрение больше не про то, чтобы видеть картинки.
Оно про понимание мира.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1
Почему pre-norm работает лучше, чем post-norm в трансформерах?
Я снова копался в архитектуре трансформеров (в который уже раз) и в этот раз обратил внимание на одну вещь: почти все реализации, которые я видел, используют вариант pre-norm (нормализация перед сабслоем, потом residual), и он стабильно обгоняет оригинальный post-norm дизайн (сначала residual, потом нормализация).
Разница в коде элементарная:
post-norm:
pre-norm:
Но почему это на первый взгляд небольшое изменение позволяет обучать трансформеры гораздо глубже и стабильнее? Я понимаю, что это улучшает протекание градиентов, но хочется более глубокого объяснения. В чем конкретная математика и где именно ключевая причина?
👉 @DataSciencegx
Я снова копался в архитектуре трансформеров (в который уже раз) и в этот раз обратил внимание на одну вещь: почти все реализации, которые я видел, используют вариант pre-norm (нормализация перед сабслоем, потом residual), и он стабильно обгоняет оригинальный post-norm дизайн (сначала residual, потом нормализация).
Разница в коде элементарная:
post-norm:
output = norm(x + sublayer(x))pre-norm:
output = x + sublayer(norm(x))Но почему это на первый взгляд небольшое изменение позволяет обучать трансформеры гораздо глубже и стабильнее? Я понимаю, что это улучшает протекание градиентов, но хочется более глубокого объяснения. В чем конкретная математика и где именно ключевая причина?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3
В open source выходит jax-js - библиотека машинного обучения для веба, полностью на чистом JavaScript.
jax-js — первый ML-компилятор, который работает прямо в браузере и генерирует быстрые WebGPU-ядра. Проект написан с нуля за последний год как личный сайд-проект.
Подробности: https://ekzhang.substack.com/p/jax-js-an-ml-library-for-the-web
Python и JavaScript - самые популярные языки в мире.
Python нужен для ML,
JavaScript — нативный язык веба.
Проект пока на ранней стадии, но jax-js задумывается как по-настоящему «реальная ML-библиотека» для веба: с JIT-фьюжном ядер под WebGPU и полноценным API, а не просто рантайм.
👉 @DataSciencegx
jax-js — первый ML-компилятор, который работает прямо в браузере и генерирует быстрые WebGPU-ядра. Проект написан с нуля за последний год как личный сайд-проект.
Подробности: https://ekzhang.substack.com/p/jax-js-an-ml-library-for-the-web
Python и JavaScript - самые популярные языки в мире.
Python нужен для ML,
JavaScript — нативный язык веба.
Проект пока на ранней стадии, но jax-js задумывается как по-настоящему «реальная ML-библиотека» для веба: с JIT-фьюжном ядер под WebGPU и полноценным API, а не просто рантайм.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3
Представили T5Gemma 2 - новое поколение encoder-decoder моделей
Модель построена поверх Gemma 3. Это позволило собрать компактные варианты в конфигурациях 270M–270M, 1B–1B и 4B–4B.
На фоне того, что сегодня большинство моделей » decoder-only, T5Gemma 2 (насколько мне известно) — первая мультимодальная encoder-decoder модель с длинным контекстом и мощной мультиязычной поддержкой » 140 языков.
Надеемся, что эта модель будет полезна как в ML, так и разработчикам, которым интересно экспериментировать с новыми архитектурами.
Блог: https://blog.google/technology/developers/t5gemma-2
Модели: https://huggingface.co/collections/google/t5gemma-2
Статья: https://arxiv.org/abs/2512.14856
👉 @DataSciencegx
Модель построена поверх Gemma 3. Это позволило собрать компактные варианты в конфигурациях 270M–270M, 1B–1B и 4B–4B.
На фоне того, что сегодня большинство моделей » decoder-only, T5Gemma 2 (насколько мне известно) — первая мультимодальная encoder-decoder модель с длинным контекстом и мощной мультиязычной поддержкой » 140 языков.
Надеемся, что эта модель будет полезна как в ML, так и разработчикам, которым интересно экспериментировать с новыми архитектурами.
Блог: https://blog.google/technology/developers/t5gemma-2
Модели: https://huggingface.co/collections/google/t5gemma-2
Статья: https://arxiv.org/abs/2512.14856
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👀1
This media is not supported in your browser
VIEW IN TELEGRAM
NotebookLM & GeminiApp
Теперь можно загружать ноутбуки NotebookLM напрямую в GeminiApp. Это удобно для:
- объединения нескольких ноутбуков в один
- генерации изображений или приложений на основе ваших ноутбуков
- развития существующих ноутбуков с подключением онлайн-исследований
- и других сценариев
Функция уже доступна, можно пробовать.🤙
👉 @DataSciencegx
Теперь можно загружать ноутбуки NotebookLM напрямую в GeminiApp. Это удобно для:
- объединения нескольких ноутбуков в один
- генерации изображений или приложений на основе ваших ноутбуков
- развития существующих ноутбуков с подключением онлайн-исследований
- и других сценариев
Функция уже доступна, можно пробовать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
А что если можно ускорить Python в 37 раз одной строкой кода?
Медленные Python-функции в больших кодовых базах страшно оптимизировать. Можно попробовать Numba или Cython, но Numba в основном работает только с числовым кодом и NumPy-массивами.
Можно пойти в Cython, но там нужны .pyx-файлы, аннотации типов и сборка. По факту это часы рефакторинга, прежде чем ты вообще увидишь прирост.😬
Codon решает это одной строкой: декоратор codon.jit компилирует твой Python прямо в машинный код.
Ключевые плюсы:
• Работает с любым Python-кодом, не только с NumPy
• Аннотации типов не нужны, типы выводятся автоматически
• Скомпилированные функции кэшируются и потом вызываются мгновенно
• Никаких изменений в коде, кроме добавления декоратора
Выше реальные замеры производительности:
• Чистый Python: 0.240 с
• Первый вызов Codon: 0.324 с (разовая компиляция)
• Повторные вызовы Codon: 0.006 с (ускорение в 37 раз)
Ссылка на репозиторий: https://bit.ly/4q8SW3q
Запустите этот код: https://bit.ly/492cz6D
👉 @DataSciencegx
Медленные Python-функции в больших кодовых базах страшно оптимизировать. Можно попробовать Numba или Cython, но Numba в основном работает только с числовым кодом и NumPy-массивами.
Можно пойти в Cython, но там нужны .pyx-файлы, аннотации типов и сборка. По факту это часы рефакторинга, прежде чем ты вообще увидишь прирост.
Codon решает это одной строкой: декоратор codon.jit компилирует твой Python прямо в машинный код.
Ключевые плюсы:
• Работает с любым Python-кодом, не только с NumPy
• Аннотации типов не нужны, типы выводятся автоматически
• Скомпилированные функции кэшируются и потом вызываются мгновенно
• Никаких изменений в коде, кроме добавления декоратора
Выше реальные замеры производительности:
• Чистый Python: 0.240 с
• Первый вызов Codon: 0.324 с (разовая компиляция)
• Повторные вызовы Codon: 0.006 с (ускорение в 37 раз)
Ссылка на репозиторий: https://bit.ly/4q8SW3q
Запустите этот код: https://bit.ly/492cz6D
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1
Собрать RAG-приложение на AWS проще, чем кажется.
Разберём, как это сделать на сервисах, которые и так всем знакомы.
В основе RAG всегда два этапа: ingestion и querying.
Вот как каждый из них можно реализовать в AWS.
1. Ingestion: превращаем сырые данные в доступные для поиска знания
Документы лежат в S3
При появлении новых данных срабатывает Lambda
Она чистит текст, режет его на чанки и строит эмбеддинги через Bedrock Titan Embeddings
Эмбеддинги сохраняются в векторное хранилище, например OpenSearch Serverless
В итоге получается база знаний, по которой можно искать.
Важный момент: переиндексация.
Если в документе поменялся один символ, нет смысла прогонять его целиком заново. Умный diff и инкрементальные апдейты сильно экономят и время, и деньги.
2. Querying: поиск и генерация ответа
Пользователь задаёт вопрос в приложении
Запрос проходит через API Gateway в Lambda
Вопрос превращается в эмбеддинг и матчится с векторной БД
Самые релевантные чанки передаются в LLM из Bedrock, например Claude
Готовый ответ возвращается пользователю
Так LLM отвечает не «из головы», а опираясь на реальные данные.
Это самый базовый вариант RAG на AWS, но сам паттерн не меняется при масштабировании.
Можно добавлять более умный чанкинг, улучшенный retrieval, кэширование, оркестрацию, eval-пайплайны — архитектура остаётся той же.
👉 @DataSciencegx
Разберём, как это сделать на сервисах, которые и так всем знакомы.
В основе RAG всегда два этапа: ingestion и querying.
Вот как каждый из них можно реализовать в AWS.
1. Ingestion: превращаем сырые данные в доступные для поиска знания
Документы лежат в S3
При появлении новых данных срабатывает Lambda
Она чистит текст, режет его на чанки и строит эмбеддинги через Bedrock Titan Embeddings
Эмбеддинги сохраняются в векторное хранилище, например OpenSearch Serverless
В итоге получается база знаний, по которой можно искать.
Важный момент: переиндексация.
Если в документе поменялся один символ, нет смысла прогонять его целиком заново. Умный diff и инкрементальные апдейты сильно экономят и время, и деньги.
2. Querying: поиск и генерация ответа
Пользователь задаёт вопрос в приложении
Запрос проходит через API Gateway в Lambda
Вопрос превращается в эмбеддинг и матчится с векторной БД
Самые релевантные чанки передаются в LLM из Bedrock, например Claude
Готовый ответ возвращается пользователю
Так LLM отвечает не «из головы», а опираясь на реальные данные.
Это самый базовый вариант RAG на AWS, но сам паттерн не меняется при масштабировании.
Можно добавлять более умный чанкинг, улучшенный retrieval, кэширование, оркестрацию, eval-пайплайны — архитектура остаётся той же.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Разворачивайте и запускайте LLM прямо на телефоне
Unsloth теперь позволяет дообучать LLM и деплоить их на 100% локально на устройствах iOS и Android.
В видео показано, как это работает на практике: автор запускал Qwen3 на iPhone 17 Pro с производительностью примерно 25 токенов в секунду.
Гайд
👉 @DataSciencegx
Unsloth теперь позволяет дообучать LLM и деплоить их на 100% локально на устройствах iOS и Android.
В видео показано, как это работает на практике: автор запускал Qwen3 на iPhone 17 Pro с производительностью примерно 25 токенов в секунду.
Гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7