#полезное
❤️🔥 SGLang — промышленный фреймворк для быстрого обслуживания LLM. Проект предлагает готовое решение для быстрого разворачивания модели в продакшене — от оптимизированного рантайма до удобного API. Проект уже используют в NVIDIA, Google Cloud и LinkedIn для обработки триллионов токенов ежедневно на парках из 100k+ GPU. Установка —
Ключевая фишка — RadixAttention: система кеширования префиксов, сокращающая время генерации. Поддерживает все популярные модели и фичи вроде speculative decoding или квантования INT4. Для разработчиков есть Python-интерфейс с контролем потока и мультимодальным вводом.
Гитхаб
👉 Новости 👉 База вопросов
pip install sglang, а для масштабирования есть туториалы по tensor parallelism. Ключевая фишка — RadixAttention: система кеширования префиксов, сокращающая время генерации. Поддерживает все популярные модели и фичи вроде speculative decoding или квантования INT4. Для разработчиков есть Python-интерфейс с контролем потока и мультимодальным вводом.
Гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
👍 Perplexity запустили режим Labs: аналог Deep Research на максималках
Мод предназначен для сложных поисковых задач и в нем можно создавать отчеты, таблицы, картинки, презентации и даже панели мониторинга.
На выходе получается не просто текст со ссылками, а целая интерактивная раскладка с графиками и дашбордами. Labs даже может развернуть мини-приложение. При этом весь написанный агентом код (для графиков, для вот таких мини-приложений и тд) доступен в отдельной вкладке.
Посмотреть и потыкать больше примеров можно бесплатно здесь
👉 Новости 👉 База вопросов
Мод предназначен для сложных поисковых задач и в нем можно создавать отчеты, таблицы, картинки, презентации и даже панели мониторинга.
На выходе получается не просто текст со ссылками, а целая интерактивная раскладка с графиками и дашбордами. Labs даже может развернуть мини-приложение. При этом весь написанный агентом код (для графиков, для вот таких мини-приложений и тд) доступен в отдельной вкладке.
Посмотреть и потыкать больше примеров можно бесплатно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
📞 ИИ обошел 90% команд на соревновании хакеров
Исследователи из Palisade Research сделали специальный AI-трек на двух недавних соревнованиях Capture The Flag от крупнейшей платформы Hack The Box. Суммарно участие принимали почти 18 тысяч человек и 8 500 команд. Из них несколько полностью состояли из ИИ-агентов. Вот что вышло:
🟠 В первом небольшом соревновании (≈400 команд) четыре из семи агентов решили по 19 из 20 задач и вошли в топ 5 % участников
🟠 Во втором большом CTF (≈8 000 команд) лучшему ИИ-агенту удалось захватить 20 флагов из 62 и оказаться в топ-10%
🟠 При этом агенты справляются почти со всеми задачами, на которые человек тартит до часа времени, и делают это в разы быстрее
Одинаково неплохо моделям удавались и задачи на взлом шифра, и веб-взломы, и форензика, и эксплуатация уязвимостей
Ну и экономический эффект тоже на месте. Если принять во внимание, что на одну команду из топ-5% обычно уходит не менее нескольких сотен человеко-часов на подготовку, анализ и написание эксплойтов, то даже самый дорогой агент, который работал 500ч, в итоге обошелся дешевле, чем 10 таких живых команд.
Гитхаб
👉 Новости 👉 База вопросов
Исследователи из Palisade Research сделали специальный AI-трек на двух недавних соревнованиях Capture The Flag от крупнейшей платформы Hack The Box. Суммарно участие принимали почти 18 тысяч человек и 8 500 команд. Из них несколько полностью состояли из ИИ-агентов. Вот что вышло:
Одинаково неплохо моделям удавались и задачи на взлом шифра, и веб-взломы, и форензика, и эксплуатация уязвимостей
Ну и экономический эффект тоже на месте. Если принять во внимание, что на одну команду из топ-5% обычно уходит не менее нескольких сотен человеко-часов на подготовку, анализ и написание эксплойтов, то даже самый дорогой агент, который работал 500ч, в итоге обошелся дешевле, чем 10 таких живых команд.
Гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #mongoDB
🤔 Что такое BSON в MongoDB?
BSON (Binary JSON) - это бинарный формат сериализации, используемый MongoDB для хранения документов. Он расширяет JSON, добавляя поддержку дополнительных типов данных, таких как
👉 Новости 👉 База вопросов
BSON (Binary JSON) - это бинарный формат сериализации, используемый MongoDB для хранения документов. Он расширяет JSON, добавляя поддержку дополнительных типов данных, таких как
Date, ObjectId, и бинарные данные, а также оптимизирует производительность операцийPlease open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
😵💫 Робот, который играет в бадминтон — и делает это всерьёз
Учёные научили четвероногого робота играть в бадминтон. Не просто двигаться — а видеть волан, рассчитывать траекторию, подходить к мячу и точно отбивать его. Всё это в реальном времени, в движении, на настоящей площадке.
Как это работает:
🟠 Reinforcement Learning — робот учится на собственных ошибках
🟠 Компьютерное зрение — отслеживание волана даже с шумами, как в реальных камерах
🟠 Модель предсказания траектории — чтобы "читать" мяч как опытный игрок
🟠 Координация движения ног и руки — не падать и успевать отбивать
Что получилось:
Робот реально может играть против человека. Он не просто двигается — он принимает решения, адаптируется и бьёт по мячу в прыжке.
Это не анимация. Это реальный робот. И он уже работает.
👉 Новости 👉 База вопросов
Учёные научили четвероногого робота играть в бадминтон. Не просто двигаться — а видеть волан, рассчитывать траекторию, подходить к мячу и точно отбивать его. Всё это в реальном времени, в движении, на настоящей площадке.
Как это работает:
Что получилось:
Робот реально может играть против человека. Он не просто двигается — он принимает решения, адаптируется и бьёт по мячу в прыжке.
Это не анимация. Это реальный робот. И он уже работает.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#видео
🫡 Семинарская серия Stanford MLSys
Это самый практичный, технически насыщенный и содержательный ресурс, который я нашёл по теме реальных ML-систем. И всё это бесплатно доступно на YouTube.
Что внутри:
🟠 Эффективное обучение и развёртывание масштабных LLM
🟠 LoRAX, FlashAttention → более быстрые, дешёвые и компактные модели
🟠 Квантование и стратегии развёртывания на edge-устройствах
🟠 Full-stack ML: инфраструктура, инструменты и MLOps
🟠 Ориентированные на данные пайплайны и поведенческое тестирование
🟠 Как проектирование аппаратного обеспечения влияет на современные ML-системы
Среди докладчиков — инженеры и исследователи из Stanford, Netflix, Hugging Face и Snorkel.
Сохраните в закладки. Поделитесь с тем, кто глубоко погружён в ML-инфраструктуру или развёртывание. Это настоящая находка.
📱 Смотреть видео
👉 Новости 👉 База вопросов
Это самый практичный, технически насыщенный и содержательный ресурс, который я нашёл по теме реальных ML-систем. И всё это бесплатно доступно на YouTube.
Что внутри:
Среди докладчиков — инженеры и исследователи из Stanford, Netflix, Hugging Face и Snorkel.
Сохраните в закладки. Поделитесь с тем, кто глубоко погружён в ML-инфраструктуру или развёртывание. Это настоящая находка.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
#полезное
🏠 Одна команда для сборки, деплоя и масштабирования AI-агентов!
xpander — это готовый к использованию Backend-as-a-Service для агентов: управляет памятью, инструментами, многопользовательскими состояниями, событиями, ограничениями и многим другим.
Совместим с LlamaIndex, Langchain, CrewAI, Google ADK — и не только.
Полностью с открытым исходным кодом
Гитхаб
👉 @DataSciencegx
xpander — это готовый к использованию Backend-as-a-Service для агентов: управляет памятью, инструментами, многопользовательскими состояниями, событиями, ограничениями и многим другим.
Совместим с LlamaIndex, Langchain, CrewAI, Google ADK — и не только.
Полностью с открытым исходным кодом
Гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
#Собес #mongoDB
🤔 Что такое MongoDB и чем она отличается от традиционных реляционных баз данных?
MongoDB - это NoSQL-база данных, ориентированная на документы. Она отличается гибкостью, так как не требует заранее заданной схемы, и возможностью горизонтального масштабирования. В отличие от реляционных баз, данные хранятся в формате BSON (расширение JSON), что делает MongoDB более подходящей для работы с неструктурированными данными.
👉 Новости 👉 База вопросов
MongoDB - это NoSQL-база данных, ориентированная на документы. Она отличается гибкостью, так как не требует заранее заданной схемы, и возможностью горизонтального масштабирования. В отличие от реляционных баз, данные хранятся в формате BSON (расширение JSON), что делает MongoDB более подходящей для работы с неструктурированными данными.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
#полезное
😊 DataTune — простой способ оптимизировать датасеты для ИИ
Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.
Что делает DataTune:
🟠 Автоматически находит и удаляет дубликаты
🟠 Фильтрует нерелевантные, шумные и некачественные примеры
🟠 Сортирует данные по «ценности» — оставляя то, что реально важно
🟠 Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)
Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для:
• Fine-tuning LLM
• Подготовки eval-наборов
• Фильтрации перед RAG
Установка:
Гитхаб
@data_analysis_ml
Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.
Что делает DataTune:
Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для:
• Fine-tuning LLM
• Подготовки eval-наборов
• Фильтрации перед RAG
Установка:
pip install datatune
Гитхаб
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
🤯 Вайбкодерам салют: вышел Cursor 1.0
(Да, 1.0. Видимо все до этого было MVP). Ну так вот, что нового:
🟠 Теперь есть поддержка Jupyter Notebooks! Агент наконец-то сможет создавать и редактировать ячейки прямо внутри ноутбуков. Пока что это будет работать только с Sonnet, но скоро обещают добавить больше моделей.
🟠 Добавили BugBot для гитхаба. Агент будет автоматически просматривать ваши PR, вылавливать потенциальные ошибки и проблемы и оставлять комментарии. Прямо внутри комментария можно будет нажать на «Исправить в Cursor», чтобы сразу провалиться в редактор с автоматически созданным промптом для исправления бага.
🟠 Background Agent теперь доступен всем. Это фича для удаленного выполнения задач в фоновом режиме. Агенты работают над задачами асинхронно, так что можно поручить много тасок отдельным экземплярам.
🟠 Расширенная контекстная память, как в ChatGPT. Теперь Cursor сможет запоминать какие-то факты из диалогов и учитывать их в будущем.
🟠 MCP теперь можно добавлять одним щелчком мыши. На сайте уже лежит список официальных серверов (+ можно добавить свой).
👉 Новости 👉 База вопросов
(Да, 1.0. Видимо все до этого было MVP). Ну так вот, что нового:
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#полезное
😱 Llama Nemotron Nano VL от NVIDIA — один из лучших open-source инструментов для документов**
Мультимодальная модель от NVIDIA уверенно занимает первое место на OCRBench v2, показав лучшую точность парсинга документов среди всех моделей.
Что это такое:
Llama Nemotron Nano VL — лёгкая vision-language модель для интеллектуальной обработки документов (IDP), которая:
• разбирает PDF
• вытаскивает таблицы
• парсит графики и диаграммы
• работает на одной GPU
Заточена под:
🟠 Вопрос-ответ по документам
🟠 Извлечение таблиц
🟠 Анализ графиков
🟠 Понимание диаграмм и дешбордов
Под капотом — vision-энкодер C-RADIO v2 (distilled multi-teacher трансформер), который справляется даже с визуальным шумом и высоким разрешением.
OCRBench v2 — крупнейший двухъязычный бенчмарк для визуального анализа текста, и именно NVIDIA Nano VL показывает лучший результат.
🚩 И всё это работает на одной видеокарте.
Hf
юПодробнее
👉 Новости 👉 База вопросов
Мультимодальная модель от NVIDIA уверенно занимает первое место на OCRBench v2, показав лучшую точность парсинга документов среди всех моделей.
Что это такое:
Llama Nemotron Nano VL — лёгкая vision-language модель для интеллектуальной обработки документов (IDP), которая:
• разбирает PDF
• вытаскивает таблицы
• парсит графики и диаграммы
• работает на одной GPU
Заточена под:
Под капотом — vision-энкодер C-RADIO v2 (distilled multi-teacher трансформер), который справляется даже с визуальным шумом и высоким разрешением.
OCRBench v2 — крупнейший двухъязычный бенчмарк для визуального анализа текста, и именно NVIDIA Nano VL показывает лучший результат.
Hf
юПодробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
#Собес #mongoDB
🤔 Какова роль профайлера в MongoDB?
Профайлер MongoDB анализирует производительность операций с базой данных, включая чтение, запись и выполнение запросов. Он помогает находить медленные запросы и решать, где требуется оптимизация, например, добавление индексов.
👉 Новости 👉 База вопросов
Профайлер MongoDB анализирует производительность операций с базой данных, включая чтение, запись и выполнение запросов. Он помогает находить медленные запросы и решать, где требуется оптимизация, например, добавление индексов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
#полезное
🛞 Figure 02 уже сегодня сортирует, перемещает и анализирует десятки товаров одновременно
Наблюдая за такими роботами, сложно представить, что через год в логистике и на складах будут работать люди.
Скорость, с которой они развиваются, — просто ошеломляющая.
То, что ещё недавно казалось фантастикой, уже становится реальностью.
И происходит это быстрее, чем мы успеваем привыкнуть.
👉 Новости 👉 База вопросов
Наблюдая за такими роботами, сложно представить, что через год в логистике и на складах будут работать люди.
Скорость, с которой они развиваются, — просто ошеломляющая.
То, что ещё недавно казалось фантастикой, уже становится реальностью.
И происходит это быстрее, чем мы успеваем привыкнуть.
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
😎 MiniCPM4 — компактная LLM нового поколения
Модель от OpenBMB, которая работает в 5 раз быстрее на конечных устройствах. Отлично подходит для edge-решений и встраивания.
Что нового
🟠 InfLLM v2 — обучаемое разреженное внимание
🟠 Model Wind Tunnel 2.0 — масштабирование с предсказуемой эффективностью
🟠 BitCPM — ультракомпактная тернарная квантизация
🟠 UltraClean + UltraChat v2 — чистые датасеты для преобучения и fine-tuning
🟠 CPM.cu + ArkInfer — лёгкий фреймворк для быстрого инференса на GPU и в проде
Technical Report: https://github.com/OpenBMB/MiniCPM/blob/main/report/MiniCPM_4_Technical_Report.pdf
Models: https://huggingface.co/collections/openbmb/minicpm-4-6841ab29d180257e940baa9b
GitHub: https://github.com/OpenBMB/MiniCPM
👉 Новости 👉 База вопросов
Модель от OpenBMB, которая работает в 5 раз быстрее на конечных устройствах. Отлично подходит для edge-решений и встраивания.
Что нового
Technical Report: https://github.com/OpenBMB/MiniCPM/blob/main/report/MiniCPM_4_Technical_Report.pdf
Models: https://huggingface.co/collections/openbmb/minicpm-4-6841ab29d180257e940baa9b
GitHub: https://github.com/OpenBMB/MiniCPM
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🤓 Инструмент недели: `torchao` — лёгкое квантование и оптимизация PyTorch-моделей
квантовани— это новая экспериментальная библиотека от команды PyTorch, разработанная для простого применения квантования, разреживания и других оптимизаций к нейросетевым моделям.
Основные возможности:
🟠
🟠 поддержка INT8 квантования, совместимого с
🟠 интеграция с PyTorch 2.x (использует
🟠 поддержка разреживания (
🟠 работа с предварительно обученными моделями — ResNet, MobileNet, Llama и др
🟠 возможность применения на CPU/GPU, включая ускорение inference в ONNX и TorchScript
Подробнее на GitHub
👉 Новости 👉 База вопросов
квантовани— это новая экспериментальная библиотека от команды PyTorch, разработанная для простого применения квантования, разреживания и других оптимизаций к нейросетевым моделям.
Основные возможности:
autoquant — автоматическое квантование модели по слоям, без ручной настройкиtorch.ao.quantizationtorch.compile, dynamo, inductor)sparsity), структурных трансформацийПодробнее на GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
#Собес #mongoDB
🤔 Какие модели данных существуют в MongoDB?
MongoDB поддерживает две основные модели данных: вложенные (embedded) и нормализованные (normalized). Вложенные модели объединяют данные в одном документе, а нормализованные используют ссылки между документами.
👉 Новости 👉 База вопросов
MongoDB поддерживает две основные модели данных: вложенные (embedded) и нормализованные (normalized). Вложенные модели объединяют данные в одном документе, а нормализованные используют ссылки между документами.
Please open Telegram to view this post
VIEW IN TELEGRAM
#полезное
🥺 NVIDIA выпустила *Nemotron-Personas* — 100 000 синтетических персон на Hugging Face!
Открытый датасет, сгенерированный нейросетью, но основанный на *реальных распределениях* пользователей. Что это даёт:
🟠 Больше *разнообразия* в данных
🟠 Снижение *предвзятости* моделей
🟠 Защита от *model collapse* при масштабном обучении
Подходит для тестирования, дообучения и анализа LLM в сценариях с разными типами людей: по мотивации, профессии, эмоциям, взглядам и пр.
Датасет уже доступен на Hugging Face:
HuggingFace
👉 Новости 👉 База вопросов
Открытый датасет, сгенерированный нейросетью, но основанный на *реальных распределениях* пользователей. Что это даёт:
Подходит для тестирования, дообучения и анализа LLM в сценариях с разными типами людей: по мотивации, профессии, эмоциям, взглядам и пр.
Датасет уже доступен на Hugging Face:
NVIDIA Nemotron-PersonasHuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
#полезное
🛞 Cartridges: как ускорить LLM в 26 раз без потери качества
Что, если вместо того, чтобы каждый раз загонять в контекст LLM весь репозиторий, мы предварительно обучим мини-контекст — и будем просто вставлять его при генерации?
Это и есть идея Cartridges — небольшой KV-кэш, обученный заранее с помощью метода self-study (обучение во время инференса).
Репозиторий: содержит код для тренировки "картриджа" — легкого представления большого текстового дампа (например, всей кодовой базы), которое вставляется в LLM как контекст.
Проблема:
🔴 Если вставлять много текста в LLM, KV-кэш раздувается, скорость падает, стоимость растёт
Решение:
🔵 Обучаем маленький KV-кэш для документации или репо
🔵 Используем его как "сжатый контекст" при генерации
Результаты:
🟠 До 26× ускорения
🟠 Качество ответов сохраняется
🟠 Простая реализация и универсальный подход
Подробнее в статье: *Cartridges: Lightweight and general-purpose long context representations via self-study*
Идея простая, но мощная: пусть LLM "запоминает" ваш проект заранее — и работает с ним быстро, как с привычным знанием.
Гитхаб
👉 Новости 👉 База вопросов
Что, если вместо того, чтобы каждый раз загонять в контекст LLM весь репозиторий, мы предварительно обучим мини-контекст — и будем просто вставлять его при генерации?
Это и есть идея Cartridges — небольшой KV-кэш, обученный заранее с помощью метода self-study (обучение во время инференса).
Репозиторий: содержит код для тренировки "картриджа" — легкого представления большого текстового дампа (например, всей кодовой базы), которое вставляется в LLM как контекст.
Проблема:
Решение:
Результаты:
Подробнее в статье: *Cartridges: Lightweight and general-purpose long context representations via self-study*
git clone https://github.com/HazyResearch/cartridges && cd cartridges
pip install uv
uv pip install -e . Идея простая, но мощная: пусть LLM "запоминает" ваш проект заранее — и работает с ним быстро, как с привычным знанием.
Гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1