Анализ данных (Data analysis) – Telegram
Анализ данных (Data analysis)
47.1K subscribers
2.68K photos
304 videos
1 file
2.3K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
⚡️ NVIDIA выпустила модель Llama-3 Nemotron Super-49B-v1.5-NVFP4

Это 49B reasoning-модель, улучшенная версия Meta Llama-3.3-70B-Instruct, которая даёт более сильное рассуждение, лучшее использование инструментов и стабильный диалог на длинных контекстах.

Она ориентирована на реальные агентные нагрузки - RAG, tool calling, сложные цепочки действий - и поддерживает контекст 128K, позволяющий держать большие беседы, документы и планы без нарезки.

Главное обновление - Neural Architecture Search, который снижает потребление памяти и повышает пропускную способность.
В итоге модель может выполнять тяжёлые задачи на одном H200 под высокой нагрузкой - это уменьшает стоимость сервинга и позволяет использовать большие batch'и.

huggingface.co/nvidia/Llama-3_3-Nemotron-Super-49B-v1_5-NVFP4
9👍5🔥4
🚀 PyTorch выходит за рамки квантизации: теперь с **Sparse Inference**

Новый виток оптимизации - разреженный вывод в PyTorch. Это означает: меньше памяти, выше скорость, без необходимости менять архитектуру модели.

🔍 Что такое Sparse Inference?

Разреженность - это когда в весах и активациях модели большинство значений обнулены (например, 80–90%).
Теперь PyTorch умеет:

- 📦 Использовать N:M разреженность (например, 2:4 sparsity)
- Ускорять инференс на GPU и CPU
- 🧠 Поддерживать это в torch.compile() и torch.export

🧠 Как это работает?

1. Модель обнуляется с помощью Pruning / Structured Sparsity
2. Преобразуется через torch.sparse.to_sparse() или torch.export
3. Запускается через TorchInductor + XNNPACK или CUTLASS

🔧 Что поддерживается:

- 🖥️ CPU (x86, M1/M2) — через XNNPACK backend
- ⚙️ GPU (Ampere+) — через CUTLASS
- 🔁 Интеграция с torch.compile() (TorchInductor)

💡 Почему это важно?

- 📉 Меньше память → меньше latency на edge-устройствах
- 🚀 Выше производительность без компромиссов
- 🔧 Удобно встраивается в текущий PyTorch-пайплайн

👉 Подробнее:https://pytorch.org/blog/beyond-quantization-bringing-sparse-inference-to-pytorch/
👍12🔥9🥰41
⚙️ Китайский “невозможный чип” меняет правила игры

В Китае представили разработку, которая может переписать будущее технологий. Речь о новом аналоговом чипе, который не просто обгоняет Nvidia и AMD — он выносит их за счётами.

Что известно:

- до 1000 раз быстрее современных топ-процессоров
- до 100 раз энергоэффективнее
- работает не в логике 1 и 0, а как мозг — обрабатывает непрерывные сигналы прямо в памяти
- никаких задержек, минимум потерь энергии, максимальный интеллект

Учёные заявляют, что решили проблему, над которой бились больше века: добились цифровой точности на аналоговом железе с минимальным потреблением. В тестах новый чип обошёл Nvidia H100 и AMD Vega 20 до 1000x по пропускной способности.

Если технология масштабируется, это может перевернуть всё — от ИИ и дата-центров до связи и робототехники. Начало новой техноэры может наступить намного раньше, чем кто-то ожидал.


https://www.livescience.com/technology/computing/china-solves-century-old-problem-with-new-analog-chip-that-is-1-000-times-faster-than-high-end-nvidia-gpus
🔥2512😁11😱5🤔3👍1
🔥 Подборка полезных ресурсов для программистов.

Здесь ты найдёшь всё это - коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Data Science: t.me/data_analysis_ml
Javanoscript: t.me/javanoscriptv
C#: t.me/csharp_1001_notes
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://news.1rj.ru/str/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://news.1rj.ru/str/addlist/mzMMG3RPZhY2M2Iy
Папка Linux:https://news.1rj.ru/str/addlist/w4Doot-XBG4xNzYy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://news.1rj.ru/str/addlist/BkskQciUW_FhNjEy

Сохрани себе, чтобы не потерять!
👍75🔥5
🔥 SciAgent - возможно, самый впечатляющий научный ИИ на сегодня

Это многоагентная система, которая координирует работу целой команды “мини-агентов”, как настоящий научный коллектив.

Главная идея проста и мощна:

- сверху есть Координатор, который понимает, какая задача перед ним: математика, физика, химия, какая сложность, какой тип рассуждений нужен
- он сам собирает нужную цепочку рассуждений из разных специализированных агентов
- те параллельно считают, моделируют, доказывают, проверяют и подстраиваются друг под друга

Это динамический научный pipeline, который ИИ строит *на ходу*.

И результаты - просто безумие:

- 🥇 уровень золотых медалистов на IMO 2025
- 💯 идеальный результат на IMC 2025
- 🔝 почти человеческий топ уровень на IPhO 2024/2025
- 📈 огромный отрыв на CPhO 2025 (264 против 199 у лучших людей)
- 🧠 уверенная работа на Humanity’s Last Exam
- ⚙️ полная автоматизация: моделирование, вычисления, вывод формул и верификация — всё параллельно

Почему это важно?

Потому что SciAgent показывает:
ИИ может рассуждать не как одиночная модель, а как команда специалистов, которая сама выбирает стратегию, инструменты и порядок действий.

Это уже не рост точности на 2 %.
Это новая парадигма научного мышления в ИИ.

И если такие системы будут масштабироваться - научные задачи высокого уровня изменятся навсегда.

https://arxiv.org/abs/2511.08151
🔥186👍6
🚨 Новый обзорный препринт о том, как ИИ меняет человеческое мышление - простым языком выделяю главное.

ИИ перестал быть просто инструментом: он всё сильнее вмешивается в то, как мы думаем, что считаем важным и какие решения принимаем.

Главные идеи:
- ИИ берёт на себя всё больше когнитивных задач, а мы начинаем меньше думать сами. Растёт риск «ленивого мышления».
- Персонализированные алгоритмы создают пузырь: нам показывают только удобные мнения. Это снижает разнообразие взглядов и усиливает поляризацию.
- ИИ легко воздействует на наши когнитивные искажения. Алгоритмы могут подталкивать к нужным эмоциям и решениям.
- Информационные экосистемы становятся управляемыми: дезинформация может распространяться автоматически и тонко.
- Встаёт философский вопрос: что будет, если ИИ приблизится к сознанию? Где пройдёт граница между человеком и машиной?
- Итог автора: растёт риск потери интеллектуальной автономии. Чтобы смягчить эффект, нужны образование, прозрачные модели и продуманное управление ИИ.

Источник: arxiv.org/abs/2508.16628
18🔥8👏3😱2🙏2
⚡️ 94-страничный обзор о том, как научные LLM эволюционируют за счет более богатых данных и замкнутых циклов с автономными агентами.

Авторы разобрали 270 датасетов и 190 бенчмарков.

Почему обычные LLM не тянут науку?

Научные данные - это смесь текста, таблиц, формул, кода, изображений и неопределённых измерений. Нюансы легко теряются.

Обзор предлагает:
- единую таксономию научных данных
- многослойную модель научного знания: от сырых наблюдений до теории

Эта рамка помогает строить преподготовку и постобучение так, чтобы модели сохраняли научные правила и могли соединять разные форматы и масштабы.

Обзор классифицирует модели по областям: физика, химия, биология, материалы, науки о Земле, астрономия, плюс универсальные научные ассистенты.

В оценке качества виден сдвиг: от одноходовых квизов, к процесс-ориентированным проверкам, которые оценивают цепочку рассуждений, работу с инструментами и промежуточные результаты.

Авторы продвигают закрытый цикл: агенты планируют эксперименты, запускают симуляторы или лаборатории, проверяют результаты и обновляют общее знание.

Итог: научные LLM движутся к подходу, основанному на данных, проверке процессов и агентных петлях, связанных с реальными доказательствами.

https://arxiv.org/abs/2508.21148
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33🔥136🥰1👏1🤔1
🚀 Grok 4.1 - новая фронтир-модель, которая поднимает планку разговорного интеллекта, эмоционального понимания и практической полезности в реальных сценариях.

Grok 4.1 доступен бесплатно на:
grok.com
grok.x.com
• мобильных приложениях.

Первое место в LMArena Text Leaderboard (привет старому другу “quasar”) и в EQ-Bench (и даже превосходит Kimi k2).

Модель стала лучше понимать контекст, тон, эмоции и намерения собеседника, а также выдавать более точные и прикладные ответы. Это делает Grok 4.1 одним из наиболее продвинутых решений в своей категории.

https://x.ai/news/grok-4-1
👍95🔥1
🚀 Построение многоагентных систем с Laddr

Laddr — это фреймворк на Python для создания масштабируемых многоагентных систем, где агенты могут общаться, делегировать задачи и выполнять работу параллельно. Он предлагает гибкие архитектурные решения с поддержкой наблюдаемости и горизонтального масштабирования.

🚀Основные моменты:
- Модели работы: координация и последовательные потоки.
- Высокая производительность с автоматическим балансировкой нагрузки.
- Полная трассировка действий агентов и интерактивная панель мониторинга.
- Легкость в разработке с чистым CLI и поддержкой горячей перезагрузки.
- Совместимость с различными хранилищами и моделями AI.

📌 GitHub: https://github.com/AgnetLabs/Laddr

#python
11🔥4👍3
Утекли бенчмарки Gemini 3.0 Pro от taker_of_whizz —пока не можем подтвердить подлинность, но цифры просто безумные.

Результаты разрывают всё, что мы видели раньше:

🔥 HLE: 37,5%
🔥 MathArena Apex: 22,3%
(для сравнения — **GPT-5.1 всего 1,0%**)

Если утечка реальна, Gemini 3.0 Pro именно такой, каким все его и хотели видеть — мощный, продвинутый и с невероятным ростом математических и логических способностей.

Ждём официального подтверждения, но выглядит *очень* многообещающе.

https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-3-Pro-Model-Card.pdf
11🔥6🤣3👍2👌1
⚡️ Helion - новый высокоуровневый DSL для быстрых и переносимых ML-ядер

Helion - это DSL внутри Python, который компилируется в оптимизированные Triton-ядра. Он сочетает привычный стиль PyTorch с автоматическим тюнингом, давая разработчикам производительные и переносимые ядра под разные архитектуры.

Что делает Helion полезным:
- Автоматически обрабатывает индексацию тензоров
- Управляет памятью и оптимальными доступами
- Подбирает настройки под конкретное железо
- Позволяет писать ядра на уровне «как в PyTorch», а получать код уровня Triton

Итог: разработчик пишет минимум — Helion делает максимум, превращая простое описание вычислений в эффективно оптимизированное ядро.

Подробнее в блоге PyTorch: pytorch.org/blog/helion/
9🔥4👍3
5 ФАТАЛЬНЫХ ОШИБОК В ГРАФИКАХ, КОТОРЫЕ ПОДРЫВАЮТ ДОВЕРИЕ К ВАШЕМУ АНАЛИЗУ

Забирайте гайд с разбором основных ошибок в канале Сделай это красиво. Автор — Алексей Смагин, дата-журналист и аналитик Яндекса.

ГАЙД ПОДОЙДЁТ:

— аналитикам данных и продуктовым аналитикам
— научным сотрудникам и исследователям
— руководителям, которые работают с отчётностью
— всем, кто делает презентации с графиками

Умение анализировать — это круто. Но заказчики не видят вашу работу, они видят итоговые выводы. А от их оформления зависит, оценят ли результат.

Научиться делать графики — это быстро и легко. Достаточно исключить базовые ошибки — и ваша инфографика сразу будет выглядеть профессиональнее.

Подписывайтесь и забирайте гайд в закрепе:
https://news.1rj.ru/str/+MrupeY943_QwNzZi
🤣92
Gelato - библиотека для управления вычислительными графами в ML

Проект Gelato от mlfoundations - это минималистичная библиотека, которая помогает собирать, анализировать и оптимизировать вычислительные графы в машинном обучении. Она упрощает разбор сложных пайплайнов, позволяет визуализировать зависимости и управлять вычислениями на уровне узлов.

Особенности:
- понятное представление графа любой ML-модели
- удобные инструменты для модификации, оптимизации и анализа
- подходит для экспериментов с новым дизайном моделей и кастомными связями
- лёгкая интеграция в существующие проекты

Полезна, если вы работаете с нетривиальными архитектурами, хотите экспериментировать с изменением структуры модели или анализировать узкие места в вычислениях.

💥 Blog: https://github.com/mlfoundations/Gelato
🍨Gelato-30B-A3B (Model): https://huggingface.co/mlfoundations/Gelato-30B-A3B
🖱️Click-100k (Data): https://huggingface.co/datasets/mlfoundations/Click-100k
12👍3🔥3👏1
🔥 DR Tulu‑8B - открытая модель глубокого научного анализа, способная конкурировать с OpenAI DR, и всё это при размере всего 8B параметров!

В чём секрет? Новый подход - Reinforcement Learning with Evolving Rubrics (RLER) для длинных, непроверяемых задач.

💡 Вместо статичных оценок:
• Рубрики эволюционируют вместе с моделью
• Используют знания из поиска
• Извлекают новую информацию прямо в процессе обучения

📊 Результаты:
• DR Tulu‑8B сопоставим с OpenAI DR
• Превзошёл все open-source DR-модели
• Стоимость — ~$0.00008 за запрос (против >$1 у OpenAI)

💥 Обучение в два этапа: SFT → RL
Тест на 4 сложных бенчмарках и новый медицинский GeneticDiseasesQA (в сотрудничестве с клиницистами) — результат лучше, чем у OpenAI DR и AI2 ScholarQA (Claude).

Открытая методика, реальный импакт.
ИИ, который *сам учится исследовать*.

- Paper: http://allenai-web/papers/drtulu
- Data & Model: https://huggingface.co/collections/rl-research/dr-tulu
- Code: https://github.com/rlresearch/dr-tulu
🔥128👍41
🚀 ASystem открыл исходники Awex - самого быстрого фреймворка для синхронизации весов в RL.

Awex решает ключевую проблему современной RL-инфраструктуры — синхронизацию параметров моделей с объёмом до 1 трлн весов на тысячах GPU меньше чем за 6 секунд.

Это снимает одно из главных узких мест при масштабировании обучения и ускоряет циклы RL на порядки.

ASystem готовит серию материалов о лучших практиках построения RL-систем в ближайшие 5-6 недель. Будет разбор архитектуры, оптимизаций и инженерных решений.

Добро пожаловать в комьюнити ASystem.

📦 GitHub: https://github.com/inclusionAI/asystem-awex
🤗 Hugging Face: https://huggingface.co/inclusionAI
🤖 ModelScope: https://modelscope.cn/models/inclusionAI

@data_analysis_ml
👍64🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
Нновое поколение моделей Segment Anything:

1️⃣ SAM 3 - теперь умеет находить, сегментировать и отслеживать объекты на изображениях и видео.
Модель поддерживает короткие текстовые подсказки и пример-подсказки, что делает взаимодействие более гибким и точным.

📌 Подробнее

2️⃣ SAM 3D - выводит всю линейку в трёхмерность.
Модель способна восстанавливать точные 3D-объекты и даже людей по одной 2D-картинке, что открывает новые возможности для графики, VR/AR и визуальных инструментов.

📌Подробнее

Обе модели дают разработчикам и исследователям новые возможности для создания медиа-инструментов, экспериментов и автоматизации рабочих процессов.
👍95🔥4
PINA теперь официально входит в PyTorch Ecosystem — и приносит в него единый фреймворк для Scientific Machine Learning.

PINA — это открытая Python-библиотека, построенная на PyTorch и PyTorch Lightning, с совместимостью с PyTorch Geometric. Она упрощает весь SciML-пайплайн: от моделирования физических систем и решения PDE до построения ML-силовых полей и симуляции динамики.

Фреймворк модульный: чёткая структура для постановки задачи, дизайна модели, выбора солвера и обучения. Это даёт гибкость для исследования и воспроизводимость для инженерии.

🔗 Подробнее о проекте и способах участия:
https://pytorch.org/blog/pina-joins-the-pytorch-ecosystem-a-unified-framework-for-scientific-machine-learning/

#PyTorch #OpenSourceAI #SciML #MachineLearning
11🔥9🥰2