Анализ данных (Data analysis) – Telegram
Анализ данных (Data analysis)
47.1K subscribers
2.69K photos
305 videos
1 file
2.31K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🔭 Вышло огромное исследование на 303 страницы от ведущих китайских лабораторий — подробный разбор того, как создают и обучают модели, ориентированные на написание кода, и как на их основе строят полноценные софт-агенты.

Вот что в нём разбирается:

1. Как формируют модель
- Сбор и очистка гигантских датасетов кода.
- Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах.
- SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок.

2. Как модели превращают в инженерных агентов
- Агент читает баг-репорт или фичу.
- Планирует шаги.
- Меняет файлы.
- Запускает тесты.
- Повторяет цикл, пока не добьётся результата.

3. Какие проблемы всё ещё остаются
- Работа с огромными репозиториями.
- Безопасность и надёжность генерируемого кода.
- Корректная оценка качества работы агентов.
- Реальные приёмы и лайфхаки, которые используют текущие команды.

Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов. Это именно то, как современные LLM превращаются в «второго разработчика» в команде.

https://arxiv.org/abs/2511.18538

@data_analysis_ml
👍148🔥2
🧠 Memlayer: Умный слой памяти для LLM

Memlayer добавляет интеллектуальную память к любому LLM, позволяя агентам запоминать контекст и извлекать структурированные знания. С минимальной настройкой, он обеспечивает быстрый поиск и фильтрацию важной информации.

🚀 Основные моменты:
- Поддержка универсальных LLM (OpenAI, Claude и др.)
- Интеллектуальная фильтрация памяти с тремя режимами
- Гибридный поиск с использованием векторного и графового подходов
- Высокая скорость работы (<100 мс) и локальное хранение данных

📌 GitHub: https://github.com/divagr18/memlayer

#python
9👍5🔥3
🧠Gemini 3 получил новый режим прокачанного мышления

В отличие от обычного “быстрого” ИИ-ответа, Deep Think не спешит:
он параллельно перебирает несколько идей, прогоняет задачу через несколько раундов рассуждений
и в итоге выдаёт более умный и нюансный результат.

Где это особенно полезно:
- сложное программирование и разбор багов
- задачи по математике
- сложные вопросы по науке и аналитике

Режим уже доступен пользователям Gemini Ultra в приложении: просто включи “Thinking” и выбери Deep Think в строке вод промпта.

https://blog.google/products/gemini/gemini-3-deep-think/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍7
Пройдите собеседования за выходные и получите офер в Яндекс

13–14 декабря проводим Weekend Offer ML — мероприятие быстрого найма для инфраструктурных и DL-инженеров, которые работают с NLP, CV, ASR, TTS или RecSys. Такой формат ивента позволяет пройти всего две секции, вместо трёх, и финальные интервью с командами за выходные, и сразу получить офер.

Вместе с командой вам предстоит создавать и развивать технологии голосового ввода, синтеза речи и компьютерного зрения. Всё это ляжет в основу сервисов, которыми пользуются миллионы!

Как всё устроено:
до 9 декабря оставляйте заявку на сайте;
13 декабря пройдите всего две технические секции;
14 декабря пройдите финальные интервью с командами и получите офер.

У нас сильная инженерная культура, свобода экспериментов и возможность создавать продукты, которыми ежедневно пользуются миллионы.

Все подробности и регистрация — на сайте.
Please open Telegram to view this post
VIEW IN TELEGRAM
5🥴5👍4🔥1
⚡️ PaddleOCR-VL объяснили свою архитектуру и почему двухэтапный подход уверенно выигрывает у end-to-end моделей в сложных документах.

1) Этап 1: PP-DocLayoutV2 - система сначала понимает структуру страницы
Модель определяет, какие элементы находятся на странице и в каком порядке их нужно читать.
Используются RT-DETR для обнаружения текстовых блоков, таблиц, формул и графиков, а также Pointer Networks для предсказания человеческого порядка чтения.
Благодаря этому исчезают ошибки структуры, и получается чистый список элементов.

2) Этап 2: PaddleOCR-VL-0.9B — этап точного распознавания
Каждый элемент проходит через компактную, но очень точную VL-модель.
Она использует динамическое разрешение в стиле NaViT без искажений, ERNIE 4.5-0.3B для быстрого декодинга и двухслойный MLP-проектор для объединения визуальной и языковой информации.
Модель уверенно распознает текст, таблицы, графики и формулы при размере всего 0.9B параметров.

3) Зачем делить процесс на два этапа
Такой подход дает стабильную работу на много-колоночных и смешанных макетах, повышает скорость обработки, потому что элементы идут параллельно, и облегчает расширение под новые типы данных вроде кода или схем.
Специализированная задача получает специализированную модель.

4) Полный путь от PDF к структуре
Сначала документ анализируется, затем элементы вырезаются, после этого распознаются и в конце собираются обратно в структуру.
Результат получается в виде Markdown или JSON, которые готовы для поиска, RAG или автоматизации.

В следующем материале команда покажет внутреннюю «фабрику данных» из более чем тридцати миллионов примеров с автолейблингом и подбором сложных кейсов.

https://aistudio.baidu.com/paddleocr?lang=en
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍3🔥2
⚡️ Tencent официально представила HY 2.0 - крупное обновление своей базовой модели.

Модель построена на архитектуре Mixture of Experts с общим размером 406B параметров и 32B активных.
Модель поддерживает контекст 256K токенов. HY 2.0 демонстрирует заметные улучшения на ключевых бенчмарках.

Главные достижения HY 2.0:
🧠 Reasoning: результат 73.4 на IMO AnswerBench - почти плюс 20 процентов, что закрепляет модель среди лидеров по математическому и научному мышлению.
🛠 Coding и Agents: скачок в SWE Bench Verified с 6.0 до 53.0, а Tau2 Bench вырос с 17.1 до 72.4.
Instruction Following: более стабильное выполнение сложных инструкций и естественный стиль ответов.

Модель выпускается в двух вариантах:
• HY 2.0 Think - для глубокого рассуждения, генерации кода и сложных задач
• HY 2.0 Instruct - для диалога, креативного письма и многотуровых контекстных бесед


🌐 Website: https://hunyuan.tencent.com
🔗 API Access: http://hunyuan.cloud.tencent.com/#/app/modelSquare
📄 Documentation: https://cloud.tencent.com/document/product/1729/104753

@data_analysis_ml


#AI #Tencent #Hunyuan #HY2 #LLM #MoE #DeepLearning #AIModels
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍7🔥2
⚡️ Essential AI объявила о выпуске своей первой открытой модели - Rnj-1, пары из базовой и instruct-версии на 8B параметров.

Rnj-1 демонстрирует сильные результаты в Кодине, математике и STEM-задачах.
На SWE-bench модель показывает 20.8% в Verified-режиме (bash-only) - выше Gemini 2.0 Flash и сопоставимо с GPT-4o.

Вместо brute-force команда делала ставку на дисциплинированное проектирование: качественную подготовку данных, продуманные оптимизации и исследовательские методики для выполнения кода, infill-генерации и рассуждений.

Модель обучалась на кластере TPU и AMD-GPU, увидела почти 8.7 триллиона токенов, и её качество продолжает расти.

В компании говорят, что это только начало: Essential AI (22 человека) строит долгосрочную исследовательскую программу с новыми моделями, методами и прорывами в pipeline.

Bloghttps://essential.ai/research/rnj-1
Modelhttps://huggingface.co/EssentialAI/rnj-1-instruct
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2😁2🥰1
Как становятся промт-инженерами:
😁2911🔥4👍3
Аналитик? Из какой секты?

Кто управляет вселенной формулами в Excel или…
Из тех, кто ручками собирает дашборды?

Как бы ни было — пора делегировать рутину иишкам.

Алексей Колоколов, аналитик с 15-летним стажем, решил наконец-то проверить:
какой ИИ реально работает в аналитике, а какой только косит под умного.

9 декабря он проведёт краш-тест на честных условиях:
один датасет, одинаковые требования, строгая методика оценки.

Участвуют: ChatGPT, DeepSeek и Claude.
Будет разбор слабых мест, промпты, live-сборка дашбордов — без прикрас.

Если хочешь понимать, на кого можно положиться в работе с отчётами — приходи.
Для своих — бесплатно.

👉 Ссылка тут. Подключайся и смотри как дашборды строят сами себя.

Реклама. ООО "АНАЛИТИКА ПЕРСОНАЛА", ИНН 6671088519
🔥2
🔥 fastmcpp - это C++ реализация протокола Model Context Protocol (MCP), обеспечивающая высокую производительность для серверов и клиентов MCP.

Поддерживает различные транспортные слои, включая STDIO, HTTP и WebSocket, с минимальным набором зависимостей.

🚀Основные моменты:
- Полная реализация протокола MCP (JSON-RPC).
- Поддержка нескольких транспортов: STDIO, HTTP, WebSocket.
- Интеграция с инструментами, совместимыми с MCP.
- Кроссплатформенность: Windows, Linux, macOS.
- Бета-версия с основными функциями, соответствующими Python-версии.

📌 GitHub: https://github.com/0xeb/fastmcpp

#cpp
👍53🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Трансформеры стали стандартом в NLP, но у большинства специалистов есть одна и та же проблема:

«Как их дообучать правильно и без хаоса в коде?»

📅 10 декабря в 18:00 МСК — открытый урок, на котором мы разберём:

Что происходит внутри трансформера
Как использовать предобученные веса
Как устроен fine-tuning и автоматизация с LLM
Как адаптировать BERT под свои задачи: классификацию, извлечение сущностей, анализ текстов

Вы поймёте, где граница между «слегка дообучить» и «сломать модель», научитесь избегать ошибок и ускорять работу с помощью современных инструментов.

🎓 Присоединяйтесь к открытому уроку курса «NLP / Natural Language Processing»: https://otus.pw/OrWr/?erid=2W5zFGBy5fN

🎁 Выберите обучение на ближайшие месяцы — и получите максимальную выгоду: один курс по тающей скидке до 20% или комплект из 2–3 курсов со скидкой 25–30%.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
1👍1