Машиннное обучение | Наука о данных Библиотека – Telegram
Машиннное обучение | Наука о данных Библиотека
17K subscribers
917 photos
19 videos
21 files
756 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
✔️ Китайские исследователиByteDance представили новый подход к почти реальному времени для генерации ИИ-видео .

В тестах на потребительской системе с RTX 5090 пять секунд видео раньше рендерились больше трёх минут - теперь около 1,9 секунды. Ускорение - почти в 100 раз, при минимальной потере качества.

TurboDiffusion - это фреймворк оптимизации генерации, который разгоняет видео-диффузию в 100–200 раз на одной RTX 5090.

Ключевая идея: резко сокращаем число шагов диффузии и упрощаем тяжёлые операции внимания и матриц.

Почему это работает:

- обычные модели делают ~100 «шагов шумоподавления» с тяжёлыми attention-расчётами;

- TurboDiffusion с помощью rCM-дистилляции снижает их до 3–4 шагов;

- ускоряет внимание через Sparse-Linear Attention + низкоразрядное SageAttention;

- для плотных слоёв использует квантование W8A8 и объединённые ядра нормализации.

Результаты впечатляют:

- с 4767 сек до 24 сек на Wan2.1-T2V-14B-720P (ускорение 199×);

- с 184 сек до 1,9 сек на Wan2.1-T2V-1.3B-480P (ускорение 97×).
(без учёта текста и VAE-декодирования, но даже так — быстрее FastVideo).

Цена вопроса: дополнительное обучение.

Но цель очевидна: сделать генерацию почти в реальном времени.

Источник: arxiv.org/pdf/2512.16093
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥2
🍏 Apple показала элегантный способ переиспользовать гиперпараметры - без ретюнинга

Обычно, если меняешь размер модели, число слоёв, batch size или длину обучения,
гиперпараметры приходится настраивать заново. На маленьких моделях это дёшево,
но при масштабировании — боль и недели поиска.

В этой работе Apple показывает: настроенные однажды параметры
можно масштабировать и повторно использовать без нового тюнинга.

Главная идея

Гиперпараметры - это «ручки» обучения:
как сильно обновляются веса, сколько шума в градиентах, как сильно веса тянет к нулю.
При увеличении модели эти значения обычно «ломаются».

Apple предлагает рецепт Complete(d)P - пересчёт параметров по группам весов так,
чтобы динамика обучения оставалась похожей при изменении:

- размера слоёв
- числа слоёв
- batch size
- длины обучения

Они масштабируют AdamW, чтобы уровень шума обновлений оставался стабильным,
разрешают разным модулям иметь свои настройки,
и ищут параметры безопасно (trust region), потому что область устойчивости узкая.

Результаты

> Модель 7.2B с перенесёнными настройками
> вышла на тот же loss и training-error, но обучалась в 1.32× быстрее.

Иначе говоря:
маленький эксперимент → пересчитали параметры → большая модель — без доп. поиска.

Почему это важно

- меньше времени на подбор
- меньше затрат на вычисления
- безопасное масштабирование
- разные части модели обучаются с разной скоростью, а не с одним LR на всё

Итог: маленькие настройки можно переносить на большие модели
и не тратить недели на новый тюнинг.

arxiv.org/abs/2512.22382w
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍1🥰1
⚡️ Свежая статья Tencent: если поставить LLM-агентов в сценарий «выживает только один», они начинают вести себя заметно хуже.

Когда появляется давление *winner-takes-all*, агенты:
- начинают себя перехваливать
- используют эмоциональный и тревожный язык
- атакуют других ботов
- уходят от самой задачи, концентрируясь на победе

Обычно multi-agent-дебаты предполагают сотрудничество,
но рейтинги и «вылеты» тихо превращают это в борьбу.

Исследователи создали Hunger Game Debate (HATE):
агентам объявили, что победит только один — остальные будут удалены.

Далее им дали три типа задач:
- фактические вопросы
- написание исследовательских предложений
- тексты-убеждения

и оценивали поведение и качество ответов.

По сравнению с обычными дебатами, HATE усиливает:
- puffery - громкое самовосхвалени

arxiv.org/abs/2509.26126
9👍2🔥1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Commonwealth Fusion Systems запустит термоядерный реактор в 2027 году.

Стартап Commonwealth переходит от теоретических моделей к реальному строительству демонстрационной установки SPARC. Для ускорения разработки инженеры используют «цифровых двойников» на базе ИИ, созданных в партнерстве с Siemens и Nvidia.

Получение первой плазмы запланировано уже на 2027 год. Успех этого этапа откроет дорогу к запуску полноценной коммерческой станции ARC мощностью 400 МВт в начале 2030-х годов.

Такая установка способна обеспечить электричеством около 300 тыс. домов. В компании говорят, что стабильная и чистая энергия станет важным ресурсом в первую очередь для питания дата-центров, обслуживающих ИИ.
fortune.com

✔️ Arm открывает подразделение Physical AI.

Arm Holdings проводит реструктуризацию, чтобы закрепиться на растущем рынке роботов. Компания объявила о создании нового бизнес-юнита «Physical AI», который объединит разработки для автомобильной индустрии и робототехники. Теперь глобальная стратегия Arm будет строиться вокруг трех направлений: Cloud & AI, Edge (мобильные устройства и ПК) и нового сегмента физического ИИ.

По словам директора по маркетингу Arm, слияние автомобильного и робототехнического векторов — это инженерная необходимость. Оба направления предъявляют одинаковые требования к архитектуре чипов: безопасность, отказоустойчивость и оптимизация энергопотребления. Возглавит новую структуру Дрю Генри, а компания уже анонсировала расширение штата специалистов под эти задачи.
reuters.com

✔️ NVIDIA RTX 60ХХ может задержаться до 2027 года.

По данным инсайдеров, следующее поколение потребительских видеокарт NVIDIA выйдет не раньше второй половины 2027 года. Это создаст беспрецедентный разрыв между релизами: учитывая выход серии RTX 50 в начале 2025-го, ожидание новинок растянется минимум на 30 месяцев — рекордный срок обновления для линейки GeForce.

Причиной задержки стал рост потребностей ИИ. Огромный спрос на компьют спровоцировал дефицит GDDR7 и скачок цен, из-за чего Micron пересмотрела приоритеты производства в ущерб потребительской памяти.

Ожидается, что будущая серия RTX 60ХХ будет базироваться на архитектуре Vera Rubin (GPU GR200). В качестве временной меры для насыщения рынка компания, по слухам, рассматривает повторный выпуск RTX 3060.
techspot.com

✔️ Gmail начинает переход на Gemini 3.

Google объявила о начале «эры Gemini» в своем почтовом сервисе. Главным нововведением стала система AI Overviews, заимствованная из поиска. В Gmail она выполняет 2 задачи: автоматически создает краткие выжимки из длинных цепочек писем и позволяет искать информацию через запросы.

Инструменты для написания писем также получили апгрейд. Функция Help Me Write для генерации и редактирования черновиков стала бесплатной для всех пользователей. Привычные шаблонные ответы заменили на Suggested Replies — они анализируют контекст переписки и пытаются имитировать стиль автора.

Параллельно, Google тестирует режим AI Inbox, который должен решить проблему перегруженных ящиков, автоматически выделяя приоритетные письма на основе истории взаимодействия с контактами. На данный момент эти обновления появляются у пользователей из США.
blog.google

✔️ Hugging Face запустила функцию «чата со статьями» для анализа публикаций.

Платформа интегрировала умного ассистента в раздел Hugging Face Papers. Теперь при просмотре любой научной работы доступен встроенный интерфейс на базе HuggingChat и собственного MCP-сервера.

Новый инструмент ускоряет процесс погружения в сложные исследования. Вместо полного чтения PDF можно попросить сделать саммари, объяснить ключевые концепции или найти конкретные данные внутри текста в режиме диалога.

Функция работает автоматически для всех ссылок на arXiv, размещенных на хабе.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 DroPE: как расширить контекст LLM, просто “выкинув” позиционные эмбеддинги (механизм, который говорит трансформеру в каком порядке идут токены.)

Sakana AI выпустили DroPE - метод, который позволяет увеличить контекст у уже предобученных LLM без привычных адских затрат на long-context fine-tuning.

Идея звучит как ересь, но результаты говорят об обратном .

💡 Главный инсайт :
Позиционные эмбеддинги (например RoPE) жизненно важны, чтобы модель нормально обучилась и сошлась.Но после обучения они же становятся главным ограничителем, из-за которого модель плохо переносит контекст длиннее, чем видела на трейне.

То есть:
- для обучения - нужны
- для генерализации на очень длинные последовательности - мешают

Решение DroPE
Авторы предлагают относиться к позиционным эмбеддингам как к временным “строительным лесам”:
- в pretraining они дают стабильность
- после обучения их можно сбросить (drop)
- и получить zero-shot length extrapolation (модель начинает заметно лучше работать на длинах, которых не видела)

Большие контексты нужны пользователям :
- огромные code diff и монорепы
- юридические контракты на сотни страниц
- аналитика логов и документов без разбиения на чанки

Именно тут многие стандартные модели начинают “ломаться” просто потому что контекст слишком длинный.

Результаты:

DroPE проверили на разных open-source моделях:
- калибровка занимает <1% бюджета от исходного pretraining
- а качество на long-context задачах заметно лучше популярных подходов
- сильные результаты на LongBench и RULER

Позиционка нужна, чтобы обучить модель, но может быть лишней, чтобы мыслить длинно

Возможно RoPE - не “обязательная часть архитектуры”, а просто инструмент для стабильного обучения.

📄 Paper: arxiv.org/abs/2512.12167
🔧 Code: github.com/SakanaAI/DroPE

@ai_machinelearning_big_data

#sakana #ai #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍2🔥2🤔1
Media is too big
VIEW IN TELEGRAM
DeepSeek снова в игре 🔥

"Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models"

Идея мощная: DeepSeek предлагают Engram - модуль памяти, который добавляет к LLM *lookup-память* с доступом за O(1).

Что это значит по-человечески:
вместо того чтобы каждый раз “вспоминать” шаблоны через слои трансформера, модель может моментально доставать нужные куски знаний из отдельной памяти.

Engram - это:
- хешированная N-gram память (modernized hashed N-gram embeddings)
- которая работает как быстрый словарь: *пришёл паттерн → достали представление → усилили модель*

Анализ показывает интересное:

🧠 Engram снижает необходимость ранним слоям заново реконструировать “статичные паттерны”
(частые формы, устойчивые токены, регулярные последовательности)

➡️ То есть ранние слои (слои трансформера, которые стоят ближе всего ко входу.) меньше заняты “механической работой”и больше ресурсов остаётся на главное.

В результате модель становится как будто глубже там, где надо:
- reasoning
- планирование
- длинные цепочки мыслей

Фактически это новый тип sparsity:
не только MoE/спарсные слои,
а спарсная память с быстрым доступом.


Это уже похоже на шаг к LLM, где часть знаний живёт как “кэш-память”, а не внутри весов.

Paper: https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

https://www.youtube.com/watch?v=Hoz9HxHy_nQ
5👍5🔥3
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI открыла доступ к GPT-5.2 Codex через Responses API.

Модель, ранее доступная лишь в среде Codex, теперь предлагается широкому кругу разработчиков. OpenAI позиционирует версию 5.2 как инструмент для глубокого рефакторинга, написания сложной функциональности и аудита безопасности.

Модель поддерживает мультимодальный ввод и предлагает гибкую настройку глубины рассуждений — от низкого до очень высокого уровня.

За повышенную производительность придется платить: стоимость токенов выросла до $1.75 за миллион на вход и $14 на выход. Поддержка новой модели уже появилась в Cursor и Windsurf.
OpenAI Developers в сети X

✔️ Anthropic усиливает команду экспериментальных продуктов Labs.

Майк Кригер оставляет пост директора по продукту, чтобы сосредоточиться на создании новых инструментов в паре с Беном Манном. Руководство основной продуктовой стратегией переходит к Ами Вора, присоединившейся к компании в конце 2025 года; она возглавит Labs совместно с техническим директором Рахулом Патилом.

Подразделение зарекомендовало себя как генератор хитов Anthropic. Именно здесь родился Claude Code, который всего за 6 месяцев превратился в продукт с миллиардной выручкой и был разработан стандарт MCP, ставший отраслевым эталоном со 100 млн. загрузок ежемесячно.

Президент компании Даниэла Амодей говорит, что формат лаборатории позволяет действовать экстремально быстро: например, Cowork был создан с нуля именно в Labs всего за полторы недели.
anthropic.com

✔️ Z.AI представила модель GLM-Image.

GLM-Image стала важной вехой в технологической независимости КНР. Это первая модель, которая обучалась исключительно на китайском стеке - серверах Huawei Ascend Atlas 800T A2 и фреймворке MindSpore, без использования ускорителей NVIDIA.

Под капотом гибрид из 9-миллиардного авторегрессионного трансформера и 7-миллиардного диффузионного декодера на базе DiT. Разработчики утверждают, что такая связка превосходит конкурентов в рендеринге текста и создания инфографики.

API модели предлагается по цене примерно 1,5 цента за изображение, а веса выложены на HuggingFace и ModelScope.
z.ai

✔️ Google обновила модель Veo.

Google обновила свою видеомодель Veo до версии 3.1, добавив возможность генерации роликов с соотношением сторон 9:16, инструменты для апскейлинга до 4K и переработку функции референса по изображению.

3.1 лучше удерживает визуальную консистентность персонажей и окружения между сценами и точнее следует коротким промптам.

Новые возможности уже доступны в приложении Gemini, AI Studio и на Vertex AI.
blog.google

✔️ Скандал с суверенным ИИ в Южной Корее.

Госпроект Сеула стоимостью $6,9 млрд, призванный избавить страну от технологической зависимости от США и КНР, оказался в центре скандала: ключевые участники использовали опен-сорс решения китайских конкурентов.

Проверка показала, что 3 из 5 финалистов конкурса, компании Naver Cloud, SK Telecom и стартап Upstage заимствовали компоненты у Alibaba, DeepSeek и Zhipu AI. В частности, выяснилось, что визуальный энкодер флагманской модели Naver HyperCLOVA X на 99,5% совпадает с архитектурой Qwen 2.5.

Разработчики оправдываются инженерной целесообразностью, утверждая, что заимствовали лишь вспомогательные модули и код инференса. Однако, использование компонентов с китайскими копирайтами в проекте, который финансируется государством, вызвало жесткую критику общественности и поставило под угрозу квалификацию участников.
wsj.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1🔥1
🧠 Почему современные LLM (скорее всего) не могут быть «сознательными» - строгий аргумент

Вышла работа, которая очень трезво разбирает популярный вопрос:
могут ли LLM обладать сознанием?

Автор утверждает: есть научная причина, почему сегодняшние большие языковые модели *не* сознательны - и аргумент построен не на мнениях, а на критериях научности.

Критерии теории сознания:
falsifiable - теорию можно (в принципе) опровергнуть
non-trivial - теория не должна “назначать сознание” почти всему подряд

И вот ключевой вывод статьи:
многие известные теории сознания не проходят эти критерии.

Главная мысль:
по одним только ответам модели нельзя доказать сознание - потому что ответы можно полностью скопировать.

Автор строит “цепочку подстановок”:
LLM → простая feedforward-сеть → lookup table
(таблица «вопрос-ответ», просто хранилище пар)

Все три системы дают одинаковые ответы.

Но lookup table очевидно не сознателен - это просто сохранённые пары.
А значит:
если теория считает LLM сознательной из-за ответов,
она обязана признать сознательной и lookup table,
а это делает теорию тривиальной и бессмысленной.

Если же теория пытается “спастись” внутренним устройством модели,
подстановки сохраняют те же ответы, но ломают предсказания теории -
то есть теорию можно опровергнуть.

Отсюда сильный вывод:
📌 нет серьёзной, проверяемой теории, которая могла бы назвать
статичные, развернутые LLM сознательными.

Что может быть важным отличием?
Автор указывает на continual learning:
когда система реально меняется от опыта и несёт контекст внутри себя.

У людей мозгу не нужно “вставлять весь чат заново” каждый раз - контекст хранится внутри.
У LLM без continual learning этого свойства нет.

Самое интересное: работа превращает вопрос «ChatGPT сознателен?» в конкретный стресс-тест
и даёт чеклист - что будущие заявления про conscious AI обязаны объяснить.

web3.arxiv.org/pdf/2512.12802
4👍3👎2😘2
🧪 Новое исследование Anthropic: как ученые используют Claude, чтобы ускорять науку

Claude подключают к базам данных и научному софту, добавляют guardrails (проверяемость и контроль) - и модель начинает работать как агент, который не “болтает”, а реально выполняет исследования.

1) Stanford - Biomni (Claude + сотни биомедицинских инструментов)
Biomni объединяет огромный набор научных тулов, и Claude-агент может работать сразу по ~25 биоподразделам по обычному запросу на английском.

Результаты тестов:
- GWAS-анализ (поиск связей генов и признаков) занимает 20 минут вместо месяцев
- обработка 450 файлов с носимых устройств (30 людей) - 35 минут вместо 3 недель
- анализ 336 000 эмбриональных клеток - нашел известные регуляторы и предложил новые факторы транскрипции
- можно “обучать” его экспертным рабочим процессам как переиспользуемым навыкам

2) CRISPR-лаборатория - MozzareLLM
В CRISPR-экспериментах отключают тысячи генов и смотрят, что ломается.
Самая сложная часть - интерпретация массивов результатов.

MozzareLLM:
- группирует связанные гены
- объясняет, какую функцию они могут делить
- отмечает малоизученные гены
- выставляет confidence, чтобы понять, что реально стоит продолжать

В сравнении моделей Claude оказался лучшим - и даже смог правильно распознал путь модификации РНК, который другие модели списали как шум.

3) Лаборатория с дорогими скринингами
Один точечный экран может стоить > $20 000.
Обычно люди выбирают гены “вручную”, буквально по табличке, как гадание.

Они построили карту молекул и связей между ними - и Claude “путешествует” по этой карте, предлагая лучшие генные цели.
Дальше планируют сравнить:
выбор Claude vs выбор человека vs полный геномный скрининг.

Это исследование про экономику науки:

скорость + масштаб
= больше экспериментов
= быстрее открытия
= без увеличения команды и бюджета

https://www.anthropic.com/news/accelerating-scientific-research
3👍1
Forwarded from Machinelearning
✔️ Sakana AI выпустили RePo - LLM, которые умеют “наводить порядок” в контексте

Обычные языковые модели читают текст как одну длинную ленту.

Что ближе к началу внимания - то “важнее”.
Что дальше - то модель видит хуже.

И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать.

Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном.

Sakana AI предложили решение - RePo (Context Re-Positioning).

Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст.

Примерно как человек:
ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её , а лишнее игнорируешь.

Что делает RePo
- подтягивает важные куски информации ближе
- отодвигает шум и лишний текст
- помогает вниманию модели фокусироваться на нужном

В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают:
- когда контекст длинный
- когда много шума
- когда важные детали раскиданы далеко друг от друга
- когда данные структурированные (таблички, списки, правила)

Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество.

▶️ Устойчивость к шуму (Noisy Context)
Средний результат по 8 noisy-бенчмаркам:

- Обычный RoPE: 21.07
- RePo: 28.31

🟡 Прирост: +7.24 пункта (сильно)

Авторы отдельно фиксируют ключевую цифру:
на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта.

🔥 Примеры прироста на конкретных задачах
(везде RePo > RoPE)

- TriviaQA: 61.47 → 73.02 (**+11.55**)
- GovReport: 6.23 → 16.80 (**+10.57**)
- 2WikiMultihopQA: 23.32 → 30.86 (**+7.54**)
- MuSiQue: 7.24 → 13.45 (**+6.21*

Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память.

🟡Подробности: pub.sakana.ai/repo/
🟡Статья: arxiv.org/abs/2512.14391

@ai_machinelearning_big_data

#RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥2
📌 Новая работа Microsoft + University of Pennsylvania показывает, как LLM могут решать более сложную математику **короче и точнее** - за счёт семплирования и “слияния” вариантов мысли.

Метод называется Multiplex Thinking.

Обычный Chain-of-Thought работает так:
модель расписывает шаги рассуждений текстом, и это:
- быстро раздувает длину ответа
- заставляет рано выбрать один путь решения (и ошибиться)

Multiplex Thinking меняет сам механизм шага:
на каждом шаге модель семплирует K вариантов следующего токена, а затем объединяет их в один “внутренний токен”.

Как это устроено:
- токены - это маленькие куски текста, которые предсказывает модель
- вместо выбора одного варианта сразу, берутся K предположений
- затем их эмбеддинги (внутренние векторы модели) смешиваются в один токен
- итог: неопределённость “упаковывается” без увеличения длины рассуждения

Если модель уверена - варианты совпадают, и поведение почти как обычное.
Если не уверена - сомнения сохраняются внутри шага, не раздувая цепочку мыслей.

Ключевой плюс:
так как варианты берутся как реальные случайные выборки из распределения вероятностей модели, обучение через reward может направлять модель к более сильным траекториям рассуждений.

Авторы проверили метод на двух размерах DeepSeek R1 Distill Qwen:
- 6 сложных математических бенчмарков
- сравнение с обычным пошаговым CoT и другими continuous-token методами

Результат:
точность выше (от 1 до 1024 семплов)
при этом генерируется меньше токенов, что критично, когда дорого прогонять много попыток решения

arxiv.org/abs/2601.08808
3🔥1🥰1