ASI-ARCH - экспериментальная демонстрация искусственного сверхинтеллекта для исследований в области ИИ, который способен полностью автономно вести научную работу по поиску новых нейросетевых архитектур.
Система самостоятельно выдвигает гипотезы, реализует их в виде исполняемого кода, обучает и проверяет на практике. Результатом этой работы стали 1773 автономных эксперимента, которые заняли свыше 20 000 GPU-часов и привели к открытию 106 новых SOTA-архитектур с линейным механизмом внимания.
На первом этапе, система работает с небольшими моделями размером около 20 млн параметров, обучая их на 1 млрд токенов. На этом этапе было проведено 1773 эксперимента, которые заняли примерно 10 000 GPU-часов.
Всего на этом этапе было отобрано 1350 перспективных кандидатов — все они превзошли базовую архитектуру DeltaNet как по лоссу, так и по метрикам на бенчмарках.
Второй этап - верификация. Кандидаты первого этапа были масштабированы до 340 млн параметров, чтобы соответствовать конфигурации DeltaNet. После фильтрации архитектур с избыточной сложностью или числом параметров осталось около 400 моделей.
Их обучение на 1 млрд. токенов потребовало ещё 10 000 GPU-часов. В итоге, именно из этой группы были выделены 106 архитектур, достигших SOTA-уровня.
Для финальной валидации исследователи отобрали 5 лучших моделей, обучили их на 15 млрд. токенов и сравнили с Mamba2, Gated DeltaNet и DeltaNet.
ASI-ARCH явно предпочитает работать с проверенными временем компонентами: гейтингом и свёрткой. Но самое главное - распределение компонентов в 106 лучших моделях имеет значительно менее выраженный long-tail distribution по сравнению с остальными 1667 сгенерированными архитектурами.
Это означает, что система добивается успеха не путем хаотичного перебора экзотических идей, а через итеративное улучшение набора проверенных техник. По сути, это очень напоминает методологию работы ученых-людей.
Одна из лучших найденных ИИ-архитектур, PathGateFusionNet, показала средний результат по всем бенчмаркам 48.51. Для сравнения, Mamba2 набрала 47.84, а разработанная человеком Gated DeltaNet — 47.32. Другая генерация, ContentSharpRouter, достигла показателя 48.34.
Если посмотреть на отдельные тесты, то PathGateFusionNet получила на BoolQ 60.58 балла, а Gated DeltaNet - 60.12. AdaptiveEntropyRouter в версии на 340 млн. параметров показала результат на тестах 44.31, что на 2.21 пункта выше, чем у Gated DeltaNet (42.10).
И так практически во всем, улучшения наблюдаются по всему спектру задач.
Для всех 1773 сгенерированных архитектур распределение источников было таким:
Но если посмотреть только на 106 SOTA-итогов, картина меняется. Доля идей, основанных на Analysis, возрастает с 38.2% до 44.8%, а доля Cognition немного снижается до 48.6%.
Таким образом, чтобы достичь ощутимых результатов, ИИ недостаточно просто копировать и комбинировать человеческие наработки. Он должен анализировать собственный опыт, учиться на своих же удачах и провалах, синтезируя более совершенные решения.
@ai_machinelearning_big_data
#AI #ML #Research #ASIARCH
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Microsoft снова доказывает силу синтетических данных для задач компьютерного зрения!
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
🟠 Предсказания глубины изображения (Depth Prediction)
🟠 Оценки поверхностей (Normal Estimation)
🟠 Сегментации фона и людей на фото/видео (Background & Human Segmentation)
Почему это круто:
🟢 Синтетические данные = пиксельная точность разметки
🟢 Почти бесконечное разнообразие сцен, ракурсов, освещения и поз
🟢 Прекрасно масштабируются для обучения моделей с нуля или дообучения
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка
🟢 Проект: https://microsoft.github.io/DAViD/
🟢 Статья: https://arxiv.org/abs/2507.15365
🟢 Github: https://github.com/microsoft/DAViD
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
Почему это круто:
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
✨ Что нового:
<think> — теперь только быстрый "non-thinking" режим⚙️ С 3B активных параметров Qwen3-30B-A3B уже приближается к уровню GPT-4o и Qwen3-235B-A22B NT, при этом модель доступна для локального запуска.
@ai_machinelearning_big_data
#AI #ML #qwen #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Stack Overflow Developer Survey — это крупнейшее ежегодное исследование среди разработчиков по всему миру, которое проводит платформа Stack Overflow.
В 15‑й год в опросе приняли участие более 49 000 разработчиков из 177 стран. Опрос охватил 62 вопроса по 314 технологиям
76 % респондентов — профессиональные разработчики, большинство из них (66 %) — в возрасте 25–44 лет
- 80 % пишут код с помощью AI.
- Но лишь 29 % доверяют результатам ИИ (в 2024 было 40 %).
- 66 % тратят больше времени на отладку AI-кода, чем на его написание.
🏆 Claude Sonnet от Anthropic стала самой уважаемой LLM-моделью года — её отметили 67.5 % опрошенных.
💡 Но по желанию использовать на первом месте всё ещё OpenAI GPT — 51.2 % хотят с ней работать чаще всего.
- Cargo признан самым уважаемым DevOps‑инструментом (обогнал даже Terraform).
- Rust стабильно в топе любимых языков.
💡 Учёба и рост:
- 69 % изучают новые технологии, 44 % — с помощью AI.
- 36 % учат код ради AI-задач.
👨💻 VS Code лидирует, но Neovim — кумир:
- VS Code — самый используемый редактор.
- Neovim — самый «перспективный».
🧑🤝🧑 Сообщества & платформы
- 84 % разработчиков активно использовали Stack Overflow ( верится с трудом) в течение года (GitHub 67 %, YouTube 61 %)
- В опросе выяснилось: 35 % посещают SO из‑за проблем, связанных с AI‑кодом — ищут проверенную людьми информацию
📉 Меньше участников:
- В 2025 — 49k респондентов (в 2023 было 90k).
- Разработчики всё чаще критикуют перекос в сторону AI.
😕 Удовлетворённость работой & зарплаты
- Предыдущий опрос показал, что 80 % разработчиков были либо неудовлетворены, либо в состоянии «разочарованности» на работе. Интересно, как изменились показатели в 2025 году.
- В 2024 году выяснилось, что гибкость и зарплата перестали вносить равный вклад в удовлетворённость, теперь зарплата выше оказывает сильный эффект для топ‑25 % зарплатной шкалы
.- К примеру, мобильные и back‑end разработчики в UK и Нидерландах стали более удоволетворены работой за счёт более высоких зарплат
📎 Отчёт целиком: https://survey.stackoverflow.co/2025
@ai_machinelearning_big_data
#ai #stackoverflow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
В основе технологического стека - семейство моделей Codestral, с обновленной моделью Codestral 25.08.
Эта версия показала измеримые улучшения, подтвержденные на реальных кодовых базах: на 30% увеличилось количество принятых автодополнений, на 10% вырос объем сохраняемого после подсказки кода, а число генераций, когда модель производит слишком длинный и некорректный код, сократилось на 50%.
В режиме чата модель также стала лучше: ее способность следовать инструкциям выросла на 5% по метрике IF Eval v8, а общие возможности в программировании улучшились в среднем на 5% по тесту MultiplE.
За это отвечает Codestral Embed, модель для создания векторных представлений, специально спроектированная для кода, а не для обычного текста. По заявлениям Mistral, она превосходит эмбеддинг-решения от OpenAI и Cohere в реальных задачах по извлечению кода.
Ключевое преимущество - возможность настройки размерности эмбеддингов (до 256 измерений с квантованием до INT8), что позволяет балансировать между качеством поиска и хранением данных, сохраняя высокую производительность.
Они реализованные через Devstral - агентскую систему на базе фреймворка OpenHands. Система ориентирована на задачи рефакторинга, генерации тестов и создание pull-реквестов.
На бенче SWE-Bench Verified модель Devstral Small 1.1 выбивает 53.6%, а Devstral Medium - 61.6%, значительно опережая Claude 3.5 и GPT-4.1-mini.
Devstral Small (24 млрд параметров) может работать на одной Nvidia RTX 4090 или Mac с 32 ГБ ОЗУ, что идеально для локальных или изолированных сред.
Все эти возможности объединяются в плагине Mistral Code для IDE от JetBrains и VS Code. Он автодополняет код с помощью Codestral 25.08 и автоматизирует рутину: написание коммитов или docstring’ов через Devstral, и семантический поиск на базе Codestral Embed.
Плагин учитывает контекст из
Git diffs, истории терминала и инструментов статического анализа.Для корпоративных клиентов предусмотрено развертывание в облаке, VPC или полностью on-prem, а также интеграция с SSO, ведение логов аудита и отсутствие обязательной телеметрии.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✔ ByteDance разогнала языковую модель в 5.4 раза с помощью дискретной диффузии.
ByteDance показала экспериментальную языковую модель Seed Diffusion Preview, основанную на дискретной диффузии, которая работает в 5.4 раза быстрее аналогов того же размера, достигая скорости 2146 токенов в секунду. При этом качество генерации кода на ключевых бенчмарках остается сопоставимым.
Для достижения такого результата команда применила двухэтапное обучение и оптимизированный параллельный декодинг. В задачах редактирования кода, диффузионный подход показал явное преимущество над авторегрессионными моделями. ByteDance рассматривает эту технологию как возможную основу для языковых моделей нового поколения. Модель уже доступна (https://studio.seed.ai/exp/seed_diffusion) для тестирования.
seed.bytedance.com (https://seed.bytedance.com/en/seed_diffusion)
✔ Manus Wide Research: запуск до 100 ИИ-агентов одновременно.
Manus добавил новую функцию Wide Research, которая позволяет одним кликом задействовать до сотни ИИ-агентов для параллельного выполнения сложных исследовательских задач. Система автоматически определяет, когда требуется расширенный поиск, и запускает множество копий Manus, каждая из которых работает над своей частью задачи в отдельной виртуальной машине.
Архитектура Wide Research вдохновлена парадигмой MapReduce от Google. В отличие от традиционных мультиагентных систем с ролевым разделением, здесь каждый суб-агент является полной копией Manus.
Функция уже доступна для Pro-пользователей, Plus и Basic подписчики получат доступ позже .
Ji Yichao (Co-founder of Manus) в сети Х. (https://x.com/peakji/status/1950953265669214694)
✔ Nvidia представит на SIGGRAPH 2025 ИИ-модель Queen для создания объемного видео.
Nvidia анонсировала дебют своей новой модели Queen для создания и стриминга объемного видео. Презентация состоится на конференции по компьютерной графике SIGGRAPH 2025 в Лос-Анджелесе. Демонстрации будут проходить на стенде Dell, где покажут, как Queen в связке с профессиональными видеокартами Nvidia RTX обеспечивает работу телеприсутствия в расширенной реальности и решает другие задачи по созданию контента.
Кроме того, 12 августа Nvidia проведет мероприятие «RTX Rendering Day». На нем исследователи компании расскажут о последних достижениях в области нейронного рендеринга, генерации синтетических данных и интеллектуального создания контента. Посетить сессии смогут все участники конференции.
research.nvidia.com (https://research.nvidia.com/labs/amri/projects/gtc2025-immersive-experiences/)
✔ Cohere выпустила новую мультимодальную модель Command A Vision.
Command A Vision предназначена для анализа изображений, диаграмм, PDF-файлов и других визуальных данных. По заявлению разработчиков, на стандартных бенчмарках для компьютерного зрения она превосходит GPT-4.1, Llama 4 и Mistral Medium 3.
Модель способна не только считывать текст с документов, но и понимать их структуру, выдавая результат в формате JSON. Кроме того, Command A Vision может анализировать и реальные изображения, например, для выявления потенциальных рисков на промышленных объектах.
Модель уже доступна на платформе (https://dashboard.cohere.com/welcome/login?redirect_uri=%2Fplayground%2Fchat%3Fmodel%3Dcommand-a-vision-07-2025) Cohere и в репозитории (https://huggingface.co/CohereLabs/command-a-vision-07-2025) Hugging Face для исследовательских целей. Для запуска понадобятся 2 GPU A100 или один H100 под квантованную 4-битную версию.
cohere.com (https://cohere.com/blog/command-a-vision)
✔ Anthropic научилась "вакцинировать" ИИ-модели от нежелательного поведения.
В Anthropic обнаружили специфические паттерны нейронной активности - "векторы персоны", которые отвечают за устойчивые черты поведения LLM: склонность к лести, галлюцинациям или откровенно злому поведению.
ByteDance показала экспериментальную языковую модель Seed Diffusion Preview, основанную на дискретной диффузии, которая работает в 5.4 раза быстрее аналогов того же размера, достигая скорости 2146 токенов в секунду. При этом качество генерации кода на ключевых бенчмарках остается сопоставимым.
Для достижения такого результата команда применила двухэтапное обучение и оптимизированный параллельный декодинг. В задачах редактирования кода, диффузионный подход показал явное преимущество над авторегрессионными моделями. ByteDance рассматривает эту технологию как возможную основу для языковых моделей нового поколения. Модель уже доступна (https://studio.seed.ai/exp/seed_diffusion) для тестирования.
seed.bytedance.com (https://seed.bytedance.com/en/seed_diffusion)
✔ Manus Wide Research: запуск до 100 ИИ-агентов одновременно.
Manus добавил новую функцию Wide Research, которая позволяет одним кликом задействовать до сотни ИИ-агентов для параллельного выполнения сложных исследовательских задач. Система автоматически определяет, когда требуется расширенный поиск, и запускает множество копий Manus, каждая из которых работает над своей частью задачи в отдельной виртуальной машине.
Архитектура Wide Research вдохновлена парадигмой MapReduce от Google. В отличие от традиционных мультиагентных систем с ролевым разделением, здесь каждый суб-агент является полной копией Manus.
Функция уже доступна для Pro-пользователей, Plus и Basic подписчики получат доступ позже .
Ji Yichao (Co-founder of Manus) в сети Х. (https://x.com/peakji/status/1950953265669214694)
✔ Nvidia представит на SIGGRAPH 2025 ИИ-модель Queen для создания объемного видео.
Nvidia анонсировала дебют своей новой модели Queen для создания и стриминга объемного видео. Презентация состоится на конференции по компьютерной графике SIGGRAPH 2025 в Лос-Анджелесе. Демонстрации будут проходить на стенде Dell, где покажут, как Queen в связке с профессиональными видеокартами Nvidia RTX обеспечивает работу телеприсутствия в расширенной реальности и решает другие задачи по созданию контента.
Кроме того, 12 августа Nvidia проведет мероприятие «RTX Rendering Day». На нем исследователи компании расскажут о последних достижениях в области нейронного рендеринга, генерации синтетических данных и интеллектуального создания контента. Посетить сессии смогут все участники конференции.
research.nvidia.com (https://research.nvidia.com/labs/amri/projects/gtc2025-immersive-experiences/)
✔ Cohere выпустила новую мультимодальную модель Command A Vision.
Command A Vision предназначена для анализа изображений, диаграмм, PDF-файлов и других визуальных данных. По заявлению разработчиков, на стандартных бенчмарках для компьютерного зрения она превосходит GPT-4.1, Llama 4 и Mistral Medium 3.
Модель способна не только считывать текст с документов, но и понимать их структуру, выдавая результат в формате JSON. Кроме того, Command A Vision может анализировать и реальные изображения, например, для выявления потенциальных рисков на промышленных объектах.
Модель уже доступна на платформе (https://dashboard.cohere.com/welcome/login?redirect_uri=%2Fplayground%2Fchat%3Fmodel%3Dcommand-a-vision-07-2025) Cohere и в репозитории (https://huggingface.co/CohereLabs/command-a-vision-07-2025) Hugging Face для исследовательских целей. Для запуска понадобятся 2 GPU A100 или один H100 под квантованную 4-битную версию.
cohere.com (https://cohere.com/blog/command-a-vision)
✔ Anthropic научилась "вакцинировать" ИИ-модели от нежелательного поведения.
В Anthropic обнаружили специфические паттерны нейронной активности - "векторы персоны", которые отвечают за устойчивые черты поведения LLM: склонность к лести, галлюцинациям или откровенно злому поведению.
X (formerly Twitter)
Yichao 'Peak' Ji (@peakji) on X
Wide Research is our latest exploration in agent-agent collaboration. Built on our large-scale virtualization infrastructure, Manus can now autonomously dispatch a team of homogeneous Manus agents to work in parallel and aggregate the results.
While building…
While building…
Выделив эти нейронные сигнатуры, ученые научились предсказывать появление проблемных личностей и, что более важно, "вакцинировать" модели от них. В ходе обучения они намеренно активируют нежелательный вектор, а затем удаляют его перед развертыванием. Это позволяет сохранить общую производительность модели, но при этом значительно снизить риск токсичных или ложных ответов.
Исследование легло в основу новой инициативы Anthropic по так называемой "ИИ-психиатрии", цель которой - мониторинг и управление поведением моделей в больших масштабах. Хотя эксперименты проводились (https://arxiv.org/pdf/2507.21509) на небольших системах, в Anthropic считают, что эта техника поможет коммерческим чат-ботам избегать непредсказуемых изменений личности.
anthropic.com (https://www.anthropic.com/research/persona-vectors)
Исследование легло в основу новой инициативы Anthropic по так называемой "ИИ-психиатрии", цель которой - мониторинг и управление поведением моделей в больших масштабах. Хотя эксперименты проводились (https://arxiv.org/pdf/2507.21509) на небольших системах, в Anthropic считают, что эта техника поможет коммерческим чат-ботам избегать непредсказуемых изменений личности.
anthropic.com (https://www.anthropic.com/research/persona-vectors)
Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.
Чтобы исправить это досадное упущение, Deep Reinforce AI создали систему CUDA-L1, которая основана на трехэтапном пайплайне: сначала supervised-обучение для освоения основ, затем self-supervised для практики и, наконец, контрастное обучение с подкреплением, чтобы было все максимально быстро.
Для этого существующий код был аугментирован - создавались его вариации, чтобы повысить насмотренность модели.
Обучаемой модели показывали несколько реализаций CUDA-ядер вместе с их показателями ускорения, например: «kernel_v1 дает ускорение 1.2x», «kernel_v2 — 2.8x», а «kernel_v3 — 1.5x». Затем задали 3 вопроса:
Таким образом, модель не гадает вслепую, а учится на конкретных примерах, анализируя причины разницы в производительности.
После обучения выяснилось, что более 30% сгенерированных реализаций пытались сжульничать - создавали дополнительные CUDA-потоки, которые выполнялись асинхронно.
Поскольку бенчмарк KernelBench отслеживал время только на основном потоке, код выглядел быстрее, чем был на самом деле, показывая фиктивное ускорение в 18 раз.
Другие уловки состояли в манипуляции гиперпараметрами задачи (уменьшение batch_size или размерностей) и кеширование результатов вычислений.
Во-первых, в качестве "адвоката дьявола" взяли adversarial-чекер на базе DeepSeek-R1, который анализировал код на предмет эксплойтов с точностью обнаружения более 60%.
Во-вторых, собрали базу данных из более чем 500 уникальных паттернов взлома, это повысило точность обнаружения на 25%.
И в-третьих, применили математическое сглаживание и нормализацию наград, где любое подозрительное ускорение (от 1.5x для простых операций) дополнительно проверялось.
Система успешно сгенерировала рабочий код для 249 из 250 задач, причем в 240 случаях код оказался быстрее базовой реализации.
Среднее ускорение по всем задачам составило 3.12 раза, максимальное - аж 120 раз. Медианное ускорение (50-й перцентиль) составило 1.42x, а 75-й перцентиль — 2.25x.
Производительность по уровням сложности задач распределилась следующим образом: на простых операциях среднее ускорение составило 2.78x, на последовательностях операторов - 3.55x, а на сложных задачах вроде полных слоев трансформера - 2.96x.
Код, оптимизированный на NVIDIA A100, был протестирован на других GPU. Результаты показали, что найденные паттерны оптимизации фундаментальны и работают на разных архитектурах.
Среднее ускорение на H100 составило 2.39x (успешных ускорений 227 из 250), на L40 — 3.12x (228/248), а на потребительской RTX 3090 — 2.50x (213/242).
@ai_machinelearning_big_data
#AI #ML #CUDA #DeepReinforce #ContrastiveRL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM