📌 ИИ, который сам создает ИИ: ASI-ARCH нашел 106 новых SOTA-архитектур.

ASI-ARCH - экспериментальная демонстрация искусственного сверхинтеллекта для исследований в области ИИ, который способен полностью автономно вести научную работу по поиску новых нейросетевых архитектур.

Система самостоятельно выдвигает гипотезы, реализует их в виде исполняемого кода, обучает и проверяет на практике. Результатом этой работы стали 1773 автономных эксперимента, которые заняли свыше 20 000 GPU-часов и привели к открытию 106 новых SOTA-архитектур с линейным механизмом внимания.

🟡Весь процесс разделен на 2 этапа: поиск гипотез и их проверка.

На первом этапе, система работает с небольшими моделями размером около 20 млн параметров, обучая их на 1 млрд токенов. На этом этапе было проведено 1773 эксперимента, которые заняли примерно 10 000 GPU-часов.

Всего на этом этапе было отобрано 1350 перспективных кандидатов — все они превзошли базовую архитектуру DeltaNet как по лоссу, так и по метрикам на бенчмарках.

Второй этап - верификация. Кандидаты первого этапа были масштабированы до 340 млн параметров, чтобы соответствовать конфигурации DeltaNet. После фильтрации архитектур с избыточной сложностью или числом параметров осталось около 400 моделей.

Их обучение на 1 млрд. токенов потребовало ещё 10 000 GPU-часов. В итоге, именно из этой группы были выделены 106 архитектур, достигших SOTA-уровня.

Для финальной валидации исследователи отобрали 5 лучших моделей, обучили их на 15 млрд. токенов и сравнили с Mamba2, Gated DeltaNet и DeltaNet.

🟡 Анализ предпочтений системы показал интересные закономерности.

ASI-ARCH явно предпочитает работать с проверенными временем компонентами: гейтингом и свёрткой. Но самое главное - распределение компонентов в 106 лучших моделях имеет значительно менее выраженный long-tail distribution по сравнению с остальными 1667 сгенерированными архитектурами.

Это означает, что система добивается успеха не путем хаотичного перебора экзотических идей, а через итеративное улучшение набора проверенных техник. По сути, это очень напоминает методологию работы ученых-людей.

🟡Результаты.

Одна из лучших найденных ИИ-архитектур, PathGateFusionNet, показала средний результат по всем бенчмаркам 48.51. Для сравнения, Mamba2 набрала 47.84, а разработанная человеком Gated DeltaNet — 47.32. Другая генерация, ContentSharpRouter, достигла показателя 48.34.

Если посмотреть на отдельные тесты, то PathGateFusionNet получила на BoolQ 60.58 балла, а Gated DeltaNet - 60.12. AdaptiveEntropyRouter в версии на 340 млн. параметров показала результат на тестах 44.31, что на 2.21 пункта выше, чем у Gated DeltaNet (42.10).

И так практически во всем, улучшения наблюдаются по всему спектру задач.

🟡И самое интересное — откуда система черпает идеи? Источников всего 3:

🟢Cognition - знания, извлеченные из научной литературы;
🟢Analysis - выводы, сделанные на основе собственных прошлых экспериментов;
🟢Originality - абсолютно новые идеи.

Для всех 1773 сгенерированных архитектур распределение источников было таким:

🟠51.7% идей приходило из человеческой литературы;
🟠38.2% - из собственного анализа;
🟠10.1% были оригинальными.

Но если посмотреть только на 106 SOTA-итогов, картина меняется. Доля идей, основанных на Analysis, возрастает с 38.2% до 44.8%, а доля Cognition немного снижается до 48.6%.

Таким образом, чтобы достичь ощутимых результатов, ИИ недостаточно просто копировать и комбинировать человеческие наработки. Он должен анализировать собственный опыт, учиться на своих же удачах и провалах, синтезируя более совершенные решения.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Research #ASIARCH

📊 Stack Overflow Developer Survey 2025 — опрос 49 000 разработчиков из 177 стран

Stack Overflow Developer Survey — это крупнейшее ежегодное исследование среди разработчиков по всему миру, которое проводит платформа Stack Overflow.

В 15‑й год в опросе приняли участие более 49 000 разработчиков из 177 стран. Опрос охватил 62 вопроса по 314 технологиям

76 % респондентов — профессиональные разработчики, большинство из них (66 %) — в возрасте 25–44 лет

🔥 Главное:

🧠 AI используют почти все:
- 80 % пишут код с помощью AI.
- Но лишь 29 % доверяют результатам ИИ (в 2024 было 40 %).
- 66 % тратят больше времени на отладку AI-кода, чем на его написание.

🏆 Claude Sonnet от Anthropic стала самой уважаемой LLM-моделью года — её отметили 67.5 % опрошенных.

💡 Но по желанию использовать на первом месте всё ещё OpenAI GPT — 51.2 % хотят с ней работать чаще всего.

👣 Rust и Cargo — фавориты:
- Cargo признан самым уважаемым DevOps‑инструментом (обогнал даже Terraform).
- Rust стабильно в топе любимых языков.

💡 Учёба и рост:
- 69 % изучают новые технологии, 44 % — с помощью AI.
- 36 % учат код ради AI-задач.

👨‍💻 VS Code лидирует, но Neovim — кумир:
- VS Code — самый используемый редактор.
- Neovim — самый «перспективный».

🧑‍🤝‍🧑 Сообщества & платформы
- 84 % разработчиков активно использовали Stack Overflow ( верится с трудом) в течение года (GitHub 67 %, YouTube 61 %)

- В опросе выяснилось: 35 % посещают SO из‑за проблем, связанных с AI‑кодом — ищут проверенную людьми информацию

📉 Меньше участников:
- В 2025 — 49k респондентов (в 2023 было 90k).
- Разработчики всё чаще критикуют перекос в сторону AI.

😕 Удовлетворённость работой & зарплаты
- Предыдущий опрос показал, что 80 % разработчиков были либо неудовлетворены, либо в состоянии «разочарованности» на работе. Интересно, как изменились показатели в 2025 году.

- В 2024 году выяснилось, что гибкость и зарплата перестали вносить равный вклад в удовлетворённость, теперь зарплата выше оказывает сильный эффект для топ‑25 % зарплатной шкалы

.- К примеру, мобильные и back‑end разработчики в UK и Нидерландах стали более удоволетворены работой за счёт более высоких зарплат

📎 Отчёт целиком: https://survey.stackoverflow.co/2025

@ai_machinelearning_big_data


#ai #stackoverflow

🌟 Mistral представила свой ответ GitHub Copilot: полноценную экосистему для разработки в энтерпрайзе.

В основе технологического стека - семейство моделей Codestral, с обновленной моделью Codestral 25.08.

Эта версия показала измеримые улучшения, подтвержденные на реальных кодовых базах: на 30% увеличилось количество принятых автодополнений, на 10% вырос объем сохраняемого после подсказки кода, а число генераций, когда модель производит слишком длинный и некорректный код, сократилось на 50%.

В режиме чата модель также стала лучше: ее способность следовать инструкциям выросла на 5% по метрике IF Eval v8, а общие возможности в программировании улучшились в среднем на 5% по тесту MultiplE.

🟡 Следующий уровень - семантический поиск и понимание кодовой базы в масштабе всего проекта.

За это отвечает Codestral Embed, модель для создания векторных представлений, специально спроектированная для кода, а не для обычного текста. По заявлениям Mistral, она превосходит эмбеддинг-решения от OpenAI и Cohere в реальных задачах по извлечению кода.

Ключевое преимущество - возможность настройки размерности эмбеддингов (до 256 измерений с квантованием до INT8), что позволяет балансировать между качеством поиска и хранением данных, сохраняя высокую производительность.

🟡Когда релевантный контекст найден, в дело вступают агентные воркфлоу.

Они реализованные через Devstral - агентскую систему на базе фреймворка OpenHands. Система ориентирована на задачи рефакторинга, генерации тестов и создание pull-реквестов.

На бенче SWE-Bench Verified модель Devstral Small 1.1 выбивает 53.6%, а Devstral Medium - 61.6%, значительно опережая Claude 3.5 и GPT-4.1-mini.

Devstral Small (24 млрд параметров) может работать на одной Nvidia RTX 4090 или Mac с 32 ГБ ОЗУ, что идеально для локальных или изолированных сред.

Все эти возможности объединяются в плагине Mistral Code для IDE от JetBrains и VS Code. Он автодополняет код с помощью Codestral 25.08 и автоматизирует рутину: написание коммитов или docstring’ов через Devstral, и семантический поиск на базе Codestral Embed.

Плагин учитывает контекст из Git diffs, истории терминала и инструментов статического анализа.

Для корпоративных клиентов предусмотрено развертывание в облаке, VPC или полностью on-prem, а также интеграция с SSO, ведение логов аудита и отсутствие обязательной телеметрии.


@ai_machinelearning_big_data

#news #ai #ml