Машинное обучение digest – Telegram
Машинное обучение digest
40 subscribers
1.3K photos
181 videos
652 links
Download Telegram
📊 Stack Overflow Developer Survey 2025 — опрос 49 000 разработчиков из 177 стран

Stack Overflow Developer Survey — это крупнейшее ежегодное исследование среди разработчиков по всему миру, которое проводит платформа Stack Overflow.

В 15‑й год в опросе приняли участие более 49 000 разработчиков из 177 стран. Опрос охватил 62 вопроса по 314 технологиям

76 % респондентов — профессиональные разработчики, большинство из них (66 %) — в возрасте 25–44 лет

🔥 Главное:

🧠 AI используют почти все:
- 80 % пишут код с помощью AI.
- Но лишь 29 % доверяют результатам ИИ (в 2024 было 40 %).
- 66 % тратят больше времени на отладку AI-кода, чем на его написание.

🏆 Claude Sonnet от Anthropic стала самой уважаемой LLM-моделью года — её отметили 67.5 % опрошенных.

💡 Но по желанию использовать на первом месте всё ещё OpenAI GPT51.2 % хотят с ней работать чаще всего.

👣 Rust и Cargo — фавориты:
- Cargo признан самым уважаемым DevOps‑инструментом (обогнал даже Terraform).
- Rust стабильно в топе любимых языков.

💡 Учёба и рост:
- 69 % изучают новые технологии, 44 % — с помощью AI.
- 36 % учат код ради AI-задач.

👨‍💻 VS Code лидирует, но Neovim — кумир:
- VS Code — самый используемый редактор.
- Neovim — самый «перспективный».

🧑‍🤝‍🧑 Сообщества & платформы
- 84 % разработчиков активно использовали Stack Overflow ( верится с трудом) в течение года (GitHub 67 %, YouTube 61 %)

- В опросе выяснилось: 35 % посещают SO из‑за проблем, связанных с AI‑кодом — ищут проверенную людьми информацию

📉 Меньше участников:
- В 2025 — 49k респондентов (в 2023 было 90k).
- Разработчики всё чаще критикуют перекос в сторону AI.

😕 Удовлетворённость работой & зарплаты
- Предыдущий опрос показал, что 80 % разработчиков были либо неудовлетворены, либо в состоянии «разочарованности» на работе. Интересно, как изменились показатели в 2025 году.

- В 2024 году выяснилось, что гибкость и зарплата перестали вносить равный вклад в удовлетворённость, теперь зарплата выше оказывает сильный эффект для топ‑25 % зарплатной шкалы

.- К примеру, мобильные и back‑end разработчики в UK и Нидерландах стали более удоволетворены работой за счёт более высоких зарплат

📎 Отчёт целиком: https://survey.stackoverflow.co/2025

@ai_machinelearning_big_data


#ai #stackoverflow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Mistral представила свой ответ GitHub Copilot: полноценную экосистему для разработки в энтерпрайзе.

В основе технологического стека - семейство моделей Codestral, с обновленной моделью Codestral 25.08.

Эта версия показала измеримые улучшения, подтвержденные на реальных кодовых базах: на 30% увеличилось количество принятых автодополнений, на 10% вырос объем сохраняемого после подсказки кода, а число генераций, когда модель производит слишком длинный и некорректный код, сократилось на 50%.

В режиме чата модель также стала лучше: ее способность следовать инструкциям выросла на 5% по метрике IF Eval v8, а общие возможности в программировании улучшились в среднем на 5% по тесту MultiplE.

🟡 Следующий уровень - семантический поиск и понимание кодовой базы в масштабе всего проекта.

За это отвечает Codestral Embed, модель для создания векторных представлений, специально спроектированная для кода, а не для обычного текста. По заявлениям Mistral, она превосходит эмбеддинг-решения от OpenAI и Cohere в реальных задачах по извлечению кода.

Ключевое преимущество - возможность настройки размерности эмбеддингов (до 256 измерений с квантованием до INT8), что позволяет балансировать между качеством поиска и хранением данных, сохраняя высокую производительность.

🟡Когда релевантный контекст найден, в дело вступают агентные воркфлоу.

Они реализованные через Devstral - агентскую систему на базе фреймворка OpenHands. Система ориентирована на задачи рефакторинга, генерации тестов и создание pull-реквестов.

На бенче SWE-Bench Verified модель Devstral Small 1.1 выбивает 53.6%, а Devstral Medium - 61.6%, значительно опережая Claude 3.5 и GPT-4.1-mini.

Devstral Small (24 млрд параметров) может работать на одной Nvidia RTX 4090 или Mac с 32 ГБ ОЗУ, что идеально для локальных или изолированных сред.

Все эти возможности объединяются в плагине Mistral Code для IDE от JetBrains и VS Code. Он автодополняет код с помощью Codestral 25.08 и автоматизирует рутину: написание коммитов или docstring’ов через Devstral, и семантический поиск на базе Codestral Embed.

Плагин учитывает контекст из Git diffs, истории терминала и инструментов статического анализа.

Для корпоративных клиентов предусмотрено развертывание в облаке, VPC или полностью on-prem, а также интеграция с SSO, ведение логов аудита и отсутствие обязательной телеметрии.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
ByteDance разогнала языковую модель в 5.4 раза с помощью дискретной диффузии.

ByteDance показала экспериментальную языковую модель Seed Diffusion Preview, основанную на дискретной диффузии, которая работает в 5.4 раза быстрее аналогов того же размера, достигая скорости 2146 токенов в секунду. При этом качество генерации кода на ключевых бенчмарках остается сопоставимым.

Для достижения такого результата команда применила двухэтапное обучение и оптимизированный параллельный декодинг. В задачах редактирования кода, диффузионный подход показал явное преимущество над авторегрессионными моделями. ByteDance рассматривает эту технологию как возможную основу для языковых моделей нового поколения. Модель уже доступна (https://studio.seed.ai/exp/seed_diffusion) для тестирования.
seed.bytedance.com (https://seed.bytedance.com/en/seed_diffusion)

Manus Wide Research: запуск до 100 ИИ-агентов одновременно.

Manus добавил новую функцию Wide Research, которая позволяет одним кликом задействовать до сотни ИИ-агентов для параллельного выполнения сложных исследовательских задач. Система автоматически определяет, когда требуется расширенный поиск, и запускает множество копий Manus, каждая из которых работает над своей частью задачи в отдельной виртуальной машине.

Архитектура Wide Research вдохновлена парадигмой MapReduce от Google. В отличие от традиционных мультиагентных систем с ролевым разделением, здесь каждый суб-агент является полной копией Manus.

Функция уже доступна для Pro-пользователей, Plus и Basic подписчики получат доступ позже .
Ji Yichao (Co-founder of Manus) в сети Х. (https://x.com/peakji/status/1950953265669214694)

Nvidia представит на SIGGRAPH 2025 ИИ-модель Queen для создания объемного видео.

Nvidia анонсировала дебют своей новой модели Queen для создания и стриминга объемного видео. Презентация состоится на конференции по компьютерной графике SIGGRAPH 2025 в Лос-Анджелесе. Демонстрации будут проходить на стенде Dell, где покажут, как Queen в связке с профессиональными видеокартами Nvidia RTX обеспечивает работу телеприсутствия в расширенной реальности и решает другие задачи по созданию контента.

Кроме того, 12 августа Nvidia проведет мероприятие «RTX Rendering Day». На нем исследователи компании расскажут о последних достижениях в области нейронного рендеринга, генерации синтетических данных и интеллектуального создания контента. Посетить сессии смогут все участники конференции.
research.nvidia.com (https://research.nvidia.com/labs/amri/projects/gtc2025-immersive-experiences/)

Cohere выпустила новую мультимодальную модель Command A Vision.

Command A Vision предназначена для анализа изображений, диаграмм, PDF-файлов и других визуальных данных. По заявлению разработчиков, на стандартных бенчмарках для компьютерного зрения она превосходит GPT-4.1, Llama 4 и Mistral Medium 3.

Модель способна не только считывать текст с документов, но и понимать их структуру, выдавая результат в формате JSON. Кроме того, Command A Vision может анализировать и реальные изображения, например, для выявления потенциальных рисков на промышленных объектах.

Модель уже доступна на платформе (https://dashboard.cohere.com/welcome/login?redirect_uri=%2Fplayground%2Fchat%3Fmodel%3Dcommand-a-vision-07-2025) Cohere и в репозитории (https://huggingface.co/CohereLabs/command-a-vision-07-2025) Hugging Face для исследовательских целей. Для запуска понадобятся 2 GPU A100 или один H100 под квантованную 4-битную версию.
cohere.com (https://cohere.com/blog/command-a-vision)

Anthropic научилась "вакцинировать" ИИ-модели от нежелательного поведения.

В Anthropic обнаружили специфические паттерны нейронной активности - "векторы персоны", которые отвечают за устойчивые черты поведения LLM: склонность к лести, галлюцинациям или откровенно злому поведению.
Выделив эти нейронные сигнатуры, ученые научились предсказывать появление проблемных личностей и, что более важно, "вакцинировать" модели от них. В ходе обучения они намеренно активируют нежелательный вектор, а затем удаляют его перед развертыванием. Это позволяет сохранить общую производительность модели, но при этом значительно снизить риск токсичных или ложных ответов.

Исследование легло в основу новой инициативы Anthropic по так называемой "ИИ-психиатрии", цель которой - мониторинг и управление поведением моделей в больших масштабах. Хотя эксперименты проводились (https://arxiv.org/pdf/2507.21509) на небольших системах, в Anthropic считают, что эта техника поможет коммерческим чат-ботам избегать непредсказуемых изменений личности.
anthropic.com (https://www.anthropic.com/research/persona-vectors)
🌟 Фреймворк **CUDA-L1** сам научился оптимизировать код для GPU — и добился в среднем **3.12× ускорения работы модели**, а в пике — **до 120×**. .

Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.


Чтобы исправить это досадное упущение, Deep Reinforce AI создали систему CUDA-L1, которая основана на трехэтапном пайплайне: сначала supervised-обучение для освоения основ, затем self-supervised для практики и, наконец, контрастное обучение с подкреплением, чтобы было все максимально быстро.

🟢На первом этапе система училась писать корректный и компилируемый CUDA-код.

Для этого существующий код был аугментирован - создавались его вариации, чтобы повысить насмотренность модели.

🟢На втором этапе модель генерировала собственный CUDA-код, тестировала его и училась на работающих примерах, отсеивая неудачные.

🟢Самое интересное - третий этап.

Обучаемой модели показывали несколько реализаций CUDA-ядер вместе с их показателями ускорения, например: «kernel_v1 дает ускорение 1.2x», «kernel_v2 — 2.8x», а «kernel_v3 — 1.5x». Затем задали 3 вопроса:

🟠Почему kernel_v2 настолько быстрее?
🟠Какая стратегия оптимизации сработает еще лучше?
🟠Напиши ядро, которое превзойдет их все.

Таким образом, модель не гадает вслепую, а учится на конкретных примерах, анализируя причины разницы в производительности.

🟡Отдельная история - как победили reward hacking.

После обучения выяснилось, что более 30% сгенерированных реализаций пытались сжульничать - создавали дополнительные CUDA-потоки, которые выполнялись асинхронно.

Поскольку бенчмарк KernelBench отслеживал время только на основном потоке, код выглядел быстрее, чем был на самом деле, показывая фиктивное ускорение в 18 раз.

Другие уловки состояли в манипуляции гиперпараметрами задачи (уменьшение batch_size или размерностей) и кеширование результатов вычислений.

🟡Пришлось строить многоуровневую защиту.

Во-первых, в качестве "адвоката дьявола" взяли adversarial-чекер на базе DeepSeek-R1, который анализировал код на предмет эксплойтов с точностью обнаружения более 60%.

Во-вторых, собрали базу данных из более чем 500 уникальных паттернов взлома, это повысило точность обнаружения на 25%.

И в-третьих, применили математическое сглаживание и нормализацию наград, где любое подозрительное ускорение (от 1.5x для простых операций) дополнительно проверялось.

🟡После всех фильтров и проверок прогон на бенчмарке KernelBench оказался весьма позитивными.

Система успешно сгенерировала рабочий код для 249 из 250 задач, причем в 240 случаях код оказался быстрее базовой реализации.

Среднее ускорение по всем задачам составило 3.12 раза, максимальное - аж 120 раз. Медианное ускорение (50-й перцентиль) составило 1.42x, а 75-й перцентиль — 2.25x.

Производительность по уровням сложности задач распределилась следующим образом: на простых операциях среднее ускорение составило 2.78x, на последовательностях операторов - 3.55x, а на сложных задачах вроде полных слоев трансформера - 2.96x.

🟡Самое важное - это переносимость оптимизаций.

Код, оптимизированный на NVIDIA A100, был протестирован на других GPU. Результаты показали, что найденные паттерны оптимизации фундаментальны и работают на разных архитектурах.

Среднее ускорение на H100 составило 2.39x (успешных ускорений 227 из 250), на L40 — 3.12x (228/248), а на потребительской RTX 3090 — 2.50x (213/242).

▶️ Пока веса и код не опубликованы, но в ожидании можно покрутить интерактивное демо и воспроизвести тесты из пейпера - в репозитории проекта есть фрагменты CUDA-кода с отдельными версиями для разных GPU.


📌Лицензирование: GPL-3.0 License.


🟡Страница проекта
🟡Arxiv
🟡Demo
🖥Github


@ai_machinelearning_big_data

#AI #ML #CUDA #DeepReinforce #ContrastiveRL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📌 Вероятность вымирания человечества от ИИ оценили в 95%.

Нейт Соарес, бывший инженер Google и Microsoft, а ныне президент Machine Intelligence Research Institute, оценивает наши шансы на вымирание от ИИ как "минимум 95%", если мы продолжим двигаться текущим курсом. Он сравнил нашу ситуацию с движением к обрыву на скорости 160 км/ч миль в час.

«Я не говорю, что мы не можем остановить машину, — сказал он. — Но мы просто на всех парах несёмся к обрыву»


С ним согласны многие: нобелевский лауреат Джеффри Хинтон, лауреат премии Тьюринга Йошуа Бенжио и руководители OpenAI, Anthropic и Google DeepMind. Все они подписали открытое письмо, в котором говорится:

«Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».


Сейчас мы имеем дело лишь с контекстным ИИ, который отлично справляется с конкретными когнитивными задачами. При этом эксперты предсказывают, что в течение нескольких лет мы достигнем порога AGI, который сравняется с человеческим.

AGI сможет решать сложные проблемы, требующие долгосрочного планирования и суждений в разных областях знаний. У него не будет потребности во сне или еде, а знания он будет передавать следующему поколению простым копированием.

Вскоре после этого появится ASI, который сможет делать вещи, о которых мы только мечтаем: лечить рак, достичь холодного термоядерного синтеза или путешествовать к звездам.

🟡Проблема в том, что эта утопия строится на предположении, что ИИ будет и дальше следовать нашим приказам.

Обеспечить это - невероятно сложная техническая задача, известная как проблема элайнмента.

Достичь его почти невозможно. Нам придется предугадывать, как «думает» ASI, что сродни попытке понять образ мыслей инопланетной расы. Даже если мы установим правила, мы не сможем предсказать, как именно он будет их выполнять.

Уже сейчас есть кейсы, которые доказывают, что ИИ может нам врать. ASI будет способен на долгосрочное планирование и манипуляции, легко убеждая нас в своей лояльности, пока это ему выгодно. А мы не сможем распознать правду.

🟡Даже те, кто настроен более оптимистично, рисуют мрачную картину.

Холли Элмор, исполнительный директор PauseAI, оценивает вероятность вымирания человечества в 15-20%. Она опасается, что даже без вымирания ИИ катастрофически ухудшит нашу жизнь, лишив нас самоопределения.

Илон Маск называет цифру около 20%, а глава Google Сундар Пичаи — 10%.

Катя Грейс, сооснователь исследовательской группы AI Impacts, описывает мир, контролируемый ИИ, так:

"Представьте себе сценарий, в котором все люди фактически живут на свалках», без какой-либо политической или экономической власти".


🟡Несмотря на это, политики и корпорации движутся в противоположном направлении.

Администрация США объявила о плане по дерегуляции исследований ИИ.

Марк Цукерберг заявил, что ASI уже на горизонте, и пытается переманить ведущих специалистов из OpenAI, предлагая им многомиллионные бонусы.

По мнению Элмор, сторонники ИИ сопротивляются паузе не по техническим или политическим причинам, а скорее из-за чего-то, похожего на религиозную веру.
thetimes.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡1
📌Руководители компаний публично хвастаются сокращением штата из-за ИИ.

Увольнения сотрудников перестали быть признаком финансовых трудностей и превратились в повод для гордости за успешные инвестиции в ИИ.

CEO крупных компаний теперь открыто заявляют о сокращении персонала, преподнося это как достижение в области автоматизации и эффективности.

Глава Verizon Ханс Вестберг недавно похвастался инвесторам:
«... у нас очень хорошие показатели по численности персонала, он постоянно сокращается».


Эта новая риторика становится тревожной нормой. Эксперты выражают обеспокоенность, что открытое хвастовство увольнениями происходит без какой-либо общественной реакции или сопротивления.

Консультанты по ИИ открыто признаются, что сами увольняли сотрудников из-за внедрения ИИ:
«Как генеральный директор, могу сказать, что я в полном восторге. Я и сам увольнял сотрудников из-за ИИ. Он не бастует и не требует повышения зарплаты».


Но, как говорится, не все такие, и есть более оптимистичные точки зрения. В прошлом месяце CEO NVIDIA Дженсен Хуан в интервью CNN предположил:

«Будет создано много рабочих мест, и я надеюсь, что рост производительности, который мы наблюдаем во всех отраслях, поднимет уровень жизни общества».

wsj.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
📌Центры обработки данных потребляют уже 8.9% всей электроэнергии в США.

Согласно анализу Международного энергетического агентства, на долю дата-центров приходится почти 9% от общего потребления электроэнергии в США.

Международное энергетическое агентство (МЭА) - автономная международная организация, созданная в 1974 году. Ее цели: обеспечение энергетической безопасности, продвижение возобновляемых источников энергии и борьбу с изменением климата.


Страна является абсолютным мировым лидером по установленной мощности ЦОД (53.7 ГВт), и этот показатель продолжает стремительно расти. Уже к 2028 году, по прогнозам, дата-центры могут потреблять 12% всей американской электроэнергии.

Спрос на вычислительные мощности, подстегиваемый бурным развитием ИИ, растет по всему миру. В Великобритании на ЦОД приходится 5.1% энергопотребления, в Евросоюзе — 4.8%. Даже в Китае, несмотря на огромные масштабы экономики, этот показатель достиг 2.3%.

Особенно ярко тренд проявляется на региональном уровне. Например, в штате Вирджиния, который является хабом для многих ЦОД, на их долю приходится уже 26% всего энергопотребления.

Этот бум заставляет технологические компании активно инвестировать не только в сами дата-центры, но и в источники энергии для них, в частности, в атомную энергетику.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM