🔍 Необходимое расширение повестки дня в области безопасности ИИ

Главная сила этой статьи — в её своевременном и веском доводе в пользу расширения парадигмы безопасности ИИ. Опираясь на богатый пласт экономической теории и реальные примеры — от судебных исков против ИИ-лабораторий за использование пиратских книг до измеримого сокращения числа фриланс-заказов для творческих профессий — авторы делают проблему экономического воздействия острой и осязаемой.

Интересное противоречие в рекомендациях авторов, заслуживающее дальнейшего обсуждения, — это потенциальный конфликт между открытостью и безопасностью. Например, хотя продвижение open-source ИИ (R2) является мощным инструментом для противодействия доминированию крупных корпораций, оно может непреднамеренно ускорить распространение дообученных, трудно обнаруживаемых моделей. Это усложняет усилия по внедрению водяных знаков (R4) и предотвращению «ухудшения обучения» (P5), о котором авторы справедливо предупреждают. По-настоящему надёжная система должна не только предлагать отдельные решения, но и учитывать внутренние компромиссы между ними.

Хотя это и статья-позиция, не содержащая оригинальных эмпирических данных, представленный в ней синтез существующих доказательств выглядит весьма весомо. Основная сложность, которую признают и сами авторы, заключается в реализации их рекомендаций. Достижение глобального консенсуса по авторскому праву, предотвращение регуляторного арбитража и финансирование масштабных программ переквалификации работников — это монументальные задачи. Однако, чётко сформулировав риски бездействия, статья даёт мощный импульс к тому, чтобы начать решать эти проблемы.

🏁 Заключение

Статья «Position: AI Safety Should Prioritize the Future of Work» — это значимый и своевременный вклад в дискуссию об ИИ. Она служит мощным призывом к действию для исследователей, политиков и разработчиков — призывом взглянуть за пределы долгосрочных, спекулятивных рисков и заняться немедленным, системным ущербом, который неконтролируемое развитие ИИ наносит нашим экономическим структурам и социальной ткани. Это обязательное чтиво для всех, кто считает, что цель создания полезного ИИ должна включать защиту ценности и будущего человеческого труда.

Любопытный пост в https://news.1rj.ru/str/fastsalttimes. Тоже про будущее настоящее работы.

Песни грядущего

Сатья Наделла на этой неделе разродился написанным ужасным корпоративным языком посланием сотрудникам Microsoft. Но за расплывчатыми лукавыми формулировками можно разглядеть суть.

Для начала уточним, что за последние три финансовых квартала компания заработала 75 миллиардов долларов прибыли и планирует потратить 80 миллиардов долларов на инфраструктуру искусственного интеллекта в 2025 году. Ранее в этом месяце акции также достигли рекордного уровня — цена закрытия акции впервые превысила 500 долларов 9 июля.

В компании работают около 220 тысяч человек, но в 2025 году уже уволили 15 тысяч. 6 000 в мае и еще около 300 в июне, и в июле 9 000.

И вот на фоне финансовых успехов и увольнений Наделла выдал свой меморандум аж на 1150 слов. Председатель и CEO Microsoft в этом тексте пытается рационализировать увольнение 9000 сотрудников. В компании письмо Наделлы восприняли нервно.

Письмо Наделлы — не только о Microsoft. В каком-то смысле, это прогноз для всей IT-отрасли, которую накрывает шторм под названием «искусственный интеллект». Автоматизация в свое время перекроила промышленную экономику, ИИ уже готов перестроить цифровую. И в центре этого шторма окажется именно софтверный бизнес.

Наделла пишет:

«По всем объективным показателям Microsoft процветает: наши рыночные результаты, стратегическое положение и рост — все идет вверх и вправо. Мы инвестируем в CapEx (капитальные расходы) больше, чем когда-либо... Это и есть парадокс успеха в индустрии, у которой нет «франшизной» стоимости. Прогресс нелинеен. Он динамичен, порой диссонантен (противоречив), но всегда требует усилий. Зато это новая возможность для нас — формировать будущее, вести за собой и влиять больше, чем когда-либо».

Перевод на человеческий язык: мы зарабатываем бешеные деньги, но все равно увольняем людей, потому что «новая парадигма», потому что нет моральных обязательств ни перед кем, кроме графика роста. Сегодня ты «талант», завтра — строчка в списке на выход. Наделла строит удобную психологическую конструкцию, чтобы смертоносную правду о будущем превратить в мягкое, почти вдохновляющее сообщение. По сути: «Да, нас ждет волна сокращений, но это же ради светлого будущего!».

Мол, рынок такой, ничего не поделаешь. А сравнение с революцией 90-х, когда ПК захватили мир, рассчитано на то, чтобы включить у аудитории FOMO — страх упустить будущее, не вписаться в прогресс, даже если этот прогресс шагает по головам.

Наделла подает увольнения как «трансформацию, полную вызовов, но захватывающую» — будто увольнение тысяч и тысяч коллег это не катастрофа, а возможность для оставшихся почувствовать себя частью исторического момента. Вся эта риторика уходит от главного — того, что боль здесь и сейчас реальна, и она только начинается.

Кого уволили? Судя по тексту, уволили людей вовсе не потому что денег не хватает. Просто эти сотрудники не вписались в новую ИИ-стратегию компании. Постоянные упоминания об «обучении» и «разучивании» — это обтекаемый способ сказать: ваши навыки устарели. Microsoft решила не переобучать старых сотрудников, а нанимать новых — уже «под ИИ». Слово «обучение», в данном случае, звучит не как вдохновение, а как угроза: «Подстраивайся под нас — или вылетишь». По факту — потому что ты нам больше не нужен, дружок, у нас теперь есть нейросети. Увольнения теперь модно делать на пике прибыли. Это называется «стратегическое позиционирование».

ИИ позволяет компаниям быть прибыльнее… при меньшем количестве сотрудников. Хорошо для акционеров. Плохо для всех, кто работает в Microsoft или в похожих компаниях. А для уволенных? Ну, им просто «не повезло оказаться не в том скиллсете». Не под ту эпоху родились, сорян. Но прямо такое не скажешь, поэтому приходится прятать месседж за ворохом туманных формулировок.

Меморандум от Microsoft — это манифест новой реальности. Раньше техсектор был щедр: плюшки, опционные бонусы, уважение к «разработчикам». А теперь пришел ИИ и перевернул стол игры и маски слетели мгновенно. Новая логика:

— Лояльность — в одну сторону: от работника к компании. А компания предлагает «возможности» — по настроению.

— Увольнения — теперь не из-за кризиса, а как стратегический маневр.

— Прибыль — это не повод сохранять рабочие места или переучивать сотрудников, а возможность «трансформироваться», сокращая штат.

Винить Наделлу было бы глупо. Бизнес и ничего личного. Компания меняется. Мир меняется. Письмо подает сигнал Wall Street, что несмотря на увольнения все под контролем. И это не только о Microsoft. Это предупреждение для всех в ИТ-индустрии: вы ценны только тогда, когда компания видит в вас ценность в контексте ИИ. Будет больше боли.

https://blogs.microsoft.com/blog/2025/07/24/recommitting-to-our-why-what-and-how/

**

https://fastsalttimes.com/nadella-memo/

Ещё из любопытных новостей, JetBrains разрабатывает английский для программирования

In a July 23 interview with InfoWorld, JetBrains CEO Kirill Skrygan elaborated on company plans for an as-yet-unnamed language that would describe a program at a higher level of abstraction. He reflected on how computer code originally was written in Assembler and moved to higher levels of abstraction with C and C++, then on to yet higher levels with Java and C#. “And now it’s time to move even higher,” Skrygan said. “So when we write the code, we’ll basically lay out the ontology, the object-oriented architecture, what we have in mind, or have somewhere written in design docs.” This “whole architecture program” will make AI code generation more controllable, transparent, and useful, he said.

JetBrains is exploring how to make this new language a derivative from Kotlin, but Skrygan believes the derivative should be English. “So basically, you write the design doc in English, maybe with some semantics, with some abstract paragraph, some other things which might help.” He provided the example of creating a cross-platform application that works on iPhone, Android, the web, or other platforms. “So instead of writing three applications, you write it in a special programming language, which is basically English, which describes how you want to see this application in a very specified way, and then AI agents, together with JetBrains tooling, will generate the code of all of these platforms,” Skrygan said.

https://www.infoworld.com/article/4029053/jetbrains-working-on-higher-abstraction-programming-language.html

Слайд забыл :)

И снова про AI-исследователей.

Авторы претендуют на end-to-end NAS (network architecture search), заявляют что увидели аналог хода 37 Альфаго, и обнаружили закон скейлинга — чем больше компьюта, тем линейно больше SOTA архитектур.

https://news.1rj.ru/str/gonzo_ML_podcasts/591

Нас всех отскейлят!

Очень прикольная работа про subliminal learning: https://news.1rj.ru/str/gonzo_ML_podcasts/602

Из серии про природу вещей и геометрию репрезентаций. Идея в том, что при дистилляции модель-студент может выучить способности, которые напрямую ей не передаются. Например, любовь к совам через обучение числовым последовательностям.

Вроде на уровне внутренних репрезентаций и общих инициализаций всё логично, но вообще даёт богатую пищу для размышлений. Куда-то сюда же ложится тема про dataset distillation (https://news.1rj.ru/str/gonzo_ML/143), да и вообще возникают вопросы, как у людей могут появляться разные фичи без явной их передачи. Может, кстати, эффект Манделы сюда же? ;)

Я, кстати, хочу подсветить, что в работе про subliminal learning в большинстве экспериментов была не logit-дистилляция, для которой всё было бы более-менее очевидно (был один эксперимент на MNIST с logit-дистилляцией), а дистилляция на уровне токенов, по сути обычный SFT, когда модель-учитель (например, закрытая GPT-4.1/mini/nano) генерит ответы на несвязанные со скрытой способностью запросы, а другая такая же модель (тоже закрытая GPT-4.1/mini/nano) на этом датасете файнтюнится.

Это добавляет находке красоты!