Если на каком-нибудь большом заводе или фабрике вдруг застопорилась производственная линия, значит что-то сломалось. Можно отправить туда инженера посмотреть, но сегодня всё оборудование, даже самое старое, стараются снабжать датчиками.

Но датчики лишь помогут мгновенно зафиксировать отклонения от нормы в одном конкретном узле или провести какую-нибудь несложную обработку. Если же датчиков много всяких и разных, можно попробовать сделать вывод о характере и причинах неисправностей, анализируя совокупность всех сигналов и выискивая в них знакомые паттерны.

Опытные инженеры способны делать это на глаз, но сегодня такую работу пытаются поручать искусственному интеллекту. По сути, здесь решается задача классификации: большому вектору сигналов ставится в соответствие тот или иной тип поломки. А на очень крупном предприятии сигналов так много, что приходится использовать нейросети.

А где большая промышленность, там и угрозы промышленного шпионажа и саботажа, и нейросети становятся дополнительным звеном уязвимости. Сегодня на Хабре с моей помощью появился обзор того, какие бывают атаки на модели диагностики неисправностей на предприятиях и как с ними можно бороться на алгоритмическом уровне

Языковые модели хороши тем, что они улавливают структуру языка без необходимости понимать смысл слов, и это уже даёт им некоторые знания о предметной области. Но ведь слова — это просто набор символов, а, значит, такая же схема работает и с другими типами данных, например, с игрой в шахматы, записанной через специальную нотацию.

На самом деле, языковые модели пытаются применять в совершенно различных областях, и сегодня мы поговорим о химии. Чтобы загнать в такую нейросеть химические знания, молекулы нужно представить в виде текста. Правда, обычные формулы, которые мы изучали в школе, немного не подходят, поэтому был придуман специальный язык-правило под названием SMILES. На рисунке к этому посту вы можете увидеть, как по SMILESки будет муравьиная кислота.

А нельзя ли создать супер-модель, которая будет понимать, и SMILES, и русский/английский/татарский/клингонский одновременно? Такие языковые модели получили название кросс-доменных, то есть оперирующих и связывающих разные типы данных. По задумке создателей, при обращении к такой модели на человеческом языке, она выдаёт ответ, опираясь на загруженные с помощью формул химические знания.

Только вот оказалось, что у современных химических кросс-доменных языковых моделей дела идут всё ещё не так хорошо, как хотелось бы. Это выяснила команда исследователей из нескольких российских институтов, которая разработала для них несколько новых тестов. Рассказываю подробности в свежем блоге на сайте AIRI

Вам знакомо выражение «картинка со звуком»? Это популярный повод для мемов, когда, глядя на кадр, в голове у себя дорисовываешь видео, откуда оно взято (пример).

А для меня существует феномен «видеоигра с запахом».

Когда-то давно в 90-х годах, пластик, из которого делали персональные компьютеры, был другого свойства, нежели нынешний. Во время работы компьютера температура корпуса поднималась, и пластик источал специфический запах компьютерной техники.

Одна из таких «игр с запахом» для меня — Another World, стильная французская двумерная адвенчура. На тот момент я не мог её пройти (хотя в зрелом возрасте с её переизданием для айпада управился за полчаса), но игра сильно отпечаталась своей кинематографичностью, сценарием и дизайном уровней.

Вишенкой на торте стал вступительный ролик в стиле фестивального авторского кино, который рассказывал о буднях физика-трудоголика, который в одиночку проводил эксперименты на синхротроне. Спустя столько лет я вернулся к этому ролику, чтобы понять, насколько реалистично автор показывает нам эту работу — текст с разбором появился сегодня на N + 1

Для вновь подключившихся поясню.

У меня есть хобби: искать видеоигры, в которых сюжет или дизайн окружения (но не механики!) черпают идеи из глубоких физических концепций, а потом делать разборы, которые выходят на N + 1.

За несколько лет, что я этим занимаюсь, я разобрал Mass Effect, Black Mesa, Bioshock Infinite, Control, Quantum Break, Another World и Prey. И это не считая разбора «Довода», потому как это кино, а не игра (да и вообще я тогда ещё не был журналистом).

В общем, ссылочки все приложил, можете почитать, если ещё не

PS Если вам кажется, что есть ещё игра, которая попадает под указанные критерии, вы мне напишите, я её обязательно посмотрю

История методов квантовой химии — это история компромиссов.

Начать стоит с того, что в квантовой механике точно решается лишь задача двух тел — и то, благодаря переходу в систему центра масс с одной подвижной частицей. Именно поэтому, к примеру, лидером по числу знаков после запятой, где соревнуются теория и эксперимент, является наука об атоме водорода и ему подобных (о таком я ранее писал регулярно).

Молекулы — это системы с множеством тел. Уже для гелия отсутствуют точные решения уравнения Шрёдингера, а уж для молекул и подавно. Поэтому расчётчикам приходится придумывать приближённые подходы, которые позволяют за разумное время вычислить хотя бы энергию той или иной конформации (то есть некоторой пространственной конфигурации атомов в молекуле). Наиболее популярный среди них — теория функционала плотности (или просто DFT), в которой волновые функции всех электронов в основном состоянии молекулы (хотя с недавнего времени не только) сводят к электронной плотности.

Несмотря на такую редукцию, DFT всё ещё трудноподъёмен для достаточно крупных молекул, ибо его сложность растёт как четвертая степень числа электронов. В поисках более быстрых методов исследователи обратились к нейронным сетям, которые могли бы научиться искать минимальную энергию среди множества конформаций данной молекулы.

Этот путь оказался перспективным, но не без трудностей. О том, какие в этом направлении имеются проблемы, рассказывает в свежем посте на Хабре один из исследователей AIRI Артём Цыпин. Он также делится там деталями работы своей команды на этом поприще, которую я кратко осветил в блоге на сайте Института

Давным-давно, когда в моей жизни витал дух карьерной неопределенности, я принял предложение поделать тексты для одного онлайн-журнала про энергетику. Наше сотрудничество было недолгим, по большей части из-за того, что тематика издания не подразумевала глубокого погружения в физику, а потому мне было особо не развернуться.

Более того, выпускающий редактор просил меня максимально упрощать подачу, чтобы статьи были понятны школьникам средних классов. Из-за этого некоторые формулировки, которые впоследствии остались в текстах, у меня самого вызывали кислое выражение лица, а выпущенные варианты сильно отличались от написанных черновиков. Работу я, тем не менее, сделал, оставшись, впрочем, инкогнито.

Сейчас я смотрю на это прозаически, поэтому, вспомнив этот эпизод, решил принести несколько ссылок: про тепловое излучение, топливо для космических аппаратов и историю открытия электромагнитной индукции.

Кстати, работа над первым из текстов заставила меня задуматься над вопросом про непрерывный спектр Солнца, в честь которого я устроил полноценный розыгрыш в этом канале!

Представьте себе такую задачу: нужно сопоставить человеческому темпераменту определенную марку автомобиля. Или категорию товаров в аптеке — определенному музыкальному предпочтению. Или фотографиям людей — их аниме-аватары.

Все эти задачи можно описать как задачи переноса данных одного типа в другой с сохранением классов. На картинке к этому посту приведена иллюстрация этой идеи: изображениям одежды определенных типов (платья, штаны) ставятся в соответствие рукописные цифры, написанные разными почерками.

Обычно эти задачи решаются хорошо известными методами машинного обучения, в которых происходит некоторая оптимизация с помощью вычисления какой-либо евклидовой дистанции, то есть расстояния между двумя точками в некотором пространстве. В данном случае речь идёт о пространстве векторов, в которое кодируются нужные данные. Примером таких дистанций могут служить функции стоимости l1 (сумма модулей разниц между предсказанием модели и целевым значением) и l2 (сумма квадратов того же самого).

Иногда на эти задачи смотрят с точки зрения теории оптимального транспорта, основы которого заложил ещё советский математик и экономист Леонид Канторович. В частности, этим занимается одна из команд в Институте AIRI, про чьи исследования я здесь регулярно пишу.

На этот раз наши учёные подвергли сомнению оптимальность использования эвклидовых дистанций в задачах о переносе с сохранением класса и предложили вместо функций использовать функционалы. О том, что из этого вышло, рассказываю в свежем блоге

Инструменты для редактирования изображений постепенно становятся обыденной вещью, а их качество растёт с каждым годом. Теперь вы можете поменять причёску на фото, снять очки или даже состарить лицо без необходимости фотографирования повторно.

Интересно и то, как по какому алгоритму работают эти инструменты. Нейросети умеют раскладывать изображение на составные части, причём буквально (это называется инверсией). Во внутренних слоях модели кодируются все те элементы, которые требуется изменить, будь то очки, морщины или даже угол поворота головы. Мне это чем-то напоминает разложение функции в ряд Фурье.

Но если для коэффициентов ряда Фурье существуют простые формулы, то в случае с инверсией и последующим редактированием изображений всё гораздо сложнее. Нейросеть нужно сначала обучить — причём на уровне многомерный параметрических пространств — какое смещение вектора представлений какому изменению на фото соответствует. И вот тут-то и кроется самое сложное и интересное.

Не так давно исследователи из AIRI разработали метод, который справляется с описанным задачами лучше, чем какой-либо ещё. Подробности своих достижений они представили не только в научной статье, но и в большом тексте на Хабре, который я помог им составить.

P.S. Ребята сделали открытое demo, в котором вы можете загрузить своё фото и попробовать его отредактировать!

ChatGPT — это языковая модель, то есть она составляет наиболее правильные последовательности символов с точки зрения обучающей выборки. Тем не менее, иногда она может научиться решать специфичные задачи, которым её никто специально не учил, если подать ей на вход несколько текстовых примеров формата «вопрос-ответ». Этот феномен носит название контекстного обучения (in‑context learning), поскольку множество примеров в данном случае формирует контекст.

Эта техника стала развиваться сравнительно недавно благодаря тому, что в современных LLM сильно выросла длина входной последовательности (подробнее об этом я уже рассказывал ранее). Чем она больше, тем больше можно показать модели примеров, а, значит, большей точности от неё ожидать.

И, как и в любой ML-области, контекстному обучению нужны хорошие бенчмарки и датасеты. А с ними до недавнего времени было туго. Ситуацию исправили исследователи из научной группы «Адаптивные агенты» в AIRI. Они собрали такой датасет и презентовали его в научной статье. А чтобы рассказать об этом русскоязычным коллегам, один из членов команды написал статью для Хабра с небольшим обзором in‑context learning и техническими деталями исследования. А я, как водится, помог этому тексту увидеть свет

Машинное обучение с разной скоростью проникает во все области науки. Одна из моделей такого синтеза — это когда профессор, далёкий от ML/DL, берёт в аспирантуру/магистратуру вычислительного математика, и вместе они начинают искать скрытые закономерности.

И здесь кроется ряд опасностей, ноги которых растут в том, что в команде нет человека, обладающего полнотой картины. Профессор не шарит за алгоритмы, студент/аспирант — в предметной области. Как следствие, группа рискует попасть в плен иллюзий и когнитивных искажений: модели строятся, статьи пишутся, гранты получаются, но реального научного знания не прибавляется.

Похоже, именно это сейчас массово происходит в такой области, как биология старения, а в частности — поиска часов старения. Во всяком случае, если верить научному сотруднику лаборатории «Сильный ИИ в медицине» в AIRI Дмитрию Крюкову. Его группа недавно опубликовала научную статью, в которой привела аргументы, почему большинство часов старения, которые базируются на слепом использовании базовых ML-алгоритмов, скорее всего не предсказывают ничего из-за неумения их авторов учитывать неопределенности.

Своё мнение на этот счёт Дмитрий изложил в большой колонке на Хабре, которую мы вместе с ним сегодня выпустили

Помните, я упоминал, что после работы над досками из Black Mesa, они теперь привлекают моё внимание всюду, даже в командировках? Это была не шутка и даже не преувеличение.

На этот раз одна такая доска попалась мне в самом первом эпизоде сериала «Кибердеревня». Многие из вас, вероятно, узнали в записях уравнение Шрёдингера в координатном представлении. По версии авторов сериала именно оно является решающим компонентом в вопросе переселения сознания из одного носителя в другой

Два года назад я «заказал» нейросети (на тот момент, ранней версии Midjourney) аватарку с промптом в виде названия канала. За это время генеративные модели скакнули вперёд, да и желание обновиться назрело.

Новую аву мне нарисовала сетка, которую всем желающим предоставляет стартап neural.love. Команда этой маленькой компании, кстати, состоит из людей, которые делали когда-то милый моему сердцу TJournal, поэтому здесь есть и эмоциональный момент тоже

Я сейчас в Санкт-Петербурге, слушаю лекции на Летней школе Института искусственного интеллекта AIRI для студентов и аспирантов «Лето с AIRI», которая стартовала сегодня. В прошлом году партнёром AIRI был Иннополис, на этот раз школу помогает делать ИТМО. Питер, конечно, сильно дальше, но мне всё равно удалось выделить время и приехать.

На фото доклад руководителя лаборатории Fusion Brain Андрея Кузнецова, который рассказывает о том, чем сильный ИИ отличается от слабого.

Коридоры ИТМО, к слову, вызывают у меня приятное чувство ностальгии. Я гулял по ним в 2009 и 2010 годах, когда участвовал в конференциях по оптике

Как любитель видеоигр и искусственного интеллекта, не могу пройти мимо этой новости.

Исследователи из Google и университета Тель-Авива продемонстрировали игровой движок, который полностью отрисовывает кадры с помощью нейросетей. В качестве объекта для опытов они выбрали первый DOOM.

Результаты видны на видео. Если честно, они напоминают мне сон геймера из 90-х, который переиграл в свою любимую игру: картинка немного плавающая, объекты исчезают и появляются, но, не зная, что это нейросети, на первый взгляд легко обмануться: даже патроны и HP уменьшаются согласно событиям игры.

Впрочем, это не совсем игра, в которую можно поиграть. Сначала авторы научили играть в дум RL-агента, а затем использовали записи этих игр, чтобы обучить диффузионные модели предсказывать следующий кадр. Таким образом, геймплей, который мы видим — это буквально сон нейросети. Однако в будущем этот сон можно будет обусловить на управление, и тогда мы получим настоящий игровой нейродвижок.

Подробности можно почитать по ссылке.

Думаю, уже можно смело объявить, что DOOM запустили на нейросетях!

Недавно я рассказывал вам об успехах одной из команд AIRI, а именно лаборатории Fusion Brain, на поприще создания методов, которые бы умели эффективно и быстро редактировать изображения с помощью нейросетей. Особенностью той работы была в том, что исследователи строили модели на основе GAN’ов или, по-русски, генеративно-состязательных сетей (о них я тоже писал).

Но GAN — это не единственная нейросеть-рисовалка. Другой популярный подход — это диффузионные модели, которые также часто гостят на моём канале. У них совсем другая архитектура, поэтому и принципы редактирования с их помощью иные. Но это не помешало исследователям из Fusion Brain добиться успехов и там.

Подробнее об этом рассказывает на Хабре один из членов команды Вадим Титов. Как и в прошлый раз, ребята подготовили демо, с которым может поиграться любой желающий

Обучение с подкреплением — это когда ИИ-модель учится методом проб и ошибок, а вы подсказываете ей, правильно она поступает или нет. Про него часто упоминают, говоря о роботах или о победе компьютера над человеком в очередной игре (настольной или компьютерной).

Но применяют этот метод куда шире, например, для поиска новых лекарств. Наилучшим решением в этом направлении 2021 году стала модель FREED, которая для данного белка поатомно собирала (или, как говорят в области ИИ, генерировала) нужный лиганд (теоретически, разумеется).

Но оказалось, что во FREED ещё много багов и недостатков. Это выяснила команда исследователей из AIRI. Они не только исправили все ошибки, но и сильно улучшили модель, назвав своё детище FREED++.

Подробностями разработки делится на Хабре один из членов команды, а я, как водится, помог ему выпустить этот текст

Сегодня Google Translate или ему подобные средства машинного перевода стали обыденным инструментом для большинства людей, использующих Интернет. Завтра обыденными станут чатботы по типу ChatGPT (а для кого-то уже). Во всех этих технологиях применяются большие языковые модели или LLMки.

Чтобы обучить LLM, вам нужно много текста. И если на английском или русском написано много всего разного, то вот собрать большой датасет для удмуртского или алеутского уже сложнее. Хотя именно исчезающим языкам хорошая модель нужнее всего — так можно сохранить хотя бы их цифрового носителя-нейросеть. Ну и необходимость в переводчиках и ИИ-ассистентах для говорящих на них тоже имеется. Значит ли это, что такие малоресурсные языки невозможно смоделировать?

Оказалось, что помочь здесь может технология трансферного обучения или обучения с переносом знаний. Это когда модель предобучается на одном обширном типе данных, а потом доучивается на более специализированном, но бедном датасете. Такая схема работает, если оба типа данных (или домена, как их называют в ML) близки. Например, я уже рассказывал, как это работает с картинками.

К языкам трансферное обучение тоже применимо, однако традиционно принято предобучать LLM на английском. Исследователи из AIRI и Сколтеха в ходе масштабных экспериментов с почти пятью тысячами пар языков, включая исчезающие, выяснили, что это не самый оптимальный язык-донор: вместо него лучше использовать африкаанс или словенский. Они не только выяснили, какие факторы делают перенос знаний наиболее эффективным, но поставили рекорд по числу смоделированных языков.

Рассказываю об исследовании в блоге на сайте AIRI

Кстати, а ещё сегодня исполняется 11 лет с момента выхода на консоли легендарной игры Grand Theft Auto V. Лично для меня эта игра остаётся знаковой, так как в течение пары лет она занимала довольно большую часть моего игрового досуга, главным образом благодаря её онлайн режиму.

Но причём здесь наука? Сейчас расскажу.

Ещё в период, когда я активно следил за научно-новостной повесткой, я часто видел упоминание GTA V в своём инфополе. То её проверяли на стимулы к агрессии у игроков, то использовали в качестве полигона для нейросетей.

В честь знаменательной даты я решил исследовать, что там по научным публикациям с упоминанием Пятёрки. Поскольку к Scopus доступа нынче нет, а Google Scholar слишком уж демократичный, я воспользовался платформой openalex.org. Оказалось, что на момент написания этого поста Grand Theft Auto V фигурирует в 743 статьях, книгах и диссертациях, и ещё 131 раза её указывали как Grand Theft Auto 5.

Что интересно: в рубрикаторе лидируют, конечно, социальные науки, но дальше плотным строем идут различные инженерные и компьютерные направления, такие как, к примеру, Computer Vision (см картинку к посту). Примечательно также, что последние годы число статей лишь растёт. Лично меня всё это очень радует, поскольку я пребываю в уверенности, что современная академия ещё далеко не до конца раскрыла ресурсы, которые могут ей предоставить интерактивные развлечения.

Поздравляю именинницу и всех причастных!

Как научить робота строить маршрут в сложном лабиринте? Сегодня эту решение этой задачи разбивают на две части.

Сначала какой-нибудь классический алгоритм решает упрощенную задачу, предлагая траекторию в виде ломаной прямой (например алгоритм A*, про который я пару раз рассказывал здесь).

Но настоящий робот — это не точка, а целый агретат, обычно на колёсах, который и размер имеет, и резко повернуть не может. Поэтому нужна вторая часть вычислительной схемы — алгоритм, который адаптирует ломаную под эти ограничения, делая её гладкой и не давая роботу сталкиваться с препятствиями.

В свежем Хабре, который я помог выпустить сегодня, один из исследователей AIRI рассказывает, как их группа приспособила под эту задачу нейросети

Вообще-то писать рецензии на нон-фикшн литературу — это не то, что я регулярно практикую, и в этом посте я не собираюсь этого делать. Но не упомянуть книгу, которую я недавно закончил читать, не могу. Речь идёт о книге Нассима Талеба под названием «Черный лебедь. Под знаком непредсказуемости», посвященную случайностям и неопределённостям и их влиянию на сложные системы.

Тезисно: случайности бывают двух типов. Первый тип регулируется нормальным распределением, при котором шанс встретить аномалию сверхэкспоненциально уменьшается по мере удаления от среднего значения — обычно у этого есть какие-либо естественные причины. Во втором случае распределения менее формализованы, но обычно похожи на степенной закон с плавающей степенью — такое наблюдается в средах, где нет физических ограничений на масштаб величин, например, в финансах.

Если продраться через самолюбование автора собой, оскорбления коллег и сведения счётов с оппонентами, из книги можно усвоить важную мысль: со вторым случаем мы сталкиваемся гораздо чаще, чем нам кажется и хочется, и применение тут теорий на основе нормального распределения создаёт опасную иллюзию, что мы понимаем сути процессов при реальном отсутствии такового понимания. Лично я после знакомства с этой книгой стал не только с подозрением относится к экономическим теориям, которые хает автор, но и даже к тому, как у нас в физике считают ошибки (но, надеюсь, беспочвенно).

Взяться за эту книгу меня побудило две вещи. Сначала мне её рекомендовал один авторитетный для меня человек, а на следующий же день я натолкнулся на ссылку на эту книгу в одной из свежих статей в Nature