Ещё раз про протеины

Помните, летом писала про расшифровку структуры почти всех известных белков в природе? Протеиновый тренд с тех пор не затихает. Недавно российские учёные из AIRI показали инструмент для предсказания участков связывания антител с белками вирусов и бактерий — SEMA. Я пообщалась с разработчиками алгоритма, чтобы выяснить детали (и зачем вообще всё это нужно).

Чтобы понять суть, нужно кратко рассказать, как работает вакцинация. В вакцинах содержится белок, аналогичный белку вируса, против которого необходимо выработать иммунитет.

На этот белок нарабатываются специфичные антитела. После появления новых мутаций в геноме вируса (новые штаммы) не все антитела продолжают «садиться» на изменённые белки и останавливать проникновение изменённого штамма в наши клетки.

Здесь в игру вступает SEMA — он помогает оценить вероятность и эффективность контакта между белком вируса и антителами. То есть инструмент предсказывает наиболее вероятные места посадки антител (такие площадки называются эпитопы) на исследуемый белок.

Кому будет полезна технология? В первую очередь биологам, иммунологам, разработчикам вакцин и терапевтических препаратов на основе антител.

Нейросеть обучили на датасете, который собрали из данных базы PDB (брали всю доступную инфу по комплексам антиген-антитело). Модель принимает белки в виде аминокислотной последовательности или 3D-структуры. На выходе получается информация, полезная при выборе самых перспективных фрагментов белка для включения в состав вакцины.

Фишка в том, что SEMA уже есть в открытом доступе. Там его можно даже потестить (для этого есть уже готовые последовательности). А вот исходный код на GitHub.

Так работает SEMA: инструмент для предсказания участков связывания антител с белками вирусов и бактерий

ДAIджест недели

Продолжаем уже регулярную пятничную рубрику. Все самые интересные новости прошедших дней несколькими строками.

1. Imagen Video. Новый и очень впечатляющий инструмент от Google, который умеет генерировать видео по текстовым подсказкам. На выходе получается пятисекундный ролик с частотой 24 к/с и разрешением 1280х768. Примеры можно посмотреть здесь, а подробности архитектуры — здесь.

2. Magic Leap 2. Разработчики называют второе поколение AR-очков «самым маленьким и лёгким устройством дополненной реальности, созданным для предприятий». Очки и правда стали на 20% легче (260 г) и на 50% меньше. Внутри — два дисплея по 1440х1760 и 120 Гц, а также 3 широкоугольных камеры. Диагональный угол обзора 70°. Подробности по ссылке.

3. 3DiM. Google Research показала диффузионную модель для синтеза трёхмерной картинки всего из одного изображения. Посмотрите, как это выглядит — даже немного не верится.

4. ИИ помог учёным рассчитать движение электронов по квадратной решётке. Раньше эта задача требовала сотни тысяч уравнений, но алгоритм сократил их до четырёх. Вот мой подробный пост, а здесь оригинальная новость.

Друзья, я, как автор канала про ИИ слежу за большим количеством коллег по цеху, так сказать.

Один из таких каналов - это SmartMarket by Sber. А недавно мне удалось познакомиться с ними лично. Обсудили с ребятами новости в мире AI, тренды, перспективы и проблемы. Так на теме Kaggle разговорись и авторы предложили мне написать для их канала пост про комьюнити.

Если вы не знаете, Kaggle— это комьюнити для начинающих и продвинутых дата-сайентистов. Первые могут учиться, задавать вопросы и обмениваться «ядрами». Вторые — нарабатывать связи, решать сложные задачки и зарабатывать рейтинг. В общем, подробнее рассказала на SmartMarket by Sber.

Мне нравится на канале, что авторы пишут без воды и стараются быть максимально полезными. Приходишь, и понимаешь, что ты тут можешь получить для себя. Есть и про новый инструментарий саентистов, и лайфхаки из крупных корпораций. А еще там бывают подборки вакансий.

Внезапный скачок

На Financial Times вышла интересная колонка о том, как ИИ за последние пару лет совершил гигантский прорыв — и в плане полезности для пользователей, и для индустрии бизнеса. Делюсь хайлатами.

По словам партнёра Sequoia Capital Пэта Грейди, генеративные системы вышли на новый уровень на пару лет раньше, чем предсказывали эксперты. Что произошло? Автор материала выделяет три вещи.

☝️ Системы ИИ вышли за рамки текста. Сначала появились модели вроде Dall-E 2, Midjourney и Stable Diffusion, которые умеют генерировать изображения по текстовому описанию. И совсем недавно свет увидели сразу несколько алгоритмов для создания видеороликов по запросу.

☝️ Стоимость обучения гигантских ИИ-моделей начала быстро падать. Самые современные методы позволяют тренировать нейросетки, не задействую колоссальных ресурсов (и денежных, и технических). Например, на обучение Stable Diffusion потратили всего 600 тыс долларов — относительно небольшие вложения для крупного бизнеса.

☝️ Технологии стали доступнее. Например, Midjourney работает по модели freemium (первое время бесплатно, а потом разработчики берут небольшую плату). К тому же многие компании открывают своё ПО и публикуют подробности того, как обучают нейросети. Это позволяет другим организациям эффективнее тренировать собственные модели.

Рисков, связанных с генеративными системами, до сих пор много — я уже не раз писала про все этические вопросы. Но в бизнес-среде хотя бы часть этих проблем можно контролировать.

Та самая колонка Financial Times, если не откроется, можно почитать тут.

Самый большой каталог ИИ-моделей для креаторов

Полезных нейросетей в открытом доступе стало столько, что в них уже легко запутаться. Поэтому добрые люди из Phygital + сделали удобный сайт, на котором собрали больше четырёх сотен алгоритмов для работы с графикой.

Разработчики называют свой каталог «самым большим и актуальным» — кажется, им можно верить. Аналогов я пока не видела.

На главной странице есть поиск, в котором можно найти модель или по выполняемой задаче, или по названию. В фильтрах можно указать входные и выходные данные. Ну и хэштеги есть, конечно же.

Каждая карточка — это не просто ссылка на сервис. Для примера возьму первую попавшуюся модель, пусть это будет Lalal.ai. Открываю ссылку и вижу описание — нейросеть умеет извлекать отдельные части аудиоряда (вокал, аккомпанемент, музыкальные инструменты) из любого трека или видео.

Снизу есть вся полезная инфа, ссылки на официальный сайт и на контакты всех представителей стартапа. Иногда прикладывают и ссылку на GitHub с исходным кодом (если он есть).

Как вкатиться в Stable Diffusion, если я гуманитарий?

Многие почему-то думают, что SD подвластна только датасаентистам с зарплатой 300к/наносек. Но на самом деле генеративным искусством может заниматься каждый. Давайте я вам помогу разобраться, как установить Stable Diffusion.

Сразу оговорюсь, что для запуска модели вам понадобится видеокарта хотя бы среднего уровня. Владельцев ПК и ноутбуков со встроенной графикой, скорее всего, постигнет сильное разочарование (хотя вы можете поиграться с онлайн-демкой). Также нужно иметь минимум 10 ГБ свободного места на жёстком диске, так что вам, возможно, придётся удалить пару сезонов “Кармелиты”.

Что нужно сделать:

📍Установите Git (в установщике везде жмём “Next”, не трогая отмеченные по умолчанию опции);
📍Установите Miniconda3 (а вот тут важно не забыть поставить галочку на пункте “All Users”);
📍Скачайте самую свежую контрольную точку Stable Diffusion (на данный момент это версия 1.4, поэтому кликайте на “stable-diffusion-v-1-4-original”). Кстати, здесь вам всё-таки придётся зарегистрироваться, но это займёт буквально пару минут. Загрузите один из вариантов — “sd-v1-4.ckpt” или “sd-v1-4-full-ema.ckpt”. Второй, по идее, должен давать более качественные результаты, но он и весит вдвое больше, поэтому выбирать вам;
📍Скачайте Stable Diffusion с GitHub;

Готово, вы великолепны. Осталось всего несколько шагов, но они будут чуть сложнее.

📍Создайте папку “stable-diffusion” на диске “C” (путь должен выглядеть так: “C:\stable-diffusion”). Распакуйте ранее скачанный ZIP-архив “stable-diffusion-main” в созданный вами каталог. Должен получиться следующий путь: “C:\stable-diffusion\stable-diffusion-main”;
📍Запустите командную строку Miniconda3. Для этого можно ввести в поиске Windows запрос “miniconda3” и в выпавшем списке выбрать “Anaconda Prompt”;

В открывшемся окне введите следующую команду:

cd C:\stable-diffusion\stable-diffusion-main
conda env create -f environment.yaml
conda activate ldm
mkdir models\ldm\stable-diffusion-v1

Процесс займёт какое-то время, не прерывайте его. Когда он завершится, откройте папку “C:\stable-diffusion\stable-diffusion-main\models\ldm\stable-diffusion-v1” и переместите туда ранее скачанную контрольную точку “sd-v1-4.ckpt” (или “sd-v1-4-full-ema.ckpt”, если вы выбрали этот вариант). Переименуйте файл в “model.ckpt”.

Получилось? Супер! Теперь у вас установлена Stable Diffusion. А вот как ей пользоваться, я расскажу в следующий раз.

Почему языковым моделям так тяжело даётся математика?

Казалось бы, большие модели должны щёлкать математические задачи, как орешки. Но до недавнего времени они сталкивались с серьёзными проблемами даже с элементарными школьными вопросами, написанными естественным языком. К тому же при перемножении очень больших чисел ИИ забывали что-то перенести или ошибались на единицу, говорит эксперт из OpenAI. Или они могут неправильно истолковать число — например, 1 и 0 вместо 10.

Исследователи поняли, что увеличение масштаба датасетов не очень подходит для обучения языковых моделей математике. Здесь нужен более целенаправленный подход. Например, Minerva от Google объявила о 78-процентной точности с минимально масштабируемыми данными. Правда, учёные говорят, что модель приходит к правильным ответам через «странные, запутанные рассуждения». Но в этом деле важнее результат.

Подробнее о рассуждениях исследователей можно почитать в журнале Spectrum IEEE.

Как пользоваться Stable Diffusion

Итак, вы установили Stable Diffusion, но там не оказалось кнопки “прочитать мои мысли и сделать красивенько”. Без паники, сейчас я всё объясню.

Первым делом нужно активировать среду ldm. Для этого запустите командную строку Miniconda3 и наберите:

conda activate ldm

Если надпись “(base)” сменилась на “(ldm)” — вы на правильном пути. Идём дальше и вводим:

cd C:\stable-diffusion\stable-diffusion-main

Чтобы сгенерировать изображение размером 512 на 512 пикселей, вызываем скрипт txt2img и прописываем желаемые параметры в двойных кавычках после команды “--prompt”. Например, я хочу получить на выходе снимок милой собачки:

python noscripts/txt2img.py --prompt "dog joined death metal band, photorealistic" --plms --n_iter 5 --n_samples 1

Параметры, прописанные после запроса в кавычках, лучше оставить такими же, как указано в моём примере. Это оптимальные настройки для среднего ПК. Если вам интересно посмотреть, какие ещё опции доступны в Stable Diffusion, наберите:

python noscripts/txt2img.py --help 

Кстати, вы можете определять не только сюжет изображения, но и его характеристики. Их также необходимо добавить в описание. Например, напишите “vivid, abstract art, colorful”, если должен получиться образец современного искусства, или “photorealistic, UHD, photography”, если хотите более живую картинку.

Вы ограничены только своей фантазией, так что экспериментируйте. Ну или подсмотрите готовые описания в профильных сообществах (например, на Reddit).

Вот такая картинка у меня получилась по запросу из примера. Вам нравится?

Как ИИ меняет спорт? 8 хайлайтов

Постараюсь очень кратко уложить в один тележный пост большой материал с Marktechpost о том, как спортивная индустрия стремительно меняется (в лучшую сторону) благодаря новым технологиям.

Выявление таланта. Модели машинного обучения помогают начинающим спортсменам выбрать подходящую команду, а тренерам — найти сильные и слабые стороны игроков.

Индивидуальная диета. Здесь всё понятно: можно подстроить оптимальный план под любого человека.

План упражнений. Принцип тот же. Нейросети составляют идеальную схему тренировок на основе физического состояния спортсмена. По такому принципу модели могут рассчитать даже совместимость разных игроков на одной тренировке.

Эффективность спортсмена. Умные носимые устройства собирают данные о нагрузках игрока, благодаря чему могут предотвратить перетренировку и травмы.

Увеличение аудитории. Интеллектуальная продажа билетов работает на моделях машинного обучения — она управляет рассадкой зрителей. И ещё может учитывать необходимость парковки, еды или туалетов поблизости.

Помощь судьям. ИИ предотвращает несправедливость рефери. Инструменты следят за соревнованиями и быстро выносят верный вердикт (ведь их экспертиза основана на многочисленных кадрах, звуках и другой доступной информации).

Безопасность. ИИ имеет решающее значение в гонках. Прежде чем посадить водителя за руль, его машину тестируют умные алгоритмы.

Спортивные исследования. Тренеры используют аналитику для улучшения результатов подопечных и для предотвращения их травм.

Противостоим “бабуллингу” с помощью нейросетей

Уверена, практически все люди старше 20 лет хотя бы раз сталкивались с “бабуллингом” — навязчивыми попытками старших родственников вмешаться в личную жизнь. Ну, знаете: “часики тикают”, “мы внуков-то увидим?”, “у тебя хоть жених/невеста есть?” и другие проверенные способы испортить любое семейное застолье.

Раньше, чтобы отразить “бабуллинг”, людям приходилось мучительно выдумывать оправдания, но теперь эту работу можно делегировать ИИ. Именно так поступил индийский фотограф Унмеш Динда. Парень настолько утомился от допросов родственников, что сгенерировал себе девушку при помощи нейросетей.

Динда смог добиться реалистичного результата всего за несколько простых шагов. Сначала он загрузил своё селфи в DALL-E и “попросил” нейросеть дополнить снимок изображением девушки. Затем он отредактировал её лицо при помощи ИИ-алгоритма GFP-GAN, предназначенного для реставрации фотографий. В конце Унмеш просто наложил улучшенный портрет девушки на общий снимок в фотошопе (который изначально создала нейросеть).

"Если ваши родственники беспокоятся о вашей личной жизни больше, чем вы сами, вам нужно отправить им такую фотографию. Это заставит их отстать на какое-то время”, — прокомментировал он результат.

Надеюсь, парня действительно оставят в покое и ему не придётся генерировать фотографии несуществующих детей спустя пару лет.

Если кто-то хочет более подробную инструкцию, то вот видео.

Copilot может взять на себя на себя 80% работы кодеров

Гендиректор GitHub Томас Домке рассказал о своём видении того, как будет развиваться ИИ Copilot — инструмент, который помогает программистам дописывать код. Copilot уже обрабатывает около 40% кода у программистов, которые участвуют в бета-тестировании. А в следующие пять лет «второй пилот» будет выполнять в два раза больше работы, то есть около 80%. Уже и тут «вкалывают роботы, а не человек».

Спикер считает, что сейчас мы проходим третью волну повышения производительности в мире кодирования. Сам он начинал работать в первую волну, когда мир только-только отошёл от использования перфокарт, а интернета ещё не было. Вторым этапом он назвал появление интернета, а третьим — открытого исходного кода. При этом ИИ пока не может взять на себя 100% работы разработчика. Он не способен создать себя без участия пользователя. Copilot не изобретает новых алгоритмов.

Стабильные новости

Вчера у Stability AI был большой день. Во-первых, независимая компания получила хорошее финансирование. А во-вторых, анонсировала запуск нового сервиса.

Сколько денег и от кого?

В Stability AI инвестировали 101 млн, при этом саму компанию оценили в 1 млрд. В раунде финансирования участвовали Coatue, Lightspeed Venture Partners и O'Shaughnessy Ventures.

На что пойдут деньги инвесторов?

— На поддержание кластера из более чем 4 тыс графических чипов NVIDIA A100, который используется для обучение систем ИИ. Сейчас расходы на него составляют примерно 50 млн долларов в год.

— На развёртывание пользовательских версий Stable Diffusion с большей вычислительной мощностью.

— На наём дополнительных сотрудников (хотят увеличить штат со 100 до 300 людей в течение 2023 года).

Что ещё анонсировали?

В компании сказали, что в разработке сейчас сразу несколько коммерческих проектов. Среди них — ИИ-модели для генерации языка, 3D-моделей и музыки. Про последний (Dance Stability) мы уже немного знаем, пару недель о нём подробно рассказывали на TechCrunch.

Ещё стоит ждать отдельного сервиса для генерации анимаций и видео — самый свежий тренд сезона. Инструмент надеются выпустить уже в течение нескольких недель.

State of AI 2022: что важно знать

Наконец-то ознакомилась с отчётом State of AI 2022. Если кто не знает, это один важнейших документов в сфере ИИ, который ежегодно подготавливают инвесторы Нейтан Бенайх и Ян Хогарт. Каждый выпуск State of AI отличается высоким качеством аналитики и большой точностью прогнозов — всё, как мы любим.

Кратко расскажу о моментах, которые показались мне наиболее интересными.

Аналитики возлагают большие надежды на нейросети, способные писать код. Искусственный напарник-программист GitHub Copilot от OpenAI доказал свою эффективность, я писала о нём выше. Уже в ближайшее время на рынке может появиться интегрированная среда разработки на основе ИИ, уверены Бенайх и Хогарт.

Главный прорыв 2022 года. Диффузионные модели растоптали конкурентов в области генерации визуального и звукового контента. DALL-E 2, Midjourney и Stable Diffusion, с которыми мы играемся последние несколько месяцев, — это как раз диффузионные модели, если вы не знали.

Инвестиции в ИИ заметно снизились. По прогнозу аналитиков, по итогам 2022 года отрасль привлечёт около $70,9 млрд (против $111,4 млрд годом ранее).

США лидируют по числу ИИ-стартапов с оценкой свыше $1 млрд (292 компании суммарной стоимостью $4,6 трлн). На втором месте Китай (69 компаний на $1,4 трлн), на третьем — Великобритания (24 компании на $207 млрд).

Вместе с тем Китай значительно обгоняет США по масштабу исследований в области ИИ. С 2010 года китайские институты опубликовали в 4,5 раза больше работ, чем их американские коллеги. Сильнее всего в Китае сфокусированы на технологиях наблюдения, автономного управления, интерпретации сцен и распознавания объектов.

NVIDIA фактически монополизировали рынок аппаратного обеспечения для нейросетей. Исследователи ИИ используют “железо” этой компании в десятки раз чаще, чем оборудование от других производителей.

При этом в сфере программного обеспечения ситуация обратная. Благодаря снижению стоимости вычислений появилось множество независимых лабораторий, которые более охотно открывают исходный код и не дают крупным игрокам монополизировать исследования в сфере ИИ.

Разработчики искусственного интеллекта стали уделять больше внимания вопросам безопасности. Если в 2021 году в крупных ИИ-лабораториях работало менее 100 исследователей безопасности, то в 2022-м их число выросло до 300. Но этого всё ещё недостаточно, считают Бенайх и Хогарт.

Научные исследования с использованием ИИ обязательно приведут к новым прорывам. Однако учёным следует опасаться методологических ошибок — например, включения в наборы для обучения нейросетей нерелевантных данных. Если уделять методологии недостаточно внимания, это может усугубить кризис воспроизводимости научных исследований.