Ухаживаем за курочками с помощью ИИ

Помните, я недавно рассказывала об алгоритме, который рассчитывает риски для будущих матерей и помогает сделать роды более безопасными? Так вот, теперь ИИ приспособили ещё и для ухода за куриным потомством.

Энтузиаст Актар Кутлухан построил IoT-систему на базе искусственного интеллекта, которая автоматически кормит пернатых и следит за невылупившимися яйцами. Как пояснил инженер, на частоту кладки яиц и здоровье будущих птенцов влияет множество факторов, за которыми не всегда получается уследить. Например, если неправильно выстроить график кормления, курицы и вовсе могут перестать нестись. Остановка несения яиц — это ли не проклятье фермера?

Вот что использовал Актар для проекта:

👉 Алгоритм Edge Impulse FOMO (Faster Objects More Objects) для обучения модели обнаружения объектов
👉 Компактная система компьютерного зрения OpenMV Cam H7
👉 Модуль WizFi360-EVB-Pico, чтобы подключить камеру к Wi-Fi
👉 8,9-дюймовый IPS-дисплей DFRobot
👉 1,8-дюймовый TFT-дисплей ST7735
👉 Датчик температуры и влажности DHT22
👉 Пауэрбанк на 20 000 мА*ч

Кстати, весь набор очень бюджетный. Без учета 8,9-дюймового тачскрина за детали придётся отдать где-то 125 долларов (чуть больше 7 тысяч рублей).

Как это всё работает?
Искусственный интеллект подсчитывает число снесённых яиц и следит за тем, чтобы у пернатых всегда была еда. Также система проверяет, чтобы в клетке сохранялись комфортные температура и влажность. Все данные отправляются курозаводчику через WhatsApp.

Очевидно, что вы захотите построить себе такой же аппарат, специально для вас подробная инструкция от Кутлухана.

Через 2 дня Tesla наконец покажет своего человекоподобного робота

Компания анонсировала AI Day ещё в августе. Но Маск написал, что мероприятие решили перенести на 30 сентября — видимо, раньше они не успевали допилить своего Оптимуса (так будет называться их антропоморфный робот).

Уже реально интересно посмотреть хотя бы на прототип. Пока мы знаем некоторые характеристики модели:

👆 Рост — 1,73 см
⚖ Вес — почти 57 кг
🚀 Максимальная скорость — 8 км/ч (сможете от него убежать, если что)
🏋‍♀️ Вес, который он сможет поднять — 68 кг

Логичный вопрос: а зачем он вообще нужен? В теории, этот терминатор пригодится на заводах. Он будет таскать тяжелые детали и выполнять другую монотонную (или опасную) работу.

Для ориентации в пространстве у робота будет восемь камер. А управлять Оптимусом будет тот же FSD-компьютер, который используется в автомобилях Tesla.

В общем, любопытно будет посмотреть на результат. Потому что вопросов осталось очень много. Сколько он будет работать без подзарядки (и куда вставлять провод)? Как будет реагировать на обычные «человеческие» команды?

Последние новости об этом роботе были только в прошлом году. Вот, кстати, отрывок той презентации.

А это интро из той самой презентации Маска. Да, такой Оптимус я бы и сама купила!

«Инопланетный» интеллект играет в покер лучше профессионалов

Немецкий журналист Фред Швалер написал очень интересный материал о том, почему ИИ решает человеческие проблемы не так, как мы к этому привыкли. Автор объяснил разницу практически на пальцах — всё видно очень наглядно на примере игры в покер.

Пару лет назад бот Pluribus обыграл пятерых лучших гемблеров — они отдали ему 1,7 млн долларов. Тогда игроков спросили, мол, что произошло. Оказалось, бот слишком круто блефовал. «Ни один человек никогда бы не делал такие ставки» — жаловались игроки. Они даже сравнили бота с инопланетянином.

Почему так происходит? Потому что люди и ИИ учатся играть по-разному. Человек приобретает два основных навыка: как принимать лучшие математические решения и как «читать» оппонентов. А Pluribus пошёл другим путём: он натренировал искусство блефа через триллионы игр, методом проб и ошибок. Помог метод обучения с подкреплением.

У людей нет ни времени, ни ресурсов на такие тренировки. Наш мозг теряет много воспоминаний, которые считает лишними, неважными для выживания. А машины всё это накапливают и используют. Архитектура компьютера и мозга отличаются очень сильно — отсюда и разные способы решения проблем.

ИИ кажется «инопланетным» неслучайно. Он не только думает по-другому, но и лишён эмоций. А из-за них люди не могут научиться блефовать так же круто. Бот не боится потерять деньги, поэтому может идти ва-банк с любыми картами.

При этом нестандартное «мышление» искусственного интеллекта помогает учёным делать открытия. Идеальный пример — нейросеть AlphaFold, которая предсказала трёхмерную структуру почти всех существующих белков. А это, на секундочку, один из фундаментальных вопросов биологии (недавно писала про это подробный пост).

Но в «инопланетности» есть и минусы. Человек должен хорошо понимать, как работает ИИ, чтобы контролировать его. А с этим у нас могут возникнуть проблемы.

Недельный дAIджест души питона

Решила по пятницам делать небольшую подборку самых интересных (для меня) новостей. Поехали.

Text-to-video

Генерацией картинок уже никого не удивишь, поэтому сразу несколько компаний (сами знаете каких) показали достижения в новых областях. Один из алгоритмов делает короткие видео по текстовым описаниям. Пока результаты с низким разрешением, а доступ есть только у разработчиков. Но все равно кадры впечатляют.

Второй алгоритм создает 3D-модельки, метод называется DreamFusion, он использует 2D-диффузию. В качестве входных данных опять же текстовые подсказки.

BigCode

Стартап Hugging Face и ServiceNow Research запустили проект, который решает часть этических и правовых проблем при создании больших языковых моделей. Например, недавно разработчиков платного сервиса Copilot обвинили в том, что алгоритм обучался, в том числе, на материале, авторы которого не давали своего согласия.

BigCode должен выпустить большой набор данных для обучения систем генерации кода. Он понадобится для создания прототипа — модели с 15 млрд параметров (это больше чем у Codex с 12 млн, но почти в три раза меньше AlphaCode). Алгоритм будет открыт для исследователей.

Tesla AI

Так сказать, новость будущего во всех смыслах. Мероприятие Маска начнется 30 сентября в 17:00 по Тихоокеанскому времени, то есть в 3:00 субботы по Москве. Помимо долгожданного робота Оптимуса, там могут показать усовершенствованный автопилот и много другого. Если планируете на выходных тотальный «диджитал-детокс», то заходите в канал в понедельник, я расскажу с утра о главном.

Whisper

Open AI выпустила нейросеть для распознавания речи с 1,5 млрд параметров и открытым исходным кодом. Её натренировали на 680 тысячах часов аудиоданных с расшифровками на 98 языках.

С моделькой уже можно поиграться: код разработчики сразу выложили на GitHub. Из плюсов — она автоматически распознаёт несколько языков, в том числе русский.

Думаете, в России не происходит ничего интересного в сфере исследований ИИ? Как бы не так!

Например, я с огромным интересом за выходные прочитала от корки до корки свежий выпуск Альманаха «Искусственный интеллект». Он уже 11-й по счёту! И посвящен очень актуальной и проблемной теме использования ИИ в медицине и здравоохранении.

⚛️ Выпускает Альманах команда Центра искусственного интеллекта МФТИ под руководством Игоря Пивоварова. Ребята занимаются созданием единственного регулярного аналитического издания по проблемам ИИ в России с 2019 года. Новый номер получился самым объёмным за всю историю — 40 статей почти на 200 страницах. Куча полезной и занимательной инфографики.

🧬 Авторский коллектив решил подойти к созданию и сбору материалов системно. Несколько разделов посвящены революции, которую произвели омикс-данные в биологии, и как алгоритмы помогают биоинформатикам, фармакологам и молеклярным биологам изучать процессы внутри живых клеток, искать и создавать новые лекарства от рака и других тяжёлых заболеваний, развивать прецизионную — почти индивидуальную для каждого пациента медицину.

🩻 Конечно же много материалов и о применении компьютерного зрения и классификаторов в диагностике — одна из самых быстрорастущих областей в медицинском ИИ. Другие разделы понравятся поклонникам биохакинга, движения «количественное измерение себя» (Quantified Self), лайфлоггинга и т.д. Речь, естественно, о носимых устройствах и перманентном снятии и анализе множества физиологических данных в повседневной жизни.

🩺 Интересно, что я ещё в июне писала о внедренной в Якутии системе поддержки принятия врачебных решений Webiomed, разработанной отечественным стартапом «К-Скай». Всего за три месяца система проанализировала 2,8 миллиона документов и уже помогает выявлять пациентов с высоким риском развития более 40 различных заболеваний. А в Альманахе можно прочитать несколько статей от специалистов из этой компании об использовании ИИ в инфраструктуре здравоохранения и о предиктивной аналитике.

💊 Не обошлось и без систем анализа микробиома, разработке новых фармпрепаратов in silico, использовании чатботов в психологическом консультировании и т.д. Но самое главное — в Альманахе поднята центральная тема — почему при столь грандиозных успехах в научных лабораториях, стартапах и наличии готовых технологий, они так медленно внедряются в практическую врачебную деятельность. Почему на обложках журналов у нас уже давно XXI век, а в здравоохранении конец 1980-х.

Шок-контент: учёные приблизились к решению одной из главных задач квантовой физики с помощью нейросети

Я прочитала несколько дней назад новость, что ИИ помог исследователям рассчитать движение электронов по квадратной решётке. Причем сетка сделала это с помощью всего четырёх уравнений. Я не физик, поэтому решила разобрать новость с одним из научных сотрудников физфака МГУ, имя не назову. Дальше будет длиннопост, потерпите.

Так вот, раньше для этой задачи требовались сотни тысяч уравнений — по одной на каждый пиксель визуализации! Разложим теперь всё по полочкам.

🤝 Взаимодействие движущихся по решётке электронов — это чуть ли не основная проблема для физиков. Это связано с тем, что даже находящиеся далеко друг от друга (в разных узлах решётки) элементарные частицы могут взаимодействовать. Поэтому их нельзя рассматривать по отдельности — нужно смотреть на всю картину целиком. А в зависимости от количества участвующих электронов, эта картина может невероятно усложняться.

🎓 Один из способов изучения квантовой системы — метод ренормализационной группы. Физики используют этот математический аппарат, чтобы посмотреть, как электроны ведут себя при разных условиях (например, если изменить температуру). Но этот метод может содержать сотни тысяч отдельных уравнений для отслеживания всех возможных связей между этими частицами.

🤖 Для упрощения задачи учёные разработали нейросеть. Сначала она воспроизводит соединения в полноразмерной ренормализационной группе. Затем алгоритм ищет небольшой набор уравнений, которые генерируют то же самое решение, что и «оригинальная» группа с сотнями тысяч. В некоторых случаях хватало всего четырёх уравнений, причём вообще без ущерба для точности.

Обучение нейронки заняло несколько недель. Зато теперь её можно адаптировать для работы над другими проблемами конденсированных сред. Возможно, такой подход к решению огромного числа уравнений поможет при решении аналогичных задач, например, в космологии, нейробиологии и т.д.

⚛️ Но главный плюс метода — потенциальная возможность в дальнейшей разработке сверхпроводников. Сейчас сверхпроводящее состояние материалов достигается либо при сверхнизких температурах (ниже температуры кипения жидкого азота -196 С), либо под гигантским давлением порядка 1 млн атмосфер. А ученые давно ведут работы над получением материалов с такими свойствами при комнатной температуре и менее экстремальном давлении — потери мощности на проводах из таких материалов ничтожны!

В общем, технологии ИИ продолжают доказывать, что в правильно заточенных руках они становятся уникальным инструментом даже в фундаментальной науке.

Ещё раз про протеины

Помните, летом писала про расшифровку структуры почти всех известных белков в природе? Протеиновый тренд с тех пор не затихает. Недавно российские учёные из AIRI показали инструмент для предсказания участков связывания антител с белками вирусов и бактерий — SEMA. Я пообщалась с разработчиками алгоритма, чтобы выяснить детали (и зачем вообще всё это нужно).

Чтобы понять суть, нужно кратко рассказать, как работает вакцинация. В вакцинах содержится белок, аналогичный белку вируса, против которого необходимо выработать иммунитет.

На этот белок нарабатываются специфичные антитела. После появления новых мутаций в геноме вируса (новые штаммы) не все антитела продолжают «садиться» на изменённые белки и останавливать проникновение изменённого штамма в наши клетки.

Здесь в игру вступает SEMA — он помогает оценить вероятность и эффективность контакта между белком вируса и антителами. То есть инструмент предсказывает наиболее вероятные места посадки антител (такие площадки называются эпитопы) на исследуемый белок.

Кому будет полезна технология? В первую очередь биологам, иммунологам, разработчикам вакцин и терапевтических препаратов на основе антител.

Нейросеть обучили на датасете, который собрали из данных базы PDB (брали всю доступную инфу по комплексам антиген-антитело). Модель принимает белки в виде аминокислотной последовательности или 3D-структуры. На выходе получается информация, полезная при выборе самых перспективных фрагментов белка для включения в состав вакцины.

Фишка в том, что SEMA уже есть в открытом доступе. Там его можно даже потестить (для этого есть уже готовые последовательности). А вот исходный код на GitHub.

Так работает SEMA: инструмент для предсказания участков связывания антител с белками вирусов и бактерий

ДAIджест недели

Продолжаем уже регулярную пятничную рубрику. Все самые интересные новости прошедших дней несколькими строками.

1. Imagen Video. Новый и очень впечатляющий инструмент от Google, который умеет генерировать видео по текстовым подсказкам. На выходе получается пятисекундный ролик с частотой 24 к/с и разрешением 1280х768. Примеры можно посмотреть здесь, а подробности архитектуры — здесь.

2. Magic Leap 2. Разработчики называют второе поколение AR-очков «самым маленьким и лёгким устройством дополненной реальности, созданным для предприятий». Очки и правда стали на 20% легче (260 г) и на 50% меньше. Внутри — два дисплея по 1440х1760 и 120 Гц, а также 3 широкоугольных камеры. Диагональный угол обзора 70°. Подробности по ссылке.

3. 3DiM. Google Research показала диффузионную модель для синтеза трёхмерной картинки всего из одного изображения. Посмотрите, как это выглядит — даже немного не верится.

4. ИИ помог учёным рассчитать движение электронов по квадратной решётке. Раньше эта задача требовала сотни тысяч уравнений, но алгоритм сократил их до четырёх. Вот мой подробный пост, а здесь оригинальная новость.

Друзья, я, как автор канала про ИИ слежу за большим количеством коллег по цеху, так сказать.

Один из таких каналов - это SmartMarket by Sber. А недавно мне удалось познакомиться с ними лично. Обсудили с ребятами новости в мире AI, тренды, перспективы и проблемы. Так на теме Kaggle разговорись и авторы предложили мне написать для их канала пост про комьюнити.

Если вы не знаете, Kaggle— это комьюнити для начинающих и продвинутых дата-сайентистов. Первые могут учиться, задавать вопросы и обмениваться «ядрами». Вторые — нарабатывать связи, решать сложные задачки и зарабатывать рейтинг. В общем, подробнее рассказала на SmartMarket by Sber.

Мне нравится на канале, что авторы пишут без воды и стараются быть максимально полезными. Приходишь, и понимаешь, что ты тут можешь получить для себя. Есть и про новый инструментарий саентистов, и лайфхаки из крупных корпораций. А еще там бывают подборки вакансий.

Внезапный скачок

На Financial Times вышла интересная колонка о том, как ИИ за последние пару лет совершил гигантский прорыв — и в плане полезности для пользователей, и для индустрии бизнеса. Делюсь хайлатами.

По словам партнёра Sequoia Capital Пэта Грейди, генеративные системы вышли на новый уровень на пару лет раньше, чем предсказывали эксперты. Что произошло? Автор материала выделяет три вещи.

☝️ Системы ИИ вышли за рамки текста. Сначала появились модели вроде Dall-E 2, Midjourney и Stable Diffusion, которые умеют генерировать изображения по текстовому описанию. И совсем недавно свет увидели сразу несколько алгоритмов для создания видеороликов по запросу.

☝️ Стоимость обучения гигантских ИИ-моделей начала быстро падать. Самые современные методы позволяют тренировать нейросетки, не задействую колоссальных ресурсов (и денежных, и технических). Например, на обучение Stable Diffusion потратили всего 600 тыс долларов — относительно небольшие вложения для крупного бизнеса.

☝️ Технологии стали доступнее. Например, Midjourney работает по модели freemium (первое время бесплатно, а потом разработчики берут небольшую плату). К тому же многие компании открывают своё ПО и публикуют подробности того, как обучают нейросети. Это позволяет другим организациям эффективнее тренировать собственные модели.

Рисков, связанных с генеративными системами, до сих пор много — я уже не раз писала про все этические вопросы. Но в бизнес-среде хотя бы часть этих проблем можно контролировать.

Та самая колонка Financial Times, если не откроется, можно почитать тут.

Самый большой каталог ИИ-моделей для креаторов

Полезных нейросетей в открытом доступе стало столько, что в них уже легко запутаться. Поэтому добрые люди из Phygital + сделали удобный сайт, на котором собрали больше четырёх сотен алгоритмов для работы с графикой.

Разработчики называют свой каталог «самым большим и актуальным» — кажется, им можно верить. Аналогов я пока не видела.

На главной странице есть поиск, в котором можно найти модель или по выполняемой задаче, или по названию. В фильтрах можно указать входные и выходные данные. Ну и хэштеги есть, конечно же.

Каждая карточка — это не просто ссылка на сервис. Для примера возьму первую попавшуюся модель, пусть это будет Lalal.ai. Открываю ссылку и вижу описание — нейросеть умеет извлекать отдельные части аудиоряда (вокал, аккомпанемент, музыкальные инструменты) из любого трека или видео.

Снизу есть вся полезная инфа, ссылки на официальный сайт и на контакты всех представителей стартапа. Иногда прикладывают и ссылку на GitHub с исходным кодом (если он есть).

Как вкатиться в Stable Diffusion, если я гуманитарий?

Многие почему-то думают, что SD подвластна только датасаентистам с зарплатой 300к/наносек. Но на самом деле генеративным искусством может заниматься каждый. Давайте я вам помогу разобраться, как установить Stable Diffusion.

Сразу оговорюсь, что для запуска модели вам понадобится видеокарта хотя бы среднего уровня. Владельцев ПК и ноутбуков со встроенной графикой, скорее всего, постигнет сильное разочарование (хотя вы можете поиграться с онлайн-демкой). Также нужно иметь минимум 10 ГБ свободного места на жёстком диске, так что вам, возможно, придётся удалить пару сезонов “Кармелиты”.

Что нужно сделать:

📍Установите Git (в установщике везде жмём “Next”, не трогая отмеченные по умолчанию опции);
📍Установите Miniconda3 (а вот тут важно не забыть поставить галочку на пункте “All Users”);
📍Скачайте самую свежую контрольную точку Stable Diffusion (на данный момент это версия 1.4, поэтому кликайте на “stable-diffusion-v-1-4-original”). Кстати, здесь вам всё-таки придётся зарегистрироваться, но это займёт буквально пару минут. Загрузите один из вариантов — “sd-v1-4.ckpt” или “sd-v1-4-full-ema.ckpt”. Второй, по идее, должен давать более качественные результаты, но он и весит вдвое больше, поэтому выбирать вам;
📍Скачайте Stable Diffusion с GitHub;

Готово, вы великолепны. Осталось всего несколько шагов, но они будут чуть сложнее.

📍Создайте папку “stable-diffusion” на диске “C” (путь должен выглядеть так: “C:\stable-diffusion”). Распакуйте ранее скачанный ZIP-архив “stable-diffusion-main” в созданный вами каталог. Должен получиться следующий путь: “C:\stable-diffusion\stable-diffusion-main”;
📍Запустите командную строку Miniconda3. Для этого можно ввести в поиске Windows запрос “miniconda3” и в выпавшем списке выбрать “Anaconda Prompt”;

В открывшемся окне введите следующую команду:

cd C:\stable-diffusion\stable-diffusion-main
conda env create -f environment.yaml
conda activate ldm
mkdir models\ldm\stable-diffusion-v1

Процесс займёт какое-то время, не прерывайте его. Когда он завершится, откройте папку “C:\stable-diffusion\stable-diffusion-main\models\ldm\stable-diffusion-v1” и переместите туда ранее скачанную контрольную точку “sd-v1-4.ckpt” (или “sd-v1-4-full-ema.ckpt”, если вы выбрали этот вариант). Переименуйте файл в “model.ckpt”.

Получилось? Супер! Теперь у вас установлена Stable Diffusion. А вот как ей пользоваться, я расскажу в следующий раз.

Почему языковым моделям так тяжело даётся математика?

Казалось бы, большие модели должны щёлкать математические задачи, как орешки. Но до недавнего времени они сталкивались с серьёзными проблемами даже с элементарными школьными вопросами, написанными естественным языком. К тому же при перемножении очень больших чисел ИИ забывали что-то перенести или ошибались на единицу, говорит эксперт из OpenAI. Или они могут неправильно истолковать число — например, 1 и 0 вместо 10.

Исследователи поняли, что увеличение масштаба датасетов не очень подходит для обучения языковых моделей математике. Здесь нужен более целенаправленный подход. Например, Minerva от Google объявила о 78-процентной точности с минимально масштабируемыми данными. Правда, учёные говорят, что модель приходит к правильным ответам через «странные, запутанные рассуждения». Но в этом деле важнее результат.

Подробнее о рассуждениях исследователей можно почитать в журнале Spectrum IEEE.

Как пользоваться Stable Diffusion

Итак, вы установили Stable Diffusion, но там не оказалось кнопки “прочитать мои мысли и сделать красивенько”. Без паники, сейчас я всё объясню.

Первым делом нужно активировать среду ldm. Для этого запустите командную строку Miniconda3 и наберите:

conda activate ldm

Если надпись “(base)” сменилась на “(ldm)” — вы на правильном пути. Идём дальше и вводим:

cd C:\stable-diffusion\stable-diffusion-main

Чтобы сгенерировать изображение размером 512 на 512 пикселей, вызываем скрипт txt2img и прописываем желаемые параметры в двойных кавычках после команды “--prompt”. Например, я хочу получить на выходе снимок милой собачки:

python noscripts/txt2img.py --prompt "dog joined death metal band, photorealistic" --plms --n_iter 5 --n_samples 1

Параметры, прописанные после запроса в кавычках, лучше оставить такими же, как указано в моём примере. Это оптимальные настройки для среднего ПК. Если вам интересно посмотреть, какие ещё опции доступны в Stable Diffusion, наберите:

python noscripts/txt2img.py --help 

Кстати, вы можете определять не только сюжет изображения, но и его характеристики. Их также необходимо добавить в описание. Например, напишите “vivid, abstract art, colorful”, если должен получиться образец современного искусства, или “photorealistic, UHD, photography”, если хотите более живую картинку.

Вы ограничены только своей фантазией, так что экспериментируйте. Ну или подсмотрите готовые описания в профильных сообществах (например, на Reddit).

Вот такая картинка у меня получилась по запросу из примера. Вам нравится?