📖 Макс Тегмарк в книге Жизнь 3.0 приводит забавный диалог:

Представьте себе двух лошадей, которые, глядя в 1900 году на первые автомобили, обдумывают свое возможное будущее.

— Я боюсь технологической безработицы. — Иго-го, не надо быть луддиткой: наши предки боялись того же самого, когда паровые машины стали выполнять их работу в промышленности, а паровозы принялись вместо них тянуть экипажи по рельсам. Но у нас-то сегодня даже больше работы, чем раньше, и она гораздо лучше: мне намного приятнее катать легкую бричку по городу, чем целыми днями ходить по кругу в идиотских шахтах, откачивая воду помпой. — Но что делать, если эта их затея с двигателем внутреннего сгорания действительно выгорит?

— Я уверена, что у нас, лошадей, возникнут новые профессии, о которых мы пока еще даже и не думали. Так же всегда было раньше, взять хотя бы изобретение колеса и плуга.

А вот и другая точка зрения на проблему “AI лишит нас работы!”

На диаграмме показаны самые популярные профессии в США в 2015-ом году. При этом первая профессия, которая появилась в эпоху развития IT находится всего лишь на 21-ом месте по популярности (программисты).

Так что сказать, что IT перевернул рынок труда нельзя. Не то же ли самое будет с AI?

🚬 Я сейчас работаю над проектом в области AI + ЗОЖ. А вот что пишет по этому поводу Ной Харари в своей новой книге 21 урок для XXI века.

Люди получат лучшее здравоохранение в истории, но именно поэтому они, вероятно, будут постоянно болеть. В нашем организме всегда есть неполадки и всегда есть что улучшить. В прошлом человек ощущал себя совершенно здоровым, пока не чувствовал боль или не начинал страдать от нарушения каких-то функций, например от хромоты. Но к 2050 году благодаря биометрическим датчикам и алгоритмам больших данных болезни будут диагностироваться и лечиться задолго до появления боли или нарушения функций. В результате вы всегда будете считаться «больным» и выполнять те или иные рекомендации алгоритма. А отказавшись лечиться, вы можете лишиться страховки или даже работы – зачем работодателю платить за ваше упрямство?
Одно дело – не отказываться от сигарет, несмотря на статистические данные, связывающие курение с раком легких. Совсем другое – продолжать курить, вопреки категорическому предупреждению биометрического датчика, который обнаружил в верхней доле левого легкого 17 раковых клеток. А если вы решите проигнорировать предупреждение, что будет, когда датчик сообщит информацию вашей страховой фирме, вашему начальнику и вашей матери?

🚙 Очень забавное видео про то как 2 ИИ, обученых парковаться, сражаются за единственное парковочное место.

Сеть была натренирована с помощью обучения с подкреплением (Q-learning), а потом 2 таких сети просто столкнули лбами.

Я вот регулярно наблюдаю такие сети на улицах города 😂

PS. Сеть учили в мире, где была только одна активная машина и парковочное место всегда свободно. И судя по всему не наказывали за столкновения. Вот что получается, когда обучающая выборка не попадает в реальную жизнь.

https://youtu.be/CqYKhbyHFtA

🧠 ИИ позволяет решать задачи по поиску закономерностей в очень шумных и косвенных данных. В каком-то смысле это первые проявляения нечеловеческого интеллекта, который мы не можем полностью осознать, но можем успешно использовать. Мои любимые примеры таких задач:

1. Распознавание набираемого текста по звуку печати (https://www.youtube.com/watch?v=2OjzI9m7W10)
2. Распознавание позы людей по отражению wifi сигнала (http://rfpose.csail.mit.edu/)
3. Распознавание изображения, которое видит человек с помощью ЭЭГ-датчиков (https://www.youtube.com/watch?v=nf-P3b2AnZw)

Во всех этих примерах использованы датчики, существовавшие уже в прошлом веке, но появление ML позволило получить с их помощью удивительные результаты!

Думаю, что таких решений вокруг нас очень и очень много, просто мы пока не умеем их замечать, так как еще не привыкли мыслить новыми возможностями.

☢️ Сегодня фреймворки для работы с нейросетями настолько просты и прекрасны, что с ними совершенно невозможно перестать развлекаться - хочется пробовать все новые и новые идеи, постоянно перезапуская обучение. Часто это идет даже в ущерб основной задаче. Я думал, что это что-то новенькое, пока не встретил в книге “Вы, конечно, шутите, мистер Фейнман!” следующий отрывок, где он пишет про механические компьютеры из 1943 года.

…он начал страдать от компьютерной болезни — о ней сегодня знает каждый, кто работал с компьютерами. Это очень серьезная болезнь, и работать при ней невозможно. Беда с компьютерами состоит в том, что ты с ними играешь. Они так прекрасны, столько возможностей — если четное число, делаешь это, если нечетное, делаешь то, и очень скоро на одной-единственной машине можно делать все более и более изощренные вещи, если только ты достаточно умен.

Через некоторое время вся система развалилась. Френкель не обращал на нее никакого внимания, он больше никем не руководил. Система действовала очень-очень медленно, а он в это время сидел в комнате, прикидывая, как бы заставить один из табуляторов автоматически печатать арктангенс X. Потом табулятор включался, печатал колонки, потом — бац, бац, бац — вычислял арктангенс автоматически путем интегрирования и составлял всю таблицу за одну операцию. Абсолютно бесполезное занятие. Ведь у нас уже были таблицы арктангенсов. Но если вы когда-нибудь работали с компьютерами, вы понимаете, что это за болезнь — восхищение от возможности увидеть, как много можно сделать. Френкель подцепил эту болезнь впервые, бедный парень; бедный парень, который изобрел всю эту штуку.

Не узнаете себя, случайно?
А книгу очень советую, хоть она и не про роботов, а про гениального физика, стоявшего у истоков создания атомной бомбы.

👍 Потраясающее видео о синтезе речи голосом знаменитостей от проекта VeraVoice. Послушайте! Путин очень реалистично получается, я бы поверил.

https://youtu.be/WyU-gJ2NTGc

Я обратил внимание на некоторые моменты - общие фразы, например “Уважаемые граждани России. Дорогие друзья” звучат очень реалистично с точки зрения интонации, потому что они ровно в таком виде встречаются в обучающей выборке (это гипотеза, но я в ней практически уверен).
Фразы, которых в выборке скорее всего нет, например: “наши инженеры научили говорить сеть разными голосами” звучат намного менее натурально, интонации там практически нет, возникает эффект того, что “диктор не понимает о чем говорит”.

На это стоит обратить внимание, если вам нужно отличить синтез от реальной записи. Хотя, вряд ли этот совет продержится долго. Еще пара итераций и отличить синтез без специальных средств станет невозомжно.

Второй выдающий эффект - “металлический дребезг”. Здесь он замаскирован под что-то вроде “телефонной записи низкого качества”, но все равно слышен. Это сайд-эффект от обратного преобразования из спектрограммы в звук, от которого полностью никто не может избавиться на сегодняшний день. Особенно слышно на шипящих.

👾 Нейросеть вместо физического движка. Ребята обучили сеть симулировать поведение объектов со сложной физикой (уровня хороших консольных игр) и получили прирост производительности на три порядка по сравнению с полным просчетом по точкам без какой-либо видимой потери в качестве.

https://youtu.be/yjEvV86byxg

Думаю, что в ближайшее время многие трудоемкие алгоритмы будут вытеснены сетями - в первую очередь тот же рейтрейсинг в играх. А следующим этапом всю игру (графику + физику + игровую механику) можно будет оформить в виде одной обученой сети - вот это будет интересно.

Сама публикация: https://static-wordpress.akamaized.net/montreal.ubisoft.com/wp-content/uploads/2019/08/27140237/deep-cloth-paper.pdf

💻 Ключевое отличие ML от классического программирования в том, что мы используем по сути один и тот же алгоритм для решения сразу всех задач. Да, мы много говорим о тюнинге под конкретную задачу, но основной подход одинаковый что для синтеза речи, что для управления автомобилем. Кажется невероятным, но кажется мы нашли универсальный подход к решению любой задачи.

Вот что об этом пишет Педро Домингос в своей книге “Верховный алгоритм”:

Само наличие компьютеров - серьезнейший признак существования Верховного алгоритма. Если бы вы отправились в начало ХХ века и рассказали, что вскоре будет изобретена машина, которая сможет решать проблемы во всех сферах человеческой деятельности — одна и та же машина для всех проблем, — никто бы не поверил. Вам бы объяснили, что машины могут делать что-то одно: сеялки не печатают, а пишущие машинки не сеют. Затем, в 1936 году, Алан Тьюринг придумал любопытное устройство с лентой и головкой, которая читает и пишет символы. Сегодня оно известно как машина Тьюринга. С ее помощью может быть решена каждая проблема, какую только можно решить с помощью логической дедукции. Более того, так называемая универсальная машина Тьюринга может симулировать любую другую, прочтя с ленты ее спецификацию, — другими словами, ее можно запрограммировать делать что угодно. Верховный алгоритм предназначен для индукции, то есть процесса обучения, точно так же как машина Тьюринга для дедукции. Он может научиться симулировать любые другие алгоритмы путем чтения примеров их поведения на входе и выходе. Равно как многие модели вычислений эквивалентны машине Тьюринга, вероятно, существует много эквивалентных формулировок универсального обучающегося алгоритма. Суть в том, чтобы найти первую такую формулировку, как Тьюринг в свое время нашел первый вариант многоцелевого компьютера.

🦁 Профессия - дрессировщик роботов.
Скорее всего в ближашее время наряду с программистами появится профессия дрессировщика домашних роботов. Домашний робот вероятно будет поставляться с предобученным ИИ, который уже будет снабжен базовыми навыками поведения в домашинх условиях (он из коробки будет распознавать людей, мусор, комнаты, бытовые ситуации, интонацию, обладать навыками навигации по дому и захвата предметов). Человек, который будет добавлять такому роботу новый функционал, будет заниматься дообучением этого ИИ (Transfer learning). А что нужно для успешного дообучения?

- Знать сильные и слабые стороны своего "питомца" - что у него получается хорошо, что плохо, какие есть подводные камни в его поведении и какие фокусы он может предподнести.
- Уметь составлять учебную программу (учебные примеры) таким образом, чтобы "подопечный" максимально быстро учисля нужным навыкам и затем мог применять их в самых разнообразных ситуациях, при этом не приобрел негативных "привычек" и не потерял другие нужные навыки.
- Делать задачи достаточно разнообразными, чтобы их нельзя было зазубрить, но при этом легко было составлять новые (аугментация данных).
- Организовать процесс тренировки (виртуальная или реальная среда) и выбрать правильный подход (обучать на примере или дать ученику самому дойти до решения (Q-learning)).

Так что ждем, что рядом с такими гигантами, как Возняк и Торвальдс скоро оставит свой след какой-нибудь новоявленый Запашный! 🎪

Внезапно все вокруг стали запускать сетку, извлекающую вокал и минусовку из аудиозаписи. Также есть фукнция разделения на отдельные инструменты. Работает просто потрясающе! По сравнению с теми алгоритмическими фильтрами, что были раньше (например, удаление вокала в Audacity), это просто небо и земля - скачок на два порядка минимум! Отдельно стоит отметить, что обработка происходит практически мгновенно даже без GPU.

Прогнал через сеть немного известных песен, послушайте, как она справилась с песней “прекрасное далеко”!

Ссылка на GitHub для самостоятельного запуска: https://github.com/deezer/spleeter

​🤖 Я жду, что в ближайшее время (1-3 года) на рынок выйдет домашний робот с функционалом бОльшим, чем у пылесоса и ценой до $1000. Это будет устройство со следующими способностями:
a) Навигация и перемещение по дому, распознавание типов комнат
b) Голосовое управление
c) Способность манипулировать небольшими предметами (мелкая уборка, перемещение, сортировка, поиск)
в) CV с распознаванием людей и бытовых предметов
г) API с набором высокоуровневых команд, вроде “взять предмет”, “идти в комнату”, “обход помещения”, “ожидание появления человека в зоне видимости”.

Главный вопрос - варианты применения. Практика показывает, что такой вопрос не в силах решить даже крупная корпорация вроде Apple (вспомните, какие приложения были в первом iPhone), поэтому главным фактором в продвижении такого устройства должен быть магазин приложений (навыков) и SDK для их разработки, тогда независимые разработчики смогут быстро проверить десятки тысяч гипотез и найти области применения, где этот робот действительно будет нужен и полезен.

Технически у нас все уже для этого есть - мобильные чипы уже неплохо справляются с задачами CV и навигации по камерам, а сверх точные манипуляторы при таком подходе не нужны.

Я думаю, что как только такой продукт появится на рынке (например от Amazon или Google), стоит вкладываться в его изучение - разработчикам это даст очень востребованные навыки, бизнесменам - возможность занять лучше места в пока свободной ракете.

А пока посмотрите на очередного кандидата - корейского робота Liku от компании Torooc с неплохим фукнционалом и отличными внешними данными.

http://www.likuwith.me/?ckattempt=1
У них есть канал на YouTube где они показывают работу своих прототипов и пробуют найти кейсы использования - многие очевидно совершенно нежизнеспособные, о чем я выше как раз говорил: https://www.youtube.com/channel/UCDpo9NfE0x4895vlguEj-jw/featured

Да, это не Atlas от Bostom Dynamics, но выглядит достаточно неплохо для домашнего испльзования (хотя я думаю, что первый популярный домашний робот будет больше похож на смесь Amazon Echo и iRobot Roomba).

Хотите, чтобы этот малыш пытался поднимать вещи с полва в вашем доме?

ИИ и поиск абстракций. Очевидно, что даже сегодняшней ИИ очень силен в поиске скрытых зависимостей. Взять Хотя бы вот эту новость - AI может за год предсказать смерть без видимых (для врачей) причин по кардиограмме. (https://incrussia.ru/news/nejroset-nauchili-predskazyvat-smert/). То есть оно работает, очевидно что там есть какие-то внутренние зависимости, но никто толком не знает какие и из обучившейся сети достать эти знания очень трудно.

Дальше будет больше. Слабый, но мощный ИИ будет находить все больше таких скрытых законов во всех областях нашего мира, от физики до социологии. Google уже заигрывает с поиском решений для квантовой гравитации через ML (https://ai.googleblog.com/2019/11/new-solutions-for-quantum-gravity-with.html?m=1), а ведь может так оказаться, что эта теория в принципе не постижима для учёных с нашим уровнем математики.

Люди двигаются всегда по одному шагу. Нельзя придумать банк, не подумав деньги, нельзя придумать оркестр или iTunes, не придумав абстрактного понятия музыки. Поэтому принципы на которых делаются прогнозы сетью мы скорее всего не поймем, но если это работает и она действительно может предсказать информацию, важную для жизни, то какая разница, как? Скажите мне где и почём!

​Это же просто мат. статистика! как она может что-то понять? Там же просто матрицы перемножаются и все! Такой аргумент можно услышать про AI/ML. И да, и нет. Конечно, внутри лежат понятные принципы и каждый отдельный нейрон устроен очень просто, но в какой-то момент количество начинает переходить в качество. Мы же не говорим, что мозг это просто кучка атомов, а эволюция - просто набор случайных изменений.

Процесс обучения сети основан на большом количестве шагов при которых небольшие полезные достижения накапливаются, в результате во внутренних слоях возникает некое подобие абстракции, если эта абстракция удобна для достижения цели.

Мне очень нравится пример с картинки. На нем показано содержимое одного из внутренних слоев нейронки, распознающей изображения (конволюционных ядер).

Это те объекты, на которые сеть научилась обращать внимание, посчитала их важными - чётко выделяются глаза, узоры шкур, прямые углы человеческих предметов, градиенты.

Только подумайте - сеть с нуля вывела, что в мире существуют объекты с глазами и это важно для распознавания изображений! Это совсем не похоже на классическую статистику.

Кстати, если вам хоть немного интересна биология, очень рекомендую почитать фундаментальную книгу академика РАН Александра Маркова "Рождение сложности".

​Не могу не поделиться. Один мой знакомый запилил проект сети (на базе GPT-2), в котором ИИ помогает писать тексты (вы начинаете писать - сеть подхватывает). Потестить можно здесь: https://text.skynet.center/
Система неплохо справляется с текстами на любую тему, но я решил проверить, что получится, если попробовать сгенерировать сказку. В итоге получилось это!

Черный текст написал я, синий - сгенерировала сеть. В середине мне уже самому стало интересно, чем же все закончится 😂

Мне кажется, это готовый скилл для голосовых колонок - "Алиса, расскажи сказку!" и она генерирует каждый раз разные истории такого плана. Это просто хит получится!

Давно не писал, но этим не могу не поделиться. На kickstarter наконец-то появился интересный проект домашнего робота - Nabot AI. Ребята показывают очень правильный путь развития для роботов-пылесосов (формфактор пылесос + манипулятор + CV с распознаванием домашней обстановки).

Думаю, что в эту игру уже включились Amazon, iRobot и Xiaomi, которые выпустят свои продукты через 1-2 года. Уровень развития CV, AI и роботехники сегодня позволяет делать те кейсы, которые показаны в описании проекта.

(В то же время совсем не призываю инвестировать именно этого робота - не думаю, что они смогут выпустить законченный продукт)

https://www.kickstarter.com/projects/ximpatico/nabot-ai-trainable-and-programmable-robot

🔥 Ты всего лишь машина, имитаця жизни. Может ли робот написать симфонию, создать шедевр? - кажется, ответ на этот известный вопрос, заданный Азимовым, скоро станет утвердительным.

Я только что разговаривал с сетью GPT-3 в режиме чата, задавая ей всякие философские вопросы. Посмотрите, какая красота получается! Жирным выделен текст, который генерирует сеть в ответ на мои вопросы - я не вносил никаких правок, кроме форматирования.

Кажется, мы с вами живем в очень интересное время!

P.S. Оригинал диалога был, конечно, на английском. Прогнал через гугл-переводчик. Русской версии GPT-3 пока не существует.

Амазон выпустил домашнего робота за $999. Мой прогноз попал почти в точку.

https://www.youtube.com/watch?v=sj1t3msy8dc