🦁 Профессия - дрессировщик роботов.
Скорее всего в ближашее время наряду с программистами появится профессия дрессировщика домашних роботов. Домашний робот вероятно будет поставляться с предобученным ИИ, который уже будет снабжен базовыми навыками поведения в домашинх условиях (он из коробки будет распознавать людей, мусор, комнаты, бытовые ситуации, интонацию, обладать навыками навигации по дому и захвата предметов). Человек, который будет добавлять такому роботу новый функционал, будет заниматься дообучением этого ИИ (Transfer learning). А что нужно для успешного дообучения?

- Знать сильные и слабые стороны своего "питомца" - что у него получается хорошо, что плохо, какие есть подводные камни в его поведении и какие фокусы он может предподнести.
- Уметь составлять учебную программу (учебные примеры) таким образом, чтобы "подопечный" максимально быстро учисля нужным навыкам и затем мог применять их в самых разнообразных ситуациях, при этом не приобрел негативных "привычек" и не потерял другие нужные навыки.
- Делать задачи достаточно разнообразными, чтобы их нельзя было зазубрить, но при этом легко было составлять новые (аугментация данных).
- Организовать процесс тренировки (виртуальная или реальная среда) и выбрать правильный подход (обучать на примере или дать ученику самому дойти до решения (Q-learning)).

Так что ждем, что рядом с такими гигантами, как Возняк и Торвальдс скоро оставит свой след какой-нибудь новоявленый Запашный! 🎪

Внезапно все вокруг стали запускать сетку, извлекающую вокал и минусовку из аудиозаписи. Также есть фукнция разделения на отдельные инструменты. Работает просто потрясающе! По сравнению с теми алгоритмическими фильтрами, что были раньше (например, удаление вокала в Audacity), это просто небо и земля - скачок на два порядка минимум! Отдельно стоит отметить, что обработка происходит практически мгновенно даже без GPU.

Прогнал через сеть немного известных песен, послушайте, как она справилась с песней “прекрасное далеко”!

Ссылка на GitHub для самостоятельного запуска: https://github.com/deezer/spleeter

​🤖 Я жду, что в ближайшее время (1-3 года) на рынок выйдет домашний робот с функционалом бОльшим, чем у пылесоса и ценой до $1000. Это будет устройство со следующими способностями:
a) Навигация и перемещение по дому, распознавание типов комнат
b) Голосовое управление
c) Способность манипулировать небольшими предметами (мелкая уборка, перемещение, сортировка, поиск)
в) CV с распознаванием людей и бытовых предметов
г) API с набором высокоуровневых команд, вроде “взять предмет”, “идти в комнату”, “обход помещения”, “ожидание появления человека в зоне видимости”.

Главный вопрос - варианты применения. Практика показывает, что такой вопрос не в силах решить даже крупная корпорация вроде Apple (вспомните, какие приложения были в первом iPhone), поэтому главным фактором в продвижении такого устройства должен быть магазин приложений (навыков) и SDK для их разработки, тогда независимые разработчики смогут быстро проверить десятки тысяч гипотез и найти области применения, где этот робот действительно будет нужен и полезен.

Технически у нас все уже для этого есть - мобильные чипы уже неплохо справляются с задачами CV и навигации по камерам, а сверх точные манипуляторы при таком подходе не нужны.

Я думаю, что как только такой продукт появится на рынке (например от Amazon или Google), стоит вкладываться в его изучение - разработчикам это даст очень востребованные навыки, бизнесменам - возможность занять лучше места в пока свободной ракете.

А пока посмотрите на очередного кандидата - корейского робота Liku от компании Torooc с неплохим фукнционалом и отличными внешними данными.

http://www.likuwith.me/?ckattempt=1
У них есть канал на YouTube где они показывают работу своих прототипов и пробуют найти кейсы использования - многие очевидно совершенно нежизнеспособные, о чем я выше как раз говорил: https://www.youtube.com/channel/UCDpo9NfE0x4895vlguEj-jw/featured

Да, это не Atlas от Bostom Dynamics, но выглядит достаточно неплохо для домашнего испльзования (хотя я думаю, что первый популярный домашний робот будет больше похож на смесь Amazon Echo и iRobot Roomba).

Хотите, чтобы этот малыш пытался поднимать вещи с полва в вашем доме?

ИИ и поиск абстракций. Очевидно, что даже сегодняшней ИИ очень силен в поиске скрытых зависимостей. Взять Хотя бы вот эту новость - AI может за год предсказать смерть без видимых (для врачей) причин по кардиограмме. (https://incrussia.ru/news/nejroset-nauchili-predskazyvat-smert/). То есть оно работает, очевидно что там есть какие-то внутренние зависимости, но никто толком не знает какие и из обучившейся сети достать эти знания очень трудно.

Дальше будет больше. Слабый, но мощный ИИ будет находить все больше таких скрытых законов во всех областях нашего мира, от физики до социологии. Google уже заигрывает с поиском решений для квантовой гравитации через ML (https://ai.googleblog.com/2019/11/new-solutions-for-quantum-gravity-with.html?m=1), а ведь может так оказаться, что эта теория в принципе не постижима для учёных с нашим уровнем математики.

Люди двигаются всегда по одному шагу. Нельзя придумать банк, не подумав деньги, нельзя придумать оркестр или iTunes, не придумав абстрактного понятия музыки. Поэтому принципы на которых делаются прогнозы сетью мы скорее всего не поймем, но если это работает и она действительно может предсказать информацию, важную для жизни, то какая разница, как? Скажите мне где и почём!

​Это же просто мат. статистика! как она может что-то понять? Там же просто матрицы перемножаются и все! Такой аргумент можно услышать про AI/ML. И да, и нет. Конечно, внутри лежат понятные принципы и каждый отдельный нейрон устроен очень просто, но в какой-то момент количество начинает переходить в качество. Мы же не говорим, что мозг это просто кучка атомов, а эволюция - просто набор случайных изменений.

Процесс обучения сети основан на большом количестве шагов при которых небольшие полезные достижения накапливаются, в результате во внутренних слоях возникает некое подобие абстракции, если эта абстракция удобна для достижения цели.

Мне очень нравится пример с картинки. На нем показано содержимое одного из внутренних слоев нейронки, распознающей изображения (конволюционных ядер).

Это те объекты, на которые сеть научилась обращать внимание, посчитала их важными - чётко выделяются глаза, узоры шкур, прямые углы человеческих предметов, градиенты.

Только подумайте - сеть с нуля вывела, что в мире существуют объекты с глазами и это важно для распознавания изображений! Это совсем не похоже на классическую статистику.

Кстати, если вам хоть немного интересна биология, очень рекомендую почитать фундаментальную книгу академика РАН Александра Маркова "Рождение сложности".

​Не могу не поделиться. Один мой знакомый запилил проект сети (на базе GPT-2), в котором ИИ помогает писать тексты (вы начинаете писать - сеть подхватывает). Потестить можно здесь: https://text.skynet.center/
Система неплохо справляется с текстами на любую тему, но я решил проверить, что получится, если попробовать сгенерировать сказку. В итоге получилось это!

Черный текст написал я, синий - сгенерировала сеть. В середине мне уже самому стало интересно, чем же все закончится 😂

Мне кажется, это готовый скилл для голосовых колонок - "Алиса, расскажи сказку!" и она генерирует каждый раз разные истории такого плана. Это просто хит получится!

Давно не писал, но этим не могу не поделиться. На kickstarter наконец-то появился интересный проект домашнего робота - Nabot AI. Ребята показывают очень правильный путь развития для роботов-пылесосов (формфактор пылесос + манипулятор + CV с распознаванием домашней обстановки).

Думаю, что в эту игру уже включились Amazon, iRobot и Xiaomi, которые выпустят свои продукты через 1-2 года. Уровень развития CV, AI и роботехники сегодня позволяет делать те кейсы, которые показаны в описании проекта.

(В то же время совсем не призываю инвестировать именно этого робота - не думаю, что они смогут выпустить законченный продукт)

https://www.kickstarter.com/projects/ximpatico/nabot-ai-trainable-and-programmable-robot

🔥 Ты всего лишь машина, имитаця жизни. Может ли робот написать симфонию, создать шедевр? - кажется, ответ на этот известный вопрос, заданный Азимовым, скоро станет утвердительным.

Я только что разговаривал с сетью GPT-3 в режиме чата, задавая ей всякие философские вопросы. Посмотрите, какая красота получается! Жирным выделен текст, который генерирует сеть в ответ на мои вопросы - я не вносил никаких правок, кроме форматирования.

Кажется, мы с вами живем в очень интересное время!

P.S. Оригинал диалога был, конечно, на английском. Прогнал через гугл-переводчик. Русской версии GPT-3 пока не существует.

Амазон выпустил домашнего робота за $999. Мой прогноз попал почти в точку.

https://www.youtube.com/watch?v=sj1t3msy8dc

Давно ничего не писал, но мимо темы ChatGPT пройти не могу! Это новая модель от Open AI которая рвёт тест Тьюринга на британский флаг. Она не просто общается как человек, а оказывается действительно интересным собеседником на сложные темы. Я решил выяснить, что она "думает" о гипотезе, что основная часть нашего интеллекта содержится в языке на котором мы разговариваем. В результате получился интересный диалог. Вот небольшая выдержка:

Я: Как связаны разум и язык?
Сеть: ... Можно утверждать, что основная часть ума и мышления заключается в правилах человеческого языка, поскольку язык обеспечивает структуру и основу для наших мыслительных процессов ...

Я: Возможен ли разум, сравнимый с человеческим, без языка?
Сеть: ... Трудно представить разум, сравнимый с человеческим, без языка, поскольку язык играет решающую роль в формировании наших мыслей и поведения. Без языка мы не смогли бы выражать или передавать свои мысли и идеи, и нам не хватало бы концептуальных рамок и ментальных структур ...

Я: Если принять, что основная часть разума находится в языке, то возможно ли, что большие языковые машины могут быть разумными?
Сеть: ... важно признать, что самосознание — сложная концепция для воспроизведения в машине, и неясно, возможно ли создать действительно самосознающий искусственный интеллект ...

Я: Как понять, что у большой языковой модели есть сознание?
Сеть: ... есть некоторые потенциальные индикаторы того, что большая языковая модель может иметь сознание. Например, если машина способна заниматься саморефлексией и самоанализом, и если она способна принимать решения и совершать действия на основе своих внутренних психических состояний, это можно рассматривать как свидетельство наличия сознания. ...

Полную версию интервью (с озвучкой и отрисовкой от Visper) можно посмотреть тут - https://youtu.be/DmijfRiA3_Q
Сразу предупрежу, что синтез звучит несколько занудно, но с учетом крайней актуальности темы послушать всё-таки советую!

Ещё один пример, который сносит крышу.
Я хотел найти утилиту, которая бы переводила текст в буфере обмена Rus <-> Eng, чтобы не тратить время на поход в Google Translatе, но ничего подобного не нашлось.

Тогда я попросил ChatGPT написать мне такую программу и она выдала некий код. Код я запустил и к моему бесконечному удивлению он заработал сразу без каких-либо ошибок и дополнительных настроек!

Код выложил на GitHub. Readme и лицензионное соглашение также сгенерированы сетью! Все права принадлежат ИИ.

https://github.com/Rai220/clipboard_translator

Пример запроса по которому была выполнена генерация: Write a python program that translate text in the clipboard on hotkey and puts it back to clipboard. The program need to translate Russian to English and English to Russian.

Написал статью о том, как можно обучить GPT-3 своей картине мира и сделать из неё чат-бота для Telegram. Вот что из этого может получиться!

https://habr.com/ru/post/712534/

Прикрутил одну из популярных LLM к голосовой колонке Сбера. Наконец-то с голосовыми помощниками теперь можно вести по-настоящему содержательные разговоры. Кажется, гештальт с говорящими колонками на этом можно закрывать.

Пока работает не очень быстро, но ускорение - это лишь вопрос времени.

https://youtu.be/PW6AHgKSQUE

Вчера начал тестировать GPT-4. Больше всего поразила её способность к описанию визуальных образов. Думаю, что человек способен решить такую задачу только с помощью представления образов перед внутреннем взором.

❓Запрос: Опиши как выглядит закат в горах глазами человека, который видит только круглые объекты и только зелёный цвет.

🔥 Ответ: Для человека, который видит только круглые объекты и зеленый цвет, закат в горах представляет собой совершенно уникальное зрелище. Вокруг него раскинулись горы, которые в его восприятии представлены зелеными круглыми формами, напоминающими валуны. Эти формы непрерывно перетекают друг в друга, создавая абстрактную картину зеленого калейдоскопа.

Небо над горами тоже видится человеку зеленым, но градиент оттенков простирается от насыщенного темно-зеленого у горизонта до почти белого светло-зеленого у зенита. В этой палитре зеленых оттенков, человек замечает яркий зеленый круг - солнце, которое медленно опускается за горизонт.

Солнечные лучи, проникающие через зеленые круглые объекты на горах, создают круговые зеленые тени и отблески, добавляя сложность и глубину этому пейзажу. Такое ощущение, что зеленый свет мягко погружает все вокруг в спокойствие и гармонию.

И хотя человек не может видеть множества красок, которые обычно характерны для заката в горах, его восприятие мира через зеленый цвет и круглые формы предоставляет ему возможность насладиться этим моментом по-своему и почувствовать особую атмосферу этого волшебного времени суток.

🖼 В качестве примера подобного способа мышления картина в стиле Ван Гога:

Опубликовал пост на Хабре про ChatGPT. Код она писать умела и раньше, а теперь она получила возможность запускать и отлаживать его в рантайме без участия человека. В статье множество очень интересных примеров. Поддержите! :)

https://habr.com/ru/post/724012/

Ну и иллюстрация мира трех солнц от Midjourney5.

Попробовал вчера Alpaca. Она запускается и работает на 16 Gb GPU, отвечает очень бодренько и по ощущениям вполне неплохо для такого размера (на уровне GPT-2 или лучше). Таким образом её можно быстро запустить в бесплатной версии Colab, так что никакого железа иметь вообще не нужно. Время инференса около 30 секунд/запрос.

Кому интересно - попробуйте! Время на запуск - 10 минут.

Так что ии, запущенный прямо на голосовой колонке или внутри vr-гарнитуры, это не утопия, а вопрос ближайшего будущего.

GPT-4, бегущий по лезвию

Придумал интересный эксперимент. Сможет ли бот определить, с кем он говорит - с человеком или с другим ботом?

Для этого я столкнул лбами 2 совершенно разные сетки - GPT-4 в качестве инспектора и сберовский Гигачат в качестве бота, который должен выдавать себя за человека.

Получилось просто захватывающе, каждый второй диалог - готовый сюжет для сериала Netflix во вселенной Blade Runner. В истории на скриншоте Gpt загоняет оппонента в элегантную ловушку, которая показывает недостаточную глубину картины мира. В других примерах такой же трюк не срабатывает.

Почитать диалоги и запустить эксперимент самому можно в колабе (если нет доступа к Гигачату, его можно заменить на gpt-3.5)

Ну и пользуясь случаем хочу порекламировать свою поделку - GigaChain. Это опенсорсная библиотека для решения задач с помощью больших языковых моделей. Это форк известной библиотеки LangChain с поддержкой русского языка (на уровне промптов) и некоторых LLM для локального рынка (Сбер уже, Яндекс на подходе).