Free Energy Principle и Active Inference небыстро, но уверенно прокладывают себе дорогу в машинное обучение. И вот уже исследователи из Google Brain и DeepMind публикуют совместные работы с командой Карла Фристона. https://arxiv.org/abs/2009.01791

Это то, что можно увидеть снаружи. Интересно, какой айсберг сейчас скрывается в глубинах Alphabet. Если у вас есть гипотезы или просто интересен этот фронтир, приходите обсудить в Twitter или Keybase.

#FEP #ActiveInference #Engineering

Лазеры из глаз (инфракрасные).
New generation of eye trackers, proof of concept.
#technology #engineering
www.nature.com/articles/s41598-020-71233-1

Ура! Опубликован препринт исследовательской работы, которую анонсировал в июне. Призывается коллективный разум для критики и другой обратной связи zenodo.org/record/4021163

Техножурналисты и блоггеры гадают, представит ли Apple VR-очки на мероприятии 15 сентября. Эксперты и инсайдеры уверенно заявляют, что это невозможно раньше следующего года.

Тем временем молодые инженеры выкатывают VR-устройство с полностью открытыми исходниками, которое можно напечатать на 3D-принтере и собрать из модулей стоимостью $200.

Кстати ребята набирают различных специалистов на девайс следующего поколения. Не пропустите возможность www.relativty.com

#ТеорияШСМ
ПРИМЕРЫ СИСТЕМНОЙ ТЕРМИНОЛОГИИ
Рассказ о целевой системе всегда начинается с её описания как чёрного ящика, при этом по факту приходится рассказывать не столько о самой целевой системе, сколько о надсистеме. И это не случайно: системный подход начинается с того, что система определяется по её роли в окружении (ролевой объект среди систем окружения), по её ролевому поведению/функции (изменениям, которые система производит в системах окружения). От границы целевой системы по системным уровням наверх, к окружению, к надсистеме – это первый мыслительный ход в системном мышлении, это главный императив. Никакого «деления на части», никакого «состоит из», пока не выяснили, для чего используется целое, в котором мы интересуемся частями!
Например, опишем простую механическую систему с электрическими элементами – напорный насос.
Целевая система – напорный насос, использованный в насосной станции (т.е. надсистема – насосная станция). Его роль – напорный насос, чтобы вода доходила до верхних этажей здания, действие/функция – поднимать давление жидкости. Одна из его подсистем – ротор с лопатками (это центробежный насос/centrifugal pump).
Одна из внешних ролей/внешних стейкхолдеров – оператор (owner-operator) насосной станции. Потребность – бесперебойный напор воды, выходящей из насосной станции (обратите внимание, что потребность говорит не про насос как целевую систему, а про насосную станцию как надсистему!). Требования: обеспечивать напор до 40 метров, расход (проток воды) до 10000 литров/час, наработка на отказ от 5000 часов.
Некоторые системы в окружении: мотор, трубопровод (они входят в состав насосной станции, но они внешние по отношению к насосу), электрическая проводка.
Некоторые системы в обеспечении: конструкторское бюро (проектировавшее насос), завод (изготовитель насоса), проектировщик и строитель насосной станции (они обеспечивали выбор именно этого насоса, его закупку, монтаж на насосной станции), гаечный ключ (закручивали гайки, которыми насос крепится к фундаменту).
Другой пример: электроника с островками софта – наручные смарт-часы...

Продолжение в блоге Школы.
Источник: учебник А.Левенчука «Системное мышление 2019»

Вся наша жизнь – inference!
bit.ly/3n4qTTn

Stanford Institute for Human-Centered Artificial Intelligence на прошлой неделе провел конференцию "Triangulating Intelligence: melding neuroscience, psychology, and AI". Так что на этой можно занять вечера просмотром её записи.

Программа конфы и другие детали здесь.

Сегодня и завтра еще есть возможность зарегистрироваться для участия в онлайн-хакатоне Complexity Weekend, который пройдет в ближайшие ПТ-ВС.

На данный момент мероприятие собрало 100+ человек из 34 стран. Среди участников люди с очень разнообразным опытом - студенты, преподаватели, исследователи, консультанты, разработчики, стартаперы и т.д.

Вливайтесь! www.complexityweekend.com/

Невероятную красоту жизни микрокосма можно наблюдать в видео созданных с использованием нового метода микроскопии differential interference contrast (DIC). Ваш 4K экран наконец получит достойный контент.
youtu.be/HbwV-EzP67Q

Каждая новая теория в своем жизненном цикле проходит путь от борьбы за интеллектуальное выживание среди других и завоевание последователей. Дальше, через большое количество исследовательских разработок получает корпус материалов, часто разрозненных, которые ее в себе содержат. И в какой-то момент кто-то должен отдать research debt и провести работу по обобщению наработок и превратить теорию в дисциплину, которой можно обучать и применять в человеческой деятельности. А если получилась трансдисциплина, то в разных видах деятельности.

Такой путь за 20 лет прошел Active Inference, и видны первые шаги исследовательского сообщества к созданию учебных материалов, адаптированных для насколько это возможно быстрого и легкого изучения теории. Условно, чтобы понимать его могли не только доктора наук, но и люди с хорошим высшим образованием. Как и положено для 21 века, все это происходит crowed-based, естественным самоорганизованным и распределенным образом, с координацией через twitter и keybase.

Как результат по ссылке можно посмотреть версию структуры учебной программы с огромным количеством источников. Не пропустите части по кибернетике и ML.

https://jaredtumiel.github.io/blog/2020/10/14/spinning-up-in-ai.html

Если вам удалось просмотреть силлабус по Active Inference и не пропустить часть по ML, то приложения фреймворка для Reinforcement Learning должны вас заинтересовать.

На стримах семинаров 10 и 17 ноября наше исследовательское сообщество будет обсуждать статью Alexander Tschantz et al 2019 "Scaling active inference":
In reinforcement learning (RL), agents often operate in partially observed and uncertain environments. Model-based RL suggests that this is best achieved by learning and exploiting a probabilistic model of the world. 'Active inference' is an emerging normative framework in cognitive and computational neuroscience that offers a unifying account of how biological agents achieve this. On this framework, inference, learning and action emerge from a single imperative to maximize the Bayesian evidence for a niched model of the world. However, implementations of this process have thus far been restricted to low-dimensional and idealized situations. Here, we present a working implementation of active inference that applies to high-dimensional tasks, with proof-of-principle results demonstrating efficient exploration and an order of magnitude increase in sample efficiency over strong model-free baselines. Our results demonstrate the feasibility of applying active inference at scale and highlight the operational homologies between active inference and current model-based approaches to RL.

Сейчас доступна запись вводной лекции, задающей контекст обсуждения. Если вы видите актуальность этой работы для себя, свяжитесь по контактам под видео чтобы подключиться к семинарам.

youtu.be/kXw1CPRkJCw

Сберовская GPT-3 и удивительные факты о лягушках.

Поспрашивал GPT-3 о лягушках. Оказывается, я много не знал...

Вопрос: Кто такие лягушки?
RuGPT: это мы. Лягушки - это мы, которые живут у нас внутри, они - наше тело. Они нас питают и защищают от всего остального. А все, что мы делаем - это просто платим за них. И мы платим за них, потому что нам не нужно ничего другого. Сила лягушек в том, что они помогают нам жить, когда мы этого совсем не хотим. Мы хотим, чтобы они умерли и превратились в прах, но они живут и помогают нам. Когда мы их теряем, они возвращаются снова, мы снова их находим и платим. Так и происходит бесконечное число раз.

Вопрос: Как выглядят лягушки?
RuGPT: Это огромные, покрытые перьями усатые существа с квадратным туловищем, длинной и широкой шеей, коротким хвостом и сильными, мощными ногами. Они не могут плавать, как другие животные, и передвигаются по морскому дну на маленьких ластах или на хвосте, подобно дельфинам.

Вопрос: Чем обычно лягушки занимаются?
RuGPT: Лягушки не любят сидеть в своих берлогах и предпочитают плавать по волнам. Их любимые занятия – плавать с крупами, в качестве которых может выступать и мусор (отсюда, кстати, происходит их имя «лягушинный помет»), или, что еще более удивительно, лягушки, как правило, вдыхают китовую сперму.

Вопрос: Что ещё следует знать о лягушках?
RuGPT:
Лучше всего о этом расскажет такой стих

В час, как на суше, как в глубине моря,
Лягушек много, и все они равны.
Они не боятся никого,
В час, когда они плывут к земле, как в небе.
В час, как в час, в минуту, когда в море,
В час, когда лягушки плывут на берег,
В час, когда они идут вброд к реке,
В час, когда жабы в море плывут вброд
Назад в океан, на дно, на дно, в глубину.

Roam Research недавно привлек $9 млн долларов, при оценке в $200. Такой результат можно считать отличным примером стратегии работы через сообщество, чтобы в итоге продавать достаточно простой продукт дороже Office без затрат на маркетинг. Но для этого понадобилось "учредить" целый Roamcult вокруг их knowledge management system и вариантов ее использования. При этом под капотом у них networked notebooks и markdown.

При правильном подходе подобные продукты, которые сейчас развиваются в количестве, действительно могут сильно повысить личную и командную эффективность. Но для этого может вполне подойти и одна из бесплатных открытых альтернатив, без необходимости вступать в культ. Например просто в виде плагина к VSCode www.dendron.so/

Инвестиции в российское сельское хозяйство приносят прорывные результаты
youtu.be/8HZ4DnVfWYQ

Ролик про русскую кибердеревню уже транслируют по радио, что добавляет киберпанка и превращает его в самый успешный арт-проект 2020г.

А вот вышедший в тот же день семинар про настоящую групповую робототехнику с докладом "Модели подражательного поведения и социального обучения аниматов" Валерия Карпова, доц., к.т.н., начальника лаборатории робототехники НИЦ "Курчатовский институт" посмотрел буквально никто.

Срочно наверстываем!
Доклад youtu.be/hVQBUm1-E-g
Обсуждение youtu.be/cdzUE_GLKkI

Ваш мозг не для того, чтобы думать
Так называется превосходная вчерашняя статья проф. Лизы Барретт в NYT. Эта статья приняла эстафету моего апрельского поста «Назначение интеллекта — не думать. А облегчать жизнь тела в среде». Но помимо тематической переклички с моим постом об истинном назначении мозга и интеллекта, статья Барретт весьма актуальна еще и в контексте навалившейся на нас пандемии.

Но сначала несколько ключевых тезисов о назначении мозга (по Барретт).
Мозг – это главный командный пункт управления телом. Он эволюционировал вовсе не для интеллектуальных прорывов, творческих взлетов или ощущения счастья. И даже не для точного восприятия мира таким, каков он есть (этого нет и в помине). Главная задача мозга – обеспечить, чтобы организм был жив и здоров: как физически, так и душевно.

Любой мозг выполняет одну и ту же основную задачу: эффективно обеспечивать ресурсы для физиологических систем в теле животного (то есть его внутренней среды), чтобы животное могло расти, выживать и размножаться. Этот важнейший для живого существа процесс называется аллостазом. Посредством его мозг регулирует работу организма в соответствии с затратами и выгодами. "Эффективность" этого процесса требует способности предвидеть потребности организма и удовлетворять их до того, как они возникнут.

Барретт уподобляет аллостаз – контролю за «бюджетом тела» (динамикой его доходов и расходов).
Каждое действие организма (стояние и бег, обучение и сон, воображение и драка …) требует расхода ресурсов - имеющихся в организме запасов воды, соли, глюкозы и т.д.). Это расходование ресурсов подобно снятию средств со счета.
Пополняется счет другой группой действий. В первую очередь, это еда и сон.
Задача мозга – обеспечить, чтобы на счете всегда был достаточный запас ресурсов, необходимых для роста, выживания и размножения существа.

Теперь про мозг, аллостаз и проблемы с пандемией
Мы все проходим через трудные времена, когда мы подвержены высокому риску нарушения «бюджета тела».
Если вы чувствуете усталость от пандемии и боретесь с отсутствием мотивации, рассмотрите свою ситуацию с точки зрения “бюджета тела”.

Дело в том, что с точки зрения “бюджета тела”, различия между ментальным и физическим не имеют смысла. Чувство тревоги и боли в животе - это два способа, с помощью которых мозг воспринимает физический дискомфорт. Нет такой вещи, как чисто ментальная причина, потому что каждое ментальное переживание имеет корни в физической структуре вашего тела. Это одна из причин, по которой физические действия (напр. глубокий вдох или более продолжительный сон) могут быть удивительно полезны в решении проблем, которые мы традиционно рассматриваем как психологические.

Поэтому, при душевном дискомфорте, попробуйте представить его, как нечто физическое.
Например, когда вам в голову приходит неприятная мысль - “я больше не могу терпеть это сумасшествие”, - задайте себе вопросы, касающиеся бюджета тела:
- Я достаточно выспался прошлой ночью?
- У меня обезвоживание?
- Может, мне прогуляться?
- А может стоит позвонить другу?

Все это – средства пополнения “бюджета тела”, и лучший способ ему помочь.

И самое важное. Предложенное – вовсе не семантическая игра.
Речь идет об извлечении из ваших физических ощущений новых смыслов, помогающих направлять ваши действия в нужном для мозга направлении.
Ибо все, к чему стремится мозг, находится на службе телесного бюджета.
Так не пытайтесь помочь своему мозгу размышлениями и рефлексией. Он создан вовсе не для того, чтобы думать. Дайте ему то, зачем он создан эволюцией – помогите ему восполнить “бюджет тела”.


Подробней и в деталях см. эту научную работу Барретт

#Мозг #Интеллект #Разум