🔴Как именно наши глаза и мозг работают вместе, чтобы картинка была стабильной, когда на самом деле все дергается?

Я вернулся к теме, которую чуть-чуть анонсировал несколько публикаций выше и могу рассказать что интересного пишут про работу мозга, потому что это увлекательный философский вопрос 🍽

☝Исследование, опубликованное в Nature Neuroscience, рассказывает нам о том, что некоторые зрительные нейроны в мозге в режиме реального времени просто видят то, что находится перед глазами. И это уход от предыдущих мнений о том, что нейроны или прогнозируют будущие изображения (могут предсказать следующее изображение, основываясь на том, куда мозг указывает глазам двигаться) или анализируют прошлые (могут сравнивать новое изображение с предыдущим, чтобы обнаружить изменения) для достижения стабильности.

Немного про сам эксперимент. Пока макака смотрела на фотографии, исследователи чекали мониторили нейронную активность в зрительной области, называемой вентральным путем. Эта область, разделенная на несколько небольших участков, обрабатывает подробную визуальную информацию, такую как форма или цвет, помогая мозгу распознавать и классифицировать объекты.

На основании этих записей исследователи обнаружили, что нейроны вентрального пути не предсказывают будущие образы и не запоминают прошлые. Вместо этого они просто воспринимают изображение, находящееся прямо перед ними в реальном времени, что исследователи называют "зрительным сосредоточением". По сути, каждый нейрон обладает туннельным зрением - как если бы вы смотрели через отверстие в листе бумаги, а когда глаз перемещается, нейрон переводится в новое положение и видит только из новой позиции.

Разочарование и интрига.
Хотя результаты и не объясняют окончательно, как мозг формирует стабильные образы, они дают нам новые критические подсказки о зрительной системе и открывают дверь для проведения новых исследований.

🎤 Это очень необычный подкаст, в котором раскрываются редко обсуждаемые стороны проекта ELVIS V

Фонд поддержки слепоглухих «Со-единение» и Лаборатория «Сенсор-Тех» обсуждают как появился проект, как он живет, как развивается, какие люди в нем работают, что такое социальное предпринимательство и даже чем этот проект отличается от академической науки.

ELVIS V - это кортикальная зрительная протезная система, которая создается, чтобы вернуть зрение тотально ослепшим людям.

Приятного прослушивания:
https://music.yandex.kz/album/18408233/track/125707604?activeTab=track-list&dir=desc

⚠️ Охох, а вот это интересная жара начинается!

Сегодня OpenAI и Google презентуют свои новые разработки, что само собой наводит шумиху там и тут 🫣

И вот на фоне этих всяких обсуждений кого там ИИ заменит одни ребята подсветили как теряется ценность крупного международного сервиса, потому что с его задачами очень эффектно справляются языковые алгоритмы.

Что же с медициной? Колл-центры, в которых ИИ вырулит любой конфликт и привлечет пациента, расположив к себе, общение с цифровой копией известного доктора, только с лучшей его версией, ИИ психологи и что еще? Можно попробовать пофантазировать в комментах 😊

Ну ладно, может я драматизирую нимношка, но в своих лекциях в РУДН уже вполне конкретные вещи студентам показываю каким может быть виртуальный пациент и это охренеть. Я вам гарантирую, что очень скоро никто уже не захочет учиться так, как это делается сейчас.

Итак, давайте немного помусолим тему ИИ при общении с пациентами и поделимся своими мыслями.

В качестве затравки я взял формулировку из предыдущего поста моей одногоупницы, у нее блат 😊

Для затравки, потому что такие вещи очень интересно обсуждать без оглядки а что там кто-то скажет. Я бы хотел все же провести эксперимент, в котором ответы машины смешаю с ответам людей и сделать потом опрос, в котором народ оценит где хорошо и что из этого ИИ.

В комменты скину результаты переписки по этому вопросу.

Давайте поддержите дискуссию, тут все свои :)

🍎 Яблоко будет уметь следить за глазами

Технология айтрекинга существует уже давно, это факт. Ее применение можно найти в таких областях как нейромаркетинг, диагностическая медицина, психология, функциональная реабилитации, гейминг и исследования.

Например, в проекте ELVIS V тоже нужен трекинг, чтобы знать куда смотрит обезьянка в момент стимуляции или когда появляется фигурка на сенсорном экране.

Теперь мы ждем, что в ной iOS 18 появится такая функция, с помощью которой парализованные смогут управлять девайсом. Смотрят на кнопку и «нажимают».

Офтальмологи, если включат фантазию, особенно детские, сразу смогут прикинуть как это можно будет использовать в клинической практике.

У нас в стране есть сразу несколько научных групп, которые активно изучают всякие крутые штуки с помощью айтрекинга, кто-то подключает к этому еще и энцефалограмму, кто-то другие датчики. Есть мнение, что в импланте Маска тоже используют отслеживание глаз 🤭 говорят слишком гладко бегает курсор, но это не точно 😇

👼 Визуальный опыт, уникальный для раннего младенчества - это строительный материал для нашего взрослого зрения

Детские офтальмологи уже давно рассказывают родителям что видят их карапузы и на какие картинки надо смотреть. Зачем? Это должно как-то помочь лучше развиваться зрению. Может кто поправит, но я что-то не встречал исследований объективней, чем показ разных картинок малышам и наблюдение за их реакцией. Не то, чтобы я отрицал важность этого, но мне хочется видеть в этом какие-то причинно-следственные связи, а не только гипотезы.

И тут мне на глаза попадается любопытная работа из Индианы, в которой исследователи вешали камеры младенцам и взрослым, наблюдая куда они смотрят, освещая тем самым некоторые темные места вопроса. А именно зачем это нужно.

Соображения авторов:

- Ранние сцены содержат материалы, которые необходимы для создания прочной основы для человеческого зрения.
- То, что мы обнаружили, это очень особенная, ранняя "диета" для визуального развития. Как и в еде, маленькие дети начинают не с богатых сложных блюд, а с простого, специфичного для развития питания.
- Один из вопросов, который автор всегда себе задавал, будучи аспирантом: "Почему у человеческих младенцев так медленно развивается моторика. Примерно три месяца они просто слушают и смотрят, а еще шесть месяцев - немного учатся держать осанку и контролировать голову. Почему они так медленно развиваются, тогда как лошади выходят и сразу бегут наперегонки? Данное исследование позволяет предположить, что в течение эволюционного развития эти медленные, постепенные и оптимизированные движения работают над созданием очень умной зрительной и слуховой системы.

Несколько интересных деталей в комментариях, все не помещается 🍽

Для проекта ELVIS V это тоже имеет практическое значение, потому что при первом включении бионического зрения, человек будет видеть словно младенец и нам предстоит научить его мозг видеть заново.

Выглядит «надежно» 😉

Вообще нормальный органоклмплекс они выбрали, тут по большому счету проблема только со спинным мозгом, как соединить и чтобы это нормально работало.

Некстгенератион Ромашка Федорова 2.0 из коминг 😊 если без шуток, то после решения вопроса со спинным мозгом с высокой долей вероятности (как минимум не сто лет ждать придется) решится задачка и со зрительным нервом, а значит можно будет глазики пересаживать. Было бы очень эффектно, если бы такое создалось в МНТК, но в нем такую схему развернуть уже не получится, это сто пудов будет разработка DeepTech компании или института по типу СамГМУ.

https://youtu.be/szXbuUlUhQ4?si=Y-oGaa375vRC72fi

💧 Новая линза для мониторинга внутриглазного давления, терпимая к температурным перепадам

Новая, потому что в этом направлении на самом деле работ уже довольно много за последние лет 10 назад. Например, в этой статье есть очень емкий обзор, а в этой - еще и информацию по базовым техпроцессам изготовления можно найти. Забавно, что вторая публикация самарская, приятно этому удивился ☺️

О свеженькой линзе решил написать, потому что мне и в голову не приходило, что температура может давать ощутимые сдвиги на такие сенсоры. Да и сейчас в это не сильно верится, честно говоря, потому что линза подогревается глазом и мне сложно представить сценарии серьезных температурных колебаний. Кто-то замерял температуру глаз? 🤓

Принцип здесь заключается в том, что используется две катушки с разной резонансной частотой, они располагаются с внутренней и с наружней сторон линзы. У каждой свой канал передачи и анализируя информацию индивидуального температурного отклика с обеих, происходит математическая "компенсация". Авторы считают, что это даст возможность создать "тонометры при любой погоде" 😶‍🌫️

Еще один пример использования дополненной реальности в медицине

Здесь мы можем увидеть как минимум четыре вещи:

1. Можно расшарить экран реальный в виртуальный мир. Здесь один экран показан, но технически таких можно сделать несколько. Этот экран висит где ты его повесил, даже если он за спиной и никуда не денется, потому что в шлеме есть датчики, которые сканируют комнату и запоминают расположение всяких объектов.

2. Манипуляция экраном. Ставь куда удобно, экран в принципе не занимает место в операционной. Можно закрыть им того, кто тебе не нравится 😅

3. Размер и детализация. Тут не показано, но экран можно делать любого размера, хоть кинотеатр ставь.

4. Шеринг в другой шлем. Твой экран может видеть другой пользователь шлема, причем там, куда ты его поставил. Это достигается с помощью информации с датчиков из первого пункта. А еще можно отобрать экран и поместить его в другое место 😄

В сентябре планируется старт исследования по выращиванию зубов 🤔

А вы знали, что есть исследовательская работа, в которой выращивают хрусталик в собственной капсуле? 🤓

А что до этого хрусталика выращивали бокал сетчатки? 🙂

🫥 Как нейроны сетчатки выстраиваются в свою трехмерную структуру

Все становится физикой, когда не знаешь магии 😊 Как формируется сложная архитектура сетчатки такой, какая она есть???

Понятно, что нейронам нужно питание (они же такие работяги), причем желательно какое-то равномерное, чтобы нормально функционировали все клетки, а не кому как повезет. Но как этот баланс создается, кто диктует правила? Вот знаем мы про фактор роста сосудов, который прилетает от грустных нейронов и на их жалобы прорастают дохленькие сосудики. Оказывается есть тип нейронов, который менеджерит этот процесс нормально.

Открытие, описанное в этой статье, рассматривается авторами как потенциальная возможность для создания новых методов лечения состояний, связанных с нарушением кровотока. Потому что здесь они впервые описывают нейроны, использующие прямой контакт с сосудами сетчатки в качестве способа формирования точных 3D-решеток. Описывать что-то не на двумерной структуре тоже новое, и возможно это стало с помощью новых мультифотонных микроскопов.

Короче, есть особые перивоскулярные нейроны, которые сначала контактируют с сосудами и облепливают их, направляя на формирование организованной решетки. Эти нейроны вырабатывают белок PIEZO2, который позволяет им «чувствовать» прикосновение к другой клетке. В экспериментах, когда этот белок блокировался, нейроны не могли поддерживать контакт с сосудами и процесс роста становился дезорганизованным и с нарушенной трофикой. То же самое они наблюдали и в мозге, а это значит, что данное явление может присутствовать в мультинейродегенеративных заболеваниях (что-то на умном медицинском 😐).

Сколько себя помню, я всегда маньячно погружался в глубь процессов вплоть до электронов, чтобы предсказывать, а не предполагать и придумывать оправдания полученным результатам. Именно такой я вижу настоящую науку. В этой работе исследователи делают похожее и, наверное, по этой причине она изучалась мной с довольной лыбой.

Лекция на тему

🙂 Почему нашему мозгу не нужен цвет, чтобы надежно распознавать изображения?

В MIT провели исследование, которое описывает возможное объяснение того, как наш мозг становится способным идентифицировать как цветные, так и ЧБ изображения. Ранее я рассказывал про похожее исследование в области зрительного восприятия малышей, а этого его дополняет, причем основной автор комментирует его так:

Общая идея о том, что есть что-то важное в изначальных ограничениях, которые мы имеем в нашей системе восприятия, выходит за рамки цветового зрения и остроты зрения.

А это в очередной раз наводит нас на вывод: надо изучать фундамент и тогда фантазий в клинической практике будет меньше. В самом исследовании приняли участие 10 с рождения слепых детишек, которые позже смогли видеть после хирургии катаракты. Если не вдаваться в подробности, то суть описывается вторым автором так:

Наша способность к визуальному распознаванию удивительно устойчива к изменениям цвета. Здесь мы рассказываем об истоках этой устойчивости, основываясь на наблюдениях за врожденно слепыми детьми, которые обрели зрение в позднем возрасте в рамках проекта

Prakash.

Мы обнаружили, что после операции по восстановлению зрения удаление цветовых подсказок значительно снижало эффективность распознавания, в то время как у нормально видящих детей такого снижения не наблюдалось. Мы предполагаем, что этот результат может быть объяснен зрелостью цветовой системы поздно прозревших детей, что приводит к чрезмерному доверию к хроматическим сигналам. Типично развивающиеся младенцы, напротив, избегают этого побуждения из-за незрелых неонатальных колбочек сетчатки. Моделирование с помощью глубоких нейронных сетей подтверждает эту гипотезу. Эти результаты подчеркивают адаптивное значение типичных траекторий развития и дают рекомендации по улучшению систем машинного обучения.

Какой из этого может быть полезный выход:

1️⃣ Если часть механизма развития зрения действительно такая, то ранняя хирургия катаракты может быть обоснована потенциальными функциональными ограничениями в будущем, а это влияет и на выбор профессии, например.

2️⃣ Полученная информация может быть использована для усиления программ реабилитации слабовидящих, то есть их дополнение новыми инструментами или модификациями.

3️⃣ Может быть стоит пересмотреть некоторые формы амблиопии с прицелом на цветность, с учетом новых вводных.

4️⃣ Возможно, это надо будет как-то учесть в реабилитации пользователей ELVIS V, поскольку их новое зрение может оказаться равным уровню новорожденных.