Использование дополненной реальности в хирургии давно не новость, но вот что-то как-то туговато она входит в практику. Недавно рассказывал про вариант с VisionPro, но чаще всего для таких сценариев используют HoloLens. Больше всего в этих девайсах напрягают их габариты - шлемы громоздкие 🥺А вот в 3D очках уже все, много где можно встретить.

В общем надо как-то решать проблему и похоже уверенные шаги сделали инженеры из Принстона с помощью голографии. Они создали девайс, который можно разместить на очках. Представьте себе привычные 3D очки с дополненной информацией 🥹

Основной проблемой, с которой сталкивалась технология голографических дисплеев заключалась в том, что нормальную картинку можно было получить только в узком поле зрения и если отведешь взгляд, то она исчезает. Либо четко и маленько, либо много и размыто.

Теперь правила игры меняются и большое размытое стало большим и почетче, но все еще не идеально. Поэтому авторы говорят, что нужно доделать.

Интересно, что для расчетов они использовали ИИ и это все больше становится нормальной практикой в тех случаях, когда своих мозгов не хватает, а посчитать что-то надо.

❌ “Этим шарлатам не надо давать спец доступ, он должен быть открыт для пациентов!” - цитатка комментария к новости о Med-Gemini 😜

DeepMind гугловский работает над языковой моделью Med-Gemini в сфере здравоохранения. Интересно, что даже на этапе беты он превзошел GPT-4 и отраслевые стандарты в 14 популярных профильных бенчмарках.

«Набор моделей также превзошёл людей в обобщении медицинских текстов и составлении рекомендаций, причём врачи в половине случаев оценивали ответы Med-Gemini-M 1.0 как хорошие или даже лучше, чем ответы экспертов». Другими словами он может анализировать ЭМК, чтобы снизить когнитивную нагрузку у врача за счёт эффективного извлечения и анализа важной информации из огромных объёмов данных пациентов. Вот это мне нравится.

В чем особенность, которую надо знать. Med-Gemini это семейство больших мультимодальных моделей, каждая из которых имеет своё предназначение, в отличие от больших языковых моделей, которые демонстрируют неоптимальные клинические рассуждения в условиях неопределённости, страдают галлюцинациями и предвзятостью.

Напомню, что это не итоговый результат, будут еще допиливать.

Пишите свои мнения, давайте интересно пообсуждаем 👍

https://youtu.be/SZS5WD1du3A?si=hI0QOyUmGTQVCtH9

🔴Как именно наши глаза и мозг работают вместе, чтобы картинка была стабильной, когда на самом деле все дергается?

Я вернулся к теме, которую чуть-чуть анонсировал несколько публикаций выше и могу рассказать что интересного пишут про работу мозга, потому что это увлекательный философский вопрос 🍽

☝Исследование, опубликованное в Nature Neuroscience, рассказывает нам о том, что некоторые зрительные нейроны в мозге в режиме реального времени просто видят то, что находится перед глазами. И это уход от предыдущих мнений о том, что нейроны или прогнозируют будущие изображения (могут предсказать следующее изображение, основываясь на том, куда мозг указывает глазам двигаться) или анализируют прошлые (могут сравнивать новое изображение с предыдущим, чтобы обнаружить изменения) для достижения стабильности.

Немного про сам эксперимент. Пока макака смотрела на фотографии, исследователи чекали мониторили нейронную активность в зрительной области, называемой вентральным путем. Эта область, разделенная на несколько небольших участков, обрабатывает подробную визуальную информацию, такую как форма или цвет, помогая мозгу распознавать и классифицировать объекты.

На основании этих записей исследователи обнаружили, что нейроны вентрального пути не предсказывают будущие образы и не запоминают прошлые. Вместо этого они просто воспринимают изображение, находящееся прямо перед ними в реальном времени, что исследователи называют "зрительным сосредоточением". По сути, каждый нейрон обладает туннельным зрением - как если бы вы смотрели через отверстие в листе бумаги, а когда глаз перемещается, нейрон переводится в новое положение и видит только из новой позиции.

Разочарование и интрига.
Хотя результаты и не объясняют окончательно, как мозг формирует стабильные образы, они дают нам новые критические подсказки о зрительной системе и открывают дверь для проведения новых исследований.

🎤 Это очень необычный подкаст, в котором раскрываются редко обсуждаемые стороны проекта ELVIS V

Фонд поддержки слепоглухих «Со-единение» и Лаборатория «Сенсор-Тех» обсуждают как появился проект, как он живет, как развивается, какие люди в нем работают, что такое социальное предпринимательство и даже чем этот проект отличается от академической науки.

ELVIS V - это кортикальная зрительная протезная система, которая создается, чтобы вернуть зрение тотально ослепшим людям.

Приятного прослушивания:
https://music.yandex.kz/album/18408233/track/125707604?activeTab=track-list&dir=desc

⚠️ Охох, а вот это интересная жара начинается!

Сегодня OpenAI и Google презентуют свои новые разработки, что само собой наводит шумиху там и тут 🫣

И вот на фоне этих всяких обсуждений кого там ИИ заменит одни ребята подсветили как теряется ценность крупного международного сервиса, потому что с его задачами очень эффектно справляются языковые алгоритмы.

Что же с медициной? Колл-центры, в которых ИИ вырулит любой конфликт и привлечет пациента, расположив к себе, общение с цифровой копией известного доктора, только с лучшей его версией, ИИ психологи и что еще? Можно попробовать пофантазировать в комментах 😊

Ну ладно, может я драматизирую нимношка, но в своих лекциях в РУДН уже вполне конкретные вещи студентам показываю каким может быть виртуальный пациент и это охренеть. Я вам гарантирую, что очень скоро никто уже не захочет учиться так, как это делается сейчас.

Итак, давайте немного помусолим тему ИИ при общении с пациентами и поделимся своими мыслями.

В качестве затравки я взял формулировку из предыдущего поста моей одногоупницы, у нее блат 😊

Для затравки, потому что такие вещи очень интересно обсуждать без оглядки а что там кто-то скажет. Я бы хотел все же провести эксперимент, в котором ответы машины смешаю с ответам людей и сделать потом опрос, в котором народ оценит где хорошо и что из этого ИИ.

В комменты скину результаты переписки по этому вопросу.

Давайте поддержите дискуссию, тут все свои :)

🍎 Яблоко будет уметь следить за глазами

Технология айтрекинга существует уже давно, это факт. Ее применение можно найти в таких областях как нейромаркетинг, диагностическая медицина, психология, функциональная реабилитации, гейминг и исследования.

Например, в проекте ELVIS V тоже нужен трекинг, чтобы знать куда смотрит обезьянка в момент стимуляции или когда появляется фигурка на сенсорном экране.

Теперь мы ждем, что в ной iOS 18 появится такая функция, с помощью которой парализованные смогут управлять девайсом. Смотрят на кнопку и «нажимают».

Офтальмологи, если включат фантазию, особенно детские, сразу смогут прикинуть как это можно будет использовать в клинической практике.

У нас в стране есть сразу несколько научных групп, которые активно изучают всякие крутые штуки с помощью айтрекинга, кто-то подключает к этому еще и энцефалограмму, кто-то другие датчики. Есть мнение, что в импланте Маска тоже используют отслеживание глаз 🤭 говорят слишком гладко бегает курсор, но это не точно 😇

👼 Визуальный опыт, уникальный для раннего младенчества - это строительный материал для нашего взрослого зрения

Детские офтальмологи уже давно рассказывают родителям что видят их карапузы и на какие картинки надо смотреть. Зачем? Это должно как-то помочь лучше развиваться зрению. Может кто поправит, но я что-то не встречал исследований объективней, чем показ разных картинок малышам и наблюдение за их реакцией. Не то, чтобы я отрицал важность этого, но мне хочется видеть в этом какие-то причинно-следственные связи, а не только гипотезы.

И тут мне на глаза попадается любопытная работа из Индианы, в которой исследователи вешали камеры младенцам и взрослым, наблюдая куда они смотрят, освещая тем самым некоторые темные места вопроса. А именно зачем это нужно.

Соображения авторов:

- Ранние сцены содержат материалы, которые необходимы для создания прочной основы для человеческого зрения.
- То, что мы обнаружили, это очень особенная, ранняя "диета" для визуального развития. Как и в еде, маленькие дети начинают не с богатых сложных блюд, а с простого, специфичного для развития питания.
- Один из вопросов, который автор всегда себе задавал, будучи аспирантом: "Почему у человеческих младенцев так медленно развивается моторика. Примерно три месяца они просто слушают и смотрят, а еще шесть месяцев - немного учатся держать осанку и контролировать голову. Почему они так медленно развиваются, тогда как лошади выходят и сразу бегут наперегонки? Данное исследование позволяет предположить, что в течение эволюционного развития эти медленные, постепенные и оптимизированные движения работают над созданием очень умной зрительной и слуховой системы.

Несколько интересных деталей в комментариях, все не помещается 🍽

Для проекта ELVIS V это тоже имеет практическое значение, потому что при первом включении бионического зрения, человек будет видеть словно младенец и нам предстоит научить его мозг видеть заново.

Выглядит «надежно» 😉

Вообще нормальный органоклмплекс они выбрали, тут по большому счету проблема только со спинным мозгом, как соединить и чтобы это нормально работало.

Некстгенератион Ромашка Федорова 2.0 из коминг 😊 если без шуток, то после решения вопроса со спинным мозгом с высокой долей вероятности (как минимум не сто лет ждать придется) решится задачка и со зрительным нервом, а значит можно будет глазики пересаживать. Было бы очень эффектно, если бы такое создалось в МНТК, но в нем такую схему развернуть уже не получится, это сто пудов будет разработка DeepTech компании или института по типу СамГМУ.

https://youtu.be/szXbuUlUhQ4?si=Y-oGaa375vRC72fi

💧 Новая линза для мониторинга внутриглазного давления, терпимая к температурным перепадам

Новая, потому что в этом направлении на самом деле работ уже довольно много за последние лет 10 назад. Например, в этой статье есть очень емкий обзор, а в этой - еще и информацию по базовым техпроцессам изготовления можно найти. Забавно, что вторая публикация самарская, приятно этому удивился ☺️

О свеженькой линзе решил написать, потому что мне и в голову не приходило, что температура может давать ощутимые сдвиги на такие сенсоры. Да и сейчас в это не сильно верится, честно говоря, потому что линза подогревается глазом и мне сложно представить сценарии серьезных температурных колебаний. Кто-то замерял температуру глаз? 🤓

Принцип здесь заключается в том, что используется две катушки с разной резонансной частотой, они располагаются с внутренней и с наружней сторон линзы. У каждой свой канал передачи и анализируя информацию индивидуального температурного отклика с обеих, происходит математическая "компенсация". Авторы считают, что это даст возможность создать "тонометры при любой погоде" 😶‍🌫️

Еще один пример использования дополненной реальности в медицине

Здесь мы можем увидеть как минимум четыре вещи:

1. Можно расшарить экран реальный в виртуальный мир. Здесь один экран показан, но технически таких можно сделать несколько. Этот экран висит где ты его повесил, даже если он за спиной и никуда не денется, потому что в шлеме есть датчики, которые сканируют комнату и запоминают расположение всяких объектов.

2. Манипуляция экраном. Ставь куда удобно, экран в принципе не занимает место в операционной. Можно закрыть им того, кто тебе не нравится 😅

3. Размер и детализация. Тут не показано, но экран можно делать любого размера, хоть кинотеатр ставь.

4. Шеринг в другой шлем. Твой экран может видеть другой пользователь шлема, причем там, куда ты его поставил. Это достигается с помощью информации с датчиков из первого пункта. А еще можно отобрать экран и поместить его в другое место 😄

В сентябре планируется старт исследования по выращиванию зубов 🤔

А вы знали, что есть исследовательская работа, в которой выращивают хрусталик в собственной капсуле? 🤓

А что до этого хрусталика выращивали бокал сетчатки? 🙂

🫥 Как нейроны сетчатки выстраиваются в свою трехмерную структуру

Все становится физикой, когда не знаешь магии 😊 Как формируется сложная архитектура сетчатки такой, какая она есть???

Понятно, что нейронам нужно питание (они же такие работяги), причем желательно какое-то равномерное, чтобы нормально функционировали все клетки, а не кому как повезет. Но как этот баланс создается, кто диктует правила? Вот знаем мы про фактор роста сосудов, который прилетает от грустных нейронов и на их жалобы прорастают дохленькие сосудики. Оказывается есть тип нейронов, который менеджерит этот процесс нормально.

Открытие, описанное в этой статье, рассматривается авторами как потенциальная возможность для создания новых методов лечения состояний, связанных с нарушением кровотока. Потому что здесь они впервые описывают нейроны, использующие прямой контакт с сосудами сетчатки в качестве способа формирования точных 3D-решеток. Описывать что-то не на двумерной структуре тоже новое, и возможно это стало с помощью новых мультифотонных микроскопов.

Короче, есть особые перивоскулярные нейроны, которые сначала контактируют с сосудами и облепливают их, направляя на формирование организованной решетки. Эти нейроны вырабатывают белок PIEZO2, который позволяет им «чувствовать» прикосновение к другой клетке. В экспериментах, когда этот белок блокировался, нейроны не могли поддерживать контакт с сосудами и процесс роста становился дезорганизованным и с нарушенной трофикой. То же самое они наблюдали и в мозге, а это значит, что данное явление может присутствовать в мультинейродегенеративных заболеваниях (что-то на умном медицинском 😐).

Сколько себя помню, я всегда маньячно погружался в глубь процессов вплоть до электронов, чтобы предсказывать, а не предполагать и придумывать оправдания полученным результатам. Именно такой я вижу настоящую науку. В этой работе исследователи делают похожее и, наверное, по этой причине она изучалась мной с довольной лыбой.

Лекция на тему