🤖 ИИ при синдроме сухого глаза

"Использование глазных цифровых изображений в сочетании с ИИ создает серьезные перспективы для обнаружения и лечения ССГ, о чем свидетельствуют заметные достижения в прогнозировании офтальмологических заболеваний за последнее десятилетие" - кусочек из выводов.

Авторы в этой работе мечтают о том, чтобы однажды для ИИ диагностики можно было бы использовать смартфоны. Мне это видится уже как очевидный исход, потому что технологии позволяют. Однако пока что есть существенная проблема, которая заключается в том, что стандартизировать фотки сложно, а когда ты фотографируешь передний отрезок, то тут треш... надо начать с того, что научить протирать камеру 😭 поэтому о широком применении такого варианта еще рано говорить, поскольку тут нужна более фундаментальная проработка базовых вопросов, в отличие от уже готовых стандартизированных фоточек с фундусов, топографов и т.п.

Сама работа примечательна не ИИ как таковым, а тем, что:

🫥 Про ССГ мало говорят в разрезе ИИ, а тут целый обзор и можно сократить дорогу в этом направлении 🏆
🫥 Статья написана как раздел из учебника и начинающие могут почерпнуть для себя базу про алгоритмы, применительно к офтальмологии 🤓
🫥 Есть даже про метаверсы! 🫣 вот этого я не ожидал, авторы обсуждают как в ней можно и учиться ССГ и диагностикой заниматься 😺

Мне понравилось, что авторы наконец-то коснулись прогнозирования, потому что именно тут кроется супер жила ИИ - в умении предсказать сроки наступления невозвратных изменений, сроки лечения разными препаратами и сформировать оптимальный план лечения, понять на каком этапе может подключиться что-то системное т.д.

☝️ Нужно постоянно строить видение будущего медицины исключительно масштабно. На мой взгляд, если существующие глазные сообщества не могут формировать глобальные цели с конкретными этапами, если они не могут реально что-то делать в этом направлении, то их нужно либо переделывать, либо вообще закрывать, потому что из-за их кривого управления создается тупой вектор развития.

💊 Как вам такой Fallout?

Закон парных случаев работает и для исследований 🍽

Буквально недавно рассказывал про иллюзии и наше восприятие и вот пока еду в метро мне попадается статья про стабильность изображения, а за ней еще одна и сейчас я хочу просто поделиться интригующим началом введения, потому что не успею дочитать:

"Наше впечатление от визуального мира начинается с узоров света, которые падают на сетчатку и запускают каскад событий, приводящих к субъективному ощущению стабильного, непрерывного мира. Как возникает эта стабильность, является важнейшим вопросом в зрительной нейробиологии, учитывая, что входные данные сильно варьируются: изменения освещения (например, солнце уходит за облако), изменения внешнего вида и размера из-за движений тела (например, движение к объекту или от него), ложные изменения положения объекта из-за движений глаз."

Феномен зрения прекрасен своей загадочностью 😍

Использование дополненной реальности в хирургии давно не новость, но вот что-то как-то туговато она входит в практику. Недавно рассказывал про вариант с VisionPro, но чаще всего для таких сценариев используют HoloLens. Больше всего в этих девайсах напрягают их габариты - шлемы громоздкие 🥺А вот в 3D очках уже все, много где можно встретить.

В общем надо как-то решать проблему и похоже уверенные шаги сделали инженеры из Принстона с помощью голографии. Они создали девайс, который можно разместить на очках. Представьте себе привычные 3D очки с дополненной информацией 🥹

Основной проблемой, с которой сталкивалась технология голографических дисплеев заключалась в том, что нормальную картинку можно было получить только в узком поле зрения и если отведешь взгляд, то она исчезает. Либо четко и маленько, либо много и размыто.

Теперь правила игры меняются и большое размытое стало большим и почетче, но все еще не идеально. Поэтому авторы говорят, что нужно доделать.

Интересно, что для расчетов они использовали ИИ и это все больше становится нормальной практикой в тех случаях, когда своих мозгов не хватает, а посчитать что-то надо.

❌ “Этим шарлатам не надо давать спец доступ, он должен быть открыт для пациентов!” - цитатка комментария к новости о Med-Gemini 😜

DeepMind гугловский работает над языковой моделью Med-Gemini в сфере здравоохранения. Интересно, что даже на этапе беты он превзошел GPT-4 и отраслевые стандарты в 14 популярных профильных бенчмарках.

«Набор моделей также превзошёл людей в обобщении медицинских текстов и составлении рекомендаций, причём врачи в половине случаев оценивали ответы Med-Gemini-M 1.0 как хорошие или даже лучше, чем ответы экспертов». Другими словами он может анализировать ЭМК, чтобы снизить когнитивную нагрузку у врача за счёт эффективного извлечения и анализа важной информации из огромных объёмов данных пациентов. Вот это мне нравится.

В чем особенность, которую надо знать. Med-Gemini это семейство больших мультимодальных моделей, каждая из которых имеет своё предназначение, в отличие от больших языковых моделей, которые демонстрируют неоптимальные клинические рассуждения в условиях неопределённости, страдают галлюцинациями и предвзятостью.

Напомню, что это не итоговый результат, будут еще допиливать.

Пишите свои мнения, давайте интересно пообсуждаем 👍

https://youtu.be/SZS5WD1du3A?si=hI0QOyUmGTQVCtH9

🔴Как именно наши глаза и мозг работают вместе, чтобы картинка была стабильной, когда на самом деле все дергается?

Я вернулся к теме, которую чуть-чуть анонсировал несколько публикаций выше и могу рассказать что интересного пишут про работу мозга, потому что это увлекательный философский вопрос 🍽

☝Исследование, опубликованное в Nature Neuroscience, рассказывает нам о том, что некоторые зрительные нейроны в мозге в режиме реального времени просто видят то, что находится перед глазами. И это уход от предыдущих мнений о том, что нейроны или прогнозируют будущие изображения (могут предсказать следующее изображение, основываясь на том, куда мозг указывает глазам двигаться) или анализируют прошлые (могут сравнивать новое изображение с предыдущим, чтобы обнаружить изменения) для достижения стабильности.

Немного про сам эксперимент. Пока макака смотрела на фотографии, исследователи чекали мониторили нейронную активность в зрительной области, называемой вентральным путем. Эта область, разделенная на несколько небольших участков, обрабатывает подробную визуальную информацию, такую как форма или цвет, помогая мозгу распознавать и классифицировать объекты.

На основании этих записей исследователи обнаружили, что нейроны вентрального пути не предсказывают будущие образы и не запоминают прошлые. Вместо этого они просто воспринимают изображение, находящееся прямо перед ними в реальном времени, что исследователи называют "зрительным сосредоточением". По сути, каждый нейрон обладает туннельным зрением - как если бы вы смотрели через отверстие в листе бумаги, а когда глаз перемещается, нейрон переводится в новое положение и видит только из новой позиции.

Разочарование и интрига.
Хотя результаты и не объясняют окончательно, как мозг формирует стабильные образы, они дают нам новые критические подсказки о зрительной системе и открывают дверь для проведения новых исследований.

🎤 Это очень необычный подкаст, в котором раскрываются редко обсуждаемые стороны проекта ELVIS V

Фонд поддержки слепоглухих «Со-единение» и Лаборатория «Сенсор-Тех» обсуждают как появился проект, как он живет, как развивается, какие люди в нем работают, что такое социальное предпринимательство и даже чем этот проект отличается от академической науки.

ELVIS V - это кортикальная зрительная протезная система, которая создается, чтобы вернуть зрение тотально ослепшим людям.

Приятного прослушивания:
https://music.yandex.kz/album/18408233/track/125707604?activeTab=track-list&dir=desc

⚠️ Охох, а вот это интересная жара начинается!

Сегодня OpenAI и Google презентуют свои новые разработки, что само собой наводит шумиху там и тут 🫣

И вот на фоне этих всяких обсуждений кого там ИИ заменит одни ребята подсветили как теряется ценность крупного международного сервиса, потому что с его задачами очень эффектно справляются языковые алгоритмы.

Что же с медициной? Колл-центры, в которых ИИ вырулит любой конфликт и привлечет пациента, расположив к себе, общение с цифровой копией известного доктора, только с лучшей его версией, ИИ психологи и что еще? Можно попробовать пофантазировать в комментах 😊

Ну ладно, может я драматизирую нимношка, но в своих лекциях в РУДН уже вполне конкретные вещи студентам показываю каким может быть виртуальный пациент и это охренеть. Я вам гарантирую, что очень скоро никто уже не захочет учиться так, как это делается сейчас.

Итак, давайте немного помусолим тему ИИ при общении с пациентами и поделимся своими мыслями.

В качестве затравки я взял формулировку из предыдущего поста моей одногоупницы, у нее блат 😊

Для затравки, потому что такие вещи очень интересно обсуждать без оглядки а что там кто-то скажет. Я бы хотел все же провести эксперимент, в котором ответы машины смешаю с ответам людей и сделать потом опрос, в котором народ оценит где хорошо и что из этого ИИ.

В комменты скину результаты переписки по этому вопросу.

Давайте поддержите дискуссию, тут все свои :)

🍎 Яблоко будет уметь следить за глазами

Технология айтрекинга существует уже давно, это факт. Ее применение можно найти в таких областях как нейромаркетинг, диагностическая медицина, психология, функциональная реабилитации, гейминг и исследования.

Например, в проекте ELVIS V тоже нужен трекинг, чтобы знать куда смотрит обезьянка в момент стимуляции или когда появляется фигурка на сенсорном экране.

Теперь мы ждем, что в ной iOS 18 появится такая функция, с помощью которой парализованные смогут управлять девайсом. Смотрят на кнопку и «нажимают».

Офтальмологи, если включат фантазию, особенно детские, сразу смогут прикинуть как это можно будет использовать в клинической практике.

У нас в стране есть сразу несколько научных групп, которые активно изучают всякие крутые штуки с помощью айтрекинга, кто-то подключает к этому еще и энцефалограмму, кто-то другие датчики. Есть мнение, что в импланте Маска тоже используют отслеживание глаз 🤭 говорят слишком гладко бегает курсор, но это не точно 😇

👼 Визуальный опыт, уникальный для раннего младенчества - это строительный материал для нашего взрослого зрения

Детские офтальмологи уже давно рассказывают родителям что видят их карапузы и на какие картинки надо смотреть. Зачем? Это должно как-то помочь лучше развиваться зрению. Может кто поправит, но я что-то не встречал исследований объективней, чем показ разных картинок малышам и наблюдение за их реакцией. Не то, чтобы я отрицал важность этого, но мне хочется видеть в этом какие-то причинно-следственные связи, а не только гипотезы.

И тут мне на глаза попадается любопытная работа из Индианы, в которой исследователи вешали камеры младенцам и взрослым, наблюдая куда они смотрят, освещая тем самым некоторые темные места вопроса. А именно зачем это нужно.

Соображения авторов:

- Ранние сцены содержат материалы, которые необходимы для создания прочной основы для человеческого зрения.
- То, что мы обнаружили, это очень особенная, ранняя "диета" для визуального развития. Как и в еде, маленькие дети начинают не с богатых сложных блюд, а с простого, специфичного для развития питания.
- Один из вопросов, который автор всегда себе задавал, будучи аспирантом: "Почему у человеческих младенцев так медленно развивается моторика. Примерно три месяца они просто слушают и смотрят, а еще шесть месяцев - немного учатся держать осанку и контролировать голову. Почему они так медленно развиваются, тогда как лошади выходят и сразу бегут наперегонки? Данное исследование позволяет предположить, что в течение эволюционного развития эти медленные, постепенные и оптимизированные движения работают над созданием очень умной зрительной и слуховой системы.

Несколько интересных деталей в комментариях, все не помещается 🍽

Для проекта ELVIS V это тоже имеет практическое значение, потому что при первом включении бионического зрения, человек будет видеть словно младенец и нам предстоит научить его мозг видеть заново.

Выглядит «надежно» 😉

Вообще нормальный органоклмплекс они выбрали, тут по большому счету проблема только со спинным мозгом, как соединить и чтобы это нормально работало.

Некстгенератион Ромашка Федорова 2.0 из коминг 😊 если без шуток, то после решения вопроса со спинным мозгом с высокой долей вероятности (как минимум не сто лет ждать придется) решится задачка и со зрительным нервом, а значит можно будет глазики пересаживать. Было бы очень эффектно, если бы такое создалось в МНТК, но в нем такую схему развернуть уже не получится, это сто пудов будет разработка DeepTech компании или института по типу СамГМУ.

https://youtu.be/szXbuUlUhQ4?si=Y-oGaa375vRC72fi

💧 Новая линза для мониторинга внутриглазного давления, терпимая к температурным перепадам

Новая, потому что в этом направлении на самом деле работ уже довольно много за последние лет 10 назад. Например, в этой статье есть очень емкий обзор, а в этой - еще и информацию по базовым техпроцессам изготовления можно найти. Забавно, что вторая публикация самарская, приятно этому удивился ☺️

О свеженькой линзе решил написать, потому что мне и в голову не приходило, что температура может давать ощутимые сдвиги на такие сенсоры. Да и сейчас в это не сильно верится, честно говоря, потому что линза подогревается глазом и мне сложно представить сценарии серьезных температурных колебаний. Кто-то замерял температуру глаз? 🤓

Принцип здесь заключается в том, что используется две катушки с разной резонансной частотой, они располагаются с внутренней и с наружней сторон линзы. У каждой свой канал передачи и анализируя информацию индивидуального температурного отклика с обеих, происходит математическая "компенсация". Авторы считают, что это даст возможность создать "тонометры при любой погоде" 😶‍🌫️

Еще один пример использования дополненной реальности в медицине

Здесь мы можем увидеть как минимум четыре вещи:

1. Можно расшарить экран реальный в виртуальный мир. Здесь один экран показан, но технически таких можно сделать несколько. Этот экран висит где ты его повесил, даже если он за спиной и никуда не денется, потому что в шлеме есть датчики, которые сканируют комнату и запоминают расположение всяких объектов.

2. Манипуляция экраном. Ставь куда удобно, экран в принципе не занимает место в операционной. Можно закрыть им того, кто тебе не нравится 😅

3. Размер и детализация. Тут не показано, но экран можно делать любого размера, хоть кинотеатр ставь.

4. Шеринг в другой шлем. Твой экран может видеть другой пользователь шлема, причем там, куда ты его поставил. Это достигается с помощью информации с датчиков из первого пункта. А еще можно отобрать экран и поместить его в другое место 😄