Иэнн Уоттс: «Наш ProjectDR позволяет врачам лучше видеть анатомию пациента»

В массовой культуре игра Pokémon Go является, пожалуй, наиболее известным примером дополненной реальности –  нового типа технологии, которая накладывает виртуальные компоненты на городскую среду. Но использование «айфона» для ловли мультипликационных персонажей в общественных местах – только один из примеров ее возможностей. В числе прочего эта технология может с успехом применяться в медицинской визуализации.

Мы побеседовали с Иэном Уоттсом, аспирантом в области компьютерных наук в Университете Альберта, Канада, чтобы узнать о разработанном им приложении для дополненной реальности ProjectDR, которое проецирует КТ и МРТ снимки непосредственно на тело пациента – так, что они двигаются вместе с человеком.

Какую задачу вы пытались решить, разрабатывая эту технологию?

Дополненная реальность – относительно новая область, вокруг которой царит большой ажиотаж. От нее много ждут, поэтому мы ищем способы применения этой технологии в медицине. Мы можем разработать интуитивно понятные способы взаимодействия с медицинскими данными в режиме реального времени, повысить их информативность для врача, чтобы улучшить результативность лечения пациентов.

Конкретная задача, которую мы пытаемся решить с помощью ProjectDR, заключается в более легком определении местоположения внутренних органов, в упрощении работы с анатомией пациента, в предоставлении большего объема информации врачу. Все это может облегчить обследование и лечение пациента. Конечно, необходимую информацию можно получить, просматривая медицинские изображения на мониторе. Но это  не всегда удобно.

Первоначально мы взялись разработать инструмент для врачей, выполняющих различные манипуляции на позвоночнике пациента. Специалист должен найти позвонки, с которыми ему предстоит работать, пальпируя или используя визуальные индикаторы на коже пациента. Это сложная задача, при выполнении которой возможны ошибки. С помощью ProjectDR изображения КТ или МРТ можно наложить на тело пациента или использовать для разметки, чтобы обеспечить четкую визуализацию позвоночника и дать лучшее пространственное представление об остальной его анатомии.

Как шла работа над приложением?

Процесс разработки ProjectDR проходил через различные этапы тестирования комбинаций аппаратного обеспечения. Первый прототип был разработан в ходе выполнения учебного проекта на факультете компьютерных наук с использованием ручного лазерного проектора, камер улавливания движения и маркеров для отслеживания движения. Он мог отображать только основные 3D модели. Однако работал хорошо и был достаточно надежным, и мы впоследствии его усовершенствовали и доработали.

Следующая версия имела гораздо лучшие графические функции, например, объемный рендеринг для отображения изображений КТ и МРТ. Ручной проектор был заменен на светодиодный –  более яркий и мощный, и мы создали устойчивую раму для его крепления и перемещения всех деталей системы над рабочим столом. Сегодняшняя версия имеет удобный интерфейс и включает множество усовершенствований. Предусмотрена возможность ее взаимодействия с большим количеством оборудования для улавливания движения пациента и отслеживания движения глаз врача, а также датчиков глубины, таких как Microsoft Kinect и Magic Leap.

Вы планируете усовершенствовать свою систему?

Для того, чтобы система могла использоваться в клиниках, она должна быть последовательной и точной. Мы работаем над улучшением процесса калибровки центрирования проектора и систем улавливания движения, пробуя различные алгоритмы и уменьшая вероятность ошибок пользователя. Параллельно ведется работа по совершенствованию и автоматизации процесса регистрации между виртуальными изображениями и их физическими объектами. Это сокращает время настройки и облегчает работу с системой, а также улучшает пользовательский интерфейс. Не существует жестких стандартов касательно того, как должны работать системы дополненной реальности: ведь они только появились и они все разные, что дает много свободы для творчества.

Другие разработчики дополненной реальности также делают успехи. В качестве примера могу назвать элегантный способ работы с затенениями, возникающими при перемещении неотслеживаемого объекта перед целью проецирования.

Где в медицинской области уже применяется ProjectDR? Есть другие приложения для этой системы?

ProjectDR – инструмент общего назначения, который можно использовать для проецирования изображений на отслеживаемые цели, поэтому у него большое будущее. Как упоминал ранее, мы работаем над использованием системы для лечения позвоночника. Врачи с помощью медицинских изображений определяют положение и направление позвонка, к которому нужно приложить силу. Все люди разные, поэтому бывает довольно сложно точно локализовать внутренние структуры, даже лежащие близко к поверхности, такие, как позвонки.

Пациент лежит на столе, а с помощью ProjectDR на его спину проецируются данные визуализации позвоночника, давая врачу ориентиры для определения местоположения нужных ему точек приложения силы. Это сокращает время на определение местоположения позвонка, уменьшает потребность в пальпации и снижает количество ошибок. Кроме того, систему можно легко использовать для обучения. Она позволяет изучать анатомию более осязаемым и интерактивным способом, чем учебник или модель.

Есть также приложение для предоперационного хирургического планирования. Сегментированные КТ изображения могут отображаться на пациенте или на хирургической модели и использоваться для планирования операции командой хирургов. Это позволяет отображать, перемещать или скрывать соответствующие анатомические структуры в ходе планирования операции и рассматривать объекты с разных углов. Например, в планировании операции по удалению новообразования из легкого может использоваться проецирование изображения на хирургическую модель, где часть ребер и легкого будут скрываться по ходу осуществления плана виртуальной операции, так что опухоль будет видна вместе с венами и артериями. На тело пациента также можно проецировать различные изменения, которые появятся после медицинского вмешательства. Понятно, что это можно будет использовать в пластической и реконструктивной хирургии, где врачу очень важно видеть, какими будут результаты его действий.

В будущем эта технология может применяться в минимально инвазивной хирургии, например, в лапароскопической. Лапароскопия выполняется путем ввода камер и инструментов в брюшную полость пациента, и за ходом операции наблюдают через монитор, расположенный на удалении от операционного стола. Удаленность лишает врача визуальных сигналов для определения пространственной глубины и ограничивает его поле зрения.

С помощью ProjectDR можно проецировать снимки медицинской  визуализации на тело пациента.

Насколько прорывной, по вашему мнению, может стать технология дополненной реальности для здравоохранения и медицинской визуализации в частности?

У дополненной реальности есть потенциал для прорыва. Она уже захватила воображение многих людей, но для ее максимального использования необходимы новые приложения. Дополненная реальность может сделать лечение более персонализированным и комфортным.

Цены на инструменты для ее применения, такие как трекеры движения, быстро падают, что сделает системы, работающие по этой технологии, гораздо более распространенными. Датчики глубины, такие как Kinect, сейчас широко доступны и даже появляются в мобильных телефонах. Графические процессоры быстро развиваются благодаря достижениям в других областях.

Дополненная реальность может пойти на пользу обучению и моделированию в здравоохранении, так как она поможет снизить затраты, заменяя дорогие физические модели виртуальными. Обучение можно сделать более интерактивным и увлекательным. Но, пожалуй, самое важное – эта технология позволит разработать и ввести в действие более эффективную систему контроля за работой врачей.

В инструментальной диагностике дополненная реальность может улучшить связь между специалистами по визуализации, операторами и пациентами. Появится больше приложений для совместной работы, в которую будут вовлечены много людей, в том числе удаленно. Дополненная реальность предоставляет больше возможностей работы с медицинскими изображениями в 3D, а не на 2D мониторе.

В университете Альберта есть другие интересные проекты дополненной реальности?

Еще один проект нашей лаборатории – это Medbike. Он предназначен для реабилитации при заболеваниях сердечно-сосудистой системы и позволяет пациентам заниматься физическими упражнениями у себя дома, используя стационарный велосипед для езды по виртуальному миру. Пациентам может быть трудно добираться до реабилитационного центра в зимнее время или когда они ослаблены. Medbike делает реабилитацию дома более приятной, а также измеряет показатели артериального давления и другие данные под удаленным наблюдением медицинского работника.

Джон Митчелл