ИИ стирает грани между телемедициной и очной консультацией врача

Во время COVID-19 телемедицина приобрела для врачей критически важное значение, так как позволяет консультировать пациентов, сводя к минимуму личные контакты. Но при общении по телефону или по Zoom сложнее в режиме реального времени оценить состояние больного.

Группа ученых из Вашингтонского университета разработала метод, который с помощью камеры смартфона или компьютера получает в реальном времени данные о пульсе и дыхании пациента по видеотрансляции его лица.

Исследователи представили эту систему на конференции Neural Information Processing Systems еще в декабре 2020 года, а к сегодняшнему дню смогли ее усовершенствовать. Эффективность работы новой версии меньше зависит от  различий в используемых камерах, от освещенности или от особенностей лица пациента, например, от цвета его кожи.

«Искусственный интеллект довольно хорошо классифицирует изображения. Если вы дадите ему множество фотографий кошек, а затем попросите отыскать кошек на других изображениях, он сможет это сделать. Но для того, чтобы машинное обучение было полезным при дистанционном определении состояния здоровья, нам необходима система, которая может идентифицировать на видео интересующую нас область, содержащую самый сильный источник физиологической информации – пульс, например, а затем измерять его в течение некоторого промежутка времени», – сказал ведущий автор исследования Синь Лю, докторант Школы компьютерных наук и инженерии Пола Г. Аллена.

«Все люди разные, – сказал Лю. – Поэтому система должна быть способна быстро адаптироваться к уникальным физиологическим параметрам каждого человека и отделять их от других переменных, таких как внешний вид пациента и окружающая обстановка».

Новая система сохраняет конфиденциальность, так как работает на самом устройстве, а не в облаке. Она использует машинное обучение, чтобы фиксировать мельчайшие изменения в отраженном от лица человека свете, что коррелирует с изменением кровотока, и преобразует эту информацию в сведения о пульсе и частоте дыхания.

Первая версия этой системы была обучена с использованием массива данных, содержащих как видеоизображения лиц людей, так и «контрольную» информацию: пульс и частоту дыхания каждого человека, измеренные стандартными приборами в реальных условиях. Затем система использовала пространственную и временную информацию из видеотрансляций для определения обоих показателей жизнедеятельности. Она превзошла аналогичные системы машинного обучения при работе с видеороликами, в которых испытуемые двигались и разговаривали. Но хотя система успешно работала с некоторыми массивами данных, ей хуже давалась другая информация, содержащая разных людей, фоны и освещение. По словам ученых, это распространенная проблема, известная как «чрезмерное обучение ИИ».

Исследователи улучшили свою систему, создав индивидуальную модель машинного обучения для каждого человека. В частности, это помогает искать важные области в кадрах видеоизображений, которые могут содержать физиологические особенности, связанные с изменением кровотока на лице в различных контекстах, таких как разные оттенки кожи, условия освещения и окружающая обстановка. Дальше система может фокусироваться на нужной области и измерять пульс и частоту дыхания.

Исследователи сотрудничают с врачами, чтобы оценить эффективность работы системы в клинике.

Источник фото: medicalxpress.com

Оригинал новости можно прочитать здесь