Друзья, сегодня на нашем портале новый интересный материал о высокотехнологичных разработках, которые призваны, с одной стороны, облегчить жизнь людям с ограниченными возможностями здоровья, а с другой тем, у кого этих ограничений нет, немного лучше понять, с какими сложностями приходится сталкиваться людям с нарушениями слуха и зрения.
Собеседником нашей редакции по этой теме стал директор АНО «Лаборатория «Сенсор-Тех» Денис Кулешов, а также руководитель медицинских проектов Лаборатории «Сенсор-Тех» Андрей Демчинский.
NBPrice.RU: Добрый день! Расскажите об основных направлениях деятельности и достижениях Вашей компании. На сайте компании указаны довольно разносторонние проекты. Расскажите о наиболее значимых и интересных проектах.
Денис Кулешов: Лаборатория «Сенсор-Тех» была основана в 2016 году при поддержке благотворительного фонда «Фонд поддержки слепоглухих «Со-единение». Мы исследуем проблемы людей с нарушениями слуха и зрения, в том числе слепоглухих, и разрабатываем высокотехнологичные решения, которые будут способствовать их социализации.
Например, недавно при поддержке компании «Мегафон» мы выпустили мобильное приложение «Определитель купюр», чтобы незрячие люди могли различать банкноты и самостоятельно расплачиваться наличными, не боясь быть обманутыми.
Еще одна наша недавняя разработка для незрячих – умный помощник «Робин», созданный при поддержке Национальной технологической инициативы. Это небольшое устройство для определения окружающих предметов и обозначения препятствий на пути. Также «Робин» умеет распознавать лица людей – если устройство навести на человека, фотография которого ранее была загружена, «Робин» произнесет его имя. Все это помогает незрячему человеку быть более самостоятельным.
Также при поддержке Национальной технологической инициативы мы создали устройство для распознавания речи «Чарли», которое призвано помогать свободно общаться людям с нарушениями слуха и без. Устройство устанавливается в помещении и распознает устную речь, выводя ее в виде текста на экране смартфона, планшета, телевизора или Брайлевского дисплея. Особенность «Чарли» в том, что для распознавания речи его не нужно подносить к лицу – он услышит собеседника на расстоянии двух метров. Подключив к устройству клавиатуру, человек с нарушением слуха сможет ответить в диалоговом окне. Мы надеемся, что такие устройства будут появляться не только в домах семей с неслышащими людьми, но и в общественных местах, например, в банках, центрах социального обслуживания населения, благотворительных и коммерческих организациях, которые работают с людьми с нарушенным слухом. Это поможет преодолеть барьер в общении, который, к сожалению, есть сейчас.
Лаборатория «Сенсор-Тех» также принимает активное участие в популяризации высокотехнологичных способов восстановления зрения тотально незрячим людям. В 2017 году мы участвовали в проведении первых в России операций по установке бионического импланта людям с нарушенным зрением.
Затем мы разработали VR-симулятор, который позволяет имитировать различные нарушения зрения: астигматизм, катаракту, отслойку сетчатки, а также показывает, как видят мир люди с бионическим зрением. Симулятор также позволяет увидеть, как прогрессирует болезнь с течением времени. Все это поможет специалистам медицинской сферы, особенно молодым врачам, лучше понимать тонкости различных болезней глаз. Сейчас специалисты Лаборатории при поддержке Фонда президентских грантов проводят в медицинских вузах России серию образовательных семинаров с использованием нашей VR-технологии на тему «Как вернуть зрение? Бионические зрительные протезы и виртуальная реальность». У симулятора также есть более простая версия – мобильное приложение See My World, которое рассчитано на широкую аудиторию и доступно каждому для скачивания. Через него также можно посмотреть, как видят люди с различными болезнями глаз.
NBPrice.RU: Нас заинтересовал проект офтальмологического VR-симулятора. Расскажите о нем поподробнее: что он представляем собой, какова целевая аудитория и возможности проекта.
Андрей Демчинский: Офтальмологический VR-симулятор Лаборатории «Сенсор-Тех» – это система, которая позволяет погрузить зрячего человека в мир человека с различными нарушениями и «посмотреть» его глазами. Это нечто среднее между классической виртуальной и дополненной реальностью, поскольку человек не погружается в трехмерную среду, а видит реальный мир через определенные фильтры.
Устройство, как и любой VR-симулятор, состоит из системного блока и шлема виртуальной реальности. Надевая его, человек видит симуляции заболеваний глаз, например, близорукости, глаукомы, искажения как при заболеваниях сетчатки и т.д. Выбранный пользователем комплекс визуальных нарушений накладывается на реальную картинку с камеры, фиксируемой на VR-шлеме.
VR-симулятор разработан прежде всего для офтальмологов и тех, кто собирается ими стать. Врачам симулятор позволит расширить понимание той или иной патологии до максимально приближенной к реальности. Дело в том, что если нескольким офтальмологам дать результаты комплекса обследования и попросить их рассказать, как видит человек с этими нарушениями, то описания окажутся разными, поскольку отсутствует единое понимание о проявлениях симптомов. Студентам медицинских вузов симулятор также позволяет погружаться в проблему, которой они занимаются, и визуально подкреплять знания, которые они получают во время учебы.
Кроме этого VR-симулятор будет полезен тем, кто работает с людьми с нарушением зрения, чтобы иметь представление об их ограничениях. Например, человек, который включит симуляцию отслойки сетчатки и попробует пройтись даже по знакомой ему локации, сразу начнет спотыкаться, потому что при данном нарушении фактически отрезается нижняя часть привычного обзора. А если человек видит только через небольшое окошко, то это сильно ограничивает скорость его передвижения.
NBPrice.RU: Также увидели такую связку как «Бионические зрительные протезы и виртуальная реальность». Расскажите, что это за протезы и в чем суть их взаимодействия с VR.
Андрей Демчинский: VR-симулятор Лаборатории «Сенсор-Тех» также может показать, как видят люди с бионическим зрением – те, у кого установлена американская протезная система Argus II, французская IRIS или немецкая Alpha AMS.
Конечно, симулятор показывает несколько идеализированную картинку – вы увидите ровные черно-белые кружки, в реальности же каждая точка имеет свою форму, которая постоянно меняется.
Симуляция бионического зрения создавалась прежде всего для реабилитологов, которые работают с людьми со зрительными протезами. Это помогает специалистам понять, как и что видят обладатели имплантов, и в результате эффективней работать с ними. В то же время, это уникальная возможность для всех интересующихся узнать, как видят люди с бионическим зрением.
NBPrice.RU: Расскажите подробнее о Вашем проекте и приложении See My World. Какова основная цель его разработки?
Андрей Демчинский: Приложение See My World, которое доступно для скачивания в AppStore и Google Play, несет образовательную функцию и рассчитано как раз на широкую аудиторию. По сути это упрощенная версия нашего профессионального офтальмологического VR-симулятора.
Изначально в нем была заложена функция симуляции только бионического зрения – это уникальная возможность увидеть так, как видят люди с имплантами. Затем были добавлены другие фильтры с распространенными заболеваниями типа глаукомы и катаракты. В нем есть короткое описание симптомов и способов профилактики. Стояла задача донести важную информацию и при этом не перегрузить людей.
Симуляция помогает лучше понять своих близких. Например, у многих пожилых людей развивается катаракта или глаукома, но родственники, которые помогают им, даже не представляют, в чем выражаются эти заболевания и какими сложностями ограничены эти люди в повседневной жизни.
Также планируется выпуск версии приложения PRO для специалистов, чтобы симулятор всегда был под рукой. Приложение будет полезно дизайнерам, чтобы посмотреть на восприятие людей, которые в силу разных обстоятельств видят по-другому, и разработчикам доступной среды.
NBPrice.RU: Если говорить в целом, какие могут быть перспективы у технологий VR в медицине и в прочих отраслях деятельности человека, не считая игровую индустрию, где виртуальная реальность представлена наиболее широко?
Андрей Демчинский: VR уже сейчас достаточно широко распространен в медицине. Например, технологии виртуальной и дополненной реальности используются для обучения операциям: человек «перемещается» в операционную, перед ним лежат инструменты и сам пациент. Ты проводишь операцию поэтапно – сначала завершаешь одно действие, потом открывается следующий шаг. Есть подсказки в виде пометок, например, пунктир там, где нужно сделать разрез. Действия нужно выполнять четко, рука должна находиться в определенном положении под правильным углом, разрез должен быть конкретной глубины. Все это помогает специалистам отработать движения для уверенного проведения реальных хирургических операций.
Также в медицине VR используется для визуализации данных, например, при проведении МРТ. С помощью технологии можно «покрутить» полученные результаты, посмотреть на них с разных сторон. Я лично рассматривал трехмерную визуализацию томографии сетчатки глаза, это действительно очень удобно.
NBPrice.RU: В феврале этого года Ваши сотрудники разместили статью «The first deaf-blind patient in Russia with Argus II retinal prosthesis system: what he sees and why» в Journal of Neural Engineering. Расскажите коротко об этом исследовании и какую роль в этой операции сыграла Ваша команда?
Андрей Демчинский: В системе Argus II есть камера, картинка с которой попадает в процессор и затем усредняется до 60 точек, каждая из которых соответствует определенному электроду. С помощью программного обеспечения компании-производителя мы можем активировать каждый отдельный электрод и узнать, что в этом случае видит человек. Задача нашего исследования состояла в том, чтобы глубже понять особенности формы, площади и размеров фосфенов (вспышек, которые ощущает человек), чтобы пытаться предсказать, как будет видеть человек при тех или иных особенностях сетчатки и позиции импланта.
Что касается нашей роли в проведенных операциях. Сама операция – это всего 5-6 часов из почти года работы с одним пациентом. Работа начинается с первого знакомства и длится до завершения реабилитации. Мы соавторы проекта и участвовали во всех этапах кроме самой операции, которая прошла в Федеральном научно-клиническом центре оториноларингологии ФМБА России, и трехнедельного клинического наблюдения. Вместе с Фондом поддержки слепоглухих «Со-единение» и Благотворительным фондом Алишера Усманова «Искусство, наука и спорт» мы описывали проект, составляли план, привлекали участников, отбирали пациентов, организовывали их обследования и проведение операции, а также сопровождали послеоперационный период. Самый большой и важный блок – это реабилитация. В этот период, который длится по меньшей мере полгода, необходимо обучать человека пользоваться «новым зрением», разглядывать какие-то вещи, движения и т.д. Все это постоянные тренировки. Также мы взаимодействовали с иностранными реабилитологами и работали вместе с ними.
NBPrice.RU: Ведутся ли еще какие-либо проекты, связанные с VR/AR? Возможно есть новые идеи для разработки?
Андрей Демчинский: В нашей Лаборатории новые проекты по VR пока не ведутся.
NBPrice.RU: Большое спасибо за ответы! Желаем дальнейшего развития проектов и реализации планов и новых идей.