|
Слуховые аппараты смогут читать по губам через маски
|
|
|
|
Была разработана технология слухового аппарата, которая сканирует движения вашего лица и использует искусственный интеллект (ИИ) для понимания того, что вам говорят. Разработанная инженерами Университета Глазго система способна читать даже по губам людей, которые носят маску. Команда обучила алгоритмы на данных, собранных путем сканирования лиц людей с помощью радара и сигналов Wi-Fi во время их разговора. Это позволило системе правильно интерпретировать речь до 95% времени для губ без маски и до 83% времени для маски. Если его интегрировать в слуховые аппараты, он может помочь глухим и слабослышащим людям легче сосредотачиваться на звуках в шумной обстановке. «Около пяти процентов населения мира — около 430 миллионов человек — имеют какие-либо нарушения слуха», — сказал ведущий автор исследования доктор Каммер Аббаси.
|
|
|
|
«Слуховые аппараты изменили жизнь многих людей с нарушениями слуха. «Технология нового поколения, которая собирает широкий спектр данных для увеличения и усиления усиления звука, может стать еще одним важным шагом в улучшении качества жизни людей с нарушениями слуха. «С помощью этого исследования мы показали, что радиочастотные сигналы можно использовать для точного чтения гласных звуков по губам людей, даже когда их рты закрыты». Современные слуховые аппараты помогают людям с нарушениями слуха, усиливая все окружающие звуки. Хотя это полезно, пользователям может быть сложно сосредоточиться на определенных звуках в шумных ситуациях, например, во время разговора с одним человеком на вечеринке. Чтобы преодолеть это, были разработаны «умные» слуховые аппараты, которые собирают данные о чтении по губам с помощью камеры, которые используются вместе с обычным усилением звука.
|
|
|
Однако сбор видеозаписей людей без их явного согласия вызывает опасения по поводу конфиденциальности личности. Камеры также не могут читать по губам тех, кто носит маску в религиозных, культурных или медицинских целях. В своем исследовании, опубликованном сегодня в Nature Communications, исследователи описывают метод сканирования лица, который может работать как альтернатива камере. Сначала они приступили к обучению алгоритмов машинного и глубокого обучения тому, как распознавать движения губ и рта, связанные с каждым гласным звуком. Это включало в себя просьбу добровольцев мужского и женского пола повторять пять гласных звуков, A, E, I, O и U, без маски и в хирургической маске. Пока они это делали и когда их губы были неподвижны, их лица сканировались с помощью радиочастотных сигналов от радарного датчика и передатчика Wi-Fi. Это накопило 3600 выборок данных, которые использовались для обучения алгоритмов чтению замаскированных и немаскированных гласных образований пользователей.
|
|
|
|
Данные Wi-Fi правильно интерпретировались алгоритмами обучения до 95% времени для немаскированных губ и 80% для замаскированных. Между тем, данные радара правильно интерпретировались до 91% без маски и 83% времени с маской. «Учитывая повсеместное распространение и доступность технологий Wi-Fi, результаты весьма обнадеживают, что говорит о том, что этот метод имеет ценность как в качестве отдельной технологии, так и в качестве компонента будущих мультимодальных слуховых аппаратов», — сказал д-р Аббаси. Поскольку эта система сохраняет конфиденциальность, собирая только радиочастотные данные без видеосъемки, есть надежда, что в будущем ее можно будет установить в интеллектуальные слуховые аппараты.
|
|
|
|
Источник
|
