Исследователи научились распознавать набираемый на смартфоне текст при помощи умных колонок

Британские исследователи научились распознавать набираемый на смартфоне текст при помощи умных колонок. В основу методики положены технологии обработки звуковых сигналов, которые издаёт мобильное устройство во время нажатия клавиш на экранной клавиатуре. Соответствующая статья опубликована на arXiv.org.

arXive.org

Исследование провели сотрудники Кембриджского университета. Для успешного перехвата данных у злоумышленников должен быть доступ к умной колонке и размещённому в ней микрофону. Кроме этого, у хакеров должна быть копия устройства, с которого считывается текст. Оказалось, что звуки набора текста получаются специфичными у смартфонов и планшетов, и даже экранная плёнка или чехол могут повлиять на них.

Для проведения эксперимента специалистам потребовался шестимикрофонный чип ReSpeaker, который используется при сборке умных колонок, и микрокомпьютер Raspberry Pi. При помощи чипа исследователи записали звук, а затем посредством специального алгоритма проанализировали и соотнесли звук с отдельными клавишами. Для распознавания использовались два метода — линейный дискриминантный анализ и свёрточная нейросеть.

Точность распознавания зависела от модели смартфона и типа данных. При попытке распознать пин-код точность составила около 15 %, слова были распознаны с точностью до 50 %. Причины такой разницы в распознавании данных не уточняются. Для защиты устройств от подобного типа атак исследователи предложили производителям воспроизводить при наборе текста сторонние звуки.