Siri, ты меня слушаешь?

Иллюстрации: Антон Марьинский
05 апреля 2019

Использование голосовых помощников в мире утроится к 2023 году: если в 2018-м были задействованы два с половиной миллиарда голосовых ассистентов, то через четыре года их число достигнет восьми миллиардов, говорится в исследовании Juniper Research. В прошлом году компания Google объявила о том, что её голосовой помощник уже работает на миллиарде устройств. Ассистенты входят в жизнь всё большего числа людей, совсем скоро заказывать пиццу, переключать каналы и совершать покупки в интернет-магазине с помощью голоса окончательно станет нормой. Самиздат изучил тёмную сторону силы голосовых помощников и выяснил, как «Алиса», Siri и «Олег» помогут вас ограбить.

Вечером 20 января 2019 года житель деревни Лейк-Баррингтон, штат Иллинойс, Арджун Суд услышал из детской странный шум. Некоторое время назад Арджун и его жена вместе уложили спать своего семимесячного сына. «Как только я вошёл в детскую, то услышал низкий голос, который разговаривал с ребёнком», — рассказал Суд телеканалу NBC 5. Его жена также заметила, что термостат Nest был установлен на «пугающей и опасной» отметке 90 градусов по Фаренгейту (32 градуса по Цельсию).

Арджун отнёс своего вспотевшего и проснувшегося от жары сына вниз по лестнице в гостиную, когда сработала другая камера Nest и кто-то стал ругаться на семью матом.

После того как злоумышленники взломали «умные» устройства в доме, Арджун не мог «спокойно спать ещё десять дней». Он записал на видео собственный разговор с незнакомцем по ту сторону «умной» камеры и признался, что в этот момент его «кровь похолодела». Всего дома у Суда было установлено шестнадцать камер, два термостата и система безопасности — все устройства от компании Nest. Глава семьи — заядлый пользователь системы «умный дом», на производстве девайсов для которой и специализируется Nest. «Термостатами можно было управлять с помощью голосового помощника Alexa», — рассказал самиздату Суд.

Представитель Google, которой принадлежит Nest, заявил, что её системы не были взломаны, и связал потерю контроля над аккаунтом с тем, что пользователи устанавливают одинаковые пароли на разных сервисах и сайтах. Компания посоветовала клиентам применять двухфакторную аутентификацию и не использовать одни и те же пароли для разных устройств. «Мы до сих пор не знаем, как злоумышленники получили доступ к аккаунту, так как Nest не дал ответа на этот вопрос, а также не предоставил логи (файлы, содержащие информацию о работе системы. — Прим. ред.)», — сетует Арджун, который теперь собирается судиться с Nest.

Похожий случай произошёл в начале 2019 года в Техасе. Супруги Одри и Хантер Коулманы из Форт-Уэрта лежали в постели, когда услышали, что мужской голос в гостиной приказал Alexa сыграть песню Джастина Бибера. Пара подумала, что кто-то проник в их дом, но в нём никого не было. Когда Хантер выбежал из спальни, то обнаружил, что кто-то следит за ним с помощью камеры Nest. Представитель компании заявил супругам, что злоумышленник, вероятно, подобрал пароль к их аккаунту, однако Одри Коулман считает, что это невозможно. Скорее всего, злоумышленник взломал аккаунт и получил доступ к камере, а также микрофону, предполагает она. Вероятно, таким образом хакер получил контроль над голосовым помощником, с помощью которого можно добраться до персональной информации: паролям, банковским аккаунтам и паспортным данным.

Помощники-конкуренты

Голосовыми помощниками сегодня начинают пользоваться всё больше людей: с их помощью можно поставить будильник, включить музыку или контролировать различные компоненты современного «умного дома», рассказывает антивирусный эксперт «Лаборатории Касперского» Дмитрий Галов. В некоторых случаях голосом можно заказать доставку продуктов в онлайн-магазине или открыть замок входной двери. Одна из потенциальных проблем, связанных с подобными устройствами, заключается в том, что если злоумышленник получит удаленный доступ к устройству, то он потенциально сможет услышать всё, что происходит дома у жертвы, а иногда и увидеть, так как некоторые устройства имеют встроенную камеру, говорит Галов.

В России уже несколько компаний собираются разрабатывать собственные голосовые помощники: виртуального ассистента должны запустить «Тинькофф Банк» и Mail.Ru Group. «Яндекс» запустил голосового ассистента «Алису» в октябре 2017 года. «Тинькофф Банк» собирается представить голосового помощника, который, скорее всего, получит имя «Олег», весной 2019 года, он будет «жить» в мобильном приложении «Тинькофф», рассказал «Батеньке» представитель компании.

Представители компаний много говорят о безопасности своих помощников: «Яндекс» работает над профилактикой ложных срабатываний, чтобы «Алиса» в любом устройстве реагировала только на активационные фразы или явное нажатие кнопки, «Олег» будет общаться с пользователем и решать для него разные задачи, но чтобы воспользоваться, клиенту нужно «пройти авторизацию в мобильном приложении: ввести логин, пароль, пин или задействовать отпечаток пальца». Между тем во всем мире в функции голосовой помощи обнаруживаются всё новые уязвимости.

Белый шум

В январе 2017 года на региональном американском канале телеведущий CW6 Джим Паттон рассказывал зрителям историю о том, как жительница Далласа Меган Нейцель неожиданно получила подтверждение заказа на Amazon — интернет-ритейлер должен был привезти ей кукольный домик за 170 долларов и двухкилограммовую коробку с печеньем. Оказалось, что заказ сделала шестилетняя дочь Меган — Брук, которая попросила кукольный домик и печенье у Alexa. Голосовой ассистент, встроенный в умный динамик Amazon Echo, превратил эту просьбу в заказ.

«Мне нравится, как маленькая девочка сказала: „Alexa, закажи мне кукольный домик“», произнёс в прямом эфире ведущий Паттон и случайно активировал голосовых помощников телезрителей. Их устройства тут же сделали попытку разместить заказы на сайте Amazon.

Но если такие явные ошибки в работе голосовых ассистентов пользователь может отследить и исправить — например, Amazon согласилась возвращать товары, заказанные по ошибке, бесплатно, — то скрытым манипуляциям противостоять сложнее.

В мае 2018 года издание New York Times рассказало о новом способе незаметно управлять голосовыми помощниками Siri, Alexa и Google Assistant. Его обнаружила группа студентов из Калифорнийского университета в Беркли и Джорджтаунского университета. Они продемонстрировали, что в различные записи, например в музыкальные или содержащие аудиотекст, можно интегрировать фразы, недоступные человеческому уху. Это возможно из-за различия в том, как человек и машина распознают речь. Системы распознавания переводят в букву каждый звук и воспринимают куда больший спектр частот. Исследователям удалось незначительно изменить аудиофайл, в результате чего система распознавания речи стала переводить звуки в буквы иначе, чем в оригинальной записи. Одновременно эти звуки были не слышны для человеческого уха. Если такие записи воспроизвести рядом с устройством, которым можно управлять голосом, то оно воспримет «белый шум» как команду. Пока человек слышит, как играет оркестр, Amazon Echo, повинуясь команде, может незаметно добавить что-то в его список покупок, открыть определённый сайт или переключить устройство в авиарежим.

Современные алгоритмы распознавания речи, используемые в том числе и в голосовых помощниках, можно «обмануть», потенциальные уязвимости существуют, подтверждает Дмитрий Галов из Kaspersky Lab, признаваясь, что пока им ни разу не встречались подобные атаки.

Сверхзащита

Сейчас голосовые помощники не отличают голоса своих владельцев от чужих голосов: система распознавания речи реагирует на звуки, а не на того, кто их произносит.

В июле 2017 года корреспонденты газеты «Ведомости» провели эксперимент, во время которого один из сотрудников вызвал Siri на заблокированном iPhone своего коллеги. Он попросил Siri отправить sms на номер 900 (sms-банкинг Сбербанка). Корреспондент голосом указал сумму и номер адресата перевода. Siri выполнила просьбу и отправила sms. Через некоторое время на заблокированном экране смартфона высветился код подтверждения от системы sms-банкинга Сбербанка. С помощью Siri корреспондент отправил код на номер 900 и подтвердил операцию — деньги ушли. Похожая схема сработала с приложением «Тинькофф Банка». Представитель «Тинькофф Банка» рассказал тогда, что таким образом можно перевести максимум 1600 рублей в месяц, а сотрудник Сбербанка отметил, что операционную систему можно настроить таким образом, что Siri не будет работать на заблокированном экране.

В 2017 году Ведомство по патентам и товарным знакам США опубликовало заявку компании Apple на патент новой функции, направленной на усиление безопасности устройств — голосового пароля, сообщает портал Patently Apple. В будущем владелец iPhone или iPad сможет задать пароль устройству, который будет состоять минимум из одного слова. Если гаджет не сможет распознать владельца по голосу, то доступ к Siri, а также самому устройству будет невозможен — от владельца потребуется ввести пин-код или использовать отпечаток пальца. Сегодня Siri всё ещё подчиняется любым командам.

Правильно реализованный голосовой помощник должен предоставлять пользователю дополнительные сервисы, которые заботятся о его безопасности, поясняет Кирилл Левин, R&D-директор Центра речевых технологий (ЦРТ). Например, это могут быть сервисы, которые контролируют, какие данные умный динамик отправляет в интернет: нет ли среди них персональной или конфиденциальной информации, добавляет он. Компании уже сейчас начинают внедрять их: «Наши зарубежные клиенты — крупные игроки мобильного рынка при создании голосовых помощников вроде Siri сразу ищут производителей в области голосовой и лицевой биометрии», — рассказывает Левин.

ЦРТ уже внедрила в несколько банков антифрод-систему. Если в такой банк позвонит мошенник, который знает паспортные данные и кодовое слово клиента, формально сотрудник банка должен выполнить его запрос и перевести деньги или заблокировать карту. ЦРТ внедряет системы, которые анализируют голос человека, пока тот общается с оператором. Если голос звонящего не похож на голос владельца карты, то оператор увидит на компьютере сообщение: «Будь осторожен, этого человека нужно пригласить в офис, чтобы он подтвердил свою личность». По словам эксперта, образец голоса клиент предоставляет добровольно во время того, как подписывает договор на обслуживание с банком: «Поскольку мы делаем это в интересах клиента, как правило, все они согласны пойти на такой шаг».

Помимо распознавания голоса, сервисы в скором будущем начнут разграничивать права: дети не смогут совершать онлайн-платежи, кроме того, голосовые помощники не должны будут выдавать часть информации из сети. «Если ребёнок задаст вопрос: „Где я могу купить наркотики?“, он не должен будет получить ответ», — подчёркивает Левин.

В ближайшее время появятся умные колонки, которые смогут распознавать человека по голосу, прогнозирует он.

Похищение голосов

В 2016 году один из 937 телефонных звонков в мире был сделан с целью мошенничества

Научить интеллектуального ассистента реагировать на голос владельца можно, но пока технологии распознавания речи в персональных устройствах не всегда могут отличить искусственно сгенерированный голос от человеческого, рассказывает замдиректора по исследованиям и разработкам компании ABBYY Татьяна Даниэлян. Человеческий голос можно подделать, если у злоумышленника собрано достаточно данных о пользователе, говорит она. Сами голоса тоже становятся инструментом в руках мошенников

В конце марта 2019 года Департамент шерифа округа Лос-Анджелес предупредил жителей Санта-Клариты о новом виде мошенничества, во время которого злоумышленники записывают голоса людей, чтобы затем производить операции по их кредитным картам. Клиентам банков звонили незнакомцы и, представляясь сотрудниками банка или страховых компаний, просили подтвердить данные: номер счёта, полный адрес. Посреди разговора, мошенники невзначай спрашивали, хорошо ли их слышно. Когда человек отвечал «да», хакер записывал голос и затем использовал его для авторизации в банке. «Фраза „вы меня слышите?“ может звучать как невинный вопрос, но отвечать на неё нужно с осторожностью, если звонок идёт с неизвестного номера», — предупреждает полицейское управление. У мошенника уже может находиться на руках финансовая информация потенциальной жертвы, а оспорить в будущем такой платёж будет сложно, так как с точки зрения банка клиент санкционировал транзакцию лично.

По данным американской компании Pindrop Security, которая специализируется на информационной безопасности, в 2016 году один телефонный звонок на каждые 937 в мире был сделан с целью мошенничества, а в 2017 году их число увеличилось на 47 процентов (один из 638). С 2013 по 2017 год уровень «голосового» мошенничества вырос на 350 процентов.

Голос — это такие же персональные данные, как дата рождения, номер паспорта и ответ на вопрос о девичьей фамилии матери, и их необходимо защищать: не сразу отвечать на звонки с номеров, которые не определяются, а сначала отправлять их в голосовую почту, использовать двухфакторную идентификацию для значимых операций и периодически менять пароли, подчёркивает представитель ABBYY.