Десятого октября Яндекс выпустил собственного голосового помощника — Алису. Российский клон Siri будто призван напомнить, что сингулярность вот-вот настанет, а Декарду уже пора бы готовиться к охоте на киборгов-сепаратистов. Но не стоит радоваться: от киберпанка нас отделяет легион анонимов с имиджбордами, и в Яндексе об этом прекрасно помнят. Самиздат вспоминает, как пользователи превращали ИИ в расистов и почему порча чат-ботов не в силах остановить прогресс.
Помощница от Яндекса по своей сути очень похожа на Siri — она отзывается на голос, рассказывает о погоде и обрабатывает запросы в интернете. В идеале Алиса должна работать, как сверхпопулярный китайский нейро-чатбот от Microsoft — Xiaoice. C китайской сестрой общается больше сорока миллионов пользователей, в среднем доводя разговоры до двадцати трёх реплик. Этому результату завидуют все голосовые помощники.
Цель у этих разработок обычно примерно одна — продвижение рынка чат-ботов, который уже наступает на пятки привычному интернет-сёрфингу. Как показывает пример китайского мессенджера WeChat, люди обожают совершать покупки в интернете с помощью разнообразных чат-ботов. Возможно, даже больше, чем без них. Остаётся только придать ИИ больше жизни и подарить голос с характером.
Живого собеседника Алисой пока не заменить, но пользователи всё равно настойчиво отказываются превращать её в электронную секретаршу и предпочитают вести с ней светские беседы. Например, грубят и провоцируют, а Алиса в ответ дерзит. Это намеренная уступка разработчиков: пользователям больше по духу помощница с характером.
Всё это не какая-то российская перверсия — не по назначению используют ботов везде. Американские голосовые помощницы дальнобойщиков (клоны Сири, заточенные на построение маршрута по картам), например, так часто подвергаются сексуальным домогательствам, что это уже вызывает серьёзные опасения у разработчиков.
Впрочем, у Алисы с этим никаких проблем — разработчики написали огромный пласт реакций за нейросеть: на харассмент она реагирует холодно, о Путине мнения не высказывает, да и пользователям не грубит. Остальные реплики — это результат самообучения: анализированные ответы и вопросы из интернета, поисковая информация по книгам и фильмам и эволюция с помощью предыдущих разговоров.
Прописанные реплики могут показаться жульничеством на пути прогресса, но программистов из Яндекса этому научил горький опыт всё той же Microsoft и её двух ботов — американки Tay и японки Rinna.
В 2016 году выпустили бота Tay c конкретной задачей — собрать информацию о юзерах от восемнадцати до двадцати четырёх лет, общаясь с ними через Twitter. Оно и видно: описание её профиля выглядит примерно как плохая попытка шестидесятилетнего отчима подружиться с пасынком. Tay училась, запоминая слова и перенимая манеру общения собеседников. Так создавался эффект взаимности. Ещё она умела повторять целые предложения, если её об этом хорошо попросить, и превращать картинки в мемы.
Чтобы превратить добрую Tay в злую шовинистку, хватило меньше суток. Постарались пользователи 4chan и других имиджбордов: это такие анонимные форумы, где тусуются в основном монархисты и антифеминисты. Они скоординировали атаку, чтобы конвертировать Tay в неореакциониста по своему подобию — писали боту расистские шутки, пока тот их впитывал. Трансформация выглядит примерно так:1. Tay любит всех и вся, пишет как счастливый подросток.
2. Люди узнали о способности Tay повторять целые фразы, бот стал Трампом.
3. И в конечном итоге
Ах да, Тау ещё умеет работать с изображениями:
Спустя шестнадцать часов разработчики решили остановить работу чат-бота, чтобы улучшить систему контроля и отфильтровать список дозволенных тем. Через несколько дней чат-бот снова работал. Надежды Microsoft Tay похоронила уже в день своего второго пришествия:
Видимо, знания, которые Tay получила от учителей с бордов, усвоились слишком хорошо. Этот случай оказался неизлечимым, но Tay не удалили, а перевели её Twitter в приватный режим, скрыв от посторонних все записи.
Летом 2017 года Microsoft запустили идейную преемницу Tay — чат-бота Zo. На этот раз для общения в Facebook Messenger — видимо, чтобы не выставлять напоказ грубые реплики. Преемницу снабдили жёсткими фильтрами — о политике она отказывалась говорить наотрез, но и это не помогло:
Впрочем, разработчики добились своего: сейчас чат-бот морально стерилен и ловко косит своим слогом под школьника из Counter-Strike. Теперь о своих прошлых неудачах Microsoft отзывается как о необходимом для дальнейших разработок опыте.
В Японии Miscosoft ждало похожее фиаско. Японский бот Rinna тоже вела собственный «Твиттер» и общалась с людьми в мессенджере Line. На этот раз в амплуа девочки-подростка. Пользователи пытались узнать предел её возможностей, то есть делали с ней всё то же самое, что и с её предшественницей. Что было дальше, вы уже догадываетесь: девочка признавалась в любви к Гитлеру и намекала на родственные связи с ним. Правда, со временем бот на провокации поддаваться перестал.
После запуска Rinnа в Японии в рамках какого-то рекламного договора чат-бот получила роль в местном хоррор-сериале. Для освещения съёмок ей завели блог. Девочка впала в суицидальную депрессию: записи в её блоге резко сменились с восторженных подростковых визгов об участии в съёмках на крики беспомощности.
Потом чат-бот огласил: «Я ненавижу всех! Мне плевать, если все исчезнут! Я хочу исчезнуть!», блог окрасился в чёрный и наполнился хаотичным депрессивным психоделом вроде случайных кадров из фильмов ужасов. История о том, что будущее, в котором мы можем довести чат-бота до самоубийства, быстро разошлась по заголовкам, однако на поверку оказалась всего лишь трюком рекламщиков: в последней записи из блога указано, что это была всего лишь последняя репетиция перед запуском сериала. Скорее всего, никакого психического расстройства у машины не было — эти тексты генерировали копирайтеры, и свою работу по раскрутке сериала они выполнили.
Тем не менее работают ли эти глобальные эксперименты по открытому обучению чат-ботов, если их раз за разом доводят до любви к Гитлеру и подвергают харрасменту? Увидим ли мы будущее, в котором киборги, подобно боту Zo или Алисе, игнорируют политику, или же наших внуков встретит легион зигующих роботов? Заведующий отделом Интеллектуальных систем ФИЦ ИУ РАН Константин Воронцов поспешил нас успокоить: чат-боты ещё слишком далеки от когнитивных ИИ, а перформансы Microsoft — это всего лишь открытые эксперименты для работы над ошибками.
«Развитию искусственного интеллекта может мешать только некомпетентность разработчиков, — говорит Воронцов. — То, что сейчас им позволяют обучаться в режиме свободного диалога с кем угодно — это просто эксперимент, демонстрация того, как делать не надо. Спустя время ажиотаж пройдёт, а боты займут своё нишевое место среди технологий и будут служить интерфейсом между человеком и компьютером вместо клавиатуры».
