Машинное обучение

Машинное обучение — это попытка машины найти закономерность между набором определённых свойств и заданным правильным ответом. Машина считается «обученной» тогда, когда она выводит из этого набора предметов и свойств закономерность. Эта закономерность называется моделью, а сам процесс вывода — тренировкой модели. Результат работы модели с данными напрямую зависит от того набора данных, который человек «скормил» модели при тренировке. Скорректировать такую модель в дальнейшем оказывается довольно сложно: этот процесс связан с долгой и затратной переподготовкой данных.

Из этого следует несколько выводов. Во-первых, машинное обучение очень плохо предсказывает или классифицирует то, что выходит за рамки модели. Стандартная практика в индустрии — выкидывать «примеры-аутсайдеры» уже на этапе тренировки: если нужно предсказать время пробега пяти километров по возрасту и любимому цвету, то придётся отбросить мировых чемпионов и любителей сверхредких цветов — потому что для установления связи выборка будет слишком маленькой. Во-вторых, если тренировочная выборка содержит определённые предрассудки, они, разумеется, напрямую отразятся на модели. Скажем, если согласно выборке люди определённого социального положения, или определённой национальности, или пола в среднем хуже выплачивают кредиты или хуже учатся, то их шансы получить кредит или стипендию снизятся уже только потому, что они являются частью определённой группы. Самое ужасное состоит в том, что даже если в законе запрещена дискриминация по определённым признакам — полу, вероисповеданию или сексуальной ориентации, то система может использовать так называемые прокси-свойства (любимый цвет, любимый праздник или просмотр всех сезонов «Хора»), которые хоть и не напрямую, но с высокой долей вероятности указывают на «те самые» признаки.

Компания «Убер» окружена скандалами с самого основания, и совсем недавно разразился ещё один: в некоторых городах США «Убер» был замечен в дискриминационной ценовой политике, когда одни и те же маршруты могут оказаться дороже на основании анализа платёжеспособсти клиента. Выходишь из бара в два часа ночи, заказываешь такси и, как обычно, получаешь полную цену перед поездкой — но она зависит не от количества километров, а от района, в котором ты живёшь, и твоей предрасположенности тратить больше денег в подвыпившем состоянии (установленной на основе истории твоих покупок). Учитывая, что «Убер» имеет огромное количество информации о своих клиентах и даже знает, едешь ли ты обратно со свидания на одну ночь, компания вполне может себе позволить выжать из клиента все наличествующие деньги с определённой степенью точности.

В США в некоторых муниципалитетах уже сейчас для определения уровня угрозы жизни полицейских используется анализ адреса вызова наряда — и на место происшествия по поводу жалобы на громкую музыку может приехать спецназ, а не обычный патруль, выбить дверь и пристрелить собаку просто потому, что система ошибочно выдала красный уровень опасности вместо зелёного или жёлтого. Компании, предоставляющие системы оценки рисков, не идут на контакт с активистами, которые призывают к открытию кода и большей ответственности за ложные срабатывания. Эрик Лумис, приговорённый к шести годам тюрьмы и пяти годам испытательного срока, не мог опротестовать оценку системы Compas, которая оценила его как опасного преступника, так как не знал алгоритма, который является интеллектуальной собственностью компании и защищён патентом. Тут важна даже не столько опасность Лумиса лично: подрывается сам принцип судебной работы, когда невозможно в принципе оспаривать неизвестно какие и непонятно как полученные аргументы обвинения. Подобные ненадёжные системы оценки рисков также используются в судах некоторых штатов для определения опасности для общества конкретных лиц. Независимые исследования показывают их абсолютную некомпетентность и пристрастность. Озабоченность этим также выразил и Департамент юстиции США, однако собственные исследования им пока проведены не были.

Российские технологические компании пока не добрались до судов. Частная слежка за гражданами для сбора данных, которые потом будут использованы для анализа, начинается с автомобилистов. Компания «Benish GPS» предлагает страховщикам и их клиентам делиться информацией о местоположении и стиле вождения машины, чтобы сократить страховые выплаты. Также были проекты по использованию данных интернет-счётчиков для расчёта кредитного рейтинга. Осторожней, возможно, вы сейчас находитесь на сайте для бедных людей — и кредита вам не видать.

Знаменитый стэнфордский тюремный эксперимент показал, что многие люди готовы пойти на ужасные вещи, если смогут переложить ответственность за свои действия на начальника. В дивном новом мире роль «несущих ответственность» могут исполнять машины. Люди и так очень склонны полагаться на технику (и использовать её в качестве отмазки — вспомним известный скетч Маленькой Британии «Компьютер говорит „нет“», где ленивая медсестра отказывает пациентам под надуманным предлогом). Использование машинного обучения может снимать ответственность с индивидуального исполнителя, который мог бы войти в положение человека, просящего о выдаче кредита или стипендии. При этом компании, предоставляющие системы машинного обучения, также не несут никакой ответственности: нет ни публичного доступа к коду, ни к тренировочным данным модели: мы не можем ни узнать принцип работы системы, ни исправить её недостатки, а значит, не можем подвергнуть сомнению её решения.

Безответственное отношение к оценивающим системам и их бесконтрольное распространение могут только поспособствовать снижению социальной мобильности и ужесточению уже существующих в обществе предрассудков, если компании, создающие системы, не будут активно бороться с необъективностью внутри себя. Но на это надежды мало: 

«В некоторых ситуациях бизнес может позволить себе действия, которые были бы противозаконными, если бы ответственность на них не была перенесена с людей на „алгоритмы“. Причём данные, на основе которых происходит эта дискриминация, люди отдают добровольно, как раз чтобы её избежать. Это [согласие на получение и обработку данных] называется „предоставление лучших условий отдельным категориям клиентов“. Продавец не имеет права отказать покупателю в товаре или услуге — это противоречит законам о торговле в большинстве стран, а „антифрод-система“ может», — комментирует Алекс Смирнов, эксперт по информационной безопасности.

В начале 2017 года Американский союз защиты гражданских свобод (ACLU) опубликовал разбор дела, касавшегося уменьшения медицинских выплат по государственным страховкам Medicaid в штате Айдахо. Лимит страховых выплат для инвалидов пересматривается раз в год, и многие получившие тридцатипроцентное снижение суммы страхового покрытия обратились в ACLU за объяснениями. Выяснилось, что для расчёта страховки использовалась таблица в Excel. Компания отказалась объяснить принцип работы этого алгоритма, сославшись на коммерческую тайну. В конце концов суд постановил, что принцип работы должен быть открыт, после чего ACLU потратили 50 000 долларов на изучение формулы и пришли к неутешительным выводам.

Эрик Эппник, юридический директор ACLU в Айдахо: «Там всё пошло не так. Во-первых, данные для формулы были повреждены. Они использовали исторические данные для предсказания будущего, но две трети записей пришлось выбросить ещё на стадии подготовки из-за ошибок обработки данных и нестыковок. Так что они пытались предсказать нужды населения по ошибочным историческим записям — и то по небольшой их части. А у плохих данных — плохой результат. Во вторых, тестирование самого штата обнаружило проблемы: разные результаты в разных частях штата, которые невозможно было объяснить. И в-третьих, наши эксперты обнаружили фундаментальные статистические ошибки в структуре самой формулы».

Эппника спросили, как так вышло, что Medicaid продолжал пользоваться программой, несмотря на то, что она была совершенно нерациональна. «Не думаю, что они сами знали, насколько всё было плохо. У всех людей есть этот предрассудок по поводу компьютерных ответов: мы в них не сомневаемся. Это культурное, может, даже биологическое: когда компьютер что-то выдаёт или когда статистик смотрит на данные и придумывает формулу, мы склонны доверять этой формуле, не спрашивая, как она на самом деле работает. Думаю, штат оказался жертвой этой удовлетворённости компьютерными решениями. Кроме того, я не думаю, что кто-то внутри Medicaid знал, как это вообще работает. Когда мы попросили каждого участника программы объяснить, как работала формула и как были получены оценки, все кивали друг на друга: „Я не знаю, но вон этот знает“. В конце концов оказалось, что мы ходим по кругу. Проблемой было то, что никто не понимал весь процесс целиком, но все предполагали, что кто-то другой знал, как процесс работает».

Исследования сами по себе недешёвые, и ACLU считает, что компании по собственному желанию не станут нести издержки для проверки своих моделей, если никто не станет их заставлять это сделать в судебном порядке, как вышло в Айдахо. ACLU продолжает бороться, но индустрия в целом давно известна своей безответственностью, и практически все лицензии на программное обеспечение начинаются со слов «предоставляется как есть», а фраза «ответственности не несём» повторяется раз двести.