30.09.2020

Предубежденность машины.

Оригинал здесь.
Авторы: Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner
Одним весенним вечером 2014 года Бриша Борден спешила забрать свою сестру из школы и заметила оставленный без присмотра детский велосипед и скутер. Борден и ее подруга украли велосипед и скутер и попытались ехать на нем по улице района Форт Лодердейл на окраине Корал Спрингс.
Как раз когда 18-летние девушки осознали, что велосипед и скутер слишком малы для них, их догнала женщина и сказала, что они принадлежат ее детям. Борден и ее подруга немедленно бросили велосипед и скутер и ушли.
Но было слишком поздно: сосед-свидетель уже вызвал полицию. Борден и ее подруга были арестованы и обвинены в краже на сумму 80 долларов.
Можно сравнить это преступление с другим: прошлым летом 41-летний Вернон Пратер был задержан за кражу из близлежащего магазина Home Depot инструментов на сумму 86 долларов.
Пратер был более опытным преступником. Он уже был осужден за вооруженное ограбление и попытку вооруженного ограбления, за что он отбыл пять лет тюрьмы в дополнение к другому обвинению в вооруженном ограблении. У Борден тоже была судимость, но из-за проступков, совершенных в несовершеннолетнем возрасте.
Тем не менее, когда Борден и Пратер были заключены в тюрьму, произошло нечто странное: компьютерная программа показала прогноз, оценивающий вероятность того, что каждый из них совершит в будущем преступление. Чернокожая Борден получила высокую оценку риска. Белый Пратер – низкую.
По прошествии двух лет выяснилось, что прогноз компьютера сбылся с точностью до наоборот. Борден больше не обвинялась в новых преступлениях. Пратер отбывает восьмилетний срок в тюрьме за кражу электроники со склада на тысячи долларов.
Использование таких численных оценок риска получает широкое распространение в судах по всей стране. Они используются при при принятии решений об освобождении на любой стадии криминальной судебной системой. Результаты таких оценок предоставляются судьям при вынесении уголовных приговоров в Аризоне, Колорадо, Делаваре, Кентуки, Луизиане, Оклахоме, Виргинии, Вашингтоне и в Висконсине.
Оценка риска совершения преступления в будущем часто производится вместе с оценкой потребности в реабилитации. Национальный институт исправительных учреждений Министерства юстиции в настоящее время поощряет использование таких комбинированных оценок на каждом этапе процесса уголовного правосудия. И знаменательный законопроект о реформе процедуры приговора, который в настоящее время находится на рассмотрении в Конгрессе, предусматривает использование таких оценок в федеральных тюрьмах.
В 2014 Генеральный Прокурор США Эрик Холдер предупредил, что численные оценки рисков принесут предубежденность в суды. Он призвал Комиссию по приговорам США изучить их использование. “Хотя эти инструменты создавались с наилучшими намерениями, я опасаюсь, что они подорвут наши усилия по обеспечению индивидуализированного и равного правосудия”, сказал он, и добавил: ” они могут усугубить необоснованные и несправедливые различия, которые и без того слишком распространены в нашем обществе”.
Однако, Комиссия не начала исследование оценок рисков. Однако, это исследование запустила организация ProPublica, как часть большого изучения влияния алгоритмов на жизнь американцев.
Исследователи получили оценки риска, присвоенные более 7000 человек, арестованных в округе Бровард, штат Флорида, в 2013 и 2014 годах, и проверили, сколько из них было предъявлено обвинение в совершении новых преступлений в течение следующих двух лет, – это тот же показатель, который использовали создатели алгоритма.

Оценка оказалась невероятно ненадежной в прогнозировании насильственных преступлений: только 20 процентов людей, которые, по прогнозам, могли совершить насильственные преступления, действительно их совершили.
Когда был принят во внимание весь спектр преступлений, включая такие проступки, как вождение с истекшим сроком действия, алгоритм был лишь несколько более точным, чем бросок монеты. Из тех, кто, как считается, может совершить повторное преступление, 61% были арестованы за какие-либо последующие преступления в течение двух лет.
Исследователи также обнаружили значительные расовые различия, как и опасался Холдер. При прогнозировании повторного нарушения алгоритм допускал ошибки в отношении черных и белых обвиняемых примерно с одинаковой частотой, но совершенно разными способами.
Формула зачастую ложно помечала чернокожих обвиняемых как будущих преступников, ошибочно маркируя их таким образом почти вдвое чаще, чем белых обвиняемых.
Белые обвиняемые были ошибочно помечены как лица с низким риском чаще, чем черные обвиняемые.
Может ли это несоответствие быть объяснено предыдущими преступлениями обвиняемых или типом преступлений, за которые они были арестованы? Нет. Мы провели статистический тест, который изолировал влияние расы от криминальной истории и рецидивизма, а также от возраста и пола обвиняемых. У чернокожих подсудимых по-прежнему на 45 процентов больше шансов получить более высокую оценку риска совершения преступления в будущем, и на 77 процентов больше, когда речь идет о насильственном преступлении.
Алгоритм, используемый для вычисления показателей риска во Флориде, является продуктом коммерческой компании Northpointe. Компания оспаривает наш анализ.
В письме она подвергла критике методологию ProPublica и отстаивала точность своего теста: «Northpointe не согласна с тем, что результаты вашего анализа или заявления, сделанные на основе этого анализа, являются правильными или что они точно отражают результаты приложения модели “.
Программное обеспечение Northpointe является одним из наиболее широко используемых инструментов оценки в стране. Компания публично не раскрывает расчеты, использованные для получения оценок риска ответчиков, поэтому ни ответчики, ни общественность не могут увидеть, что может быть причиной несоответствия. (В воскресенье Northpointe предоставила ProPublica основы своей формулы будущих преступлений – которая включает такие факторы, как уровень образования и наличие у обвиняемого работы. Она не поделилась конкретными расчетами, которые, по ее словам, являются их собственностью.)
Основным продуктом Northpointe является набор из 137 вопросов, на которые получены ответы либо от подозреваемых, либо извлечены из материалов уголовных дел. Среди них нет вопроса о расе. В ходе опроса ответчикам задаются такие вопросы: «Был ли один из ваших родителей когда-либо отправлен в тюрьму?» «Сколько ваших друзей / знакомых незаконно принимают наркотики?» и «Как часто вы дрались в школе?» В анкете также содержится просьба к людям согласиться или не согласиться с такими утверждениями, как «Голодный человек имеет право красть» и «Если люди меня злят или выводят из себя, я могу быть опасным».
Привлекательность показателей риска очевидна: Соединенные Штаты сажают в тюрьмы гораздо больше людей, чем любая другая страна, причем непропорционально большое количество чернокожих. На протяжении более двух столетий ключевые решения в судебном процессе, от предварительного заключения до приговора к условно-досрочному освобождению, находились в руках людей, руководствуясь своими инстинктами и личными предубеждениями.
Если бы компьютеры могли точно предсказать, какие обвиняемые могут совершить новые преступления, система уголовного правосудия могла бы быть более справедливой и более избирательной в отношении того, кто находится в заключении и на какой срок. Хитрость, конечно, заключается в том, чтобы убедиться, что компьютер все делает правильно. Если делается ошибка в одном направлении, опасный преступник может выйти на свободу. Если в другом направлении, это может привести к тому, что кто-то несправедливо получит более суровый приговор, чем необходимо.
Первый раз, когда Пол Зилли услышал о своей оценке – и понял, сколь многое на ней основано, – во время слушания приговора 15 февраля 2013 года в суде округа Баррон, штат Висконсин. Зилли был осужден за кражу газонокосилки и нескольких инструментов. Прокурор рекомендовал приговорить его к году в окружной тюрьме и последующему надзору, который может помочь Зилли «оставаться на правильном пути». Его адвокат согласился на сделку о признании вины.

Но судья Джеймс Баблер увидел оценку Зилли. Программное обеспечение Northpointe оценило как высокий риск того, что Зилли в будущем совершит насильственное преступление, как средний – риск общего рецидива. «Когда я смотрю на оценку риска, – сказал Баблер в суде, – она настолько ужасна, насколько это возможно».
Затем Баблер отменил сделку о признании вины, которая была согласована обвинением и защитой, и приговорил к двум годам в государственной тюрьме и трем годам надзора.
Криминологи долго пытались предсказать, какие преступники более опасны, прежде чем решить, следует ли их освободить. Раса, национальность и цвет кожи часто использовались при составлении таких прогнозов примерно до 1970-х годов, когда это стало политически неприемлемым, согласно исследованию инструментов оценки риска, проведенного профессором права Колумбийского университета Бернардом Харкуртом.
В 1980-х годах, когда криминальная волна охватила страну, законодатели значительно ограничили свободу действий судей и комиссий по условно-досрочному освобождению при принятии таких решений. Штаты и федеральное правительство начали вводить обязательные приговоры, а в некоторых случаях отменили условно-досрочное освобождение, что сделало менее важным оценку отдельных преступников.
Но по мере того как штаты борются с увеличением расходов на население тюрем, прогнозирование криминального риска вернулось.
Десятки алгоритмов оценки риска используются по всей стране – некоторые из них созданы коммерческими компаниями, такими как Northpointe, а другие – некоммерческими организациями. (Один из инструментов, используемых в штатах, включая Кентукки и Аризону, под названием Оценка общественной безопасности, был разработан Фондом Лоры и Джона Арнольдов, который также финансирует ProPublica.)
Было проведено несколько независимых исследований этих оценок криминального риска. В 2013 году исследователи Сара Десмарайс и Джей Сингх изучили 19 различных методологий оценки риска, используемых в Соединенных Штатах, и обнаружили, что «в большинстве случаев достоверность была рассмотрена только в одном или двух исследованиях» и что «зачастую эти исследования выполнялись теми же людьми, которые разработали инструмент ».
Их анализ исследований, проведенных в 2012 году, показал, что инструменты «в лучшем случае заслужили умеренной оценки с точки зрения прогностической достоверности», – сказала Десмарайс в интервью. И она не смогла найти какой-либо существенный набор исследований, проведенных в Соединенных Штатах, которые проверяли, были ли оценки риска расистскими. «Данные не существуют», – сказала она.

С тех пор предпринимались некоторые попытки изучить расовые различия в показателях риска. В одном из исследований, проведенных в 2016 году, была рассмотрена обоснованность инструмента оценки рисков, который использовался для принятия решения об испытательном сроке для примерно 35 000 федеральных осужденных, и который не был изготовлен Northpointe. Исследователи, Дженнифер Ским из Калифорнийского университета в Беркли и Кристофер Т. Ловенкамп из Административного управления судов США, обнаружили, что у чернокожих был более высокий средний балл, но пришли к выводу, что различия не связаны с предвзятостью.
Растущее использование показателей риска является спорным и привлекло внимание средств массовой информации, в том числе авторов статей в Associated Press, а также проекта Marshall и FiveThirtyEight в прошлом году.
Большинство современных инструментов оценки риска изначально были разработаны, чтобы предоставить судьям представление о видах лечения, которые могут понадобиться человеку – от лечения от наркомании до консультирования по вопросам психического здоровья.

«Это говорит судье, что если я назначу вам испытательный срок, мне потребуется предоставить вам много услуг, иначе вы, вероятно, потерпите неудачу», – сказал Эдвард Латесса, профессор Университета Цинциннати, который является автором инструмента оценки риска, который используется в Огайо и некоторых других штатах.
Но быть признанным не имеющим права на альтернативное лечение – особенно во время слушания приговора – может привести к тюремному заключению. Ответчики редко имеют возможность оспаривать свои оценки. Результаты, как правило, доводятся до сведения адвоката ответчика, но расчеты, которые превратили базовые данные в оценку, раскрываются редко.
«Оценка риска должна быть недопустимой, если обе стороны не увидят все данные, которые в нее входят», – сказал Кристофер Слобогин, директор программы уголовного правосудия Юридической школы Вандербильта. «Это должно быть открытое состязательное разбирательство в полном объеме».
Сторонники оценки риска утверждают, что они могут быть использованы для снижения числа заключенных в тюрьмах. В 2002 году Вирджиния стала одним из первых штатов, которые начали использовать инструмент оценки риска при вынесении приговоров по ненасильственным преступлениям по всему штату. В 2014 году судьи из Вирджинии, использующие этот инструмент, избрали почти половине этих обвиняемых альтернативы тюрьме, согласно отчету государственной комиссии по вынесению приговоров. С 2005 года рост численности заключенных в штате замедлился до 5 процентов по сравнению с 31 процентом в предыдущем десятилетии.
В некоторых юрисдикциях, таких как округ Напа, Калифорния, отдел пробации использует оценки рисков, чтобы предложить судье соответствующий план пробации или лечения для осужденных лиц. Судья Верховного суда округа Напа Марк Бессенекер сказал, что считает рекомендации полезными. «У нас не хватает хороших программ лечения, поэтому заполнять слот в программе тем, кому она не нужна, глупо», – сказал он.
Тем не менее, Бессенекер, который обучает других судей по всему штату вынесению приговоров на основе фактических данных, предупреждает своих коллег, что оценка не обязательно показывает, является ли человек опасным или ему следует отправиться в тюрьму.
«Парень, который приставал к маленькому ребенку каждый день в течение года, все еще может иметь низкую оценку риска, потому что у него, вероятно, есть работа», – сказал Боссенекер. «Между тем, пьяный парень будет выглядеть рискованно, потому что он бездомный. Эти факторы риска не говорят вам, должен ли парень идти в тюрьму или нет; факторы риска говорят вам больше о том, какими должны быть условия пробации ».
 

NORTHPOINTE была основана в 1989 году Тимом Бреннаном, профессором статистики в Университете Колорадо, и Дейвом Уэллсом, который руководил программой исправлений в Траверс-Сити, штат Мичиган.
Уэллс построил систему классификации заключенных для своей тюрьмы. «Это была прекрасная работа», – сказал Бреннан в интервью, проведенном до того, как ProPublica завершила свой анализ. Бреннан и Уэллс разделяют любовь к тому, что Бреннан назвал «количественной таксономией» – измерением таких личностных качеств, как интеллект, экстраверсия и интроверсия. Эти два решили построить оценку оценки риска для индустрии исправлений.
Бреннан хотел улучшить ведущий балл оценки риска, LSI, или уровень обслуживания, который был разработан в Канаде. «Я нашел немало слабостей в LSI», – сказал Бреннан. Он хотел инструмент, который обращался к основным теориям о причинах преступления.
Бреннан и Уэллс назвали свой продукт COMPAS. Он оценивает не только риск, но и почти два десятка так называемых «криминогенных потребностей», которые относятся к основным теориям преступности, включая «преступную личность», «социальную изоляцию», «токсикоманию» и «проживание / стабильность». Ответчики имеют низкий, средний или высокий риск в каждой категории.
Как часто бывает с инструментами оценки рисков, многие юрисдикции приняли программное обеспечение Northpointe, не проводя тщательной проверки его работоспособности. Например, штат Нью-Йорк начал использовать этот инструмент для оценки пробации в рамках пилотного проекта в 2001 году и внедрил его в остальных отделах пробации штата – за исключением Нью-Йорка – к 2010 году. Штат не опубликовал всесторонней статистической оценки инструмента до 2012 года. Исследование более 16 000 испытуемых показало, что инструмент был точным на 71%, но не оценивал расовые различия.

Представитель отдела служб уголовного правосудия штата Нью-Йорк сказала, что исследование не рассматривало расу, потому что оно только стремилось проверить, была ли программа должным образом откалибрована, чтобы соответствовать испытуемой популяции Нью-Йорка. Она также сказала, что судьи почти во всех округах Нью-Йорка получают оценки обвиняемых программой Northpointe во время вынесения приговора.
В 2009 году Бреннан и двое его коллег опубликовали проверочное исследование, в котором было установлено, что риск оценки рецидивизма в Northpointe имел 68-процентную точность в выборке из 2328 человек. Их исследование также показало, что для чернокожих мужчин этот показатель был несколько хуже, чем для белых – 67% против 69%. Помимо этого, он не учитывал расовые различия, включая вероятность того, что для некоторых групп с большей вероятностью риск будет ошибочно завышен.
Бреннан сказал, что трудно составить оценку, которая не включает элементы, которые можно соотнести с расой, такие как бедность, безработица и социальная маргинализация. «Если они не учитываются при оценке риска, точность снижается», – сказал он.
В 2011 году Бреннан и Уэллс продали Northpointe конгломерату Constellation Software в Торонто за неизвестную сумму.
Висконсин был одним из самых активных пользователей инструмента оценки рисков Northpointe при вынесении приговоров. В 2012 году Висконсинский департамент исправительных учреждений приступил к использованию программного обеспечения по всему штату. Он используется на каждом этапе тюремной системы, от вынесения приговора до условно-досрочного освобождения.
В презентации 2012 года официальный представитель исправительных учреждений Джаред Хой охарактеризовал систему как «гигантскую машину для коррекционного пинбола», в которой сотрудники исправительных учреждений могли использовать оценки в каждой «точке принятия решения».

Висконсин еще не завершил статистическое исследование инструмента и не сказал, когда оно будет завершено. Государственные чиновники исправительных учреждений отклонили неоднократные запросы прокомментировать эту статью.
В некоторых округах штата Висконсин при аресте используются другие инструменты оценки рисков, чтобы определить, достаточно ли опасен подсудимый для предварительного заключения. Как только обвиняемый будет осужден за тяжкое уголовное преступление в любом месте штата, Департамент исправительных учреждений прикрепляет оценку Northpointe к конфиденциальному отчету о присутствии, представленному судьям, согласно представлению Хоя.
Теоретически, судьи не должны выносить более суровые приговоры обвиняемым с более высоким баллом риска. Скорее, они должны использовать тесты, прежде всего, чтобы определить, какие обвиняемые имеют право на прохождение стажировки или программы лечения.
Но судьи приводят оценки в своих решениях о вынесении приговора. В августе 2013 года судья Скотт Хорн из округа Ла-Кроссе, штат Висконсин, заявил, что обвиняемый Эрик Лумис был «определен, по оценке КОМПАС, как человек, несущий высокие риски для общества». Затем судья назначил наказание в виде восьми лет и шести месяцев лишения свободы.
Лумис, которому было предъявлено обвинение в вождении угнанного автомобиля и бегстве от полиции, оспаривает использование оценки при вынесении приговора как нарушение его прав на надлежащую правовую процедуру. Штат отстаивал использование Хорном численной оценки риска, аргументируя тем, что судьи могут рассматривать ее в дополнение к другим факторам.
«Одна лишь оценка риска не должна определять приговор правонарушителю», – заявила в прошлом месяце помощник генерального прокурора штата Висконсин Кристин Ремингтон в ходе аргументов Верховного суда штата по делу Лумиса. «Мы не хотим, чтобы суды говорили, что этот человек передо мной имеет оценку 10 на COMPAS, и поэтому я собираюсь дать ему максимальное наказание».
Именно это и произошло с Зилли, 48-летним строителем, которого отправили в тюрьму за кражу газонокосилки и некоторых инструментов, которые он намеревался продать по частям. Зилли давно боролся с наркотической зависимостью. В 2012 году он работал над реабилитацией с помощью христианского пастора, когда он совершал кражи.
После того, как риск рецидива для Зилли был оценен как высокий и он был отправлен в тюрьму, общественный защитник обжаловал приговор и вызвал создателя алгоритма оценки, Бреннана, в качестве свидетеля.
Бреннан показал, что он не разрабатывал свое программное обеспечение для вынесения приговора. «Я хотел держаться подальше от судов», – сказал Бреннан, объяснив, что он сосредоточен на снижении уровня преступности, а не наказаниях. «Но со временем я начал понимать, что в судах принимается так много решений. Поэтому я постепенно смягчил свою позицию по вопросу о том, можно ли это использовать в судах или нет ».
Тем не менее, Бреннан засвидетельствовал: «Мне не нравится сама идея, что КОМПАС является единственным обоснованием для решения».
После показаний Бреннана судья Бэйблер сократил срок заключения Зилли с двух лет лишения свободы до 18 месяцев. «Если бы у меня не было COMPAS, я полагаю, что, скорее всего, я бы дал один год, шесть месяцев», – сказал судья на апелляционном слушании 14 ноября 2013 года.
Зилли сказал, что в оценке не учитываются все изменения, которые происходили в его жизни – его обращение в христианство, его борьба за то, чтобы бросить употреблять наркотики, и его попытки стать более доступным для своего сына. «Не то чтобы я невиновен, но я просто верю, что люди меняются».

Округ Бровард во Флориде, где Бриша Борден украла велосипед и получила высокую оценку риска, не использует оценки риска при вынесении приговора. «Мы не думаем, что факторы оценки риска имеют какое-либо отношение к приговору», – сказал Дэвид Шарф, исполнительный директор общественных программ для офиса шерифа округа Бровард в Форт-Лодердейле.
Округ Бровард, однако, принял этот показатель на предварительных слушаниях в надежде решить проблему переполненности тюрем. Назначенный судом наблюдатель следил за тюрьмами округа Бровард с 1994 года в результате урегулирования судебного иска, возбужденного заключенными в 1970-х годах. Даже сейчас, спустя годы, тюремная система округа Бровард часто заполнена более чем на 85 процентов, сказал Шарф.
В 2008 году офис шерифа решил, что вместо строительства еще одной тюрьмы он начнет использовать показатели риска Northpointe, чтобы помочь определить, какие из обвиняемых имели достаточно низкий риск для освобождения под залог в ожидании суда. С тех пор почти все арестованные в Броварде прошли процедуру оценки риска вскоре после ареста. (Люди, обвиняемые в убийстве и других тяжких преступлениях, не засчитываются, поскольку не имеют права на освобождение на время следствия.)
Оценки предоставляются судьям, которые решают, какие обвиняемые могут быть освобождены из тюрьмы. «У меня такое чувство, что если им не нужно, чтобы они сидели в тюрьме, давайте вытащим их оттуда», – сказал Шарф.
Шарф сказал, что округ предпочел программное обеспечение Northpointe другим инструментам, потому что его было легко использовать и оно показывает «простые, но наглядные диаграммы для судебного обзора». По его словам, система стоит около 22 000 долларов в год.
В 2010 году исследователи из Университета штата Флорида изучили использование системы Northpointe в округе Бровард в течение 12-месячного периода и пришли к выводу, что ее прогнозная точность была «эквивалентна» при оценке обвиняемых разных рас. Как и другие, они не исследовали, были ли разные расы классифицированы по-разному с точки зрения риска.
Шарф сказал, что округ рассмотрит выводы ProPublica. «Мы действительно посмотрим на них поближе», – сказал он.

Судья округа Бровард Джон Херли, который курирует большинство предварительных слушаний, сказал, что результаты были полезны, когда он был судьей-новичком, но теперь, когда у него есть опыт, он предпочитает полагаться на свое собственное суждение. «Я не полагался на COMPAS в течение пары лет», – сказал он.
Херли сказал, что он опирается на такие факторы, как предыдущая судимость, тип совершенного преступления, связи с обществом и их история неявки на судебные разбирательства.
Анализ ProPublica показывает, что более высокие оценки Northpointe слегка коррелируют с более длительным предварительным заключением в округе Broward. Но есть много причин, которые могут быть правдой, кроме того, что судьи влияют на баллы – например, люди с более высоким баллом риска также могут быть беднее и иметь трудности с выплатой залога.
Большинство преступлений предъявляется судье с рекомендуемой суммой залога, но он или она может корректировать сумму. Херли сказал, что он часто выпускает без залога преступников, впервые совершивших преступление или совершивших неопасное действие.
Тем не менее, в случае с Борден и ее подругой Сэйд Джонс, девочками-подростками, которые украли детский велосипед и самокат, Херли поднял сумму залога для каждой девочки с рекомендованного 0 до 1 000 долларов каждая.
Хёрли сказал, что не помнит дела и не может вспомнить, повлияли ли оценки на его решение.

Девочки провели две ночи в тюрьме, прежде чем их выпустили под залог.
«Мы буквально сидели там и плакали», – вспоминала Джонс. Девочки содержались в одной камере. Борден отклонила неоднократные запросы на комментарии к этой статье.
Джонс, которую никогда раньше не арестовывали, получила среднюю оценку риска. Она закончила испытательный срок и понизила обвинение в краже с тяжкого уголовного преступления до обычного правонарушения, но она все еще изо всех сил пытается найти работу.
«Я ходила в McDonald’s и “однодолларовый” магазин , и все они сказали «нет» из-за моего прошлого», – сказала она. «Все это сложно и ненужно».

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *