28.10.2020

Проектирование ИИ для правосудия.

Оригинал здесь.

В эру новых технологий мы расскажем о трех концепциях: во-первых, идея проектируемого правосудия; во-вторых, как люди уже сопротивляются репрессивному ИИ; и в-третьих, десять принципов дизайна законности.

Например в аэропорту всем нужно пройти через сканер миллимитровых волн, который вращается вокруг, пока вы поднимаете руки. Многие люди даже не знает, что происходит потом, но хорошо знают большинство трансгендеров и людей, у которых есть сложности с гендерной идентификацией.

Когда вы подходите к сканеру миллиметровых волн, агент TSA смотрит на вас и решает, правильно ли считывает вас машина. Если она воспринимает, что вы мужского пола, агент нажимает синюю кнопку «мужчина»; если она воспринимает вас женского пола, агент нажимает розовую кнопку «женщина». Затем сканирование вашего тела с миллиметровым разрешением сравнивается со статистической моделью среднего мужского или женского тела. Все, что на вашем сканере отклоняется от этой модели отмечается ярко-желтым цветом с небольшим красным контуром. 

Таким образом, для людей не согласных с половой принадлежностью, и для многих транс-людей возникает ряд проблем, ведь их проекции отличаются от бинарной модели того, как должны выглядеть человеческие тела.

Синдром нарушения целостности восприятия –  это идея о том, что все рождаются с гендерной идентичностью, соответствуют полу, обретенному при рождении. Именно эта идея воспроизводится в социотехнической системе, которую мы называем безопасностью аэропорта. Такая система включает в себя все действия, подробно описанные в протоколе безопасности, модель по которой следует офицер TSA и сам компьютер. Такая статистическая модель является двоичной, основанной на средних размерах какой-либо группы мужских или женских тел. 

Sasha Costanza – Chock, автор этой статьи, считает что возможно ее белая кожа, привилегии, которые дает образование или положение во влиятельном учебном заведении, вероятно, защитят ее  от наихудшего, что могло бы случиться, например заключение в какую либо секретную тюрьму, или запись в список наблюдения за террористами, в отличие от тех, кто имеет мусульманскую фамилию или коричневую кожу, поскольку, как она считает у “белых” есть определенные привилегии, даже в аэропорту.

Тем не менее, такой пример был использован, чтобы говорить о проектировании правосудия, потому что это отличный способ думать об ИИ. Ведь когда мы говорим об искусственном интеллекте, мы обычно имеем в ввиду только машинное обучение, которое представляет собой анализ нашего мира и аналитику данных для предсказания будущего. Безопасность аэропорта – это отличный способ подумать о том, что эти системы нельзя просто исправить, имея более эксклюзивные наборы данных. Становится ясно, что такое решение фактически ограничивает область нашего видения возможных миров, которые мы могли бы построить. Отчасти этот подход неверен потому что это быстрый способ осмыслить вред от систем, которые заставляют нас игнорировать историю и глубокие структуры.

На самом деле, с появлением систем искусственного интеллекта не начинается неправильное использование информации. В течение сотен лет насильственного поселенческого колониализма в Северной и Южной Америке и большей части остального мира навязывались махинации и порочность. На изображении испанского конкистадора Васко Нуньеса де Бальбоа изображено, как его собаки пожирают тела коренных людей Quarequa, которых он рассматривает как людей, не соответствующих полу (мужчины в женской одежде). Вот это мнение которое жестоко укоренилось на протяжении веков и не будет исправлено более эксклюзивным набором данных.

Так что мы можем сделать? Мы являемся частью сообщества людей, работающих над тем, как проектирование социотехнических систем может быть одним из средств разрушения или трансформации систем угнетения. Мы дизайнеры и разработчики, которые считают себя частью Сети Проектирования Правосудия.

Проектирование Правосудия – это растущее сообщество практиков, сосредоточенных на справедливом распределении преимуществ и проблем проектирования: то, что они могут назвать аспектом справедливости уравнения. Но также  они фокусируются на поддержке общинных, местных и диаспорических традиций, знаний и практики проектирования. (Это то, о чем Артуро Эскобар рассказывает в своей новой книге «Проекты для Плюро-мира (“Pluriverse”)»: размышления о том, как мы могли бы проектировать таким образом, чтобы уважать множество различных способов познания, понимания, существования и создания мира.)

Теория сообщества практиков такого правосудия также является основой для анализа. В качестве основы, это позволяет задаться вопросом о том, как проектирование социотехнических систем влияет на распределение выгод и бремени между различными группами людей. В частности, такое правосудие говорит о том, как воспроизводит или оспаривает то, что черный феминистский социолог Патриция Хилл Коллинз называет «матрицей господства»: пересечение превосходства белых, гетеропатриархата, капитализма, способностей, поселенческого колониализма и других форм структурного и исторического неравенства. 

Таким образом, этот аспект выходит за рамки справедливости. Это влечет за собой размышления о матрице господства – о пересекающихся системах угнетения, и о том, что значит создавать социотехнические системы, которые могут преобразовывать их, вместо того, чтобы постоянно воспроизводить их в технологии, в дизайне и в машинном обучении. Потому что, если мы пытаемся представить мир, который мы хотим построить – тот, в который вписывается много миров, тот, в который мы включены, и тот, который также экологически устойчив – конечно, такое правосудие должно стать частью этого мира.

Преимущества проектирования обычно распространяются на более влиятельных людей в матрице господства, в то время как вред наносится тем, кто менее силен. Проектная справедливость стремится выявить эти потоки и решить их.

Такая справедливость также касается процесса проектирования, фактического создания вещей, потому что люди не готовы отказаться от машинного обучения. Много раз мы могли просто сказать: «Нет, мы не хотим создавать такие вещи», но мы так никогда не скажем, ведь нужно идти вперед в ногу с прогрессом. 

Сеть Design Justice Network родилась в 2015 году на конференции Allied Media в Детройте. Дизайнеры, организаторы, технологи и активисты собрались и изучили, как добиться правильного дизайна в правосудии и поделились знаниями о том, как выглядят их методы проектирования. Многие из них впоследствии были подвержены влиянию нашей теории справедливости. Например, посмотрите технический проект Consentful, над которым работают Уна Ли и дизайнерский магазин And Also Too, чтобы подумать о том, как мы можем применить идеи о сексуальном согласии в процессе разработки технологий. Согласие дается свободно и информировано.

Проект #MoreThanCode повлиял на эти принципы. В рамках этого проекта мы опросили более 100 специалистов-технологов, которые пытаются заниматься технологиями в общественных интересах. Мы спросили, что работает хорошо, а что нет. Главным выводом этой работы было «Ничто о нас без нас», что, конечно же, является лозунгом движения за справедливость в отношении инвалидов. Это означает: что те, кто больше всего пострадал, должны быть сосредоточены в процессе проектирования. И не только консультативным путем, но и таким образом, который позволит им управлять властью или обеспечит ответственность.

Нам тоже нужно переосмыслить дизайн сайтов. Такова идея Disco Techs модели, разработанной Детройтской Коалицией Цифрового Правосудия, которая напоминает хакатон, но гораздо более открытая и дружелюбная для сообщества – есть еда, есть уход за детьми. Идея состоит в том, чтобы создать открытые пространства для размышлений о том, как мы проектируем будущее, которое хотим иметь.

Несмотря на сотни лет угнетения, мы должны больше отдавать должное нашим сообществам, которые понимают негативные последствия влияния в нашем мире неправильных решений, и конечно которые придумывают стратегии изменения репрессивных систем.

В настоящий момент, более 180 жителей Atlantic Plaza Towers в Бруклине поднялись, чтобы сказать, что владельцы здания не смогут установить систему распознавания лиц, которая будет анализировать людей, входящих в здание. 

Сейчас идет гонка, чтобы увидеть, какой город будет следующим, в запрете использовании технологий распознавания лиц правоохранительными органами. Сомервиль, Сан-Франциско и Окленд запретили правоохранительным органам использовать эти технологии. Мы должны найти способ поощрять города, которые принимают правильные решения для своих жителей, особенно в эпоху Трампа.

Мы переживаем невероятный момент в мире технологий прямо сейчас, вы можете узнать намного больше в хэштеге #techwontbuildit. Сегодня сотрудники Google успешно организовывают протесты, чтобы заставить Google не принимать контракт Project Maven на беспилотный ИИ, который фактически был тестовым прогоном для обеспечения защиты JEDI, крупного контракта Министерства вычислительной техники на облачные вычисления. 

Новое исследование в Великобритании, в котором приняли участие более 1000 технических специалистов, показало, что около 60 % тех, кто работает над системами искусственного интеллекта, заявили, что они работали над продуктами, которые, по их мнению, могут нанести вред обществу. Это ужасная новость, но 27 процентов из этих респондентов в результате уволились с работы. 

В Нью-Йорке есть Up & Go, представляющая собой платформу для связи работодателей с работниками клининговых компаний. Платформа также принимает решения о том, какая задача важна и какая работа более трудна..

В заключение хочется рассказать о принципах Сети правосудия по проектам, которые сейчас активно обсуждают во всем мире: 

  • Принцип первый: мы используем замысел для поддержания и расширения возможностей наших сообществ, а также для освобождения от эксплуататорских и репрессивных систем.
  • Принцип второй: мы концентрируем голоса тех, на кого напрямую влияет результат процесса проектирования.
  • Принцип третий: мы отдаем приоритет влиянию проектирования на сообщество над намерениями проектанта.
  • Принцип четвертый: Мы рассматриваем изменения как возникающее из доступного и совместного процесса, а не как точку в конце процесса.
  • Принцип пятый: мы видим роль проектанта как посредника, а не эксперта.
  • Принцип шестой: мы считаем, что каждый является экспертом, основанным на собственном жизненном опыте, и что у всех нас есть уникальный и важный вклад в процесс проектирования.
  • Принцип седьмой: мы делимся знаниями и инструментами проектирования с нашими сообществами.
  • Принцип восьмой: Мы работаем для достижения устойчивых, управляемых сообществом и контролируемых результатов.
  • Принцип девятый: мы работаем над неэксплуатационными решениями, которые воссоединяют нас с друг с другом.
  • Принцип десятый: прежде чем искать новые дизайнерские решения, мы ищем то, что уже работает на уровне сообщества. Мы чтим и поддерживаем традиционные знания и культуру.

Один комментарий к “Проектирование ИИ для правосудия.

  1. Разработка любого проекта требует не только сноровки и знаний, но и учета массы факторов, что в последствии влияют на результат. А программирование ИИ и подавно! Не важно для какой сферы будут эти программы, важно учесть что они могут, в некоторых случаях, вершить судьбы!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *