05.08.2020

Десять вещей, которые следует знать судьям об ИИ

Оригинал тут.

Джефф Уорд
Оригинал статьи опубликован в издании Judicature весной 2019 года.
В последнее время мы наблюдаем, как, благодаря технологиям машинного обучения, механизмы искусственного интеллекта (ИИ) всё более активно вступают в свои права. Для судебной системы это важно не только потому, что она сама действует в мире, где всё прочнее становится положение ИИ, но и в силу того, что соответствующие механизмы становятся немаловажной частью работы суда. Это порождает множество вопросов. Например, если использование ИИ заставило врача поставить неверный диагноз, то кто должен за это отвечать? Каким образом законы, направленные против диффамации, могут контролировать действия ИИ? Если искусственный интеллект используется для вынесения приговора, то какие правила должны это регулировать? Какую роль в качестве доказательства может играть абсолютно реалистичное, но поддельное видео?
Чем быстрее развивается ИИ, тем более бурную реакцию он порождает. Сулит он многое, но одновременно ставит под сомнение наши представления о справедливости, юридической процедуре, и даже о самой истине. При этом роль судебной власти в нашей жизни остаётся всё столь же значительной. Поэтому существует не менее десяти вещей, которые всякий судья должен знать о искусственном интеллекте.
1.Это – не волшебство. И разработка, и использование ИИ – обычная часть деятельности человека.
Включая свою посудомоечную машину, я иногда задумываюсь о том, сколько времени и сил она мне экономит. Человечество уже привыкло к тому, что машины избавляют нас от физического труда. Но прежде они освобождали от работы только наши мускулы, теперь же пришёл черёд и разума. По сути,
ИИ – это применение машинных средств для тех задач, которые прежде возлагались на человеческий ум.
Но при этом искусственный интеллект – не волшебство. Напротив, все его средства – лишь порождения человеческого замысла, основанного на уже давно существующем понимании статистических методологий, растущем ныне знакомстве с информатикой, и возможностях человеческого разума. Мощный эффект последним достижениям ИИ придали не магические заклинания, а возросшая доступность огромных объёмов данных и появление компьютеров, достаточно сильных для их обработки. Эти процессы задуманы и реализованы исключительно самими людьми.
Почему это важно?
Главное, что нужно знать об ИИ: его будущее развитие не предопределено, и целиком зависит от нас. Поэтому для устойчивости этого развития необходимо участие в процессе различных заинтересованных сторон. Если же видеть в ИИ своего рода колдовство, руководство процессом останется в руках технических компаний, все остальные будут отсечены от него. Разработка, развитие, совершенствование ИИ – всё это не «наколдовано», а создано людьми, и остаётся в их власти.
2.Ныне существующие механизмы ИИ эффективны только в узкоспециализированной области, и мы сами выбираем, где, как и для чего их использовать.
Имеющийся на сегодня искусственный интеллект – это ни C-3PO из «Звёздных войн», ни HAL 9000 из «Космической одиссеи 2001 года». В отличие от них, в нём нет ничего человекоподобного, и он имеет весьма узкую область применения. Моя посудомоечная машина со своей задачей справляется на отлично – но она не может заставить меня ни работать, ни, например, косить лужайку. Точно так же все устройства ИИ имеют своё конкретное назначение – от ведения настольных игр до выявления
диабетической ретинопатии. Здесь нет ничего общего с универсальной разумностью, знакомой нам по фильмам и книгам.
Почему это важно?
C-3PO может применить свои способности для решения любых задач. В отношении существующего ИИ от нас самих требуется решать, для каких целей его использовать. Поэтому люди не только создают эти инструменты, но и выбирают область их применения. Каждый раз, используя искусственный интеллект, мы ставим конкретную машину лицом к лицу с конкретными обстоятельствами. Это даёт нам в руки средства управления – но и ответственность за них. Такой инструмент, результаты действий которого отличаются высокой точностью, но низкой прозрачностью, может быть использован, например, в работе транспортных средств, где точность превыше всего. Иное дело юридические процессы, в которых на первом месте стоят чётко сформулированные суждения. Какой-то инструмент ИИ может обладать высокой точностью, но не годиться для использования в сфере права, если его решения непрозрачны, и их трудно объяснить. Здесь альтернативным путём может стать разработка таких алгоритмов, которые абсолютно прозрачны, пусть даже в ущерб точности. Необходимо быть готовыми к подобным решениям, и для них потребуются специалисты в самых разных сферах, включая право. Сейчас хозяева положения – люди, и только от них зависит, где, как и в каких обстоятельствах какие решения принимать.
3.Нынешнее стремительное развитие ИИ – это лишь начало. Всякий, кто остаётся в стороне, рискует упустить свой шанс повлиять на него.
Сейчас средства искусственного интеллекта демонстрируют свою эффективность в узких областях. Мы только начинаем наблюдать стремительный прогресс ИИ, его всё более широкое применение, и, как следствие, рост рыночной привлекательности этого сектора, который притягивает всё больше денег и талантов для новых разработок. Единый
цифровой мир, в котором живут миллиарды пользователей, порождает огромные массы данных, которых уже давно недоставало ИИ для эффективного обучения. Если представлять развитие искусственного интеллекта в виде кривой роста, то сегодня мы находимся в начале дуги, которая начинает экспоненциально изгибаться вверх.
Почему это важно?
Доступность к огромным массам данным в сочетании с ростом вычислительных мощностей сыграли роль стартового пистолета – и гонка началась. Теперь темпы роста ИИ таковы, что за ними трудно уследить. Традиционные политические методы и правовые нормы оказываются неэффективны, и стремительно развивающийся искусственный интеллект нередко ставит нас в тупик, оказывая на нашу жизнь влияние прежде, чем мы становимся к этому готовы. Самоустраняясь от этого процесса и теряя бдительность, мы уступаем инициативу тем участникам игры, для которых интересы общества не являются приоритетом.
4.Многие действенные инструменты ИИ лишены прозрачности, что затрудняет объяснение принципов их работы и объяснение результатов.
Изначально символьные системы ИИ были сформированы таким образом, чтобы имитировать человеческую логику экспертов в какой-то области, и, следовательно, искать выводы на основе тех же правил, символов и логики, которыми руководствуется человек. Напротив, современный искусственный интеллект создан для самостоятельного изучения и анализа данных. В первом случае ИИ будет пытаться определить кошку по предписанным признакам: например, как пушистое животное с четырьмя лапами. Во втором варианте машину будут обучать, демонстрируя ей тысячи изображений, по которым она сама выявит отличительные черты кошки. Системы машинного обучения сами определяют критерии принятия решений, а не действуют по заданным правилам. Поэтому человек может оказаться не в состоянии отследить их
логику. Но наиболее эффективными показывают себя именно «глубокие», непрозрачные системы, которые к вычислениям добавляют новые измерения. Эти системы делают процессы, при помощи которых машина преобразует данные в выводы, закрытыми даже для своих разработчиков.
Почему это важно?
Поскольку ИИ обучается сам по себе, превращая полученные сведения в выводы способами, неочевидными для человека, это создаёт определённые риски: искусственный интеллект повышает свою точность во вред прозрачности. Если не уделить этой проблеме достаточно внимания, подобные методы могут войти в противоречие с базовой потребностью человека знать, понимать и быть уверенным в правильности принятого решения. Не зная, каким образом ИИ пришёл к своим выводам, мы не сможем дать им удовлетворительного объяснения. Кроме того, невозможно гарантировать, что ИИ не сделал ошибку из-за неточности изначальных данных. Например, если в качестве таких данных представлено большое число рыжих полосатых кошек, то система не сможет распознать сиамскую кошку. Даже если на стадии разработки заранее принять меры, чтобы избавить систему от предвзятости, в ходе обучения машины могут возникнуть такие сбои, которые будет трудно обнаружить.
5.Современный ИИ может создавать информацию или для принятия решений, или для фабрикации медиа-материалов. То и другое порождает проблемы для судебной системы.
Средства искусственного интеллекта на выходе порождают два возможных вида информации: собственно информация, служащая основой для принятия решений, и сфабрикованные медиа-материалы, такие, как поддельные фотографии и видеоролики.
Почему это важно?
По большей части инструменты ИИ формируют информацию для принятия решений. Здесь их задача состоит в классификации, категоризации и оценке вероятности. Вот некоторые примеры:
-Объект, обнаруженный на дороге – это человек, транспортное средство, или просто тень?
-Было ли использовано в поисковой системе слово «их» или «там» (в английском языке слова their и there созвучны. – Прим. пер.)?
-Какова по статистике вероятность того, что данный обвиняемый вновь совершит преступление?
В каждом из этих случаев машина будет работать с некоторым набором вероятностей, преобразуя входящие данные в решения – относительно автомобилей, поисковых систем, судов, и так далее.
6 и 7.Если использовать искусственный интеллект должным образом, он сделает нашу деятельность более эффективной и повысит качество и точность принимаемых нами решений. Напротив, при ненадлежащем применении он подрывает наше стремление к знанию, пониманию и справедливости, под маской объективности продолжая сохранять предубеждения.
В процессе отправления правосудия инструменты ИИ могут помочь преодолеть человеческие предрассудки, обеспечить вынесение решения, основанного исключительно на фактах, и способствовать прозрачности судопроизводства. Судьи отлично понимают значение этих преимуществ. В частности, недавняя история вынесения приговоров продемонстрировала, как действует эта судебная функция, основываясь на алгоритме, в который была включена сложная статистика, чтобы добиться этих преимуществ. Уже сейчас многие штаты США используют механизмы ИИ в досудебных и постсудебных делах, таких, как назначение суммы залога, условно-досрочное освобождение и вынесение приговора. Если эти инструменты разработаны и
применены должным образом, они позволяют достичь впечатляющих результатов.
С другой стороны, недавние события показали и слабые места ИИ в судебном процессе. В частности, следствием использования искусственного интеллекта в досудебном следствии по делу «Штат Висконсин против Эрика Лумиса» стал научный и журналистский анализ ошибок, допущенных этим механизмом. И, несмотря на это, суд постановил, что права ответчика на защиту нарушены не были. Сам Лумис указал на необходимость прозрачности для судебной процедуры. Он поставил вопрос: использует ли алгоритм ИИ гендерную принадлежность обвиняемого как один из криминогенных факторов? Однако методы работы искусственного интеллекта так и ни были раскрыты ни Лумису, ни суду.
Дело Лумиса было не первым, где алгоритм вынесения приговора ставился под сомнение. Например, в штате Индиана оспаривается ряд судебных решений, вынесенных с использованием «Переработанной оценки уголовноисправительной инспекции» (Level of Service Inventory-Revised, LSI-R), где выводы, сделанные этим механизмом, были использованы как отягчающие обстоятельства. Поскольку такие механизмы применяются во многих штатах, вопрос остаётся очень актуальным. Для судебных учреждений важно демонстрировать свой контроль над процессом, который гарантирует всем гражданам равную защиту и соблюдение правовой процедуры.
Помимо использования искусственного интеллекта в судопроизводстве, суды нередко рассматривают такие дела, в которых ИИ является существенным фактором. Например, в деле «DeHoyos против Allstate Corp.» истец действовал от лица держателей страховых полисов, настаивая, что алгоритм кредитного скоринга, используемый Allstate, ущемляет права меньшинств, нарушая федеральное законодательстве. В результате этой компании пришлось взять на себя обязательство переработать алгоритм, исключив возможность дискриминации.
Недавно обнаружилось, что механизм искусственного интеллекта, который Amazon использовал для оценки соискателей на должности, связанные с технологиями и программным обеспечением, не был гендерно непредвзятым. Поскольку он основывался на данных предыдущего десятилетия, то сделал вывод – возможно, не такой уж безосновательный, поскольку в этой области до недавнего времени господствовал сильный пол – что мужчина для такой должности по умолчанию годится лучше. В результате компания успела отказаться от использования этого механизма прежде, чем заявители пожаловались на нарушение своих прав.
Большие объёмы данных и порождаемые ими возможности машинного обучения становятся всё важнее, поскольку ИИ распространяется на все сферы жизни общества, от обороны и безопасности до финансов и медицины. В частности, улучшение диагностики и назначение лечения с помощью ИИ – это уже не мечта, а реальность во многих отраслях медицины. Обнаружение нарушений в работе сердечнососудистой системы, выявление диабетической ретинопатии или более точное определение возможной реакции пациента на те или иные медикаменты – в этих областях искусственный интеллект значительно повышает точность и эффективность работы врачей. Но это порождает и новые проблемы. Например, если диагноз был поставлен ошибочно, то в какой мере это вина медика, а в какой – ИИ? Во всех сферах человеческой жизни влияние ИИ растёт, а это означает, что оно становится всё более значимым фактором в судебных процессах. Такое положение дел вынуждает пересматривать правовые нормы, связанные с ответственностью, халатностью и должностными злоупотреблениями. Сейчас идёт работа над тем, чтобы в подобных условиях сохранять основополагающее стремление человека к знанию, пониманию и правосудию, но и достижения в этой работе, в свою очередь, создают новые проблемы.
8.Средства производительного ИИ – те, которые позволяют фабриковать данные – открывают широкие перспективы для пользовательских и исследовательских приложений.
Помимо уже названных проблем, связанных со сведениями, на основе которых принимаются решения, развитие ИИ порождает новые опасности в области фабрикации цифровых данных. Поддельные цифровые фотографии, аудио- и видеозаписи могут ввести в заблуждение даже самых опытных специалистов. Зачастую они создаются так называемыми генеративно-состязательными сетями, противопоставляющими друг другу две модели ИИ: генеративная модель создаёт цифровые образцы, предназначенные обмануть дискриминативную модель, заставив её поверить в подлинность этого объекта. Такие эксперименты могут серьёзно повлиять и на наше восприятие реальности, и на нашу способность к доверию.
Последствия таких фундаментальных сдвигов видны и в зале суда, и вне его пределов. С потребительской точки зрения, эти новшества могут создавать новый контент для видеоигр глубокого погружения или увеличивать разрешение на семейных фотографиях. Возможно, генеративные модели также позволят повысить эффективность медицинских исследований – например, в таких условиях, где объём имеющихся данных ограничен. В перспективе ИИ может создавать дополнительные, достаточно реалистичные образцы, используемые для обучения машин, а это, в свою очередь, приведёт нас к более точной и доступной диагностике. Но уже сейчас генеративный искусственный интеллект открывает новые возможности в астрономии и других науках, восстанавливая данные, которые изначально были получены в низком разрешении. И это только начало.
9.Генеративный ИИ при использовании для формирования ложной реальности ставит под угрозу нашу способность постигать действительность, создавая опасность для институтов и процессов гражданского общества.
Вновь повторим, что эта технология, хотя и многообещающая, ставит очень много новых вопросов. Генеративный искусственный интеллект – явление молодое, однако уже сейчас легко вообразить проблемы, которые фейковые медиа создают для судопроизводства. ИИ способен сфабриковать фотографию подсудимого на месте преступления, видеоролик, подтверждающий, что какое-то имущество было повреждено ещё до аварии, или аудиозапись, доказывающую незаконный сговор топ-менеджеров. Технологический прогресс ведёт к тому, что любой обладатель смартфона сможет делать нереальное реальным и заставлять нас сомневаться в очевидном.
Что же происходит, когда существующие правила не поспевают за достижениями прогресса? Вот лишь один пример. Недавно в 902-е Федеральное правило предоставления доказательств были включены пункты, расширяющие список самосвидетельствующих документов, которые не требуют иных доказательств своей подлинности. Но упрощение верификации цифровых доказательств может стать проблемой по ходу распространения сверхреалистичных подделок. По каким стандартам такие доказательства нужно верифицировать? И как убедиться в их истинности?
Разумеется, если такие технологии могут ввести в заблуждение не просто сведущих людей, но даже судебных экспертов, то необходимо изучить пределы их возможностей. Например, поддельное, но на вид совершенно реальное видео, на котором президент объявляет о войне с соседним государством, может спровоцировать массовые беспорядки и создать угрозу национальной безопасности. Распространение подобных технологий может стать намного опаснее, чем их засекречивание. Но они несут и более серьёзную угрозу: из-за них мы можем утратить доверие к демократическим институтам и общественному дискурсу, перестав отличать правду от лжи.
10.Судебная власть, в числе прочих заинтересованных институтов, должна встать на страже наших основных культурных ценностей, не позволяя средствам ИИ подрывать их.
Искусственный интеллект – это одновременно и перспектива улучшения нашей жизни, и угроза для наших представлений о правде, справедливости и правосудии. Но, возможно, ирония судьбы такова, что сам ИИ даст нам средство против этих опасностей – например, чтобы протестировать алгоритмы для вынесения приговора или выявить фальшивые доказательства. Однако ставки в этом деле настолько высоки, что мы не можем полагаться лишь на технологию, и судебная власть, помимо прочих вовлечённых сторон, должна стать одним из гарантов того, что инструменты ИИ не будут подрывать наши культурные ценности. Основания для оптимизма есть: наша правовая система способна к эволюции, и суды уже доказали свою способность ориентироваться в новых условиях и вести корабль цивилизации через неизведанные воды.
Джефф Уорд – директор Центра права и технологий при Университете Дьюка (Северная Каролина), заместитель декана по технологиям и инновациям и адъюнкт-профессор права. Ведёт преподавание на стыке сфер права и современных технологий. Продвигает программу Duke Law Tech Lab для компаний, использующих технологии для решения правых вопросов. Эта программа призвана обеспечить для граждан доступ к качественным юридическим услугам, а также гарантировать, что новые технологии открывают для людей новые возможности.

11 комментариев к «Десять вещей, которые следует знать судьям об ИИ»

  1. Уже сколько десятилетий прошло с тех пор, как Айзек Азимов писал о “комплексе Франкенштейна”, а актуальной эта проблема стала лишь в наши дни. И чтобы преодолеть его, нужно, на мой взгляд, помнить о том, что говорит Уорд: развитие искусственного интеллекта целиком зависит от нас, и судебная сфера здесь не исключение. Вернейшее средство от страха перед судьёй-ИИ – абсолютная прозрачность. Если люди знают, как действует робот-судья, он для них будет не опаснее, чем робот-пылесос.

  2. Дуже цікавий та всеоглядний блог!У ньому висвітлено не тільки плюси та фішки “новітнього” та усіма піареного штучного інтелекту, але й застереження та мінуси даного нововведення, головним з яких вважаю – штучний інтелект все ж створює людина, тому досконалості немає меж!

  3. Очень интерессная тематика, а главное очень актуальный вопрос ИИ в судебной системе. Как это будет и кто будет в ответе за ошибки ИИ. Не думаю что за год, или два Украина выростет в этом вопросе..

  4. Главное, чтобы человек не просто знал о возможностях той или иной программы, но и умел ею пользоваться!

  5. Прежде чем вводить искусственный интеллект в суды нужно озаботиться вопросом толковой базовой подготовки самих судей!

  6. Куда важнее актуальность и спрос решения, а также то, как технология позволяет решить существующую конкретную проблему….вот что главное!!!

  7. Действительно, технология AI достаточно дорогая разработка для стартапа. И здесь важно понимать, наличие ИИ не гарантирует 100% успеха проекта на рынке. А у нас что? Делают на обум…

  8. ИИ — это серьезная перспектива роста автоматизации процессов, возможность делать большое количество самых разных задач быстрее и эффективнее, но будут ли они работать с суде нормально?

  9. В любом случае, прежде чем перекладывать на плечи искусственного разума ответственность за принятие судебных решений нужно законодательную базу улучшить!

  10. Соглашусь с одним из комментаторов: прежде чем начать приминение ИИ у судах нужна хотя бы минимальная практика!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *