28.07.2023. - ИИ давно влияет на решения уголовного правосудия

ИИ давно влияет на решения уголовного правосудия

Системы правосудия по всему миру используют искусственный интеллект (ИИ) для оценки лиц, осужденных за уголовные преступления. Эти технологии искусственного интеллекта основаны на алгоритмах машинного обучения, и их основная цель — прогнозировать риск повторного совершения преступления. Они влияют на решения, принимаемые судами и тюрьмами, а также надзирателями по условно-досрочному освобождению и пробации. Этот вид технологий является неотъемлемой частью системы правосудия Великобритании с 2001 года. Это был год, когда был представлен инструмент оценки рисков, известный как Oasys (система оценки правонарушителей), который начал брать на себя определенные задачи от сотрудников службы пробации. Тем не менее, за более чем два десятилетия ученые вне правительства не имели доступа к данным Oasys для независимого анализа ее работы и оценки ее точности — например, приводят ли решения, на которые она влияет, к меньшему количеству правонарушений или повторных осуждений.

Отсутствие прозрачности влияет на системы ИИ в целом. Их сложные процессы принятия решений могут превратиться в черный ящик — слишком неясный, чтобы разгадать его без передовых технических знаний. Сторонники считают, что алгоритмы ИИ являются более объективными научными инструментами, потому что они стандартизированы, и это помогает уменьшить предвзятость человека в оценках и принятии решений. Это, как утверждают сторонники, делает их полезными для общественной защиты. Но критики говорят, что отсутствие доступа к данным, а также к другой важной информации, необходимой для независимой оценки, поднимает серьезные вопросы о подотчетности и прозрачности. Это также ставит вопрос о том, какие виды предубеждений существуют в системе, которая использует данные учреждений уголовного правосудия, таких как полиция, которые, как неоднократно показывали исследования, предвзято относятся к этническим меньшинствам.

Однако, по мнению Министерства юстиции, внешняя оценка имеет последствия для защиты данных, поскольку для этого потребуется доступ к персональным данным, включая защищенные характеристики, такие как раса, этническая принадлежность и пол (дискриминация кого-либо из-за защищенной характеристики является нарушением закона). Когда Oasys был представлен в Великобритании в 2001 году, он внес радикальные изменения в то, как суды и службы пробации оценивают людей, осужденных за преступления. Это означало, что алгоритмы начнут оказывать огромное влияние на решение того, насколько «риск» представляют для общества люди, вовлеченные в систему правосудия. К таким людям относятся осужденные за преступление и ожидающие наказания, заключенные и просители условно-досрочного освобождения.

До Oasys сотрудник службы пробации брал интервью у обвиняемого, чтобы попытаться докопаться до сути его правонарушения и оценить, сожалели ли они, сожалели или потенциально опасны. Но после 2001 года этот традиционный клиентский подход к рассмотрению дел был сокращен, и бремя все большей ответственности стало возлагаться на алгоритмические прогнозы. Эти прогнозы машинного обучения информируют о множестве решений, таких как: освобождение под залог, результаты иммиграционных дел, виды приговоров, с которыми сталкиваются люди (по месту жительства, лишение свободы или условно), классификация тюремных условий безопасности и назначения на программы реабилитации. Они также помогают определить условия общественного надзора за лицами, осужденными за преступления, и могут ли они быть досрочно освобождены из тюрьмы.

Некоторые попытки более тщательной оценки рисков предшествовали Oasys. Совет по условно-досрочному освобождению в Англии и Уэльсе ввел в 1976 году показатель прогнозирования повторного осуждения, который оценивал вероятность повторного осуждения в течение фиксированного двухлетнего периода после освобождения из тюрьмы. Затем, в середине 1980-х, сотрудник Службы пробации Кембриджшира разработал довольно простую шкалу прогнозирования риска, чтобы обеспечить большую объективность и последовательность в прогнозировании того, является ли испытательный срок подходящей альтернативой тюремному заключению. Оба эти метода были довольно грубыми с точки зрения использования лишь нескольких предикторов и использования довольно неформальных статистических методов.

Примерно в это же время официальные лица Министерства внутренних дел заметили повышенный интерес властей Великобритании и США к разработке алгоритмов прогнозирования, которые могли бы использовать возможности компьютеров. Эти алгоритмы будут поддерживать мнения людей научными данными о том, какие факторы предсказывают повторные преступления. Идея заключалась в том, чтобы более эффективно использовать скудные ресурсы, одновременно защищая общественность от людей, отнесенных к категории лиц с высоким риском повторного совершения преступления и причинения серьезного вреда.

Министерство внутренних дел ввело в эксплуатацию свой первый инструмент статистического прогнозирования, который был развернут в 1996 году в службах пробации в Англии и Уэльсе. Этот первоначальный инструмент риска назывался Шкала повторного осуждения группы правонарушителей (OGRS). OGRS является актуарным инструментом, поскольку он использует статистические методы для оценки информации о прошлом человека (например, криминального прошлого) для прогнозирования риска любого типа повторного правонарушения.

OGRS все еще используется сегодня после нескольких изменений. И этот простой алгоритм был включен в Oasys, который расширился за счет включения дополнительных алгоритмов машинного обучения. Они развивались с течением времени, предсказывая различные типы повторных правонарушений. Повторное преступление оценивается как повторное осуждение в течение двух лет после освобождения. Сама Oasys основана на подходе «что работает» к оценке рисков. Сторонники этого метода говорят, что он основан на «объективных доказательствах» того, что эффективно снижает количество повторных правонарушений. «Что работает» представило некоторые основные принципы оценки рисков и реабилитации и получило распространение среди правительств всего мира в 1990-х годах.

К факторам риска можно отнести «криминогенные потребности» — это факторы в жизни правонарушителя, непосредственно связанные с рецидивом. Примеры включают безопасное жилье, профессиональные навыки и психическое здоровье. Подход «что работает» основан на нескольких принципах, один из которых предполагает соответствие реабилитационных программ криминогенным потребностям человека. Таким образом, лицу, осужденному за сексуальное преступление и ранее злоупотреблявшему алкоголем, может быть назначен план наказания, который включает программу лечения сексуального преступника и лечение от наркозависимости. Это делается для того, чтобы снизить вероятность повторного совершения ими правонарушений.

После пилотных исследований Министерства внутренних дел в период с 1999 по 2001 год Oasys был развернут на национальном уровне, и с тех пор Служба тюрем и пробации Его Величества (HMPPS) широко использовала эту технологию. Шкала повторного осуждения группы правонарушителей и варианты Oasys часто изменяются, и некоторая информация о том, как они работают, общедоступна. Имеющаяся информация предполагает, что Oasys откалиброван для прогнозирования риска. Алгоритмы используют данные, которые сотрудники службы пробации получают во время интервью, и информацию из анкет для самооценки, заполненных рассматриваемым лицом. Затем эти данные используются для оценки набора факторов риска (криминогенных потребностей). По словам разработчиков, научные исследования показывают, что эти потребности связаны с риском повторного совершения преступления.

К факторам риска относятся статические (неизменные) вещи, такие как криминальное прошлое и возраст. Но они также включают в себя динамические (изменчивые) факторы. В Oasys динамические факторы включают в себя: приспособление, возможность трудоустройства, отношения, образ жизни, злоупотребление наркотиками, злоупотребление алкоголем, мышление и поведение, а также отношение. Разным факторам риска присваиваются разные веса, поскольку считается, что некоторые факторы обладают большей или меньшей прогностической способностью. Итак, какие данные получают от человека, подвергающегося оценке риска? Oasys состоит из 12 секций. Два раздела касаются криминальной истории и текущего преступления. Остальные десять касаются областей, связанных с потребностями и рисками. Сотрудники службы пробации по своему усмотрению оценивают многие динамические факторы риска.

Сотрудник службы пробации может, например, решить, есть ли у человека «подходящее жилье», что может потребовать рассмотрения таких вещей, как безопасность, трудности с соседями, доступные удобства и переполненность помещения. Офицер определит, есть ли у человека проблемы с алкоголем или импульсивность. Эти суждения могут увеличить «профиль риска» человека. Другими словами, сотрудник службы пробации может учитывать динамические факторы риска, такие как отсутствие постоянного адреса и история злоупотребления наркотиками, и говорить, что данное лицо представляет более высокий риск повторного совершения преступления.

Алгоритмы оценивают записи сотрудников службы пробации и выдают числовые оценки риска: человек становится набором чисел. Затем эти числа повторно объединяются и помещаются в категории низкого, среднего, высокого и очень высокого риска. Система также может связать категорию с процентом, указывающим долю людей, которые повторно совершали правонарушения в прошлом. Тем не менее, просто нет конкретных указаний о том, как перевести любой риск повторного совершения преступления в фактические решения о вынесении приговора. Сотрудники службы пробации проводят оценки, и они составляют часть отчета до вынесения приговора (PSR), который они представляют суду вместе с рекомендуемым вмешательством. Но определение приговора остается за судом в соответствии с положениями Совета по вынесению приговоров.

У нас нет доступного набора данных, который напрямую связывает прогнозы Oasys с решениями, для которых они предназначены. Следовательно, мы не можем знать, что лица, принимающие решения, делают с этими показателями на практике. Ситуация становится еще более запутанной, учитывая, что несколько инструментов управления рисками выдают разные оценки (например, высокие, средние или низкие) для одного и того же человека. Это потому, что алгоритмы предсказывают разные типы правонарушений (общие, насильственные, контактно-сексуальные и непристойные изображения).

Так человек может собрать несколько разных рейтингов. Это может быть человек с высоким риском любого повторного преступления, средним риском насильственных преступлений и низким риском обоих типов сексуальных преступлений. Что делать судье с этими, казалось бы, разрозненными данными? Сотрудники службы пробации дают некоторые рекомендации, но решение в конечном итоге остается за судьей.

Влияние на рабочие нагрузки и неприятие риска Другая проблема заключается в том, что сотрудники службы пробации, как известно, испытывают трудности с завершением оценок Oasys, учитывая значительное количество времени, которое требуется каждому человеку. В 2006 году исследователи поговорили со 180 сотрудниками службы пробации и спросили их, что они думают об Oasys. Один из сотрудников службы пробации назвал это «худшей налоговой формой, которую вы когда-либо видели».

В другом исследовании другой сотрудник службы пробации сказал, что Oasys был трудным и трудоемким «упражнением по галочке». Также может случиться так, что неприятие риска укоренится в системе из-за страха ошибиться. Ответная реакция может быть быстрой и серьезной, если человек, которому присвоен низкий уровень риска, совершит серьезное правонарушение — доказательством этого является множество громких скандалов в СМИ. В отчете для Prison Reform Trust один заключенный, отбывающий длительный срок, прокомментировал: «Они постоянно говорят о «риске», но я понял много лет назад, что это не имеет ничего общего с риском… все дело в ответственности, они хотят, чтобы кто-то обвинил если все пойдет не так».

Страх быть обвиненным не является праздным. Сообщается, что в 2022 году сотрудник службы пробации был уволен за грубые проступки за то, что после осуждения за поджог оценил Дэмиена Бендалла как средний, а не как высокий риск. Бендалл был освобожден с условным сроком. В течение трех месяцев он убил свою беременную партнершу и троих детей. Джордан МакСвини, еще один осужденный убийца, вышел из тюрьмы в 2022 году с оценкой средней опасности. Через три дня он изнасиловал и жестоко убил молодую женщину, идущую домой в одиночестве. Обзор дела показал, что он был неправильно оценен и вместо этого должен был быть помечен как высокий риск.

Но в отличие от дела Бендалла, где, по-видимому, обвиняли отдельного офицера службы пробации, главный инспектор службы пробации Джастин Рассел объяснил: «Сотрудники службы пробации… испытывали неуправляемую рабочую нагрузку, усугубляемую высоким уровнем вакантных должностей — то, что мы все чаще наблюдаем в нашей практике. местные проверки служб. Тюремные службы и службы пробации не сообщали эффективно о рисках МакСвини, в результате чего Служба пробации имела неполное представление о том, кто может совершить повторное преступление ». Несмотря на его широкое использование, не было проведено независимого аудита для изучения того, на какие данные опирается Oasys при принятии решений. И это может быть проблемой, особенно для людей из этнических меньшинств. Это потому, что Oasys прямо или косвенно включает социально-демографические данные в свои инструменты.

Системы искусственного интеллекта, такие как Oasys, полагаются на данные об арестах в качестве доверенных лиц преступления, хотя в некоторых случаях они могут быть доверенными лицами расово предвзятых правоохранительных органов (и тому есть множество примеров в Великобритании и во всем мире). Прогнозирование рисков повторного совершения преступления на основе таких данных вызывает серьезные этические вопросы. Это связано с тем, что правоохранительные органы с расовой предвзятостью могут проникать в данные, в конечном итоге искажая прогнозы и создавая пресловутую проблему «предвзятость - предвзятость». Таким образом, записи о криминальном прошлом открывают возможности для навешивания ярлыков и наказания людей в соответствии с защищенными характеристиками, такими как раса, что приводит к расовым предубеждениям. Это может означать, например, более высокий процент представителей меньшинств, отнесенных к группам повышенного риска, чем лиц, не принадлежащих к меньшинствам.

Еще одним источником предвзятости может быть то, как офицеры «оценивают» этнические меньшинства, отвечая на вопросы Oasys. Сотрудники службы пробации могут по-разному оценивать представителей этнических меньшинств по таким вопросам, как наличие у них проблем с самоконтролем, импульсивность, прокриминальные взгляды или признание влияния их правонарушений на других. Здесь могут иметь место бессознательные предубеждения, возникающие из-за культурных различий в том, как различные этнические группы воспринимают эти проблемы. Например, люди из одной культурной среды могут «видеть» другого человека с плохим характером, тогда как это будет рассматриваться как приемлемое эмоциональное поведение в другой культурной среде.

В своем обзоре ИИ в системе правосудия в 2022 году комитет по вопросам юстиции и внутренних дел Палаты лордов отметил, что существуют «опасения по поводу опасностей человеческой предвзятости, содержащихся в исходных данных, которые отражаются и в дальнейшем внедряются в принимаемые решения. по алгоритмам». И такие проблемы возникают не только в Великобритании. Проблема расовой предвзятости в системах правосудия была отмечена в различных странах, где развернуты алгоритмы оценки рисков, подобные Oasys. В США широко используются алгоритмы Compas и Pattern, а семейство инструментов Level of Service было принято в Австралии и Канаде.

Например, система Compas представляет собой алгоритм искусственного интеллекта, используемый судьями США для принятия решений об освобождении под залог и вынесении приговора. В расследовании утверждалось, что система генерировала «ложные срабатывания» для чернокожих и «ложноотрицательные» для белых. Другими словами, предполагалось, что чернокожие будут совершать повторные правонарушения, когда на самом деле они этого не делали, и предполагалось, что белые люди не будут повторно оскорблять, когда они на самом деле совершали преступления. Но разработчик системы оспорил эти утверждения.

Исследования показывают, что такие результаты проистекают из принятия решений с расовой предвзятостью, встроенных в данные, которые разработчики выбирают для представления факторов риска, которые будут определять прогнозы алгоритма. Одним из примеров являются данные криминального прошлого, такие как записи об арестах полицией. Другие социально-экономические данные, выбранные разработчиками для представления факторов риска, также могут быть проблематичными. Люди будут оцениваться как люди с более высоким риском, если у них нет подходящего жилья или они безработные. Другими словами, если вы бедны или обездолены, система настроена против вас.

Люди также классифицируются как «высокий риск» из-за личных обстоятельств, которые иногда находятся вне их контроля. Факторы риска включают «плохие отношения с партнером» и «прохождение психиатрического лечения». Между тем в отчете, опубликованном Инспекцией пробации Ее Величества в 2021 году, упоминается проблема сознательных и бессознательных предубеждений, которые могут проникать в процесс через оценки сотрудников службы пробации, тем самым искажая результаты. Большая прозрачность могла бы быть полезна для отслеживания того, когда и как усмотрение сотрудника службы пробации потенциально исказило окончательную оценку, что могло привести к тому, что люди были бы лишены свободы без необходимости или им были назначены неподходящие программы лечения. Это может привести к ошибочным прогнозам рисков.

Например, в отчете говорится: «Невозможно быть свободным от предубеждений. То, как мы думаем о мире и относимся к риску, неразрывно связано с нашими эмоциями, ценностями и терпимостью (или иным образом) к вызовам риска». Миклош Орбан, приглашенный профессор юридического факультета Суррейского университета, недавно обратился в Министерство юстиции за информацией об Oasys. Один из нас (Мелисса) говорил об этом с Орбаном, и он выразил обеспокоенность тем, что система может быть формой социальной инженерии.

Он сказал, что правительственные чиновники получали личную и конфиденциальную информацию от ответчиков, которые могли подумать, что раскрывают эту информацию, чтобы получить помощь или сочувствие. Но офицеры могут вместо этого использовать их для другой цели, например, повесить на них ярлыки с алкоголем или наркотиками, а затем потребовать, чтобы они прошли подходящую программу лечения. Он сказал, «Как осужденный, вы очень мало знаете о том, как работают инструменты оценки рисков, и у меня есть сомнения относительно того, насколько хорошо судьи и офицеры по условно-досрочному освобождению понимают статистические модели, такие как Oasys. И это меня беспокоит больше всего».

Не так много известно о точности Oasys в отношении пола и этнической принадлежности. Одно доступное исследование (хотя и немного устаревшее, поскольку оно рассматривало выборку 2007 года) показывает, что инструменты прогнозирования ненасильственных и насильственных действий менее точны в отношении женщин и представителей этнических меньшинств. Между тем, Правосудие, организация по правовой реформе, недавно сослалось на отсутствие исследований точности этих инструментов для женщин и транс-заключенных. Что касается расовой предвзятости, проверка Инспекции тюрем Ее Величества показала, что оценка Oasys не была завершена или пересмотрена в предыдущем году почти для 20% чернокожих заключенных и заключенных из этнических меньшинств.

Это серьезная проблема, потому что дальнейшая оценка может помочь убедиться, что лица из числа этнических меньшинств получают аналогичное обращение или назначаются для участия в полезных программах. Это может помочь сотрудникам службы пробации просто предположить, что статус риска представителей этнических меньшинств неизменен, и, таким образом, снизить их шансы на досрочное освобождение, поскольку требуется оценка Oasys, чтобы установить, снизили ли вмешательства риск повторного совершения преступления.

Исследователи из Inspectorate of Probation призвали разработчиков Oasys расширить способы учета личного опыта человека с дискриминацией и то, как это может повлиять на его отношения с системой уголовного правосудия. Но пока, насколько нам известно, этого сделано не было. Результаты Oasys отслеживают путь человека в системе уголовного правосудия и могут повлиять на ключевые решения от вынесения приговора до права на условно-досрочное освобождение. Такие серьезные решения имеют огромные последствия для жизни людей. Тем не менее официальные лица могут отказаться раскрывать результаты Oasys соответствующему ответчику, если считается, что они содержат «конфиденциальную информацию». Они могут попросить и показать свою заполненную оценку, но не гарантируют, что они ее увидят.

Даже если им выставляют свои оценки, подсудимые и их адвокаты сталкиваются со значительными препятствиями в понимании и оспаривании их оценок. Законодательство не обязывает публиковать информацию о системе, хотя Министерство юстиции похвально обнародовало определенную информацию. Тем не менее, даже если бы было опубликовано больше данных, у адвокатов защиты может не хватить научных навыков для достаточно критического анализа оценок. Некоторые заключенные описывают дополнительные проблемы. Они жалуются, что их оценки риска не отражают того, как они себя видят. Другие считают, что их оценки содержат ошибки. Хотя некоторые также считают, что Oasys неправильно их маркирует. В другом отчете, составленном PRT, один заключенный заявил: «Оазис — это то, кем я был, а не то, кем я являюсь сейчас».

А мужчина, отбывающий пожизненный срок, описал неоднократную оценку риска в разговоре с исследователем из Бирмингемского университета: «Я сравнил это с маленьким снежным комом, бегущим вниз по склону. С каждым поворотом он собирает все больше и больше снега (неточные записи), пока, в конце концов, вы не остаетесь с этим огромным снежным комом, который не имеет ничего общего с первоначальным маленьким снежным комом. Другими словами, Меня больше не существует. Я стал конструктом их воображения. Это высший акт дегуманизации».

Не все судебные приставы также впечатлены. На вопрос об использовании инструмента оценки рисков, который требуется штату, судья в США сказал: «Честно говоря, я очень мало внимания уделяю рабочим листам. Адвокаты спорят о них, но я действительно просто смотрю на руководящие принципы. к экстрасенсам». Было относительно мало юридических проблем с любым из алгоритмов оценки рисков, используемых во всем мире. Но один случай стоит особняком. В 2018 году Верховный суд Канады постановил в деле Эверт против Канады, что использование пенитенциарной системой алгоритма прогнозирования (не Oasys) в отношении заключенных из числа коренных народов было незаконным.

Эверт был коренным канадцем, отбывавшим срок в тюрьме за убийство и покушение на убийство. Он оспорил использование тюремной системой инструмента искусственного интеллекта для оценки риска рецидива. Проблема заключалась в отсутствии доказательств того, что конкретный инструмент был достаточно точным применительно к коренному населению Канады. Другими словами, этот инструмент никогда не тестировался на коренных канадцах. Суд понял, что между коренными и некоренными народами могут существовать связанные с риском различия в том, почему они совершают преступления. Но поскольку алгоритмы не тестировались на коренных народах, их точность для этого населения неизвестна. Таким образом, использование инструментов для оценки их рисков нарушило требование законодательства о том, что информация о правонарушителе должна быть точной, прежде чем ее можно будет использовать для принятия решения.

Суд также отметил, что чрезмерное представительство коренных народов в системе правосудия Канады отчасти объясняется дискриминационной политикой. Ощущение, что оценки, выдаваемые алгоритмами оценки риска, такими как Oasys, не могут быть должным образом персонализированы или контекстуализированы, обретает смысл при рассмотрении того, как алгоритмы прогнозирования в целом работают. Они оценивают людей и выставляют оценки риска, и это имеет долгую историю в бизнесе. Кредитная индустрия использует алгоритмы для оценки кредитоспособности клиентов. Страховые компании используют алгоритмы для расчета стоимости страхования автомобилей. Алгоритмы страхования часто используют записи о вождении, возраст и пол, чтобы определить вероятность предъявления претензии по полису.

Но слишком распространенное и ошибочное предположение состоит в том, что алгоритмы могут дать предсказание о конкретном человеке. Напротив, общедоступная информация показывает, что алгоритмы опираются на статистические группы. Что это значит? Как мы уже говорили ранее, они сравнивают обстоятельства и атрибуты человека, подвергающегося оценке риска, с факторами риска и баллами, связанными с популяциями или группами уголовного правосудия. Например, что, если «Джон» помещен в категорию среднего риска, которая связана с вероятностью повторного совершения преступления 30%? Это не означает, что существует 30-процентная вероятность того, что Джон снова совершит преступление. Наоборот, это означает, что около 30% лиц, отнесенных к категории среднего риска, согласно прогнозам, повторно совершат преступление, основываясь на наблюдении, что 30% лиц со средним риском в прошлом были повторно осуждены.

Этот номер не может быть напрямую присвоен какому-либо лицу в этой группе среднего риска. Джон может, индивидуально, иметь 1% шанс повторного преступления. Весы не индивидуализированы таким образом, поэтому самому Джону нельзя присвоить конкретное число. Причина этого в том, что прогностические факторы не являются причинно-следственными по своей природе. Они коррелированы, что означает, что может быть некоторая связь между факторами и повторными правонарушениями. Oasys использует мужской пол как один из прогностических факторов повторного совершения преступления. Но принадлежность к мужчине не является причиной повторного правонарушения. Отношения, как они воспринимаются Oasys, просто предполагают, что мужчины чаще совершают преступления, чем женщины.

Это имеет важные последствия. Таким образом, человека можно рассматривать как наказуемого, а не за то, что ему или ей предсказывают лично. Им грозит тюремное заключение из-за того, что сделали другие — с таким же уровнем риска. Вот почему необходима большая прозрачность алгоритмов прогнозирования. Но даже если мы знаем, каковы исходные данные, система взвешивания также часто остается неясной. И разработчики часто меняют алгоритмы по множеству причин. Цели могут быть действительными. Возможно, предикторы повторных правонарушений со временем меняются в связи с социальными сдвигами. Или может случиться так, что новые научные знания предполагают необходимость модификации.

Тем не менее, нам не удалось узнать много о том, насколько хорошо работает система Oasys или ее компоненты. Насколько нам известно, Министерство юстиции опубликовало результаты только задним числом. Эти статистические данные не могут дать информацию о прогностической эффективности инструмента для предсказаний, сделанных сегодня, или о том, насколько они точны, когда мы снова посмотрим на преступников через два года. Частые ретроспективные результаты необходимы для предоставления актуальной информации о производительности алгоритмов. Насколько нам известно (и другим экспертам в этой области), Oasys не подвергалась независимой оценке. Существует очевидная потребность в дополнительной информации об эффективности и точности этих инструментов и их влиянии на пол, расу, инвалидность и другие защищенные характеристики. Без этих источников невозможно полностью понять перспективы и проблемы системы.

Мы признаем, что отсутствие прозрачности вокруг Oasys является общим, хотя и не универсальным, знаменателем, который объединяет эти типы алгоритмов, применяемых системами правосудия и другими секторами по всему миру. Судебное дело в штате Висконсин, в котором оспаривалось использование инструмента оценки рисков, который, по утверждению разработчика, был конфиденциальным, был успешным лишь до определенного момента. Обвиняемый, осужденный по обвинениям, связанным со стрельбой из проезжавшего мимо автомобиля, утверждал, что было несправедливо использовать инструмент, использующий частный алгоритм, поскольку он не позволял ему оспаривать его научные данные. Суд США постановил, что правительство не обязано раскрывать лежащий в основе алгоритм. Однако от властей требовалось выдавать предупреждения при использовании этого инструмента.

Эти предупреждения включали:

- тот факт, что отказ от раскрытия информации означал, что было невозможно сказать, как были определены баллы

- алгоритмы представляли собой групповые оценки, неспособные к индивидуальным прогнозам.

- могут быть предубеждения в отношении этнических меньшинств

- инструмент не тестировался для использования в штате Висконсин.

Такие проблемы, как предвзятость ИИ и отсутствие прозрачности, не свойственны Oasys. Они влияют на многие другие технологии, основанные на данных, развернутые агентствами государственного сектора. В ответ правительственные учреждения Великобритании, такие как Центральное управление цифровых технологий и данных и Центр этики и инноваций данных (CDEI), признали необходимость этических подходов к разработке и внедрению алгоритмов и внедрили стратегии исправления. Недавним примером является Algorithmic Transparency Recording Standard Hub, который предлагает организациям государственного сектора возможность предоставлять информацию об их алгоритмах.

В относительно недавнем отчете, опубликованном CDEI, также обсуждались меры по ограничению предвзятости, такие как снижение значимости таких вещей, как история арестов, поскольку они, как было показано, отрицательно влияют на расу. Пост-прогнозное средство в отчете CDEI требует, чтобы специалисты-практики понизили классификацию риска, присвоенную людям, принадлежащим к группе, которая, как известно, постоянно подвержена более высоким оценкам риска ИИ, чем другие. В более общем плане исследователи и организации гражданского общества предложили проводить проверки до и после внедрения для тестирования, выявления и решения проблем ИИ, подобных тем, которые связаны с Oasys. Необходимость надлежащего регулирования систем ИИ, в том числе развернутых для оценки рисков, также была признана ключевыми регулирующими органами в Великобритании и во всем мире, такими как Ofcom, Управление комиссара по информации и Управление по конкуренции и рынкам.

Когда мы поставили эти вопросы перед Минюстом, там сказали, что система подвергалась внешней проверке, но никаких конкретных данных не было. Он заявил, что делает данные доступными извне через программу Data First и что следующий набор данных, который будет передан программе, будет «основан на» базе данных Oasys и выпущен «в течение 12 месяцев». Представитель Минюста добавил: «Система Oasys подвергалась внешней проверке и проверке со стороны соответствующих органов. По понятным причинам предоставление внешнего доступа к конфиденциальной информации преступника является сложным процессом, поэтому мы создали Data First, которая позволяет аккредитованных исследователей для доступа к нашей информации этическим и ответственным образом». В конце концов, мы признаем, что алгоритмические системы никуда не денутся, и признаем продолжающиеся усилия по уменьшению проблем с точностью и предвзятостью. Лучший доступ к внешним экспертам и их вклад для оценки этих систем и выдвижения решений был бы полезным шагом к тому, чтобы сделать их более справедливыми. Система правосудия обширна и сложна, и для управления ею необходимы технологии. Но важно помнить, что за цифрами стоят люди.

Источник