|
Запущена платформа для оценки безопасности ИИ
|
|
|
|
Недавно созданный в Великобритании Институт безопасности искусственного интеллекта (U.K. AI Safety Institute) выпустил набор инструментов, призванных “усилить безопасность искусственного интеллекта”, упростив для промышленности, исследовательских организаций и научных кругов разработку оценок ИИ. Набор инструментов под названием Inspect, который доступен по лицензии с открытым исходным кодом, в частности, по лицензии MIT, предназначен для оценки определенных возможностей моделей искусственного интеллекта, включая базовые знания моделей и их способность рассуждать, и получения оценки на основе результатов. В пресс-релизе, опубликованном в пятницу, Институт безопасности искусственного интеллекта заявил, что Inspect знаменует собой “первый случай, когда платформа для тестирования безопасности искусственного интеллекта, разработанная государственным органом, была выпущена для более широкого использования”.
|
|
|
|
“Успешное сотрудничество в области тестирования безопасности ИИ означает наличие общего и доступного подхода к оценке, и мы надеемся, что Inspect может стать основой для этого”, - говорится в заявлении председателя Института безопасности ИИ Яна Хогарта. “Мы надеемся, что мировое сообщество ИИ использует Inspect не только для проведения собственных тестов безопасности моделей, но и для адаптации и развития платформы с открытым исходным кодом, чтобы мы могли проводить высококачественные оценки по всем направлениям”. Как мы уже писали ранее, тестировать ИИ сложно, и не в последнюю очередь потому, что самые сложные модели ИИ на сегодняшний день представляют собой "черные ящики", инфраструктура, данные об обучении и другие ключевые детали которых держатся в секрете компаниями, создающими их. Итак, как же Inspect решает эту проблему? Главным образом благодаря своей расширяемости и применимости к новым методам тестирования.
|
|
|
Inspect состоит из трех основных компонентов: наборов данных, решателей и оценщиков. Наборы данных предоставляют образцы для оценочных тестов. Решатели выполняют работу по проведению тестов. А оценщики оценивают работу решателей и суммируют результаты тестов в показатели. Встроенные компоненты Inspect могут быть дополнены с помощью сторонних пакетов, написанных на Python. В статье на X Дебора Радж, научный сотрудник Mozilla и известный специалист по этике ИИ, назвала Inspect “свидетельством эффективности государственных инвестиций в инструменты с открытым исходным кодом для подотчетности ИИ”. Клеман Деланг, генеральный директор стартапа в области искусственного интеллекта Hugging Face, предложил интегрировать Inspect с библиотекой моделей Hugging Face или создать общедоступную таблицу лидеров с результатами оценки набора инструментов.
|
|
|
|
Выпуск Inspect состоялся после того, как правительственное учреждение США — Национальный институт стандартов и технологий (NIST) — запустило NIST GenAI, программу для оценки различных технологий искусственного интеллекта, включая искусственный интеллект, генерирующий тексты и изображения. NIST GenAI планирует выпускать тесты, помогать создавать системы определения подлинности контента и поощрять разработку программного обеспечения для выявления поддельной или вводящей в заблуждение информации, сгенерированной искусственным интеллектом. В апреле США и Великобритания объявили о партнерстве для совместной разработки передовых моделей тестирования искусственного интеллекта в соответствии с обязательствами, объявленными на британском саммите по безопасности искусственного интеллекта в Блетчли-Парке в ноябре прошлого года. В рамках этого сотрудничества США намерены создать свой собственный институт безопасности искусственного интеллекта, которому будет поручено оценивать риски, связанные с ИИ и генеративным ИИ.
|
|
|
|
Источник
|
