6.5 Ответственный и надёжный ИИ

Обзор и мотивация

Ответственный и надёжный ИИ это практика построения и эксплуатации систем ИИ, которые справедливы, прозрачны, подотчётны, безопасны и уважают приватность. Это также значит умение показать всё это затронутым людям и регуляторам. По мере того как ИИ берёт на себя решения, формирующие жизни людей (наём, кредитование, право на пособия), вопрос больше не только «работает ли это?», а «верно ли это и можем ли мы это обосновать?». Система, точная в среднем, всё равно может быть несправедливой к подгруппе, необъяснимой для затронутого ею человека или небезопасной при злоупотреблении. Вы зарабатываете доверие, занимаясь этими измерениями намеренно, а не надеясь, что они сами о себе позаботятся.

Для больших команд ответственный ИИ не может быть работой одного человека или галочкой в конце. Вплетайте его в то, как вы проектируете, оцениваете, развёртываете и управляете системами, с ясным владением и эскалацией. В масштабе малые предвзятости и пробелы надзора затрагивают многих людей. Один громкий отказ может повредить репутации и пригласить регулирование. Рамки управления существуют именно потому, что стихийные добрые намерения не масштабируются.

Государственные и регулируемые организации сталкиваются с обязывающими обязательствами. Возникающее право, такое как Закон ЕС об ИИ, налагает требования, градуированные по риску. Стандарты вроде Рамки управления рисками ИИ NIST и ISO/IEC 42001 дают структурированные способы их выполнения. Государственные органы должны избегать незаконной дискриминации, предоставлять пути оспаривания автоматизированных решений и быть прозрачными в том, как ИИ используется при осуществлении публичной власти. Ответственный ИИ в этих условиях и этическая обязанность, и юридическая необходимость.

См. также: глава 6.1 (стратегия и готовность к ИИ), глава 10.5 (этика, подотчётность и общественный интерес) и глава 4.5 (приватность и защита данных).

Ключевые принципы

Справедливость это проектная цель, которую нужно измерять и которой нужно управлять, а не предполагать.
Люди, затронутые решениями ИИ, заслуживают объяснения и пути их оспорить.
Подотчётность лежит на людях и организации, никогда на модели.
Приватность и безопасность должны закладываться в инженерию, включая защиту от злоупотребления и неправильного использования.
Управление должно следовать признанным рамкам, чтобы быть защищаемым и проверяемым.
Человеческий надзор должен быть содержательным, с реальными полномочиями переопределять и останавливать.
Учитывайте более широкие издержки ИИ, включая его экологический след.

Компромиссы: плюсы и минусы

Напряжение	Одна сторона	Другая сторона
Точность против справедливости	Наивысшая средняя точность	Равноправные исходы между группами
Производительность против интерпретируемости	Сложные мощные модели	Объяснимые защищаемые модели
Автоматизация против надзора	Эффективность и масштаб	Человеческий контроль и подотчётность
Полезность данных против приватности	Более богатые модели из большего объёма данных	Минимизация данных и защита
Возможность против безопасности	Широкая открытая функциональность	Ограниченное защищённое поведение
Скорость против управления	Быстрое развёртывание	Тщательная рецензия и документация

Бесплатного обеда редко бывает. Улучшение справедливости может стоить некоторой точности. Интерпретируемость может стоить некоторой производительности. Управление стоит времени. Ответственный путь делать эти компромиссы сознательно, документировать их и выбирать в пользу затронутых людей и защищаемости, когда ставки высоки. Воспринимание управления как тормоза инноваций ложная дихотомия. Неуправляемый риск ИИ сам угроза устойчивым инновациям.

Вопросы для обсуждения с командой

Какие из наших развёрнутых систем ИИ Закон ЕС об ИИ классифицировал бы как высокорисковые и выполняем ли мы эти обязательства сегодня? Право, градуированное по риску, теперь обязывающее, а не гипотетическое, и система, решающая вопросы найма, кредитования или права на пособия, может нести строгие требования, которые вы, возможно, уже нарушаете. Для большой организации этот вопрос вынуждает честную опись вместо удобного допущения, что управление «обработано». Принесите ваш список систем ИИ с уровнями риска и владельцами, отображённый на Закон ЕС об ИИ, Рамку управления рисками ИИ NIST и ISO/IEC 42001, где уместно. Сигнал, за которым стоит следить: любая значимая система без классификации риска, оценки воздействия и карточки модели или данных. Для государственных органов, осуществляющих публичную власть, невыполненные обязательства не пункт бэклога, а юридическая экспозиция, и ответ должен запустить оценки и документацию, которых требуют эти системы.
Когда одна из наших моделей отказывает человеку, может ли этот человек получить причину простым языком и дойти до человека, который действительно может изменить исход? Право на объяснение и рабочая апелляция то, что отделяет подотчётный ИИ от чёрного ящика, вредящего людям без возможности обжалования. Справедливость, измеренная в среднем, всё равно может подвести отдельного человека, а интерпретируемость, выбранная после развёртывания, обычно театр. Принесите конкретное развёрнутое решение и проследите его: причина, которую получает затронутый человек, канал апелляции и есть ли у человека на другом конце подлинные полномочия и журналированное основание для переопределения. В государственной и регулируемой среде путь апелляции нередко юридическое требование, а не любезность. Если причина непонятна или апелляция ведёт к печати «не глядя», это пробел, который нужно исправить до следующего выпуска.
Кто единственный названный человек, подотчётный, когда модель причиняет вред, и есть ли у него реальные полномочия её остановить? Подотчётность лежит на людях и организации, никогда на модели, но этот принцип пуст, пока к каждой системе не привязано имя и этот человек не может действительно выдернуть вилку. Для большой команды размытое владение означает, что когда проявляется отказ справедливости или взлом ограничений, каждый предполагает, что смотрит кто-то другой. Принесите вашу карту владения, пути эскалации и свидетельства того, что надзор содержателен: получает ли названный владелец информацию и власть переопределить или остановить систему или лишь кивать? Обсудите, как вы проводите «красные команды» на злоупотребление, которое вы ещё не вообразили, поскольку тестирование только предусмотренного использования упускает отказы, попадающие в заголовки. Ответ не должен оставлять ни одной значимой системы без подотчётного владельца, который может её остановить.
Для каждой значимой модели какое определение справедливости мы выбрали, кто его подписал и держатся ли наши метрики подгрупп на самом деле в эксплуатации? У справедливости несколько математических определений, конфликтующих друг с другом, так что модель, удовлетворяющая равным долям ложноположительных, может нарушать равенство исходов, а выбор определения ценностное суждение, которое не следует оставлять тому, кто написал цикл обучения. Для большой команды непроверенное умолчание прячет выбор внутри кода и заставляет каждую нижестоящую группу наследовать решение, которое никто не обсуждал. Принесите метрику справедливости, которую вы оптимизировали, защищаемые и уязвимые группы, по которым тестировали, репрезентативные данные, которые использовали, и дрейф, который видели с запуска, поскольку удаление защищаемого атрибута оставляет косвенные признаки, поддерживающие предвзятость живой. В корпоративной и государственной среде назовите человека с полномочиями принять компромисс справедливости и запишите его, потому что регулятор или омбудсмен спросит, кто решил, что именно это определение справедливого верно для людей, которым отказали в кредите, пособии или работе. Если метрики подгрупп не мониторятся после развёртывания, воспринимайте модель как неизмеренную, а не справедливую.
Насколько малым объёмом персональных данных может обойтись каждая система и проводили ли мы для неё «красную команду» на злоупотребление и двойное назначение, о которых мы предпочли бы не думать? Приватность и безопасность должны закладываться в инженерию, а дешевейший способ снизить и риск взлома, и поверхность злоупотребления собирать и хранить меньше данных в первую очередь, однако команды регулярно копят входы «на случай, если пригодятся позже». Для большой организации каждое лишнее поле это вопрос правового основания, обязательство хранения и больший приз для атакующего или взлома ограничений. Принесите опись данных и правовое основание для каждой системы, результаты «красной команды» на манипуляцию, утечку и порождение вредного и честный список возможностей двойного назначения, где та же функция, помогающая законному пользователю, помогает и действующему недобросовестно. В регулируемом и публичном контексте свяжите это с вашим планом инцидентов: мониторингом, реагированием и раскрытием, потому что государственный орган, допустивший утечку чувствительных данных или выпустивший систему, ограничения которой можно взломать, сталкивается с установленными законом обязанностями, а не только неловкостью. Если «красная команда» когда-либо упражняла только предусмотренный путь, вы протестировали демонстрацию, а не систему.
Измеряем ли мы и владеем ли экологическим следом наших основных нагрузок ИИ или «использовать самую большую модель» неоценённое умолчание? Обучение и обслуживание больших моделей потребляют реальные энергию и воду, а умолчание в пользу самой большой модели для задач, с которыми справилась бы меньшая, превращает инженерный ярлык в повторяющуюся цену, которую организация никогда не видит на панели. Для большой команды, ведущей много нагрузок, малые неэффективности на вызов складываются в след, становящийся обязательством закупок и отчётности по мере ужесточения ожиданий раскрытия. Принесите измеренный след ваших тяжелейших нагрузок, сравнение размеров моделей с точностью, которая задаче действительно нужна, и оборудование и выбор обслуживания, которые можно подогнать по размеру. В корпоративной и государственной среде свяжите это с обязательствами устойчивого развития и критериями закупок, поскольку государственным органам всё чаще приходится сообщать о воздействии на окружающую среду и обосновывать расходы, а неизмеренный след цифра, которую однажды у вас потребуют и которую вы не сможете предъявить. Решите, является ли экологическая цена формальным входом в выбор модели, или признайте, что сегодня нет.

Взгляд по секторам

Стартап. Вы не можете укомплектовать совет по управлению, поэтому делайте лёгкую версию, которая всё же считается. Выбирайте интерпретируемые модели там, где решение значимо, пишите одностраничную карточку модели, тестируйте на различные исходы между группами, которые вы можете измерить, и журналируйте решения, чтобы вернуться к справедливости по мере роста. Давайте любому неблагоприятному решению простую причину и путь к человеку. Пропуск этого не скорость, а обязательство, которое вы не можете позволить, если одно несправедливое решение дойдёт до прессы или регулятора.

Малый бизнес. Без выделенного специалиста воспринимайте ответственный ИИ как вопрос покупки: предпочитайте поставщиков, документирующих тестирование справедливости, открывающих карточки моделей и данных и позволяющих вам раскрывать клиентам, когда используется ИИ. Знайте, какие персональные данные собирают ваши инструменты и есть ли у вас правовое основание их использовать. Где неверный автоматизированный ответ мог бы навредить клиенту, держите человека в контуре, а не доверяйте инструменту, который вы не можете проверить или объяснить.

Крупная организация. Задача управление в масштабе по многим командам: отображайте каждую систему на Рамку управления рисками ИИ NIST, Закон ЕС об ИИ и ISO/IEC 42001, ведите опись с уровнями риска и названными владельцами и требуйте тестирования справедливости, безопасности и приватности до и после запуска. Стандартизируйте карточки моделей и данных, «красные команды» и процессы апелляции, чтобы группы перестали изобретать их заново. Бюджетируйте цену управления, надзора и интерпретируемости явно и воспринимайте неуправляемый риск ИИ как угрозу лицензии на деятельность.

Государственный сектор. Правила закупок, прозрачность и публичная подотчётность определяют каждый выбор. Публикуйте уведомление о прозрачности простым языком, проводите оценку воздействия до развёртывания и сохраняйте содержательное человеческое принятие решений для любого действия, затрагивающего гражданина, с рабочим путём апелляции. Требуйте от поставщиков раскрытия ограничений модели и переносимости данных, избегайте незаконной дискриминации, назовите подотчётное должностное лицо для каждой системы и сообщайте экологический след основных нагрузок.

Примеры

Стартап. Небольшой кредитный стартап, строивший раннюю функцию кредитного скоринга, не мог укомплектовать совет по управлению, поэтому сделал лёгкую версию, которая всё же имела значение. Два основателя вместе подписали модель, протестировали её на различные исходы между группами, которые могли измерить, и написали короткую одностраничную карточку модели, покрывающую её данные, пределы и известные риски. Они выбрали более простую, более интерпретируемую модель, чтобы любому отклонённому заявителю дать простую причину и путь к человеческой рецензии, и журналировали решения, чтобы вернуться к справедливости по мере роста.

Крупная организация. Банк, развёртывавший кредитную модель, учредил совет по управлению ИИ, отнёс модель к высокорисковой категории и потребовал тестирования справедливости по демографическим группам до и после запуска. Он документировал модель в карточке модели. Он давал отклонённым заявителям причину простым языком и апелляцию к человеку-андеррайтеру и проводил для системы «красную команду» на манипуляцию. Он выбрал несколько менее точную, но более интерпретируемую модель, потому что ему нужно было объяснять и защищать каждое решение перед регуляторами.

Государственный сектор. Государственное ведомство, использующее ИИ для распределения ресурсов проверок, выровняло свою программу по NIST AI RMF и соответствующим положениям применимого права об ИИ. Оно опубликовало уведомление о прозрачности, описывающее, как работает система и её меры защиты. Оно провело оценку воздействия до развёртывания, сохранило содержательное человеческое принятие решений для любого действия, затрагивающего гражданина, и предоставило процесс апелляции. Справедливость непрерывно мониторилась, экологическая цена нагрузки сообщалась, а подотчётное должностное лицо было названо отвечающим за систему.

Бизнес-обоснование: мотивы, ROI и TCO

Ответственный ИИ защищает ценность не меньше, чем создаёт её. ROI в основном избегнутая цена: меньше исков о дискриминации, регуляторных штрафов и репутационных катастроф; более гладкие аудиты; и большее доверие пользователей и общества, определяющее принятие. Заслуживающие доверия системы также надёжнее, потому что дисциплина, производящая справедливость и безопасность, производит и лучшую инженерию.

TCO включает персонал управления, тестирование справедливости и безопасности, документацию, «красные команды», процессы надзора и производительность, иногда уступаемую ради интерпретируемости или справедливости. Взвесьте это против цены невложения: юридическая ответственность, вынужденные остановки, потерянное общественное доверие и гораздо более высокая цена дооснащения управлением после отказа. В регулируемых контекстах вложения в ответственный ИИ всё чаще не подлежат обсуждению. Обосновывайте перед руководством, формулируя это как управление рисками и лицензию на деятельность: предпосылку развёртывания ИИ в масштабе вообще.

Антипаттерны и ловушки

Справедливость по умолчанию. Допущение, что модель справедлива, потому что она игнорирует защищаемые атрибуты.
Театр объяснимости. Производство объяснений, на самом деле не отражающих то, как принимаются решения.
Надзор печатью «не глядя». Номинальная человеческая рецензия без реальных полномочий или информации для переопределения.
Управление как запоздалая мысль. Прикручивание документации и рецензии после проектирования и развёртывания.
Нет пути апелляции. Оставление затронутых людей без способа оспорить автоматизированное решение.
Игнорирование злоупотребления. Тестирование только предусмотренного использования и упущение взломов ограничений и злоупотребления.
Слепота к следу. Умолчание в пользу самой большой модели без оглядки на экологическую цену.

Модель зрелости

Начальный. Нет тестирования справедливости, объяснений или управления; ответственность не определена; проблемы предвзятости, злоупотребления и приватности проявляются только после вреда, и нет описи систем ИИ или их рисков.
Развитие. Некоторое тестирование предвзятости, карточки моделей и «красные команды» происходят для отдельных систем, но практика непоследовательна по командам; надзор стихиен; рамки вроде Рамки управления рисками ИИ NIST и Закона ЕС об ИИ известны, но приняты лишь частично.
Стандартизация. Управление документировано и принуждается по организации: системы отображены на признанные рамки и ISO/IEC 42001, у каждой есть уровень риска и названный владелец, а тестирование справедливости, безопасности и приватности, карточки моделей и данных, пути апелляции и «красные команды» для высокорисковых систем обязательны, а не необязательны.
Управление. Программа измеряется и контролируется данными: метрики справедливости по подгруппам, находки безопасности и взлома ограничений, объёмы апелляций и доли отмен, доли переопределений надзором и след нагрузки отслеживаются относительно базовых значений и порогов; дрейф и различия исходов запускают определённое действие; решения «пускать или нет» опираются на свидетельства, а не заверения.
Оркестрация. Ответственный ИИ непрерывно улучшается и интегрирован по организации: мониторинг справедливости, безопасности и злоупотребления работает в эксплуатации, управление встроено в поставку, экологическая цена формальный вход в выбор модели, а организация адаптирует средства контроля по мере сдвигов закона, риска и возможностей, причём ответственность принадлежит всем, а не одной команде.

Идеи для обсуждения

Какое определение справедливости применимо к данному решению и кто решает?
Сколько точности или производительности приемлемо уступить ради справедливости или интерпретируемости?
Что делает человеческий надзор содержательным, а не печатью «не глядя»?
Как должны проектироваться апелляции против автоматизированных решений, чтобы быть справедливыми и своевременными?
Как проводить «красную команду» на злоупотребление, которое вы ещё не вообразили?
Должна ли экологическая цена влиять на выбор модели и как бы вы её взвешивали?

Главные выводы

Заслуживающий доверия ИИ справедлив, объясним, подотчётен, безопасен и уважает приватность по замыслу.
Справедливость и безопасность это дисциплины непрерывного измерения и управления, а не разовые проверки.
Выравнивайте управление по NIST AI RMF, Закону ЕС об ИИ и ISO/IEC 42001, чтобы быть защищаемым и проверяемым.
Сохраняйте содержательный человеческий надзор, ясную подотчётность и реальное право на апелляцию.
Закладывайте приватность и защиту от злоупотребления в инженерию и учитывайте экологическую цену.

Источники и дополнительное чтение

National Institute of Standards and Technology, AI Risk Management Framework (AI RMF 1.0).
European Union, Artificial Intelligence Act (Regulation on Artificial Intelligence).
ISO/IEC 42001, Information technology, Artificial intelligence, Management system.
Solon Barocas, Moritz Hardt, and Arvind Narayanan, Fairness and Machine Learning: Limitations and Opportunities.
Christoph Molnar, Interpretable Machine Learning.
Cathy O’Neil, Weapons of Maths Destruction.
Emma Strubell, Ananya Ganesh, and Andrew McCallum, Energy and Policy Considerations for Deep Learning in NLP.

6.5 Ответственный и надёжный ИИ

Обзор и мотивация

Ключевые принципы

Рекомендации

Обнаруживайте и смягчайте предвзятость и несправедливость

Обеспечивайте объяснимость, интерпретируемость и прозрачность

Управляйте по признанным рамкам

Обеспечьте человеческий надзор, подотчётность и апелляцию

Защищайте приватность, безопасность и от злоупотребления

Учитывайте экологическую цену