10.5 Этика, подотчётность и общественный интерес

Обзор и мотивация

Программное обеспечение больше не нейтральный инструмент, стоящий за человеческими решениями. Всё чаще оно и есть решение. Оно решает, кто получает кредит, какое резюме увидит рекрутер, сколько займёт заявка на пособие, заморозит ли пометка мошенничества счёт и какая информация достигнет миллионов людей. Когда программное обеспечение принимает или формирует решения, затрагивающие права, деньги, безопасность и достоинство людей, инженеры и организации, которые его строят, берут на себя ответственности сверх корректности и производительности. Эта глава об этих ответственностях: профессиональной этике, подотчётности за то, что делают системы, доступности и равенстве как обязательствах, а не функциях, алгоритмической прозрачности, устойчивости и долге служить людям со справедливостью и достоинством.

Для больших организаций масштаб и власть повышают ставки. Корпоративная или государственная система затрагивает не одного человека. Она затрагивает миллионы. Один проектный выбор (предвзятый обучающий набор, недоступная форма, непрозрачный автоматический отказ) повторяется для каждого из них. Государства несут повышенный долг, потому что их системы не добровольны. Гражданин не может выбрать конкурента своему налоговому органу или ведомству пособий. Монополия государства на определённые услуги означает, что плохо построенная система может лишить людей прав, которые они не могут осуществить иначе. С такой досягаемостью приходит соответствующий долг быть справедливым, прозрачным и подотчётным.

Этику в программном обеспечении нередко воспринимают как мягкую тему, прикрученную в конце или переданную юридическому контрольному списку соответствия. Эта глава доказывает обратное. Этические соображения инженерные требования. Подотчётность нужно закладывать в проект, а не утверждать постфактум. А служение людям с достоинством и моральный долг, и со временем фундамент доверия, на котором держатся большие организации.

Ключевые принципы

Программное обеспечение принимает решения, поэтому ответственность лежит на его создателях. Вы подотчётны за то, что ваша система делает с людьми, а не просто за то, соответствует ли она спецификации.
Доступность и равенство это обязательства, а не улучшения. Исключение людей дефект и нередко юридический и моральный провал.
Значимые автоматические решения требуют подотчётности. Люди, затронутые автоматическим решением, заслуживают объяснения, средства защиты и человеческой рецензии.
Прозрачность по умолчанию, секретность исключение. Особенно в государственном секторе у людей есть право понимать, как принимаются решения о них.
Справедливость нужно проверять, а не предполагать. Системы наследуют и усиливают предвзятости своих данных и проекта, если вы намеренно не проверяете.
Достоинство проектное требование. Воспринимайте каждого пользователя, включая уязвимых и нетипичных, как личность, заслуживающую уважения.
Устойчивость и общественное влияние считаются. Энергия, ресурсы и общественные эффекты программного обеспечения часть его истинной цены.

Компромиссы: плюсы и минусы

Напряжение	Одна сторона	Другая сторона
Автоматизация против человеческого суждения	Масштаб, согласованность, скорость, меньшая цена	Подотчётность, нюансы, милосердие, средство защиты
Прозрачность против защиты	Общественная проверка, доверие, надзор	Риск обмана системы, безопасность, приватность данных
Вложения в доступность против скорости	Служит всем; юридическое и моральное соответствие	Медленнее первоначальная поставка; больше проектных усилий
Эффективность против справедливости	Оптимизированные результаты; меньшая цена	Риск жестокости к отдельным людям в хвостах
Персонализация, богатая данными, против приватности	Лучший сервис; подогнанный опыт	Риск слежки; заботы о достоинстве и согласии
Скорость инноваций против осторожности	Быстрее ценность; конкурентное преимущество	Неисследованный вред, развёрнутый в масштабе

Труднейший компромисс масштаб против индивидуальной справедливости. Автоматизация даёт согласованность и эффективность для миллионов. Но её ошибки тоже доставляются в масштабе, а система, оптимизированная под совокупность, может быть тихо жестока к отдельным людям в её хвостах. Ответ не отказ от автоматизации. Это проектирование для случая индивидуального отказа: держать людей в контуре там, где ставки высоки, гарантировать объяснение и средство защиты и измерять влияние системы на хуже всего обслуживаемых, а не только на среднее. У прозрачности тоже подлинное напряжение, потому что полная открытость может позволить обман системы и раскрыть частные данные. Но в государственных услугах ответ сильно склоняется к раскрытию по умолчанию, освобождая только то, что действительно должно быть защищено, а не воспринимая непрозрачность как безопасное умолчание.

Вопросы для обсуждения с командой

Какие из ваших систем принимают или существенно формируют значимые решения о людях и предлагает ли каждая объяснение, человеческую рецензию и средство защиты сегодня? Программное обеспечение всё чаще и есть решение: кто получает кредит, чьё резюме увидят, заморожен ли счёт, сколько длится заявка. Для каждой такой системы затронутый человек заслуживает объяснения, которое он может понять, настоящего пути оспорить его и человека, который может вмешаться, а в корпоративном или государственном масштабе один проектный изъян повторяется для миллионов. Принесите свидетельства: составьте опись ваших значимых автоматических решений и для каждого проверьте, может ли неверно обработанный человек действительно достичь человека и получить причину простым языком. Где ответ нет, это дефект, который нужно исправить, а не функция, добавляемая позже. Для услуг, от которых люди не могут отказаться, особенно государственных, это обязательство, а не любезность.
Воспринимаете ли вы доступность как требование, блокирующее запуск, проверенное с реальными пользователями с инвалидностью, и кого вы подводите сейчас? Доступность и равенство обязательства, а исключение людей дефект, нередко юридический и моральный провал, однако дооснащение доступностью надёжно медленнее, дороже и хуже, чем проектирование с первого экрана. Следуйте WCAG и идите дальше автоматических проверок, тестируя с вспомогательными технологиями и реальными пользователями с инвалидностью, плюс людьми с низкой пропускной способностью, на старых устройствах, на языках меньшинств и с ограниченной цифровой грамотностью. Принесите свидетельства: пройдите ваш важнейший поток с программой чтения с экрана и на ограниченном соединении и посмотрите, где он ломается. Ответ должен решить, является ли доступность барьером, блокирующим выпуск, или пунктом очереди, который никогда не поднимается, и для услуг, от которых люди не могут отказаться, защитим только барьер. Проектирование только для уверенного, подключённого, типичного пользователя это провал служения.
Каков ваш постоянный процесс тестирования значимых систем на предвзятость и несоразмерное влияние до и во время развёртывания? Системы наследуют и усиливают предвзятости своих данных и проекта, если вы намеренно не проверяете, а предположение справедливости, потому что никто не намеревался к несправедливости, это предвзятость по небрежности. Фильтр мошенничества, настроенный исключительно на минимизацию ложных отрицательных, может заморозить счета тысяч невиновных людей, каждый из которых реальный человек в беде, поэтому эффективность, оптимизированная без учёта справедливости, может быть тихо жестока. Принесите свидетельства: для каждой модели, затрагивающей людей, покажите тест несоразмерного влияния по защищаемым и уязвимым группам, документированные данные и известные ограничения и мониторинг дрейфа, повторно тестирующий по мере изменения населения. Ответ должен сделать тестирование предвзятости рутинным и непрерывным, а не разовой галочкой перед запуском, и он должен изменить вашу цель оптимизации, чтобы взвешивать вред отдельным людям, а не только совокупную точность. Проектируйте для случая отказа с точки зрения затронутого человека.
Когда инженер полагает, что вам не следует строить что-то или не следует строить это так, что на самом деле происходит с этим возражением? Этика становится реальной, только когда «нам не следует это отгружать» предложение, которое кто-то может сказать, не закончив карьеру, а в масштабе человек, ближайший к вреду, нередко самый младший в комнате. Конкурирующее давление поставка: поднятое возражение замедляет дорожную карту, а руководители под сроками могут воспринимать его как препятствие, а не ценный сигнал. Принесите свидетельства: назовите точный канал, которым воспользовался бы инженер, посчитайте, сколько опасений было поднято за последний год, и проследите, что изменилось в результате, потому что канал, никогда не остановивший и не переформировавший работу, декоративен. Для корпоративного или государственного органа привяжите канал к названному владельцу и документированной рецензии, поскольку возражение, которое никто не обязан выслушать, то, что никто не рискнёт поднять, и вред тогда впервые всплывает как публичный скандал.
Знаете ли вы экологическую и социальную цену того, что запускаете, и переформировали бы или отклонили работу, чей вред перевешивает пользу? У программного обеспечения есть физические и социальные цены: центры обработки данных, запуски обучения и неэффективные системы потребляют реальную энергию, а побочные эффекты второго порядка на труд, публичный дискурс и уязвимые группы часть истинной цены системы. Напряжение в том, что измерение и сокращение этих цен конкурирует со скоростью функций, а отказ от вредной работы лишает выручки, за которую кто-то отвечает. Принесите свидетельства: энергетический или вычислительный след ваших крупнейших систем, откровенную оценку того, кто несёт нижестоящие эффекты, и хотя бы один конкретный случай, когда вы переформировали или отклонили работу по этим основаниям. В корпоративном или государственном масштабе, где ваши системы формируют общество, воспринимайте это как часть ответственного построения и всё чаще вопрос регулирования и общественных ожиданий, а не филантропию, прикрученную сбоку бизнеса.
Сколько посторонний может узнать о том, как ваши значимые системы решают, и раскрытие у вас умолчание или исключение? Прозрачность то, где общественное доверие зарабатывается или теряется, потому что у людей есть право понимать, как принимаются решения о них, а в государственном секторе это право нередко закон. Подлинное противодавление в том, что полная открытость может позволить обман системы и раскрыть частные данные, поэтому настоящий вопрос в том, где провести линию, а не раскрывать ли вообще. Принесите свидетельства: для каждой значимой системы покажите, что вы публикуете (цель, данные и логику на подходящем уровне), что скрываете и по какой конкретной причине и стоит ли рядом с любым техническим описанием описание простым языком. Для государственного органа взвесьте механизм вроде реестра алгоритмов против узких защитимых исключений и проверьте, что ваши раскрытия действительно объясняют, а не технически информируют, ничего не сообщая затронутому человеку.

Взгляд по секторам

Стартап. С горсткой людей и малым запасом вы не можете укомплектовать этический совет, поэтому вплетайте дешёвые привычки с высоким рычагом в сам продукт: причину простым языком на каждый автоматический отказ, путь в один щелчок к человеку и доступные формы с первого экрана, потому что дооснащение позже медленнее и хуже. Выберите одно место, где ваше программное обеспечение принимает значимое решение о человеке, и сделайте там объяснение и средство защиты правильными, прежде чем масштабировать вред. Воспринимание справедливости и достоинства как требований запуска, а не поздней полировки, стоит мало сейчас и избегает репутации, которую рано терять нельзя.

Малый бизнес. У вас, вероятно, нет специалиста по доступности или справедливости и бюджет ограничен, поэтому опирайтесь на этику, встроенную в покупаемые инструменты: выбирайте поставщиков, соответствующих WCAG, документирующих, как решают их автоматические функции, и позволяющих держать человека в контуре. Формулируйте свой долг как вопрос гигиены данных и достоинства: знайте, какие персональные данные вы держите, собирайте только нужное и следите, чтобы неверный автоматический ответ не оставил клиента без способа достичь вас. Просите поставщиков показать свою позицию по доступности и предвзятости до подписания, а не обнаруживать пробел после жалобы.

Крупная организация. В масштабе проблема управление по многим командам: общий стандарт того, что считается значимым решением, согласованные барьеры тестирования доступности и предвзятости и след аудита, доказывающий, что объяснение, человеческая рецензия и средство защиты существуют там, где должны. Поднимите этическую рецензию, блокирующую выпуск, а не обучение, ничего не меняющее, закладывайте в бюджет работу по доступности и несоразмерному влиянию явно и мониторьте развёрнутые модели на дрейф, чтобы справедливость была непрерывной, а не разовой галочкой. Воспринимайте один проектный изъян как повторённый для миллионов, потому что в вашем охвате так оно и есть.

Государственный сектор. Правила закупок, обязанности прозрачности и публичная подотчётность определяют каждый выбор, а граждане не могут отказаться от вашей услуги, уйдя к конкуренту. Публикуйте, как работают значимые системы, через механизм вроде реестра алгоритмов, требуйте от поставщиков по контракту раскрытия практик данных и известных ограничений и стройте каждую общественную услугу по стандартам доступности, проверенным с пользователями с инвалидностью, на соединениях с низкой пропускной способностью и с носителями языков меньшинств. Гарантируйте право на человеческую рецензию и объяснение простым языком на каждое значимое автоматическое решение и держите окончательные определения, которые должны лежать на подотчётном должностном лице, вне полной автоматизации совсем.

Примеры

Стартап. Финтех-стартап из трёх человек, строящий функцию автоматического кредитования, решает, что справедливость и достоинство требования, а не поздняя полировка. До запуска они тестируют модель на несоразмерное влияние по группам, которые могут измерить, записывают данные, которые она использует, и где ей не следует доверять, и следят, чтобы каждый отклонённый заявитель получал причину простым языком и путь в один щелчок к живому основателю. Они строят поток регистрации по стандартам доступности с первого экрана, потому что дооснащение позже было бы медленнее и хуже, и добавляют быстрый канал отмены, чтобы неверно замороженный счёт можно было разморозить за минуты, а не оставлять реального человека на мели.

Крупная организация. Банк, развёртывающий автоматическое принятие кредитных решений, воспринимает справедливость как инженерное требование. До запуска он тестирует модель на несоразмерное влияние по защищаемым группам, документирует данные и их ограничения и строит средство объяснения, так что каждый отклонённый заявитель получает понятную причину и ясный путь к человеческой рецензии. Процесс мониторинга следит за дрейфом и повторно тестирует на предвзятость по мере изменения населения. Когда система обнаружения мошенничества начала замораживать большое число законных счетов, банк добавил быстрый канал человеческой рецензии и изменил цель оптимизации, чтобы взвешивать вред клиентам. Он воспринял беду неверно помеченных клиентов как реальную цену, а не приемлемую статистику.

Государственный сектор. Городское правительство публикует реестр алгоритмов. Он перечисляет автоматические системы, которые город использует в общественных услугах, и описывает цель каждой системы, данные, на которые она опирается, и как решения можно оспорить. Цифровые услуги города построены по стандартам доступности и проверены с пользователями с инвалидностью, на соединениях с низкой пропускной способностью и с носителями языков меньшинств, по принципу, что услуга, от которой люди не могут отказаться, должна работать для всех. Каждое значимое автоматическое решение несёт право на человеческую рецензию и объяснение простым языком, так что граждане сохраняют и достоинство, и средство защиты, когда программное обеспечение государства решает что-то об их жизни.

Бизнес-обоснование: мотивы, ROI и TCO

Бизнес-обоснование этики и подотчётности опирается на доверие, риск и охват. Доверие долговечный актив. Организации, чьи системы обращаются с людьми справедливо и прозрачно, зарабатывают уверенность, делающую людей готовыми ими пользоваться, а государственные учреждения в особенности зависят от легитимности, которую одна громкая несправедливая система может разбить. Риск ближайший двигатель. Предвзятые, недоступные или непрозрачные системы всё чаще несут регуляторные штрафы, судебные иски и репутационный ущерб, способные затмить цену ответственного построения. Охват усиливает оба. В корпоративном или государственном масштабе один этический провал повторяется для миллионов и становится заголовком.

Цена принятия реальна. Работа над доступностью, тестирование предвзятости, механизмы объяснения и средства защиты, рецензия с человеком в контуре и проектное время на рассмотрение последствий всё это добавляет усилия, особенно рано. Цена непринятия больше и всё более необязательна: ответственность за дискриминацию, исключение больших частей населения, которому вы обязаны служить, цена дооснащения доступностью и подотчётностью после запуска и эрозия доверия, которое, будучи потеряно, дорого и медленно восстанавливается. Обосновывая перед руководством, формулируйте этику как управление рисками и построение доверия, а не альтруизм. Отметьте ужесточающуюся регуляторную среду вокруг алгоритмической подотчётности и доступности. Подчёркивайте совокупную стоимость владения: ответственное построение с самого начала гораздо дешевле исправления системы, уже навредившей людям в масштабе. Для государственных учреждений добавьте простейший довод: справедливое служение гражданам и есть миссия, а не ограничение на неё.

Антипаттерны и ловушки

Этика как галочка. Разовая рецензия или обучение, ничего не меняющие в том, как системы на самом деле строятся.
Дооснащение доступностью. Воспринимание доступности как позднего дополнения, дающее худшие и более дорогие результаты, чем проектирование её с начала.
Неподотчётный алгоритм. Значимые автоматические решения без объяснения, человеческой рецензии и пути оспаривания.
Оптимизация до жестокости. Настройка исключительно на совокупную эффективность, пока система тихо не начнёт издеваться над людьми в хвостах.
Предвзятость по небрежности. Допущение, что система справедлива, потому что никто не намеревался к несправедливости, без какого-либо тестирования.
«Компьютер говорит нет». Сотрудники первой линии и пользователи без возможности отменить или поставить под вопрос автоматическое решение, которое они видят неверным.
Проектирование для уверенного пользователя. Построение для типичного, подключённого, грамотного пользователя и исключение остальных, неприемлемое для услуг, от которых люди не могут отказаться.
Театр прозрачности. Публикация непроницаемых раскрытий, технически информирующих, но по-настоящему ничего не объясняющих.

Модель зрелости

Уровень 1: Начальный. Этика не рассматривается или чисто реактивна после скандала. Доступность игнорируется или минимальна. Автоматические решения непрозрачны, без объяснения и без средства защиты. Предвзятость никогда не тестируется, а устойчивость и общественное влияние не рассматриваются.

Уровень 2: Развитие. Существует кодекс поведения, и некоторые стандарты доступности соблюдаются, нередко поздно. Громкие автоматические решения получают некоторый человеческий надзор, но большинство нет. Предвзятость проверяется изредка, опасения можно поднять через слабый процесс, а практики сильно различаются от одной команды к другой.

Уровень 3: Стандартизация. Этическая рецензия документированная часть процесса разработки, принуждаемая по организации. Доступность заложена в проект и проверяется с реальными пользователями. Значимые автоматические решения по умолчанию несут объяснение, человеческую рецензию и средство защиты. Тестирование предвзятости и мониторинг дрейфа рутинны, системы государственного сектора публикуют, как они работают, а устойчивость измеряется по общему стандарту.

Уровень 4: Управление. Организация измеряет и контролирует свою этическую позицию данными относительно базовых значений: оценки соответствия доступности, метрики несоразмерного влияния, отслеживаемые по защищаемым группам со временем, доли обращений за средством защиты и время до человека для оспариваемых решений, доля значимых систем с опубликованной документацией и энергетический или вычислительный след крупных систем. Метрики ограничивают выпуски, нарушения порогов запускают расследование, а руководители рецензируют числа по фиксированному ритму, а не предполагают, что практикам следуют.

Уровень 5: Оркестрация. Ответственность встроена в то, как организация строит и адаптируется. Доступность и равенство непреложные умолчания, проверяемые для всего обслуживаемого населения, алгоритмическая подотчётность (прозрачность, тестирование справедливости, средство защиты, человеческий надзор) стандарт и непрерывно мониторится, а этические опасения ценный сигнал, переформировывающий или останавливающий работу. Организация воспринимает доверие, справедливость и достоинство как ядро своей миссии, интегрирует этику с продуктовыми решениями, решениями о рисках и закупках и пересматривает объём или выводит системы по мере эволюции ожиданий и свидетельств.

Идеи для обсуждения

Где линия между решениями, которые могут быть полностью автоматизированы, и теми, что должны сохранять человека осмысленно в контуре?
Сколько алгоритмической прозрачности достаточно и как раскрывать осмысленно, не позволяя обмануть систему и не нарушая приватность?
Кто подотчётен, когда автоматическая система вредит человеку: инженер, менеджер, организация или поставщик?
Как сделать этическое возражение действительно безопасным, а не карьероограничивающим?
Какие обязательства у организации перед пользователями, для которых она не проектировала, и как далеко должно простираться равенство?
Как экологическая цена вычислений должна учитываться в архитектурных и продуктовых решениях?

Главные выводы

Когда программное обеспечение принимает значимые решения о людях, его создатели отвечают за то, что оно делает, а не просто за то, соответствует ли оно спецификации.
Доступность и равенство обязательства и дефекты при отсутствии, а не необязательные улучшения, особенно для услуг, от которых люди не могут отказаться.
Значимые автоматические решения требуют объяснения, человеческой рецензии, средства защиты и постоянного тестирования предвзятости; закладывайте подотчётность в проект, а не утверждайте постфактум.
Эффективность, оптимизированная без учёта справедливости, может быть тихо жестока; проектируйте для случая индивидуального отказа, а не только совокупности.
В государственном секторе прозрачность о том, как работают алгоритмические системы, должна быть умолчанием, а секретность узким исключением.
Бизнес-обоснование доверие и риск: ответственное построение с самого начала гораздо дешевле исправления вреда в масштабе, а для государственных учреждений справедливость и есть миссия.

Источники и дополнительное чтение

ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
ACM, Code of Ethics and Professional Conduct
Cathy O’Neil, Weapons of Maths Destruction
Virginia Eubanks, Automating Inequality
Safiya Umoja Noble, Algorithms of Oppression
Ruha Benjamin, Race After Technology
Batya Friedman and David G. Hendry, Value Sensitive Design
World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
NIST, AI Risk Management Framework
OECD, Principles on Artificial Intelligence
European Union, General Data Protection Regulation (GDPR) and the AI Act
UK Government, Data Ethics Framework and the Algorithmic Transparency Recording Standard

10.5 Этика, подотчётность и общественный интерес

Обзор и мотивация

Ключевые принципы

Рекомендации

Принимайте профессиональную этику и живите по ней

Воспринимайте доступность и равенство как обязательства

Стройте алгоритмическую подотчётность и общественную прозрачность

Проектируйте справедливость, достоинство и средство защиты

Учитывайте устойчивость и социальную ответственность