10.5 윤리, 책임성, 공익

개요와 동기

소프트웨어는 더 이상 사람의 결정 뒤에 앉아 있는 중립적 도구가 아닙니다. 점점 더 그 자체가 결정입니다. 누가 대출을 받는지, 채용 담당자에게 어떤 이력서가 보이는지, 급여 청구가 얼마나 걸리는지, 사기 플래그가 계정을 동결하는지, 어떤 정보가 수백만 명에게 닿는지를 결정합니다. 소프트웨어가 사람의 권리, 돈, 안전, 존엄에 영향을 주는 결정을 내리거나 형성할 때, 그것을 만드는 엔지니어와 조직은 정확성과 성능을 넘어서는 책임을 집니다. 이 장은 그 책임에 관한 것입니다. 직업 윤리, 시스템이 하는 일에 대한 책임성, 기능이 아니라 의무로서의 접근성과 형평성, 알고리즘 투명성, 지속가능성, 공정함과 존엄으로 사람을 섬길 의무입니다.

큰 조직에서는 규모와 권력이 판돈을 올립니다. 기업이나 정부 시스템은 한 사람에게 영향을 주지 않습니다. 수백만 명에게 줍니다. 단 하나의 설계 선택(편향된 학습 데이터, 접근할 수 없는 양식, 불투명한 자동 거부)이 그 모두에게 반복됩니다. 정부는 더 높은 의무를 집니다. 정부 시스템은 선택 사항이 아니기 때문입니다. 시민은 세무 당국이나 급여 기관 대신 경쟁자를 고를 수 없습니다. 특정 서비스에 대한 국가의 독점은 잘못 만든 시스템이 사람들이 달리 행사할 길이 없는 권리를 박탈할 수 있다는 뜻입니다. 그 영향력에는 공정하고, 투명하고, 책임지는 것이라는 상응하는 의무가 따릅니다.

소프트웨어의 윤리는 흔히 마지막에 덧붙이거나 법적 컴플라이언스 체크리스트에 넘기는 부드러운 주제로 다뤄집니다. 이 장은 그 반대를 주장합니다. 윤리적 고려는 엔지니어링 요구 사항입니다. 책임성은 사후에 주장하는 것이 아니라 설계에 넣어야 합니다. 그리고 존엄으로 사람을 섬기는 것은 도덕적 의무이면서, 시간이 지나면 큰 조직이 의존하는 신뢰의 토대입니다.

핵심 원칙

소프트웨어가 결정을 내리므로 만든 사람이 책임을 집니다. 명세를 충족하는지만이 아니라 시스템이 사람에게 하는 일에 책임이 있습니다.
접근성과 형평성은 향상이 아니라 의무입니다. 사람을 배제하는 것은 결함이며, 흔히 법적, 도덕적 실패입니다.
중대한 자동 결정에는 책임성이 필요합니다. 자동 결정의 영향을 받는 사람은 설명, 구제, 사람의 검토를 받을 자격이 있습니다.
투명성이 기본이고 비밀이 예외입니다. 특히 공공 부문에서 사람들은 자신에 대한 결정이 어떻게 내려지는지 이해할 권리가 있습니다.
공정성은 가정하지 말고 검토해야 합니다. 의도적으로 점검하지 않으면 시스템은 데이터와 설계의 편향을 물려받고 증폭합니다.
존엄은 설계 요구 사항입니다. 취약한 사람과 비전형적인 사람을 포함해 모든 사용자를 존중받을 자격이 있는 사람으로 대하십시오.
지속가능성과 사회적 영향도 중요합니다. 소프트웨어의 에너지, 자원, 사회적 효과는 진짜 비용의 일부입니다.

권장 사항

직업 윤리를 채택하고 실천한다

조직을 인정된 직업 행동 강령에 기반하게 하되, 장식이 아니라 실제로 만드십시오. 엔지니어는 고용주에 대해서만이 아니라 대중에 대한 의무가 있음을 이해해야 합니다. “그저 명세를 따랐을 뿐”은 시스템이 사람을 해칠 때 변명이 되지 않습니다. 윤리적 우려를 제기할 진짜 경로를 만드십시오. 경력을 걸 만한 용기가 필요 없이 “이것을 만들면 안 됩니다, 혹은 이렇게 만들면 안 됩니다”라고 말할 방법입니다. 팀에게 결과를 저울질할 어휘와 자격을 주십시오. 윤리적 반대를 방해가 아니라 가치 있는 신호로 다루는 리더십으로 뒷받침하십시오. 윤리 교육은 조직이 가르친 것에 따라 눈에 보이게 행동할 때만 도움이 됩니다.

접근성과 형평성을 의무로 다룬다

처음부터 인간의 능력과 처지의 전 범위를 위해 만드십시오. 접근성을 나중에 덧붙이는 것은 훨씬 비싸고 보통 더 나쁩니다. 확립된 접근성 표준(WCAG, 웹 콘텐츠 접근성 지침)을 따르고, 많은 관할권에서 공공 서비스에 그것을 의무화하는 법적 요구를 충족하십시오. 보조 기술과, 무엇보다 장애가 있는 실제 사용자로 테스트하십시오. 형평성을 장애를 넘어 섬기는 전체 인구로 확장하십시오. 낮은 대역폭, 오래된 기기, 제한된 디지털 리터러시, 소수 언어, 어려운 생활 환경의 사람들입니다. 사람들이 선택할 수 없는 서비스(특히 정부 서비스)에서 자신 있고, 연결되어 있고, 전형적인 사용자만을 위해 설계하는 것은 합리적인 기본값이 아니라 섬김의 실패입니다.

알고리즘 책임성과 공적 투명성을 구축한다

사람에 대한 중대한 결정을 내리거나 실질적으로 형성하는 모든 시스템에서 책임성을 설계에 넣으십시오. 고위험 결정에는 자동 출력에 맹목적으로 따르지 말고 사람이 의미 있게 루프에 있게 하십시오. 영향받는 사람이 이해할 수 있는 말로 결정이 왜 내려졌는지 설명할 수 있어야 합니다. 그것에 이의를 제기하고 사람에게 닿을 진짜 경로를 제공하십시오. 배포 전과 중에 보호받거나 취약한 집단에 걸쳐 편향과 차별적 영향을 시스템에 대해 테스트하고, 시간이 지나며 드리프트를 모니터링하십시오. 공공 부문에서는 시민과 감독 기관이 정밀 조사할 수 있도록 알고리즘 등록부 같은 메커니즘으로 알고리즘 시스템이 어떻게 동작하는지(목적, 데이터, 로직을 적절한 수준에서) 공개하십시오. 시스템이 적용되어서는 안 되는 곳에 적용되지 않도록 의도된 용도와 알려진 한계를 문서화하십시오.

공정성, 존엄, 구제를 위해 설계한다

시스템이 사람을 불공정하게 또는 존엄 없이 대할 수 있는 방식을 점검하십시오. 학습 데이터와 규칙에 내재한 편향을 정밀 조사하십시오. 순전히 효율에 최적화된 시스템이 잔인할 수 있음을 기억하십시오. 거짓 음성을 최소화하도록 조정된 사기 필터는 수천 명의 무고한 사람의 계정을 동결할 수 있고, 각각은 곤경에 처한 실제 사람입니다. 실패 사례를 영향받는 사람의 관점에서 설계하십시오. 시스템이 틀리면 어떻게 됩니까? 사람, 설명, 구제를 얼마나 쉽게 얻을 수 있습니까? 개인 데이터를 존중과 절제로 다루십시오. 필요한 것만 수집하고 사용에 대해 정직하십시오. 오류, 지연, 거부를 예외 사례가 아니라 존엄이 가장 위태로운 순간으로 다루십시오.

지속가능성과 사회적 책임을 고려한다

소프트웨어에 물리적, 사회적 비용이 있음을 인식하십시오. 데이터 센터, 학습 실행, 비효율적 시스템은 실제 에너지를 소비합니다. 효율은 재무적 미덕이면서 환경적 미덕입니다. 만드는 것의 더 넓은 효과(노동, 공공 담론, 취약 집단에 미치는)를 고려하고, 해악이 이익보다 큰 일은 거절하거나 다시 짜기를 꺼리지 마십시오. 시스템이 사회를 규모에서 형성하는 큰 조직에게 사회적 책임은 사업 곁의 자선이 아닙니다. 책임 있게 만드는 일의 일부이며, 점점 규제와 대중의 기대의 문제입니다.

장단점

긴장	한쪽	다른 쪽
자동화 대 사람의 판단	규모, 일관성, 속도, 낮은 비용	책임성, 뉘앙스, 자비, 구제
투명성 대 보호	공적 정밀 조사, 신뢰, 감독	악용 위험, 보안, 데이터 프라이버시
접근성 투자 대 속도	모두를 섬김. 법적, 도덕적 컴플라이언스	더 느린 초기 전달. 더 많은 설계 노력
효율 대 공정성	최적화된 결과. 낮은 비용	꼬리의 개인에게 잔인할 위험
데이터가 풍부한 개인화 대 프라이버시	더 나은 서비스. 맞춤 경험	감시 위험. 존엄과 동의 문제
혁신 속도 대 예방	더 빠른 가치. 경쟁 우위	규모에서 배포되는 검토되지 않은 해악

가장 어려운 상충은 규모 대 개인의 정의입니다. 자동화는 수백만에 걸친 일관성과 효율을 제공합니다. 그러나 그 오류도 규모에서 전달되며, 총합에 최적화된 시스템은 꼬리의 개인에게 조용히 가혹할 수 있습니다. 답은 자동화를 버리는 것이 아닙니다. 개별 실패 사례를 위해 설계하는 것입니다. 위험이 높은 곳에 사람을 루프에 두고, 설명과 구제를 보장하고, 평균만이 아니라 가장 덜 섬겨진 사람들에 대한 시스템의 효과를 측정하십시오. 투명성에도 진짜 긴장이 있습니다. 완전한 개방은 악용을 가능하게 하고 개인 데이터를 노출할 수 있기 때문입니다. 그러나 공공 서비스에서 답은 불투명을 안전한 기본값으로 다루는 대신, 정말 보호해야 하는 것만 예외로 하는 기본 공개 쪽으로 강하게 기웁니다.

팀과 논의할 질문

어떤 시스템이 사람에 대한 중대한 결정을 내리거나 실질적으로 형성하며, 각각이 오늘 설명, 사람의 검토, 구제를 제공합니까? 소프트웨어는 점점 그 자체가 결정입니다. 누가 대출을 받는지, 어떤 이력서가 보이는지, 계정이 동결되는지, 청구가 얼마나 걸리는지입니다. 그런 모든 시스템에서 영향받는 사람은 이해할 수 있는 설명, 이의를 제기할 진짜 경로, 개입할 수 있는 사람을 받을 자격이 있으며, 기업이나 정부 규모에서는 단 하나의 설계 결함이 수백만에 걸쳐 반복됩니다. 증거를 가져오십시오. 중대한 자동 결정의 목록을 만들고 각각에 대해 잘못 처리된 사람이 실제로 사람에게 닿아 쉬운 말로 된 이유를 얻을 수 있는지 확인하십시오. 답이 아니오인 곳은 나중에 더할 기능이 아니라 고칠 결함입니다. 사람들이 선택할 수 없는 서비스, 특히 정부 서비스에서 이것은 예의가 아니라 의무입니다.
접근성을 출시를 막는 요구 사항으로 다루고 장애가 있는 실제 사용자로 테스트하며, 지금 누구를 실패시키고 있습니까? 접근성과 형평성은 의무이고, 사람을 배제하는 것은 결함이며 흔히 법적, 도덕적 실패인데, 접근성을 나중에 덧붙이는 것은 첫 화면부터 설계에 넣는 것보다 어김없이 느리고, 비싸고, 나쁩니다. WCAG를 따르고, 자동 점검을 넘어 보조 기술과 장애가 있는 실제 사용자, 그리고 낮은 대역폭, 오래된 기기, 소수 언어, 제한된 디지털 리터러시의 사람들로 테스트하십시오. 증거를 가져오십시오. 가장 중요한 흐름을 스크린 리더로, 그리고 제한된 연결에서 실행해 어디서 깨지는지 보십시오. 답은 접근성이 릴리스를 막는 관문인지, 결코 오르지 않는 백로그 항목인지를 결정해야 하며, 사람들이 선택할 수 없는 서비스에서는 관문만이 방어 가능합니다. 자신 있고, 연결되어 있고, 전형적인 사용자만을 위해 설계하는 것은 섬김의 실패입니다.
배포 전과 중에 중대한 시스템의 편향과 차별적 영향을 테스트하는 상설 프로세스는 무엇입니까? 의도적으로 점검하지 않으면 시스템은 데이터와 설계의 편향을 물려받고 증폭하며, 아무도 불공정을 의도하지 않았다고 공정성을 가정하는 것은 방치에 의한 편향입니다. 거짓 음성을 최소화하도록만 조정된 사기 필터는 수천 명의 무고한 계정을 동결할 수 있고 각각은 곤경에 처한 실제 사람이므로, 공정성을 고려하지 않고 최적화한 효율은 조용히 잔인할 수 있습니다. 증거를 가져오십시오. 사람에게 영향을 주는 각 모델에 대해 보호받거나 취약한 집단에 걸친 차별적 영향 테스트, 문서화된 데이터와 알려진 한계, 인구가 변함에 따라 다시 테스트하는 드리프트 모니터링을 보이십시오. 답은 편향 테스트를 일회성 출시 전 체크박스가 아니라 일상적이고 지속적인 것으로 만들어야 하며, 최적화 목표가 총합 정확도만이 아니라 개인에 대한 해악을 저울질하도록 바꿔야 합니다. 실패 사례를 영향받는 사람의 관점에서 설계하십시오.
엔지니어가 무언가를 만들면 안 된다고, 혹은 이렇게 만들면 안 된다고 믿을 때, 그 반대는 실제로 어떻게 됩니까? 윤리는 “이것을 출하해서는 안 됩니다”가 경력을 끝내지 않고 말할 수 있는 문장일 때에야 현실이 되며, 규모에서 해악에 가장 가까운 사람은 방에서 가장 주니어인 경우가 많습니다. 경쟁하는 압력은 전달입니다. 제기된 반대는 로드맵을 늦추고, 마감 아래의 리더는 그것을 가치 있는 신호가 아니라 방해로 다룰 수 있습니다. 증거를 가져오십시오. 엔지니어가 쓸 정확한 경로의 이름을 대고, 지난해 제기된 우려가 몇 개인지 세고, 그 결과 무엇이 바뀌었는지 추적하십시오. 일을 멈추거나 바꾼 적 없는 경로는 장식이기 때문입니다. 기업이나 정부 기관에서는 경로를 이름 붙은 소유자와 문서화된 리뷰에 묶으십시오. 아무도 들을 의무가 없는 반대는 아무도 제기할 위험을 지지 않을 반대이고, 해악은 그 뒤 공적 스캔들로 처음 드러나기 때문입니다.
운영하는 것의 환경적, 사회적 비용을 알고 있으며, 해악이 이익보다 큰 일을 다시 짜거나 거절하겠습니까? 소프트웨어에는 물리적, 사회적 비용이 있습니다. 데이터 센터, 학습 실행, 비효율적 시스템은 실제 에너지를 소비하며, 노동, 공공 담론, 취약 집단에 대한 2차 효과는 시스템의 진짜 비용의 일부입니다. 긴장은 이 비용을 측정하고 줄이는 일이 기능 속도와 경쟁하고, 해로운 일을 거절하면 누군가 책임지는 수익을 포기한다는 것입니다. 증거를 가져오십시오. 가장 큰 시스템의 에너지나 컴퓨트 발자국, 누가 하류 효과를 지는지에 대한 솔직한 판독, 이런 근거로 일을 다시 짜거나 거절한 구체적 사례 적어도 하나입니다. 시스템이 사회를 형성하는 기업이나 정부 규모에서는 이를 사업 옆에 덧붙인 자선이 아니라 책임 있게 만드는 일의 일부이며 점점 규제와 대중의 기대의 문제로 다루십시오.
외부인이 중대한 시스템이 어떻게 결정하는지 실제로 얼마나 알 수 있으며, 공개가 기본입니까 예외입니까? 투명성은 공적 신뢰를 얻거나 잃는 곳입니다. 사람들은 자신에 대한 결정이 어떻게 내려지는지 이해할 권리가 있고, 공공 부문에서 그 권리는 흔히 법이기 때문입니다. 진짜 반대 압력은 완전한 개방이 악용을 가능하게 하고 개인 데이터를 노출할 수 있다는 것이므로, 실제 질문은 공개할지 말지가 아니라 선을 어디에 그을지입니다. 증거를 가져오십시오. 각 중대한 시스템에 대해 무엇을 공개하는지(목적, 데이터, 로직을 적절한 수준에서), 무엇을 감추고 구체적 이유가 무엇인지, 기술적 설명 곁에 쉬운 말의 설명이 있는지 보이십시오. 정부 기관은 알고리즘 등록부 같은 메커니즘을 좁고 방어 가능한 예외와 저울질하고, 공개가 영향받는 사람에게 아무것도 알려 주지 않으면서 기술적으로만 알리는 것이 아니라 진짜 설명하는지 확인하십시오.

분야별 관점

스타트업. 인력이 소수이고 런웨이가 짧으면 윤리 위원회를 둘 수 없으니, 싸고 지렛대가 큰 습관을 제품 자체에 녹이십시오. 모든 자동 거부에 쉬운 말의 이유, 사람에게 닿는 원클릭 경로, 나중에 덧붙이는 것이 더 느리고 나쁘므로 첫 화면부터 접근 가능한 양식입니다. 소프트웨어가 사람에 대한 중대한 결정을 내리는 한 곳을 골라, 해악을 규모로 키우기 전에 거기서 설명과 구제를 제대로 하십시오. 공정성과 존엄을 나중의 다듬기가 아니라 출시 요구 사항으로 다루는 데는 지금 비용이 적게 들고, 초기에 잃을 여유가 없는 평판을 피합니다.

소기업. 접근성이나 공정성 전문가도 없고 예산도 빠듯하니, 사는 도구에 내장된 윤리에 기대십시오. WCAG를 충족하고, 자동 기능이 어떻게 결정하는지 문서화하고, 사람을 루프에 두게 해 주는 벤더를 고르십시오. 자신의 의무를 데이터 위생과 존엄의 문제로 구성하십시오. 어떤 개인 데이터를 보유하는지 알고, 필요한 것만 수집하고, 잘못된 자동 응답이 고객을 연락할 방법 없이 내버려 두지 않게 하는 것입니다. 서명하기 전에 공급자에게 접근성과 편향 입장을 보이라고 요구하십시오. 불만 뒤에 간극을 발견하는 대신입니다.

대기업. 규모에서 문제는 많은 팀에 걸친 거버넌스입니다. 무엇이 중대한 결정인지에 대한 공유 표준, 일관된 접근성 및 편향 테스트 관문, 설명, 사람의 검토, 구제가 있어야 할 곳에 있음을 증명하는 감사 추적입니다. 아무것도 바꾸지 않는 교육 대신 릴리스를 막는 윤리 리뷰를 세우고, 접근성 및 차별적 영향 작업을 명시적으로 예산에 잡고, 배포된 모델의 드리프트를 모니터링해 공정성이 일회성 체크박스가 아니라 지속적이게 하십시오. 단 하나의 설계 결함이 수백만에 걸쳐 반복된다고 보십시오. 여러분의 영향력에서는 실제로 그렇기 때문입니다.

정부. 조달 규칙, 투명성 의무, 공적 책무가 모든 선택을 형성하며, 시민은 경쟁자에게 가서 서비스를 벗어날 수 없습니다. 알고리즘 등록부 같은 메커니즘으로 중대한 시스템이 어떻게 동작하는지 공개하고, 벤더가 계약으로 데이터 관행과 알려진 한계를 공개하도록 요구하고, 모든 공공 서비스를 장애가 있는 사용자, 낮은 대역폭 연결, 소수 언어 화자로 테스트한 접근성 표준에 맞춰 구축하십시오. 모든 중대한 자동 결정에 사람의 검토 권리와 쉬운 말의 설명을 보장하고, 책임지는 담당관에게 있어야 하는 최종 판정은 완전 자동화에서 아예 빼 두십시오.

사례

스타트업. 자동 대출 기능을 만드는 세 명의 핀테크 스타트업은 공정성과 존엄을 나중의 다듬기가 아니라 요구 사항으로 정합니다. 출시 전에 측정할 수 있는 집단에 걸쳐 모델의 차별적 영향을 테스트하고, 모델이 쓰는 데이터와 신뢰해서는 안 되는 곳을 적어 두고, 거절된 모든 신청자가 쉬운 말의 이유와 창업자 본인에게 닿는 원클릭 경로를 받게 합니다. 나중에 덧붙이는 것이 더 느리고 나쁘므로 가입 흐름을 첫 화면부터 접근성 표준에 맞춰 만들고, 잘못 동결된 계정이 실제 사람을 내버려 두는 대신 몇 분 안에 풀릴 수 있도록 빠른 우회 경로를 더합니다.

기업. 자동 신용 결정을 배포하는 은행은 공정성을 엔지니어링 요구 사항으로 다룹니다. 출시 전에 보호받는 집단에 걸쳐 모델의 차별적 영향을 테스트하고, 데이터와 그 한계를 문서화하고, 설명 기능을 구축해 거절된 모든 신청자가 이해할 만한 이유와 사람 검토로 가는 분명한 경로를 받게 합니다. 모니터링 프로세스가 드리프트를 지켜보고 인구가 변함에 따라 편향을 다시 테스트합니다. 사기 탐지 시스템이 합법적 계정을 대량으로 동결하기 시작하자, 은행은 빠른 사람 검토 경로를 더하고 최적화 목표를 고객 피해를 저울질하도록 바꿨습니다. 잘못 표시된 고객의 곤경을 받아들일 만한 통계가 아니라 실제 비용으로 다룬 것입니다.

정부. 한 시 정부가 알고리즘 등록부를 공개합니다. 시가 공공 서비스에서 쓰는 자동 시스템을 나열하고, 각 시스템의 목적, 의존하는 데이터, 결정에 어떻게 이의를 제기할 수 있는지를 설명합니다. 시의 디지털 서비스는 접근성 표준에 맞춰 구축되고 장애가 있는 사용자, 낮은 대역폭 연결, 소수 언어 화자로 테스트되며, 사람들이 선택할 수 없는 서비스는 모두에게 동작해야 한다는 원칙을 따릅니다. 모든 중대한 자동 결정에는 사람 검토를 받을 권리와 쉬운 말의 설명이 따라, 국가의 소프트웨어가 삶에 대해 무언가를 결정할 때 시민이 존엄과 구제를 모두 유지합니다.

비즈니스 사례: 동기, ROI, TCO

윤리와 책임성의 비즈니스 사례는 신뢰, 위험, 도달에 근거합니다. 신뢰는 지속되는 자산입니다. 시스템이 사람을 공정하고 투명하게 대하는 조직은 사람들이 기꺼이 쓰게 만드는 신뢰를 얻으며, 특히 공공 기관은 단 하나의 눈에 띄는 불공정 시스템이 깨뜨릴 수 있는 정당성에 의존합니다. 위험은 가까운 시기의 동인입니다. 편향되거나, 접근할 수 없거나, 불투명한 시스템은 점점 규제 과징금, 소송, 책임 있게 만드는 비용을 왜소하게 할 수 있는 평판 손상을 안게 됩니다. 도달이 둘 다 증폭합니다. 기업이나 정부 규모에서 단 하나의 윤리적 실패가 수백만에 걸쳐 반복되어 헤드라인이 됩니다.

도입 비용은 실제입니다. 접근성 작업, 편향 테스트, 설명과 구제 메커니즘, 사람이 루프에 있는 검토, 결과를 고려하는 설계 시간이 모두 특히 초기에 노력을 더합니다. 도입하지 않는 비용은 더 크고 점점 선택 사항이 아닙니다. 차별 책임, 섬길 의무가 있는 인구의 큰 부분의 배제, 출시 후 접근성과 책임성을 덧붙이는 비용, 한번 잃으면 되찾는 데 비싸고 느린 신뢰의 침식입니다. 리더십을 설득할 때 윤리를 이타심이 아니라 위험 관리와 신뢰 구축으로 구성하십시오. 알고리즘 책무와 접근성을 둘러싼 규제 환경이 조여지고 있음을 적으십시오. 총소유비용을 강조하십시오. 처음부터 책임 있게 만드는 것이 규모에서 이미 사람을 해친 시스템을 바로잡는 것보다 훨씬 쌉니다. 공공 기관에는 가장 평이한 논거를 더하십시오. 시민을 공정하게 섬기는 것이 임무이지 임무에 대한 제약이 아닙니다.

안티패턴과 함정

체크박스로서의 윤리. 시스템이 실제로 만들어지는 방식을 전혀 바꾸지 않는 일회성 리뷰나 교육.
접근성 사후 보강. 접근성을 나중의 덧붙임으로 다뤄, 설계에 넣는 것보다 나쁘고 비싼 결과를 내는 것.
책임지지 않는 알고리즘. 설명도, 사람의 검토도, 이의 제기 경로도 없는 중대한 자동 결정.
잔인함에 이르는 최적화. 시스템이 꼬리의 사람들에게 조용히 가혹해질 때까지 총합 효율에만 맞춰 조정하는 것.
방치에 의한 편향. 아무도 불공정을 의도하지 않았다고 시스템이 공정하다고 가정하고 한 번도 테스트하지 않는 것.
“컴퓨터가 안 된대요.” 틀렸음을 볼 수 있는 자동 결정을 무시하거나 의문을 제기할 수 없는 일선 직원과 사용자.
자신 있는 사용자를 위한 설계. 전형적이고, 연결되고, 글을 아는 사용자를 위해 만들고 나머지를 배제하는 것. 사람들이 선택할 수 없는 서비스에서는 변호할 수 없습니다.
투명성 연극. 기술적으로는 알리지만 진짜로는 아무것도 설명하지 않는 알 수 없는 공개를 게시하는 것.

성숙도 모델

1단계, 시작. 윤리는 다뤄지지 않거나 스캔들 뒤에 순전히 반응적입니다. 접근성은 무시되거나 최소입니다. 자동 결정은 불투명하고 설명도 구제도 없습니다. 편향은 한 번도 테스트되지 않고 지속가능성과 사회적 영향은 고려되지 않습니다.

2단계, 발전. 행동 강령이 있고 일부 접근성 표준이 따라지지만 흔히 늦습니다. 눈에 띄는 자동 결정은 어느 정도 사람의 감독을 받지만 대부분은 그렇지 않습니다. 편향은 가끔 점검되고, 우려는 약한 프로세스로 제기될 수 있으며, 실천은 팀마다 크게 다릅니다.

3단계, 표준화. 윤리 리뷰가 개발 프로세스의 문서화된 일부이며 조직 전체에 시행됩니다. 접근성은 설계에 들어가 실제 사용자로 테스트됩니다. 중대한 자동 결정에는 기본적으로 설명, 사람의 검토, 구제가 따릅니다. 편향 테스트와 드리프트 모니터링이 일상이며, 공공 부문 시스템은 어떻게 동작하는지 공개하고, 지속가능성은 공통 표준으로 측정됩니다.

4단계, 관리. 조직이 기준선에 대한 데이터로 윤리적 입장을 측정하고 통제합니다. 접근성 적합성 점수, 보호받는 집단에 걸쳐 시간에 따라 추적되는 차별적 영향 지표, 이의 제기된 결정의 구제율과 사람에게 닿는 시간, 공개 문서가 있는 중대한 시스템의 비중, 주요 시스템의 에너지나 컴퓨트 발자국입니다. 지표가 릴리스를 관문 통제하고, 임계값 위반이 조사를 촉발하며, 리더는 실천이 따라지고 있다고 가정하는 대신 고정된 주기로 숫자를 리뷰합니다.

5단계, 오케스트레이션. 책임이 조직이 만들고 적응하는 방식에 내장되어 있습니다. 접근성과 형평성은 섬기는 전체 인구에 대해 검증되는 협상 불가의 기본값이고, 알고리즘 책임성(투명성, 공정성 테스트, 구제, 사람의 감독)은 표준이며 지속적으로 모니터링되고, 윤리적 우려는 일을 다시 짜거나 멈추는 가치 있는 신호입니다. 조직은 신뢰, 공정성, 존엄을 임무의 핵심으로 다루고, 윤리를 제품, 위험, 조달 결정과 통합하며, 기대와 증거가 진화함에 따라 시스템의 범위를 다시 정하거나 폐기합니다.

논의를 위한 아이디어

완전히 자동화해도 되는 결정과 사람이 의미 있게 루프에 있어야 하는 결정 사이의 선은 어디입니까?
알고리즘 투명성은 얼마나 있으면 충분하며, 악용을 가능하게 하거나 프라이버시를 침해하지 않으면서 의미 있게 공개하려면 어떻게 합니까?
자동 시스템이 누군가를 해칠 때 누가 책임집니까? 엔지니어, 관리자, 조직, 벤더?
윤리적 반대를 제기하는 것을 경력을 제한하는 일이 아니라 진짜 안전한 일로 만들려면 어떻게 합니까?
조직은 설계하지 않은 사용자에 대해 어떤 의무가 있으며, 형평성은 어디까지 확장되어야 합니까?
연산의 환경 비용은 아키텍처와 제품 결정에 어떻게 반영되어야 합니까?

핵심 요점

소프트웨어가 사람에 대한 중대한 결정을 내릴 때, 만든 사람은 명세를 충족하는지만이 아니라 그것이 하는 일에 책임이 있습니다.
접근성과 형평성은 의무이며, 없을 때 결함입니다. 선택적 향상이 아닙니다. 특히 사람들이 선택할 수 없는 서비스에서 그렇습니다.
중대한 자동 결정에는 설명, 사람의 검토, 구제, 지속적인 편향 테스트가 필요합니다. 책임성을 사후에 주장하지 말고 설계에 넣으십시오.
공정성을 고려하지 않고 최적화한 효율은 조용히 잔인할 수 있습니다. 총합만이 아니라 개별 실패 사례를 위해 설계하십시오.
공공 부문에서 알고리즘 시스템이 어떻게 동작하는지에 대한 투명성은 기본이어야 하고, 비밀은 좁은 예외여야 합니다.
비즈니스 사례는 신뢰와 위험입니다. 처음부터 책임 있게 만드는 것이 규모에서 해악을 바로잡는 것보다 훨씬 싸며, 공공 기관에게 공정함은 임무입니다.

참고 문헌과 더 읽을거리

ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
ACM, Code of Ethics and Professional Conduct
Cathy O’Neil, Weapons of Maths Destruction
Virginia Eubanks, Automating Inequality
Safiya Umoja Noble, Algorithms of Oppression
Ruha Benjamin, Race After Technology
Batya Friedman and David G. Hendry, Value Sensitive Design
World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
NIST, AI Risk Management Framework
OECD, Principles on Artificial Intelligence
European Union, General Data Protection Regulation (GDPR) and the AI Act
UK Government, Data Ethics Framework and the Algorithmic Transparency Recording Standard