10.5 倫理、説明責任、公共の利益
概要と動機
ソフトウェアはもはや、人間の決定の背後にある中立な道具ではありません。ますます、それが決定そのものです。誰がローンを得るか、採用担当者がどの履歴書を見るか、給付の申請にどれだけかかるか、不正のフラグが口座を凍結するか、そして何の情報が数百万の人々に届くかを決めます。ソフトウェアが、人々の権利、お金、安全、尊厳に影響する決定を下す、あるいは形づくるとき、それを築くエンジニアと組織は、正しさとパフォーマンスを超えた責任を負います。この章は、それらの責任についてです。職業倫理、システムが何をするかへの説明責任、機能ではなく義務としてのアクセシビリティと公平性、アルゴリズムの透明性、持続可能性、そして公正さと尊厳を持って人々に仕える義務。
大きな組織にとって、規模と力が賭け金を引き上げます。企業や政府のシステムは、一人に影響するのではありません。数百万人に影響します。単一の設計上の選択(偏った学習データ、アクセスできないフォーム、不透明な自動的拒否)が、そのすべての人に繰り返されます。政府は、そのシステムが任意ではないため、より高い義務を負います。市民は、税務当局や給付機関のために競合他社を選べません。特定のサービスに対する国家の独占は、まずく築かれたシステムが、人々が他に行使する方法のない権利を否定しうることを意味します。その到達範囲とともに、公正で、透明で、説明責任のある義務が伴います。
ソフトウェアにおける倫理は、しばしば最後に取り付けられる柔らかい話題として、あるいは法的コンプライアンスのチェックリストに引き渡されるものとして扱われます。この章はその逆を論じます。倫理的な考慮は、エンジニアリングの要件です。説明責任は、事後に主張されるのではなく、設計に組み込まれなければなりません。そして尊厳を持って人々に仕えることは、道徳的義務であると同時に、長期的には、大きな組織が頼る信頼の基礎です。
主要原則
- ソフトウェアは決定を下すので、作り手は責任を負う。 仕様を満たすかどうかだけでなく、システムが人々に何をするかに説明責任があります。
- アクセシビリティと公平性は強化ではなく義務である。 人々を排除することは欠陥であり、しばしば法的かつ道徳的な失敗です。
- 重大な自動的決定には説明責任が必要である。 自動的な決定の影響を受ける人々には、説明、救済、人間によるレビューを受ける権利があります。
- 透明性が既定で、秘密は例外である。 特に公共部門では、人々には自分についての決定がどうなされるかを理解する権利があります。
- 公正さは想定ではなく、検証されなければならない。 システムは、意図して確かめない限り、データと設計の偏りを引き継ぎ、増幅します。
- 尊厳は設計上の要件である。 弱い立場の人や典型的でない人を含め、すべてのユーザーを、敬意に値する人として扱います。
- 持続可能性と社会的影響も数える。 ソフトウェアのエネルギー、資源、社会的な影響は、その本当のコストの一部です。
推奨事項
職業倫理を採用して実践する
組織を、認められた行動規範に根づかせ、飾りではなく本物にします。エンジニアは、雇用主に対してだけでなく、公衆に対しても義務があることを理解すべきです。「仕様に従っただけ」は、システムが人々に害を与えたときの弁明になりません。倫理的な懸念を提起する本物の経路を作ります。キャリアを終わらせかねない勇気を要さずに、「これは築くべきではない、あるいはこの築き方をすべきではない」と言える方法。チームに、結果を量る語彙と立場を与えます。倫理的な異議を、妨害ではなく価値あるシグナルとして扱うリーダーシップでそれを裏づけます。倫理の訓練は、組織がそれが教えることに目に見えて従って行動する場合にだけ役立ちます。
アクセシビリティと公平性を義務として扱う
最初から、人間の能力と状況の全範囲に向けて築きます。アクセシビリティの後付けは、はるかに高価で、通常はより悪い結果になります。確立されたアクセシビリティの標準(WCAG、ウェブコンテンツアクセシビリティガイドラインなど)に従い、多くの法域で公共サービスにそれらを義務づける法的要件を満たします。支援技術で、そして何よりも障害のある本物のユーザーでテストします。公平性を、障害を超えて、仕える全人口に広げます。低帯域の人々、古いデバイスの人々、限られたデジタルリテラシーの人々、少数言語の人々、困難な生活状況にある人々。人々が選択から外れられないサービス(特に政府のサービス)では、自信があり、接続され、典型的なユーザーだけに向けて設計することは、合理的な既定ではなく、仕えることの失敗です。
アルゴリズムの説明責任と公的な透明性を築く
人々についての重大な決定を下す、あるいは実質的に形づくるシステムでは、説明責任を設計に組み込みます。高い賭け金の決定では、自動的な出力に盲目的に従うのではなく、意味のある形で人間をループの中に保ちます。影響を受けた人が理解できる言葉で、なぜ決定がなされたかを説明できるようにします。それに異議を唱えて人間に届く本物の経路を提供します。保護されたグループと弱い立場のグループにわたる偏りと格差的影響について、導入の前と最中にシステムをテストし、時間とともにドリフトを監視します。公共部門では、市民と監督機関が精査できるよう、アルゴリズムの登録簿のような仕組みを通じて、アルゴリズムのシステムがどう働くか(目的、データ、適切な水準での論理)を公表します。システムが適用されるべきでない所に適用されないよう、意図された使用と既知の限界を文書化します。
公正さ、尊厳、救済のために設計する
システムが、人々を不公正に、あるいは尊厳なく扱いうる方法を点検します。学習データとルールに埋め込まれた偏りを精査します。純粋に効率のために最適化されたシステムは残酷でありうることを思い出してください。偽陰性を最小化するよう調整された不正フィルターは、何千もの無実の人々の口座を凍結しえ、それぞれが苦境にある本物の人です。影響を受ける人の視点から、失敗のケースのために設計します。システムが間違っているとき、何が起こるか。人間、説明、救済にどれだけ容易に至れるか。個人データを敬意と抑制を持って扱います。必要なものだけを集め、その使用について誠実であるように。エラー、遅延、拒否を、端のケースとしてではなく、尊厳が最も危うい瞬間として扱います。
持続可能性と社会的責任を考慮する
ソフトウェアが物理的および社会的なコストを持つことを認識します。データセンター、学習の実行、非効率なシステムは、本物のエネルギーを消費します。効率は、財務的な美徳であると同時に、環境的な美徳です。築くものの広い影響(労働、公共の言論、弱い立場のグループへの)を考慮し、害が利益を上回る仕事を断る、あるいは作り変える意思を持ちます。システムが社会を規模で形づくる大きな組織にとって、社会的責任は事業の傍らの慈善ではありません。責任を持って築くことの一部であり、ますます規制と公衆の期待の問題になっています。
トレードオフ: 長所と短所
| 緊張 | 一方 | 他方 |
|---|---|---|
| 自動化対人間の判断 | 規模、一貫性、速度、低いコスト | 説明責任、ニュアンス、慈悲、救済 |
| 透明性対保護 | 公的な精査、信頼、監督 | ゲーム化のリスク、セキュリティ、データのプライバシー |
| アクセシビリティへの投資対速度 | 全員に仕える。法的かつ道徳的な準拠 | 初期のデリバリーが遅い。より多くの設計の労力 |
| 効率対公正さ | 最適化された成果。低いコスト | 裾の個人への残酷さのリスク |
| データ豊富なパーソナライズ対プライバシー | より良いサービス。個別化された体験 | 監視のリスク。尊厳と同意の懸念 |
| 革新の速度対予防 | より速い価値。競争上の優位 | 検討されない害が規模で展開される |
最も難しいトレードオフは、規模対個人の正義です。自動化は、数百万人にわたる一貫性と効率を届けます。しかしその誤りも規模で届けられ、全体のために最適化されたシステムは、裾にいる個人に対して静かに残酷でありえます。答えは自動化を放棄することではありません。個人の失敗のケースのために設計することです。賭け金が高い所では人間をループに保ち、説明と救済を保証し、平均だけでなく最も恵まれない人々へのシステムの影響を測定します。透明性にも本物の緊張があります。完全なオープンさは、ゲーム化を可能にし、私的なデータをさらしうるからです。しかし公共サービスでは、答えは既定での開示に強く傾き、不透明さを安全な既定として扱うのではなく、本当に保護されなければならないものだけを免除します。
チームで議論すべき問い
人々についての重大な決定を下す、あるいは実質的に形づくるシステムはどれで、それぞれが今日、説明、人間によるレビュー、救済を提供していますか。 ソフトウェアはますます決定そのものです。誰がローンを得るか、どの履歴書が見られるか、口座が凍結されるか、申請にどれだけかかるか。そうしたすべてのシステムについて、影響を受ける人は、理解できる説明、それに異議を唱える本物の経路、介入できる人間を受ける権利があり、企業や政府の規模では、単一の設計上の欠陥が数百万人に繰り返されます。証拠を持ち込んでください。重大な自動的決定の目録を作り、それぞれについて、誤って扱われた人が実際に人間に届き、平易な言葉の理由を得られるかを確認します。答えがいいえの所は、後で加える機能ではなく、直すべき欠陥です。人々が選択から外れられないサービス、特に政府のサービスでは、これは気の利いた追加ではなく義務です。
アクセシビリティを、障害のある本物のユーザーでテストされる、ローンチをブロックする要件として扱っていますか。そして今、誰を失敗させていますか。 アクセシビリティと公平性は義務で、人々を排除することは欠陥であり、しばしば法的かつ道徳的な失敗ですが、アクセシビリティの後付けは、最初の画面から組み込むより、確実に遅く、高価で、悪い結果になります。WCAGに従い、自動チェックを超えて、支援技術と、障害のある本物のユーザー、さらに低帯域、古いデバイス、少数言語、限られたデジタルリテラシーの人々でテストします。証拠を持ち込んでください。最も重要な流れをスクリーンリーダーと絞った接続で動かし、どこで壊れるかを見ます。答えは、アクセシビリティがリリースをブロックするゲートか、決して上がってこない積み残しの項目かを決めるべきで、人々が選択から外れられないサービスでは、ゲートだけが擁護できます。自信があり、接続され、典型的なユーザーだけに向けて設計することは、仕えることの失敗です。
重大なシステムの偏りと格差的影響を、導入の前と最中にテストする、常設のプロセスは何ですか。 システムは、意図して確かめない限り、データと設計の偏りを引き継ぎ増幅し、誰も不公正を意図しなかったから公正だと想定することは、怠慢による偏りです。偽陰性を最小化するだけに調整された不正フィルターは、何千もの無実の口座を凍結しえ、それぞれが苦境にある本物の人なので、公正さを顧みずに最適化された効率は、静かに残酷でありえます。証拠を持ち込んでください。人々に影響する各モデルについて、保護されたグループと弱い立場のグループにわたる格差的影響のテスト、文書化されたデータと既知の限界、人口が変わるにつれて再テストするドリフトの監視を示します。答えは、偏りのテストを一回限りの発売前のチェックボックスではなく、日常的で継続的なものにし、最適化の目標を、集計の精度だけでなく、個人への害を量るよう変えるべきです。影響を受ける人の視点から、失敗のケースのために設計します。
エンジニアが、何かを築くべきでない、あるいはこう築くべきでないと考えるとき、その異議に実際に何が起こりますか。 倫理が本物になるのは、「これは出荷すべきでない」が、キャリアを終わらせずに誰かが言える文であるときだけで、規模では、害に最も近い人が、部屋で最も若手であることがよくあります。相反する圧力はデリバリーです。提起された異議はロードマップを遅くし、期限に追われるリーダーは、それを価値あるシグナルではなく妨害として扱いうるのです。証拠を持ち込んでください。エンジニアが使うであろう正確な経路を名指しし、昨年提起された懸念の数を数え、その結果として何が変わったかをたどります。仕事を止めたり作り変えたりしたことのない経路は、飾りだからです。企業や政府機関では、経路を名指しされた所有者と文書化されたレビューに結びつけてください。誰にも聞く義務のない異議は、誰も敢えて提起しない異議で、害は最初に公的な不祥事として表面化するからです。
動かしているものの環境的および社会的コストを知っていますか。そして害が利益を上回る仕事を作り変える、あるいは断る意思がありますか。 ソフトウェアは物理的および社会的コストを持ちます。データセンター、学習の実行、非効率なシステムは本物のエネルギーを消費し、労働、公共の言論、弱い立場のグループへの二次的な影響は、システムの本当のコストの一部です。緊張は、これらのコストを測定して削ることが機能の速度と競合し、有害な仕事を断ることが、誰かが責任を負う収益を諦めることです。証拠を持ち込んでください。最大のシステムのエネルギーあるいは計算のフットプリント、下流の影響を誰が負うかについての率直な見方、そしてこうした理由で仕事を作り変えた、あるいは拒否した少なくとも一つの具体的な事例。システムが社会を形づくる企業や政府の規模では、これを責任を持って築くことの一部として、そしてますます規制と公衆の期待の問題として扱ってください。事業の脇に取り付けられた慈善ではありません。
部外者は、重大なシステムがどう決めるかについて、実際にどれだけ知ることができ、開示はあなたの既定ですか、例外ですか。 透明性は、公的な信頼が勝ち取られ失われる所です。人々には自分についての決定がどうなされるかを理解する権利があり、公共部門ではその権利がしばしば法律だからです。本物の対抗圧力は、完全なオープンさがゲーム化を可能にして私的なデータをさらしうることで、本当の問いは、開示するかどうかではなく、線をどこに引くかです。証拠を持ち込んでください。各重大なシステムについて、何を公表するか(目的、データ、適切な水準での論理)、何を差し控えて具体的な理由は何か、技術的な記述と並んで平易な言葉の記述があるかを示します。政府機関では、アルゴリズムの登録簿のような仕組みを、狭く擁護できる免除と量り、影響を受ける人に何も伝えないのに技術的には知らせているだけでなく、あなたの開示が本当に説明しているかを確認してください。
セクター別の視点
スタートアップ。 少数の人員とわずかな滑走路では、倫理委員会に人員を置けないので、安く効果の高い習慣をプロダクト自体に組み込んでください。すべての自動的な拒否に平易な言葉の理由、人間に届くワンクリックの経路、後付けは遅くて悪いので最初の画面からアクセシブルなフォーム。あなたのソフトウェアが人についての重大な決定を下す一か所を選び、害を規模に広げる前に、そこで説明と救済を正しく得てください。公正さと尊厳を、後の磨きではなくローンチの要件として扱うことは、今はほとんど費用がかからず、早期に失うわけにいかない評判を避けます。
小規模事業者。 おそらくアクセシビリティや公正さの専門家はおらず予算も厳しいので、買うツールに組み込まれた倫理に頼ってください。WCAGを満たし、自動機能がどう決めるかを文書化し、人間をループに保たせてくれるベンダーを選びます。自社の義務を、データ衛生と尊厳の問題として枠づけてください。保持している個人データを知り、必要なものだけを集め、間違った自動的な答えが、顧客があなたに連絡する手段なしに取り残さないようにする。署名する前に、サプライヤーにアクセシビリティと偏りへの姿勢を示すよう求めてください。苦情の後で隙間を発見するのではなく。
大企業。 規模での問題は、多くのチームにわたるガバナンスです。何が重大な決定に当たるかの共有の標準、一貫したアクセシビリティと偏りのテストのゲート、説明、人間によるレビュー、救済が必要な所に存在することを証明する監査証跡。何も変えない訓練ではなく、リリースをブロックする倫理的なレビューを立ち上げ、アクセシビリティと格差的影響の仕事に明示的に予算を付け、公正さが一回限りのチェックボックスではなく継続的であるよう、展開したモデルのドリフトを監視してください。単一の設計上の欠陥が数百万人に繰り返されると扱ってください。あなたの到達範囲では、実際にそうだからです。
政府。 調達規則、透明性の義務、公的な説明責任があらゆる選択を形づくり、市民は競合他社に行ってあなたのサービスから外れることができません。アルゴリズムの登録簿のような仕組みを通じて重大なシステムがどう働くかを公表し、ベンダーに契約でデータの実践と既知の限界の開示を求め、すべての公共サービスを、障害のあるユーザー、低帯域の接続、少数言語の話者でテストされたアクセシビリティの標準に築いてください。すべての重大な自動的決定に、人間によるレビューの権利と平易な言葉の説明を保証し、説明責任のある職員にかかっていなければならない最終的な判断を、完全な自動化の外に置いてください。
事例
スタートアップ。 自動融資機能を築く3人のフィンテックのスタートアップは、公正さと尊厳を、後の磨きではなく要件と決めます。ローンチ前に、測定できるグループにわたる格差的影響についてモデルをテストし、使うデータと信頼すべきでない所を書き出し、拒否されたすべての申込者が平易な言葉の理由と、創業者である人間に届くワンクリックの経路を得られるようにします。サインアップの流れを最初の画面からアクセシビリティの標準に築きます。後で改修するのはより遅く悪いからで、誤って凍結された口座を、本物の人を取り残すのではなく数分で解除できるよう、速い上書きの経路を加えます。
大企業。 自動の与信判断を導入する銀行は、公正さをエンジニアリングの要件として扱います。ローンチ前に、保護されたグループにわたる格差的影響についてモデルをテストし、データとその限界を文書化し、説明の機能を築くので、拒否されたすべての申込者が理解できる理由と、人間によるレビューへの明確な経路を得ます。監視のプロセスが、人口が変わるにつれてドリフトを見張り、偏りを再テストします。不正検知のシステムが多数の正当な口座を凍結し始めたとき、銀行は速い人間によるレビューの経路を加え、顧客への害を量るよう最適化の目標を変えました。誤ってフラグを立てられた顧客の苦境を、許容できる統計ではなく、本物のコストとして扱ったのです。
政府。 市の政府は、アルゴリズムの登録簿を公表します。公共サービスで市が使う自動システムを一覧にし、各システムの目的、依拠するデータ、決定にどう異議を唱えられるかを記述します。市のデジタルサービスは、アクセシビリティの標準に築かれ、障害のあるユーザー、低帯域の接続、少数言語の話者でテストされます。人々が選択から外れられないサービスは、全員に機能しなければならないという原則に基づいています。すべての重大な自動的決定は、人間によるレビューの権利と平易な言葉の説明を伴うので、国家のソフトウェアが生活について何かを決めるとき、市民は尊厳と救済の両方を保ちます。
ビジネスケース: 動機、ROI、TCO
倫理と説明責任のビジネスケースは、信頼、リスク、到達範囲に拠ります。信頼は持続的な資産です。システムが人々を公正かつ透明に扱う組織は、人々がそれを使う意欲を持つ確信を得ます。特に公的機関は、単一の注目を集める不公正なシステムが打ち砕きうる正統性に依存します。リスクは近い将来の駆動要因です。偏り、アクセスできない、あるいは不透明なシステムは、責任を持って築くコストを小さく見せうる規制上のペナルティ、訴訟、評判の毀損をますます負います。到達範囲は両方を増幅します。企業や政府の規模では、単一の倫理的失敗が数百万人に繰り返されて見出しになります。
採用のコストは本物です。アクセシビリティの仕事、偏りのテスト、説明と救済の仕組み、人間が介在するレビュー、結果を考慮する設計の時間は、特に早期に、すべて労力を加えます。採用しないコストはより大きく、ますます任意ではなくなっています。差別の責任、仕える義務のある人口の大部分の排除、ローンチ後にアクセシビリティと説明責任を後付けする費用、そして一度失うと再構築に高くつき遅い、信頼の侵食。リーダーシップに論拠を示すときは、倫理を、利他主義ではなく、リスク管理と信頼の構築として枠づけてください。アルゴリズムの説明責任とアクセシビリティをめぐって強まる規制環境に注意してください。総所有コストを強調します。最初から責任を持って築くことは、すでに規模で人々に害を与えたシステムを是正するよりはるかに安いのです。公的機関には、最も平易な論拠を加えてください。市民に公正に仕えることは使命であり、その制約ではない、と。
アンチパターンと落とし穴
- チェックボックスとしての倫理。 システムが実際にどう築かれるかについて何も変えない、一回限りのレビューや訓練。
- アクセシビリティの後付け。 アクセシビリティを後の追加として扱い、設計に組み込むより悪くコストのかかる結果を生むこと。
- 説明責任のないアルゴリズム。 説明も、人間によるレビューも、異議を唱える経路もない重大な自動的決定。
- 残酷さへの最適化。 集計の効率のためだけに調整して、システムが裾の人々に静かに暴力を振るうこと。
- 怠慢による偏り。 誰も不公正を意図しなかったからシステムは公正だと、一度もテストせずに想定すること。
- 「コンピューターがノーと言っている」。 自動的な決定が間違っていると見えているのに、それを上書きしたり疑ったりできない、最前線の職員とユーザー。
- 自信のあるユーザーのための設計。 典型的で接続され、読み書きのできるユーザーのために築き、他の全員を排除すること。人々が選択から外れられないサービスでは擁護できない。
- 透明性の劇場。 技術的には知らせるが、本当には何も説明しない、理解不能な開示を公表すること。
成熟度モデル
レベル1: 開始。 倫理は扱われていないか、不祥事の後の純粋に反応的なものです。アクセシビリティは無視されるか最小限です。自動的な決定は不透明で、説明も救済もありません。偏りは決してテストされず、持続可能性と社会的影響は考慮されません。
レベル2: 発展。 行動規範が存在し、いくつかのアクセシビリティの標準が、しばしば遅れて守られます。注目を集める自動的な決定にはいくらかの人間による監督がありますが、ほとんどにはありません。偏りは時折チェックされ、懸念は弱いプロセスを通じて提起でき、実践はチームごとに大きく異なります。
レベル3: 標準化。 倫理的なレビューは、開発プロセスの文書化された一部で、組織全体で徹底されます。アクセシビリティは設計に組み込まれ、本物のユーザーでテストされます。重大な自動的決定は、既定で説明、人間によるレビュー、救済を伴います。偏りのテストとドリフトの監視は日常的で、公共部門のシステムはどう働くかを公表し、持続可能性は共通の標準に対して測定されます。
レベル4: 管理。 組織は、倫理的な姿勢を、ベースラインに対するデータで測定し制御します。アクセシビリティの適合スコア、保護されたグループにわたって時間とともに追跡される格差的影響の指標、異議のある決定の救済率と人間に届くまでの時間、公表された文書を持つ重大なシステムの割合、主要なシステムのエネルギーあるいは計算のフットプリント。指標がリリースをゲートし、閾値の超過は調査を引き起こし、リーダーは、実践が守られていると想定するのではなく、固定の周期で数字をレビューします。
レベル5: オーケストレーション。 責任は、組織が築き適応する方法に組み込まれています。アクセシビリティと公平性は、仕える全人口について検証される交渉の余地のない既定で、アルゴリズムの説明責任(透明性、公正さのテスト、救済、人間による監督)は標準で継続的に監視され、倫理的な懸念は仕事を作り変えたり止めたりする価値あるシグナルです。組織は信頼、公正さ、尊厳を使命の中核として扱い、倫理をプロダクト、リスク、調達の決定と統合し、期待と証拠が進化するにつれてシステムの範囲を見直し、あるいは退役させます。
議論のためのアイデア
- 完全に自動化してよい決定と、意味のある形で人間をループに保たなければならない決定の線は、どこにありますか。
- アルゴリズムの透明性はどれだけで十分で、ゲーム化を可能にしたりプライバシーを侵害したりせずに、意味ある開示をどうしますか。
- 自動システムが誰かに害を与えたとき、誰が説明責任を負いますか。エンジニアか、マネージャーか、組織か、ベンダーか。
- 倫理的な異議を提起することを、キャリアを制限するものではなく、本当に安全なものにするには、どうしますか。
- 組織は、自分が設計の対象としなかったユーザーにどんな義務を負い、公平性はどこまで広がらなければなりませんか。
- 計算の環境コストは、アーキテクチャとプロダクトの決定にどう反映されるべきですか。
要点
- ソフトウェアが人々についての重大な決定を下すとき、その作り手は、仕様を満たすかどうかだけでなく、それが何をするかに責任があります。
- アクセシビリティと公平性は義務であり、ないときは欠陥です。任意の強化ではなく、特に人々が選択から外れられないサービスで。
- 重大な自動的決定には、説明、人間によるレビュー、救済、継続的な偏りのテストが必要です。説明責任は、事後に主張するのではなく設計に組み込みます。
- 公正さを顧みずに最適化された効率は、静かに残酷でありえます。集計だけでなく、個人の失敗のケースのために設計します。
- 公共部門では、アルゴリズムのシステムがどう働くかについての透明性が既定であるべきで、秘密は狭い例外です。
- ビジネスケースは信頼とリスクです。最初から責任を持って築くことは、規模での害を是正するよりはるかに安く、公的機関にとって、公正さは使命です。
参考文献とさらなる読み物
- ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
- ACM, Code of Ethics and Professional Conduct
- Cathy O’Neil, Weapons of Maths Destruction
- Virginia Eubanks, Automating Inequality
- Safiya Umoja Noble, Algorithms of Oppression
- Ruha Benjamin, Race After Technology
- Batya Friedman and David G. Hendry, Value Sensitive Design
- World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
- NIST, AI Risk Management Framework
- OECD, Principles on Artificial Intelligence
- European Union, General Data Protection Regulation (GDPR) and the AI Act
- UK Government, Data Ethics Framework and the Algorithmic Transparency Recording Standard