6.5 責任あるAIと信頼できるAI

概要と動機

責任あるAIと信頼できるAIとは、公平で、透明で、説明責任があり、安全で、プライバシーを尊重するAIシステムを築き運用する実践です。それはまた、これらすべてを影響を受ける人々と規制当局に示せることを意味します。AIが人々の生活を形づくる決定(採用、融資、給付の受給資格)を担うにつれて、問いはもはや「機能するか」だけではなく、「正しいか、そして正当化できるか」です。平均では正確なシステムでも、あるサブグループには不公平で、影響を受ける人には説明不能で、誤用されたときには安全でないことがありえます。信頼は、これらの次元を意図して扱うことで得られるのであって、自然に面倒を見てくれると願うことでは得られません。

大きなチームにとって、責任あるAIは、一人の仕事でも、最後のチェックボックスでもありえません。システムを設計し、評価し、デプロイし、統治するやり方に、明確な所有とエスカレーションとともに織り込みます。規模では、小さなバイアスと監督のギャップが、多くの人々に影響します。一件の目立つ失敗が、評判を損ない、規制を招きえます。ガバナンスのフレームワークは、まさに、その場しのぎの善意がスケールしないために存在します。

政府と規制対象の組織は、拘束力のある義務に直面します。EU AI法のような新しい法律は、リスクに応じた要件を課します。NIST AIリスク管理フレームワークやISO/IEC 42001のような標準は、それらを満たす構造化された方法を与えます。公的機関は、不法な差別を避け、自動化された決定に異議を唱える道を提供し、公権力の行使におけるAIの使われ方について透明でなければなりません。これらの設定での責任あるAIは、倫理的義務であり、法的な必要でもあります。

関連項目: 6.1章(AI戦略と準備態勢)、10.5章(倫理、説明責任、公共の利益)、4.5章(プライバシーとデータ保護)。

主要原則

公平性は、想定されるのではなく、測定され管理される設計上の目標です。
AIの決定の影響を受ける人々は、説明とそれに異議を唱える経路に値します。
説明責任は、モデルではなく、人間と組織にあります。
プライバシーと安全は、誤用と乱用からの保護を含め、組み込まれなければなりません。
ガバナンスは、擁護でき監査可能であるよう、認められたフレームワークに従うべきです。
人間の監督は、上書きして止める本物の権限を伴って、意味のあるものでなければなりません。
環境への負荷を含め、AIのより広いコストを考慮します。

推奨事項

バイアスと不公平を検知して緩和する

自分の文脈で公平性が何を意味するかを定義します。数学的な定義は複数あり、ときに衝突し、正しいものは決定と法律によります。代表的なデータを使い、保護された、そして脆弱なグループにわたる性能の格差について、モデルをテストします。母集団がずれるにつれてバイアスが現れうるので、これをデプロイ前に行い、その後も続けます。より良いデータ、重みの再調整、制約、システムの使い方の変更で緩和し、受け入れたトレードオフを文書化します。保護された属性を取り除いても、代理が残るので、バイアスは取り除かれません。公平性を、一度きりの承認ではなく、継続的な測定と管理の規律として扱います。

説明可能性、解釈可能性、透明性を提供する

説明の水準を賭け金と聴衆に合わせます。重大な決定では、影響を受ける人々に、理解して行動できる、明確で平易な言葉の理由を与えます。内部のガバナンスには、システムをデバッグし擁護するのに十分な技術的な解釈可能性を保ちます。賭け金が高く解釈可能性が達成可能な所では、本質的に解釈可能なモデルを好みます。複雑なモデルが必要な所では、その限界について誠実でありながら、説明の技法を使います。特に公衆とのやり取りでは、そもそもAIが使われているときについて透明にします。

認められたフレームワークで統治する

自分で発明するのではなく、構造化されたガバナンスのアプローチを採用します。NIST AIリスク管理フレームワークは、仕事をAIリスクの統治、マッピング、測定、管理を軸に整理します。EU AI法は、システムをリスクで分類し、それに応じた義務を課し、高リスクの用途には厳格な要件を伴います。ISO/IEC 42001は、監査と認証ができるAIマネジメントシステムを定義します。システムをこれらのフレームワークに対応づけます。モデルカードとデータカード(モデルやデータセットの目的、性能、制約の標準化された要約)のような文書を維持します。デプロイ前にリスク評価を実行し、リスクレベルと所有者を伴うAIシステムの目録を保ちます。良いガバナンスは、明確な役割、決定権、エスカレーションの経路を割り当てます。

人間による監督、説明責任、異議申し立てを確保する

重大な決定は、ゴム印ではなく、本物の権限とシステムを上書きするのに必要な情報を伴って、人間が意味のある形で制御し続けます。明確な説明責任を割り当てます。各システムの振る舞いに責任を負う所有者を名指しします。自動化された決定の影響を受ける人々に、説明を受ける権利と、結果を変えられる人間に異議を申し立てる実行可能なプロセスを与えます。公正かつ速やかに異議申し立てと監査を扱えるよう、決定とその根拠を記録します。

プライバシー、安全、誤用から守る

収集し使用する個人データを最小化し、法的根拠を確立し、関わる機微さに合うプライバシー技法を適用します。デプロイの前後にシステムをレッドチームで試し、操作され、脱獄され、害をなすために誤用されうる方法を見つけ、見つけたものを直します。有害なコンテンツの生成、機微なデータの漏洩、乱用の可能にすることに対する安全策を築きます。インシデントに備えます。監視、対応、開示。意図された用途だけでなく、デュアルユース(同じ能力が有益な目的と有害な目的の両方に仕えること)と下流の誤用を考慮します。

環境コストを考慮する

大きなモデルの訓練とサービングは、かなりのエネルギーと水を消費します。主要なAIのワークロードの負荷を測定して報告します。必要を満たす所では、効率的なモデルとハードウェアを好みます。最大のものに既定せず、モデルをタスクに合わせて適切なサイズにし、環境コストをアーキテクチャと調達の決定に織り込みます。

トレードオフ: 長所と短所

緊張	一方	他方
精度対公平性	最高の平均精度	グループにわたる公平な成果
性能対解釈可能性	複雑で強力なモデル	説明可能で擁護できるモデル
自動化対監督	効率と規模	人間の制御と説明責任
データの有用性対プライバシー	より多くのデータからのより豊かなモデル	データの最小化と保護
能力対安全	広く開かれた機能	制約され、守られた振る舞い
速度対ガバナンス	速いデプロイ	徹底したレビューと文書化

うまい話はまれです。公平性の改善は、いくらかの精度を犠牲にするかもしれません。解釈可能性は、いくらかの性能を犠牲にするかもしれません。ガバナンスは時間がかかります。責任ある道は、これらのトレードオフを意識して行い、文書化し、賭け金が高いときは、影響を受ける人々と擁護可能性に有利に選ぶことです。ガバナンスをイノベーションへのブレーキとして枠づけるのは、誤った二分法です。管理されないAIのリスクは、それ自体が持続するイノベーションへの脅威です。

チームで議論すべき問い

デプロイされたAIシステムのうち、EU AI法が高リスクと分類するのはどれで、今日それらの義務を満たしていますか。 リスク階層化された法律は今や拘束力があり、仮定の話ではありません。採用、融資、給付の受給資格を決めるシステムは、すでに違反しているかもしれない厳格な要件を負いえます。大きな組織にとって、この問いは、ガバナンスが「対処済み」だという心地よい想定ではなく、誠実な目録を強います。リスクレベルと所有者を伴うAIシステムの一覧を、EU AI法、NIST AIリスク管理フレームワーク、該当する所ではISO/IEC 42001に対応づけて持ち込んでください。見るべきシグナルは、リスク分類も、影響評価も、モデルカードやデータカードもない、重大なシステムです。公権力を行使する公的機関にとって、欠けている義務はバックログの項目ではなく法的な露出であり、答えは、それらのシステムが要求する評価と文書化を引き起こすべきです。
モデルの一つが誰かを拒否したとき、その人は平易な言葉の理由を得て、結果を実際に覆せる人間に到達できますか。 説明を受ける権利と実行可能な異議申し立ては、説明責任のあるAIと、救済なしに人々を害するブラックボックスを分けるものです。平均で測定された公平性でも、個人には失敗しえ、デプロイ後に選ばれた解釈可能性は、通常、劇場です。特定のデプロイされた決定を持ち込んでたどってください。影響を受ける人が受け取る理由、異議申し立ての窓口、反対側の人間が、上書きする本物の権限と記録された根拠を持つか。政府と規制対象の設定では、異議申し立ての経路はしばしば礼儀ではなく法的要件です。理由が理解できない、あるいは異議申し立てがゴム印につながるなら、それが次のリリースの前に直すべきギャップです。
モデルが害をなしたとき責任を負う単一の名前のある人は誰で、その人はそれを止める本物の権限を持ちますか。 説明責任はモデルではなく人間と組織にありますが、その原則は、各システムに名前が付けられ、その人が実際にプラグを抜けるまで、空虚です。大きなチームにとって、拡散した所有は、公平性の失敗や脱獄が表面化したとき、誰もが他の誰かが見ていると想定することを意味します。所有権の地図、エスカレーションの経路、監督が意味のある証拠を持ち込んでください。名前のある所有者は、システムを上書きあるいは停止する情報と権力を得るのか、うなずくだけなのか。まだ想像していない誤用と乱用をどうレッドチームで試すかを議論してください。意図された用途だけをテストすることは、見出しになる失敗を見逃すからです。答えは、それを止められる説明責任のある所有者のいない重大なシステムを残さないものであるべきです。
重大な各モデルについて、どの公平性の定義を選び、誰が承認し、サブグループの指標は本番で実際に保たれていますか。 公平性には互いに衝突するいくつかの数学的な定義があるので、等しい偽陽性率を満たすモデルは等しい成果に違反しえ、定義を選ぶことは、訓練のループを書いた誰かに任せるべきでない価値判断です。大きなチームにとって、吟味されない既定は選択をコードの中に隠し、すべての下流のグループが、誰も議論しなかった決定を引き継ぎます。最適化した公平性の指標、テストした保護された、そして脆弱なグループ、使った代表的なデータ、ローンチ以来見たドリフトを持ち込んでください。保護された属性を取り除いても、バイアスを生かし続ける代理が残るからです。企業と政府の設定では、公平性のトレードオフを受け入れる権限を持つ人を名指しして記録してください。規制当局やオンブズマンは、融資、給付、仕事を拒否された人々にとって、この公平性の定義が正しいと誰が決めたのかを尋ねるからです。デプロイ後にサブグループの指標が監視されていないなら、そのモデルを公平ではなく、測定されていないものとして扱ってください。
各システムは、どれだけ少ない個人データで動け、考えたくない誤用とデュアルユースについてレッドチームで試しましたか。 プライバシーと安全は組み込まれなければならず、侵害のリスクと乱用の面の両方を減らす最も安い方法は、そもそも収集し保持するデータを減らすことですが、チームは「後で役立つかもしれない」と入力を日常的に溜め込みます。大きな組織では、余分な項目のすべてが、法的根拠の問い、保持の義務、攻撃者や脱獄にとってのより大きな賞です。各システムのデータ目録と法的根拠、操作、漏洩、有害な生成についてのレッドチームの結果、正当なユーザーを助ける同じ機能が悪意をもって行動する誰かも助ける、デュアルユースの能力の誠実な一覧を持ち込んでください。規制対象と公共の文脈では、これをインシデント計画に結びつけてください。監視、対応、開示です。機微なデータを漏らしたり脱獄できるシステムを出荷したりする公的機関は、恥だけでなく法定の義務に直面するからです。レッドチームが意図された経路しか行使しなかったなら、システムではなくデモをテストしたのです。
主要なAIのワークロードの環境負荷を測定して所有していますか。それとも、「最大のモデルを使う」は値付けされていない既定ですか。 大きなモデルの訓練とサービングは本物のエネルギーと水を消費し、小さなモデルで足りるタスクに最大のモデルを既定にすることは、エンジニアリングの近道を、組織がダッシュボードで決して見ない繰り返しのコストに変えます。多くのワークロードを動かす大きなチームにとって、呼び出しごとの小さな非効率は、開示の期待が厳しくなるにつれて、調達と報告の負債になる負荷に複合します。最も重いワークロードの測定された負荷、モデルのサイズとタスクが実際に必要とする精度の比較、適切なサイズにできるハードウェアとサービングの選択を持ち込んでください。企業と政府の設定では、これを持続可能性の約束と調達基準に結びつけてください。公的機関は環境への影響を報告し支出を正当化することをますます求められ、測定されていない負荷は、いつか作成を求められるのに作れない数字だからです。環境コストがモデルの選択への正式な入力か、今日はそうでないと認めるかを決めてください。

セクター別の視点

スタートアップ。 ガバナンス委員会に人員は置けないので、それでも意味のある軽量版を行ってください。決定が重大な所には解釈可能なモデルを選び、1ページのモデルカードを書き、測定できるグループにわたる格差のある成果についてテストし、成長につれて公平性を見直せるよう決定を記録します。不利な決定には平易な理由と人間への経路を与えます。これを飛ばすことは速度ではなく、一件の不公平な決定が報道機関や規制当局に届いたら負えない負債です。

小規模事業者。 専任の専門家がいないので、責任あるAIを購入の問いとして扱ってください。公平性のテストを文書化し、モデルカードとデータカードを公開し、AIが使われているときに顧客に開示できるベンダーを好みます。ツールがどんな個人データを収集し、それを使う法的根拠があるかを知る。間違った自動化された答えが顧客を害しうる所では、検査も説明もできないツールを信頼するのではなく、人間をループに保ちます。

大企業。 仕事は、多くのチームにわたる規模でのガバナンスです。すべてのシステムをNIST AIリスク管理フレームワーク、EU AI法、ISO/IEC 42001に対応づけ、リスクレベルと名前のある所有者を伴う目録を保ち、ローンチの前後で公平性、安全、プライバシーのテストを求めます。グループがそれらを再発明するのをやめるよう、モデルカードとデータカード、レッドチーム演習、異議申し立てのプロセスを標準化します。ガバナンス、監督、解釈可能性のコストを明示的に予算化し、管理されないAIのリスクを、事業を営む免許への脅威として扱います。

政府。 調達規則、透明性、公的な説明責任があらゆる選択を形づくります。平易な言葉の透明性の通知を公開し、デプロイ前に影響評価を実行し、市民に影響するあらゆる行動に、実行可能な異議申し立ての経路を伴う、意味のある人間の意思決定を保ってください。ベンダーにモデルの制約の開示とデータの可搬性を求め、不法な差別を避け、各システムに責任ある担当官を名指しし、主要なワークロードの環境負荷を報告します。

事例

スタートアップ。 初期の信用スコアリング機能を築く小さな融資スタートアップは、ガバナンス委員会に人員を置けなかったので、それでも重要な軽量版を行いました。二人の創業者が一緒にモデルを承認し、測定できるグループにわたる格差のある成果についてテストし、そのデータ、限界、既知のリスクをカバーする短い1ページのモデルカードを書きました。拒否された申請者に平易な理由と人間によるレビューへの経路を与えられるよう、より単純で解釈可能なモデルを選び、成長するにつれて公平性を見直せるよう決定を記録しました。

大企業。 与信モデルをデプロイする銀行は、AIガバナンス委員会を設置し、モデルを高リスクのカテゴリーに対応づけ、ローンチの前後で人口統計的なグループにわたる公平性のテストを求めました。モデルをモデルカードに文書化しました。拒否された申請者に平易な言葉の理由と人間の引受担当者への異議申し立てを与え、システムを操作についてレッドチームで試しました。規制当局にすべての決定を説明し擁護しなければならなかったので、やや精度が低いがより解釈可能なモデルを選びました。

政府。 検査の資源を割り当てるのを助けるAIを使う公的機関は、プログラムをNIST AI RMFと、適用されるAI法の関連条項に合わせました。システムがどう機能し、どんな安全策があるかを説明する透明性の通知を公開しました。デプロイ前に影響評価を実施し、市民に影響するあらゆる行動に意味のある人間の意思決定を保ち、異議申し立てのプロセスを提供しました。公平性は継続的に監視され、ワークロードの環境コストが報告され、システムに責任を負う者として説明責任のある担当官が名指しされました。

ビジネスケース: 動機、ROI、TCO

責任あるAIは、価値を生むと同じくらい、価値を守ります。ROIは、主に避けられたコストです。差別の申し立て、規制上の罰則、評判の災難の減少。よりなめらかな監査。採用を駆動する、ユーザーと公衆のより大きな信頼。信頼できるシステムはより堅牢でもあります。公平性と安全を生む規律は、より良いエンジニアリングも生むからです。

TCOは、ガバナンスの人員、公平性と安全のテスト、文書化、レッドチーム演習、監督のプロセス、解釈可能性や公平性のために時に手放される性能を含みます。投資しないコストと量ってください。法的責任、強制された停止、失われた公共の信頼、失敗の後でガバナンスを後付けするはるかに高いコスト。規制対象の文脈では、責任あるAIへの投資はますます交渉の余地がありません。リーダーシップへの論拠は、リスク管理と事業を営む免許として枠づけます。AIを規模でデプロイするための前提条件です。

アンチパターンと落とし穴

省略による公平性。 保護された属性を無視するから、モデルは公平だと想定すること。
説明可能性の劇場。 決定が実際にどうなされるかを反映しない説明を作ること。
ゴム印の監督。 上書きする本物の権限も情報もない、名目上の人間によるレビュー。
後回しのガバナンス。 設計とデプロイの後に、文書化とレビューをボルトで留めること。
異議申し立ての経路がない。 影響を受ける人々に、自動化された決定に異議を唱える方法を残さないこと。
誤用の無視。 意図された用途だけをテストし、脱獄と乱用を見逃すこと。
負荷への盲目。 環境コストを顧みず、最大のモデルを既定にすること。

成熟度モデル

開始。 公平性のテストも、説明も、ガバナンスもなし。責任は未定義で、バイアス、誤用、プライバシーの問題は害の後にしか表面化せず、AIシステムとそのリスクの目録がありません。
発展。 個々のシステムでバイアスのテスト、モデルカード、レッドチーム演習の一部が行われますが、実践はチーム間で一貫しません。監督はその場しのぎで、NIST AIリスク管理フレームワークやEU AI法のようなフレームワークは知られているが、部分的にしか採用されていません。
標準化。 ガバナンスが文書化され、組織全体で徹底されています。システムは認められたフレームワークとISO/IEC 42001に対応づけられ、それぞれがリスクレベルと名前のある所有者を持ち、公平性、安全、プライバシーのテスト、モデルカードとデータカード、異議申し立ての経路、高リスクのシステムへのレッドチーム演習は、任意ではなく必須です。
管理。 プログラムがデータで測定され、制御されています。サブグループの公平性の指標、安全と脱獄の発見、異議申し立ての量と覆す率、監督の上書き率、ワークロードの負荷がベースラインと閾値に対して追跡され、ドリフトと格差のある成果が定義された行動を引き起こし、実施/不実施の判断は保証ではなく証拠に基づきます。
オーケストレーション。 責任あるAIは継続的に改善され、組織全体に統合されています。公平性、安全、誤用の監視が本番で走り、ガバナンスがデリバリーに組み込まれ、環境コストがモデルの選択への正式な入力で、組織は法律、リスク、能力が変わるにつれて統制を適応させ、責任は単一のチームではなく全員が所有します。

議論のためのアイデア

特定の決定にはどの公平性の定義が適用され、誰が決めますか。
公平性や解釈可能性のために、どれだけの精度や性能を手放すことが許容されますか。
人間の監督を、ゴム印ではなく意味のあるものにするものは何ですか。
自動化された決定への異議申し立ては、公正で適時になるようどう設計すべきですか。
まだ想像していない誤用に対して、どうレッドチームで試しますか。
環境コストはモデルの選択に影響すべきですか。そしてそれをどう量りますか。

要点

信頼できるAIは、設計により、公平で、説明可能で、説明責任があり、安全で、プライバシーを尊重します。
公平性と安全は、一度きりのチェックではなく、継続的な測定と管理の規律です。
擁護でき監査可能であるために、ガバナンスをNIST AI RMF、EU AI法、ISO/IEC 42001に合わせます。
意味のある人間の監督、明確な説明責任、本物の異議申し立ての権利を保ちます。
プライバシーのために、そして誤用に対して設計し、環境コストを考慮します。

参考文献とさらなる読み物

National Institute of Standards and Technology, AI Risk Management Framework (AI RMF 1.0).
European Union, Artificial Intelligence Act (Regulation on Artificial Intelligence).
ISO/IEC 42001, Information technology, Artificial intelligence, Management system.
Solon Barocas, Moritz Hardt, and Arvind Narayanan, Fairness and Machine Learning: Limitations and Opportunities.
Christoph Molnar, Interpretable Machine Learning.
Cathy O’Neil, Weapons of Maths Destruction.
Emma Strubell, Ananya Ganesh, and Andrew McCallum, Energy and Policy Considerations for Deep Learning in NLP.