10.5 Đạo đức, trách nhiệm giải trình và lợi ích công

Tổng quan và động lực

Phần mềm không còn là một công cụ trung lập nằm sau các quyết định của con người. Ngày càng nhiều, nó chính là quyết định. Nó quyết định ai được vay, nhà tuyển dụng thấy hồ sơ nào, một yêu cầu trợ cấp mất bao lâu, một cờ gian lận có đóng băng tài khoản hay không, và thông tin nào đến với hàng triệu người. Khi phần mềm đưa ra hoặc định hình các quyết định ảnh hưởng đến quyền, tiền bạc, an toàn và phẩm giá của con người, các kỹ sư và tổ chức xây dựng nó gánh những trách nhiệm vượt ngoài tính đúng đắn và hiệu năng. Chương này nói về những trách nhiệm đó: đạo đức nghề nghiệp, trách nhiệm giải trình về những gì hệ thống làm, khả năng tiếp cận và công bằng như nghĩa vụ chứ không phải tính năng, minh bạch thuật toán, bền vững, và bổn phận phục vụ con người với sự công bằng và phẩm giá.

Với các tổ chức lớn, quy mô và quyền lực làm tăng rủi ro. Một hệ thống doanh nghiệp hay chính phủ không ảnh hưởng một người. Nó ảnh hưởng hàng triệu người. Một lựa chọn thiết kế đơn lẻ (một tập huấn luyện thiên lệch, một biểu mẫu không tiếp cận được, một lần từ chối tự động khó hiểu) được lặp lại ở từng người trong số họ. Chính phủ mang bổn phận cao hơn, vì hệ thống của họ không phải tùy chọn. Một công dân không thể chọn đối thủ cạnh tranh cho cơ quan thuế hay cơ quan trợ cấp của mình. Sự độc quyền của nhà nước với một số dịch vụ nghĩa là một hệ thống xây dựng kém có thể tước của người dân những quyền mà họ không có cách nào khác để thực thi. Cùng với tầm với đó là bổn phận tương xứng phải công bằng, minh bạch và chịu trách nhiệm giải trình.

Đạo đức trong phần mềm thường bị coi là chủ đề mềm gắn thêm vào cuối, hoặc giao cho một danh mục kiểm tra tuân thủ pháp lý. Chương này lập luận ngược lại. Các cân nhắc đạo đức là yêu cầu kỹ thuật. Trách nhiệm giải trình phải được thiết kế vào, không phải tuyên bố sau sự việc. Và phục vụ con người với phẩm giá vừa là bổn phận đạo đức vừa, về lâu dài, là nền tảng của lòng tin mà các tổ chức lớn phụ thuộc vào.

Các nguyên tắc chính

Phần mềm đưa ra quyết định, nên người tạo ra nó chịu trách nhiệm. Bạn chịu trách nhiệm về những gì hệ thống của bạn làm với con người, không chỉ về việc nó có đạt đặc tả không.
Khả năng tiếp cận và công bằng là nghĩa vụ, không phải điểm cải thiện. Loại trừ con người là một khiếm khuyết, và thường là thất bại pháp lý và đạo đức.
Quyết định tự động có hệ quả đòi trách nhiệm giải trình. Người bị ảnh hưởng bởi một quyết định tự động xứng đáng được giải thích, kháng nghị và rà soát bởi con người.
Minh bạch là mặc định, bí mật là ngoại lệ. Đặc biệt trong khu vực công, người dân có quyền hiểu các quyết định về họ được đưa ra thế nào.
Sự công bằng phải được kiểm tra, không phải giả định. Hệ thống thừa hưởng và khuếch đại thiên kiến trong dữ liệu và thiết kế của chúng trừ khi bạn cố ý kiểm tra.
Phẩm giá là yêu cầu thiết kế. Đối xử với mọi người dùng, gồm cả người dễ tổn thương và không điển hình, như một con người xứng đáng được tôn trọng.
Bền vững và tác động xã hội có giá trị. Năng lượng, tài nguyên và hiệu ứng xã hội của phần mềm là một phần chi phí thật của nó.

Khuyến nghị

Áp dụng và sống với đạo đức nghề nghiệp

Hãy đặt nền tảng cho tổ chức trên một bộ quy tắc ứng xử nghề nghiệp được công nhận, và làm cho nó thật thay vì trang trí. Kỹ sư nên hiểu họ có nghĩa vụ với công chúng, không chỉ với người sử dụng lao động. “Tôi chỉ làm theo đặc tả” không phải lời bào chữa khi một hệ thống gây hại cho con người. Hãy tạo các kênh thực sự để nêu mối quan ngại đạo đức: một cách để nói “chúng ta không nên xây cái này, hoặc không nên xây theo cách này” mà không đòi hỏi lòng can đảm kết thúc sự nghiệp. Trao cho các đội từ vựng và tư cách để cân nhắc hệ quả. Hậu thuẫn điều đó bằng lãnh đạo coi phản đối đạo đức là tín hiệu có giá trị, không phải sự cản trở. Đào tạo đạo đức chỉ giúp được nếu tổ chức hành động rõ ràng theo những gì nó dạy.

Coi khả năng tiếp cận và công bằng là nghĩa vụ

Hãy xây cho toàn bộ phạm vi khả năng và hoàn cảnh của con người ngay từ đầu. Trang bị khả năng tiếp cận về sau tốn kém hơn nhiều và thường tệ hơn. Tuân theo các tiêu chuẩn tiếp cận đã thiết lập (như WCAG, Hướng dẫn Tiếp cận Nội dung Web), và ở nhiều khu vực pháp lý đáp ứng yêu cầu pháp lý bắt buộc chúng với dịch vụ công. Kiểm thử với công nghệ hỗ trợ và, trên hết, với người dùng thật có khuyết tật. Mở rộng công bằng ra ngoài khuyết tật tới toàn bộ dân số bạn phục vụ: người dùng băng thông thấp, thiết bị cũ, hiểu biết kỹ thuật số hạn chế, dùng ngôn ngữ thiểu số, và trong hoàn cảnh sống khó khăn. Với dịch vụ mà người ta không thể từ chối (đặc biệt là dịch vụ chính phủ), chỉ thiết kế cho người dùng tự tin, có kết nối, điển hình là thất bại trong phục vụ, không phải mặc định hợp lý.

Xây dựng trách nhiệm giải trình thuật toán và minh bạch công khai

Với bất kỳ hệ thống nào đưa ra hoặc định hình đáng kể các quyết định có hệ quả về con người, hãy thiết kế trách nhiệm giải trình vào. Giữ con người trong vòng lặp một cách có ý nghĩa cho các quyết định hệ trọng, thay vì mù quáng nghe theo đầu ra tự động. Có khả năng giải thích, bằng từ ngữ người bị ảnh hưởng hiểu được, vì sao một quyết định được đưa ra. Cung cấp con đường thật để thách thức nó và tiếp cận một con người. Kiểm thử hệ thống về thiên kiến và tác động khác biệt qua các nhóm được bảo vệ và dễ tổn thương, trước và trong khi triển khai, và theo dõi trôi dạt theo thời gian. Trong khu vực công, hãy công bố hệ thống thuật toán hoạt động thế nào (mục đích, dữ liệu và logic ở mức phù hợp) qua các cơ chế như sổ đăng ký thuật toán, để công dân và cơ quan giám sát soi xét được. Lập tài liệu mục đích sử dụng dự kiến và giới hạn đã biết, để hệ thống không bị áp dụng nơi không nên.

Thiết kế cho sự công bằng, phẩm giá và kháng nghị

Hãy xem xét hệ thống của bạn về những cách chúng có thể đối xử với con người không công bằng hoặc thiếu phẩm giá. Soi xét dữ liệu huấn luyện và quy tắc để tìm thiên kiến nhúng sẵn. Hãy nhớ rằng một hệ thống tối ưu thuần túy cho hiệu quả có thể tàn nhẫn: một bộ lọc gian lận được chỉnh để tối thiểu hóa âm tính giả có thể đóng băng tài khoản của hàng nghìn người vô tội, mỗi người là một con người thật đang khổ sở. Thiết kế cho các trường hợp thất bại từ góc nhìn của người bị ảnh hưởng. Chuyện gì xảy ra khi hệ thống sai? Họ tiếp cận một con người, lời giải thích và biện pháp khắc phục dễ đến đâu? Xử lý dữ liệu cá nhân với sự tôn trọng và tiết chế: chỉ thu thập những gì cần, và trung thực về việc sử dụng. Coi lỗi, chậm trễ và từ chối không phải trường hợp biên mà là những khoảnh khắc phẩm giá bị đe dọa nhất.

Tính đến bền vững và trách nhiệm xã hội

Hãy nhận ra rằng phần mềm có chi phí vật lý và xã hội. Trung tâm dữ liệu, các lần huấn luyện và hệ thống kém hiệu quả tiêu thụ năng lượng thật. Hiệu quả là đức tính môi trường cũng như tài chính. Cân nhắc các hiệu ứng rộng hơn của cái bạn xây (lên lao động, lên diễn ngôn công cộng, lên các nhóm dễ tổn thương) và sẵn lòng từ chối hoặc định hình lại công việc mà tác hại vượt lợi ích. Với các tổ chức lớn có hệ thống định hình xã hội ở quy mô, trách nhiệm xã hội không phải từ thiện bên cạnh hoạt động kinh doanh. Nó là một phần của việc xây dựng có trách nhiệm, và ngày càng là vấn đề của quy định và kỳ vọng công chúng.

Đánh đổi: ưu và nhược điểm

Căng thẳng	Một bên	Bên kia
Tự động hóa so với phán đoán con người	Quy mô, nhất quán, tốc độ, chi phí thấp hơn	Trách nhiệm giải trình, sắc thái, lòng khoan dung, kháng nghị
Minh bạch so với bảo vệ	Soi xét công khai, lòng tin, giám sát	Rủi ro bị lách, bảo mật, riêng tư của dữ liệu
Đầu tư khả năng tiếp cận so với tốc độ	Phục vụ mọi người; tuân thủ pháp lý và đạo đức	Phân phối ban đầu chậm hơn; nhiều công sức thiết kế hơn
Hiệu quả so với công bằng	Kết quả tối ưu; chi phí thấp hơn	Rủi ro tàn nhẫn với cá nhân ở phần đuôi
Cá nhân hóa giàu dữ liệu so với riêng tư	Dịch vụ tốt hơn; trải nghiệm được điều chỉnh	Rủi ro giám sát; mối quan ngại về phẩm giá và sự đồng ý
Tốc độ đổi mới so với thận trọng	Giá trị nhanh hơn; lợi thế cạnh tranh	Tác hại chưa được xem xét được triển khai ở quy mô

Đánh đổi khó nhất là quy mô so với công lý cá nhân. Tự động hóa mang lại tính nhất quán và hiệu quả qua hàng triệu người. Nhưng các lỗi của nó cũng được phân phối ở quy mô, và một hệ thống tối ưu cho tổng thể có thể lặng lẽ tàn bạo với các cá nhân ở phần đuôi. Câu trả lời không phải từ bỏ tự động hóa. Mà là thiết kế cho trường hợp thất bại cá nhân: giữ con người trong vòng lặp nơi rủi ro cao, bảo đảm giải thích và kháng nghị, và đo tác động của hệ thống lên những người được phục vụ kém nhất, không chỉ mức trung bình. Minh bạch cũng mang một căng thẳng thật, vì sự cởi mở hoàn toàn có thể tạo điều kiện lách và làm lộ dữ liệu riêng tư. Nhưng trong dịch vụ công câu trả lời nghiêng mạnh về công bố theo mặc định, chỉ miễn trừ những gì thực sự phải bảo vệ, thay vì coi sự mờ đục là mặc định an toàn.

Câu hỏi để thảo luận với đội của bạn

Hệ thống nào của bạn đưa ra hoặc định hình đáng kể các quyết định có hệ quả về con người, và mỗi cái hôm nay có cung cấp giải thích, rà soát bởi con người và kháng nghị không? Phần mềm ngày càng là quyết định: ai được vay, hồ sơ nào được thấy, tài khoản có bị đóng băng không, một yêu cầu mất bao lâu. Với mọi hệ thống như vậy, người bị ảnh hưởng xứng đáng được một lời giải thích họ hiểu, một con đường thật để thách thức nó, và một con người có thể can thiệp, và ở quy mô doanh nghiệp hay chính phủ một lỗi thiết kế đơn lẻ được lặp lại qua hàng triệu người. Hãy mang bằng chứng: kiểm kê các quyết định tự động có hệ quả của bạn và, với mỗi cái, kiểm tra xem người bị đối xử sai có thực sự tiếp cận được một con người và nhận được lý do bằng ngôn ngữ đơn giản không. Nơi câu trả lời là không, đó là khiếm khuyết cần sửa, không phải tính năng thêm sau. Với dịch vụ mà người ta không thể từ chối, đặc biệt dịch vụ chính phủ, đây là nghĩa vụ chứ không phải điều tốt đẹp.
Bạn có coi khả năng tiếp cận là yêu cầu chặn phát hành được kiểm thử với người dùng khuyết tật thật không, và hiện giờ bạn đang bỏ rơi ai? Khả năng tiếp cận và công bằng là nghĩa vụ, và loại trừ con người là khiếm khuyết, thường là thất bại pháp lý và đạo đức, vậy mà trang bị khả năng tiếp cận về sau luôn chậm hơn, tốn kém hơn và tệ hơn thiết kế nó từ màn hình đầu tiên. Hãy tuân theo WCAG, và đi quá kiểm tra tự động để kiểm thử với công nghệ hỗ trợ và người dùng thật có khuyết tật, cộng người dùng băng thông thấp, thiết bị cũ, ngôn ngữ thiểu số và hiểu biết kỹ thuật số hạn chế. Hãy mang bằng chứng: chạy luồng quan trọng nhất của bạn với trình đọc màn hình và trên kết nối bị bóp, và xem nó hỏng ở đâu. Câu trả lời nên quyết định khả năng tiếp cận là cổng chặn phát hành hay mục tồn đọng không bao giờ được nâng lên, và với dịch vụ mà người ta không thể từ chối, chỉ cổng là bảo vệ được. Chỉ thiết kế cho người dùng tự tin, có kết nối, điển hình là thất bại trong phục vụ.
Quy trình thường trực của bạn để kiểm thử hệ thống có hệ quả về thiên kiến và tác động khác biệt, trước và trong khi triển khai, là gì? Hệ thống thừa hưởng và khuếch đại thiên kiến trong dữ liệu và thiết kế của chúng trừ khi bạn cố ý kiểm tra, và giả định công bằng vì không ai có ý bất công là thiên kiến do lơ là. Một bộ lọc gian lận được chỉnh thuần túy để tối thiểu hóa âm tính giả có thể đóng băng hàng nghìn tài khoản vô tội, mỗi cái là một con người thật đang khổ sở, nên hiệu quả tối ưu mà không quan tâm đến công bằng có thể lặng lẽ tàn nhẫn. Hãy mang bằng chứng: với mỗi mô hình ảnh hưởng đến con người, cho thấy kiểm thử tác động khác biệt qua các nhóm được bảo vệ và dễ tổn thương, dữ liệu được lập tài liệu và giới hạn đã biết, và việc theo dõi trôi dạt kiểm thử lại khi dân số thay đổi. Câu trả lời nên làm kiểm thử thiên kiến thành thường lệ và liên tục thay vì ô đánh dấu một lần trước ra mắt, và nên đổi mục tiêu tối ưu của bạn để cân nhắc tác hại với cá nhân, không chỉ độ chính xác tổng thể. Thiết kế cho trường hợp thất bại từ góc nhìn của người bị ảnh hưởng.
Khi một kỹ sư tin bạn không nên xây thứ gì đó, hoặc không nên xây theo cách này, điều gì thực sự xảy ra với sự phản đối đó? Đạo đức chỉ thành thật khi “chúng ta không nên phát hành cái này” là câu ai đó nói ra mà không kết thúc sự nghiệp, và ở quy mô lớn người gần tác hại nhất thường là người trẻ nhất trong phòng. Áp lực đối lập là phân phối: một phản đối được nêu làm chậm lộ trình, và lãnh đạo dưới hạn chót có thể coi nó là cản trở thay vì tín hiệu có giá trị. Hãy mang bằng chứng: nêu tên kênh chính xác một kỹ sư sẽ dùng, đếm bao nhiêu mối quan ngại được nêu trong năm qua, và truy xem điều gì đã đổi do đó, vì một kênh chưa bao giờ dừng hay định hình lại công việc là kênh trang trí. Với tổ chức doanh nghiệp hay chính phủ, hãy gắn kênh với chủ sở hữu có tên và rà soát có tài liệu, vì một phản đối không ai có nghĩa vụ nghe là phản đối không ai dám nêu, và tác hại sau đó lộ ra đầu tiên như một vụ bê bối công khai.
Bạn có biết chi phí môi trường và xã hội của những gì bạn chạy không, và bạn có định hình lại hay từ chối công việc mà tác hại vượt lợi ích không? Phần mềm có chi phí vật lý và xã hội: trung tâm dữ liệu, các lần huấn luyện và hệ thống kém hiệu quả tiêu thụ năng lượng thật, và các hiệu ứng bậc hai lên lao động, diễn ngôn công cộng và các nhóm dễ tổn thương là một phần chi phí thật của hệ thống. Căng thẳng là đo và cắt các chi phí này cạnh tranh với vận tốc tính năng, và từ chối công việc có hại bỏ lỡ doanh thu mà ai đó chịu trách nhiệm. Hãy mang bằng chứng: dấu chân năng lượng hay tính toán của các hệ thống lớn nhất, một cái nhìn thẳng thắn về ai gánh các hiệu ứng hạ nguồn, và ít nhất một trường hợp cụ thể bạn định hình lại hoặc từ chối công việc vì lý do này. Ở quy mô doanh nghiệp hay chính phủ, nơi hệ thống của bạn định hình xã hội, hãy coi đây là một phần của xây dựng có trách nhiệm và ngày càng là vấn đề quy định và kỳ vọng công chúng, không phải từ thiện gắn bên cạnh hoạt động kinh doanh.
Người ngoài thực sự học được bao nhiêu về cách các hệ thống có hệ quả của bạn quyết định, và công bố là mặc định hay ngoại lệ của bạn? Minh bạch là nơi lòng tin công chúng được giành hay mất, vì người dân có quyền hiểu các quyết định về họ được đưa ra thế nào, và trong khu vực công quyền đó thường là luật. Áp lực đối lập thật sự là sự cởi mở hoàn toàn có thể tạo điều kiện lách và làm lộ dữ liệu riêng tư, nên câu hỏi thật là vạch ranh ở đâu hơn là có công bố hay không. Hãy mang bằng chứng: với mỗi hệ thống có hệ quả, cho thấy bạn công bố gì (mục đích, dữ liệu và logic ở mức phù hợp), giữ lại gì và lý do cụ thể, và liệu mô tả bằng ngôn ngữ đơn giản có nằm cạnh mô tả kỹ thuật nào không. Với cơ quan chính phủ, hãy cân nhắc một cơ chế như sổ đăng ký thuật toán so với các miễn trừ hẹp, bảo vệ được, và kiểm tra các công bố của bạn thực sự giải thích thay vì thông tin về mặt kỹ thuật trong khi không nói gì với người bị ảnh hưởng.

Góc nhìn theo lĩnh vực

Công ty khởi nghiệp. Với một nhúm người và ít đường băng, bạn không thể bố trí hội đồng đạo đức, nên hãy nướng những thói quen rẻ, đòn bẩy cao vào chính sản phẩm: lý do bằng ngôn ngữ đơn giản trên mỗi lần từ chối tự động, đường một cú nhấp để tiếp cận một con người, và biểu mẫu tiếp cận được từ màn hình đầu tiên vì trang bị về sau chậm hơn và tệ hơn. Chọn một nơi phần mềm của bạn đưa ra quyết định có hệ quả về một người và làm đúng giải thích và kháng nghị ngay đó trước khi bạn mở rộng tác hại. Coi công bằng và phẩm giá là yêu cầu ra mắt, không phải đánh bóng sau, tốn ít bây giờ và tránh một danh tiếng bạn không thể mất sớm.

Doanh nghiệp nhỏ. Bạn có lẽ không có chuyên gia tiếp cận hay công bằng và ngân sách eo hẹp, nên hãy dựa vào đạo đức được xây trong công cụ bạn mua: chọn nhà cung cấp đáp ứng WCAG, lập tài liệu cách tính năng tự động của họ quyết định, và cho phép bạn giữ con người trong vòng lặp. Đóng khung bổn phận của chính bạn là vấn đề vệ sinh dữ liệu và phẩm giá, biết bạn giữ dữ liệu cá nhân nào, chỉ thu thập những gì cần, và bảo đảm một câu trả lời tự động sai không bỏ rơi khách hàng không có cách liên hệ bạn. Hãy yêu cầu nhà cung cấp cho thấy tư thế về khả năng tiếp cận và thiên kiến của họ trước khi bạn ký, thay vì phát hiện khoảng trống sau một khiếu nại.

Doanh nghiệp lớn. Ở quy mô, vấn đề là quản trị qua nhiều đội: một tiêu chuẩn chung về cái gì tính là quyết định có hệ quả, cổng kiểm thử tiếp cận và thiên kiến nhất quán, và dấu vết kiểm toán chứng minh giải thích, rà soát bởi con người và kháng nghị tồn tại nơi cần. Hãy lập một rà soát đạo đức chặn phát hành thay vì một khóa đào tạo không đổi gì, lập ngân sách tường minh cho công việc tiếp cận và tác động khác biệt, và giám sát mô hình đã triển khai về trôi dạt để công bằng là liên tục thay vì ô đánh dấu một lần. Coi một lỗi thiết kế đơn lẻ là được lặp lại qua hàng triệu người, vì ở tầm với của bạn đúng là vậy.

Chính phủ. Quy tắc mua sắm, nghĩa vụ minh bạch và trách nhiệm giải trình công định hình mọi lựa chọn, và công dân không thể từ chối dịch vụ của bạn bằng cách đến đối thủ cạnh tranh. Hãy công bố các hệ thống có hệ quả hoạt động thế nào qua một cơ chế như sổ đăng ký thuật toán, yêu cầu nhà cung cấp bằng hợp đồng tiết lộ thực hành dữ liệu và giới hạn đã biết, và xây mọi dịch vụ công đạt tiêu chuẩn tiếp cận, được kiểm thử với người dùng khuyết tật, kết nối băng thông thấp và người nói ngôn ngữ thiểu số. Bảo đảm quyền được rà soát bởi con người và lời giải thích bằng ngôn ngữ đơn giản trên mọi quyết định tự động có hệ quả, và giữ các phán quyết cuối cùng phải thuộc về một viên chức chịu trách nhiệm hoàn toàn ngoài tự động hóa.

Ví dụ

Công ty khởi nghiệp. Một công ty khởi nghiệp fintech ba người xây tính năng cho vay tự động quyết định rằng công bằng và phẩm giá là yêu cầu, không phải đánh bóng sau. Trước khi ra mắt họ kiểm thử mô hình về tác động khác biệt qua các nhóm họ đo được, viết xuống dữ liệu nó dùng và nơi không nên tin nó, và bảo đảm mỗi người nộp đơn bị từ chối nhận lý do bằng ngôn ngữ đơn giản và đường một cú nhấp để tiếp cận một người sáng lập là con người. Họ xây luồng đăng ký đạt tiêu chuẩn tiếp cận từ màn hình đầu tiên, vì trang bị về sau sẽ chậm hơn và tệ hơn, và họ thêm kênh ghi đè nhanh để một tài khoản bị đóng băng sai được mở trong vài phút thay vì bỏ rơi một con người thật.

Doanh nghiệp lớn. Một ngân hàng triển khai quyết định tín dụng tự động coi công bằng là yêu cầu kỹ thuật. Trước khi ra mắt, nó kiểm thử mô hình về tác động khác biệt qua các nhóm được bảo vệ, lập tài liệu dữ liệu và giới hạn của nó, và xây một tiện ích giải thích, để mỗi người nộp đơn bị từ chối nhận lý do dễ hiểu và con đường rõ ràng đến rà soát bởi con người. Một quy trình giám sát theo dõi trôi dạt và kiểm thử lại thiên kiến khi dân số thay đổi. Khi hệ thống phát hiện gian lận bắt đầu đóng băng số lớn tài khoản hợp pháp, ngân hàng thêm kênh rà soát nhanh bởi con người và đổi mục tiêu tối ưu để cân nhắc tác hại với khách hàng. Nó coi nỗi khổ của khách hàng bị gắn cờ sai là chi phí thật, không phải con số thống kê chấp nhận được.

Chính phủ. Một chính quyền thành phố công bố sổ đăng ký thuật toán. Nó liệt kê các hệ thống tự động thành phố dùng trong dịch vụ công, và mô tả mục đích của từng hệ thống, dữ liệu nó dựa vào, và cách các quyết định có thể bị phản đối. Dịch vụ số của thành phố được xây đạt tiêu chuẩn tiếp cận và kiểm thử với người dùng khuyết tật, kết nối băng thông thấp và người nói ngôn ngữ thiểu số, theo nguyên tắc một dịch vụ mà người ta không thể từ chối phải hoạt động cho mọi người. Mỗi quyết định tự động có hệ quả mang quyền được rà soát bởi con người và lời giải thích bằng ngôn ngữ đơn giản, để công dân giữ cả phẩm giá lẫn kháng nghị khi phần mềm của nhà nước quyết định điều gì đó về cuộc sống của họ.

Luận chứng kinh doanh: động lực, ROI và TCO

Luận chứng kinh doanh cho đạo đức và trách nhiệm giải trình dựa trên lòng tin, rủi ro và tầm với. Lòng tin là tài sản bền vững. Các tổ chức có hệ thống đối xử với con người công bằng và minh bạch giành được sự tin cậy khiến mọi người sẵn lòng dùng chúng, và các thể chế công đặc biệt phụ thuộc vào tính chính danh mà một hệ thống bất công nổi tiếng đơn lẻ có thể đập vỡ. Rủi ro là động lực ngắn hạn. Hệ thống thiên kiến, không tiếp cận được hay khó hiểu ngày càng mang hình phạt quản lý, kiện tụng và thiệt hại danh tiếng có thể lấn át chi phí xây dựng có trách nhiệm. Tầm với khuếch đại cả hai. Ở quy mô doanh nghiệp hay chính phủ, một thất bại đạo đức đơn lẻ được lặp lại qua hàng triệu người và trở thành tiêu đề báo.

Chi phí áp dụng là thật. Công việc tiếp cận, kiểm thử thiên kiến, cơ chế giải thích và kháng nghị, rà soát có con người trong vòng lặp, và thời gian thiết kế để cân nhắc hệ quả đều thêm công sức, đặc biệt lúc đầu. Chi phí của việc không áp dụng lớn hơn và ngày càng không tùy chọn: trách nhiệm pháp lý phân biệt đối xử, loại trừ phần lớn dân số bạn có nghĩa vụ phục vụ, chi phí trang bị khả năng tiếp cận và trách nhiệm giải trình sau ra mắt, và sự xói mòn lòng tin mà, một khi mất, đắt và chậm để xây lại. Khi lập luận với ban lãnh đạo, hãy đóng khung đạo đức là quản lý rủi ro và xây dựng lòng tin, không phải vị tha. Lưu ý môi trường quy định ngày càng siết quanh trách nhiệm giải trình thuật toán và khả năng tiếp cận. Nhấn mạnh tổng chi phí sở hữu: xây dựng có trách nhiệm từ đầu rẻ hơn nhiều so với khắc phục một hệ thống đã gây hại cho con người ở quy mô. Với các thể chế công, hãy thêm lập luận đơn giản nhất: phục vụ công dân công bằng là sứ mệnh, không phải ràng buộc lên nó.

Phản mẫu và cạm bẫy

Đạo đức như ô đánh dấu. Một rà soát hay khóa đào tạo một lần không đổi gì về cách hệ thống thực sự được xây.
Trang bị khả năng tiếp cận về sau. Coi khả năng tiếp cận là phần thêm muộn, cho kết quả tệ hơn và tốn kém hơn thiết kế nó vào.
Thuật toán không chịu trách nhiệm. Quyết định tự động có hệ quả không giải thích, không rà soát bởi con người và không có đường thách thức.
Tối ưu đến tàn nhẫn. Chỉnh thuần túy cho hiệu quả tổng thể cho đến khi hệ thống lặng lẽ tàn bạo với những người ở phần đuôi.
Thiên kiến do lơ là. Giả định một hệ thống công bằng vì không ai có ý bất công, mà không bao giờ kiểm thử.
“Máy tính nói không.” Nhân viên tuyến đầu và người dùng không có khả năng ghi đè hay chất vấn một quyết định tự động họ thấy là sai.
Thiết kế cho người dùng tự tin. Xây cho người dùng điển hình, có kết nối, biết chữ và loại trừ mọi người khác, không bào chữa được với dịch vụ người ta không thể từ chối.
Sân khấu minh bạch. Công bố những tiết lộ khó xuyên thủng về mặt kỹ thuật có thông tin nhưng thực sự không giải thích gì.

Mô hình trưởng thành

Mức 1: Khởi đầu. Đạo đức không được giải quyết hoặc thuần phản ứng sau bê bối. Khả năng tiếp cận bị bỏ qua hoặc tối thiểu. Quyết định tự động khó hiểu, không giải thích và không kháng nghị. Thiên kiến không bao giờ được kiểm thử, và bền vững cùng tác động xã hội không được xem xét.

Mức 2: Phát triển. Bộ quy tắc ứng xử tồn tại và một số tiêu chuẩn tiếp cận được tuân theo, thường muộn. Các quyết định tự động nổi bật có một số giám sát bởi con người, nhưng phần lớn thì không. Thiên kiến được kiểm tra thỉnh thoảng, mối quan ngại có thể được nêu qua quy trình yếu, và thực hành khác nhau rất nhiều giữa các đội.

Mức 3: Chuẩn hóa. Rà soát đạo đức là một phần có tài liệu của quy trình phát triển và được thực thi toàn tổ chức. Khả năng tiếp cận được thiết kế vào và kiểm thử với người dùng thật. Quyết định tự động có hệ quả mang giải thích, rà soát bởi con người và kháng nghị theo mặc định. Kiểm thử thiên kiến và giám sát trôi dạt là thường lệ, hệ thống khu vực công công bố cách chúng hoạt động, và bền vững được đo theo tiêu chuẩn chung.

Mức 4: Quản lý. Tổ chức đo và kiểm soát tư thế đạo đức bằng dữ liệu theo đường cơ sở: điểm tuân thủ tiếp cận, chỉ số tác động khác biệt được theo dõi qua các nhóm được bảo vệ theo thời gian, tỷ lệ kháng nghị và thời gian-đến-con-người cho quyết định bị phản đối, tỷ lệ hệ thống có hệ quả mang tài liệu đã công bố, và dấu chân năng lượng hay tính toán của hệ thống lớn. Chỉ số chặn phát hành, vi phạm ngưỡng kích hoạt điều tra, và lãnh đạo xem xét các con số theo nhịp cố định thay vì giả định thực hành đang được tuân theo.

Mức 5: Điều phối. Trách nhiệm được nhúng trong cách tổ chức xây dựng và thích ứng. Khả năng tiếp cận và công bằng là mặc định không thể thương lượng được xác minh cho toàn bộ dân số được phục vụ, trách nhiệm giải trình thuật toán (minh bạch, kiểm thử công bằng, kháng nghị, giám sát bởi con người) là tiêu chuẩn và được giám sát liên tục, và mối quan ngại đạo đức là tín hiệu có giá trị định hình lại hoặc dừng công việc. Tổ chức coi lòng tin, công bằng và phẩm giá là cốt lõi của sứ mệnh, tích hợp đạo đức với quyết định sản phẩm, rủi ro và mua sắm, và thu hẹp phạm vi hoặc loại bỏ hệ thống khi kỳ vọng và bằng chứng tiến hóa.

Ý tưởng để thảo luận

Lằn ranh giữa các quyết định có thể hoàn toàn tự động và những quyết định phải giữ con người trong vòng lặp một cách có ý nghĩa nằm ở đâu?
Bao nhiêu minh bạch thuật toán là đủ, và làm sao bạn công bố có ý nghĩa mà không tạo điều kiện lách hay vi phạm riêng tư?
Ai chịu trách nhiệm khi một hệ thống tự động gây hại cho ai đó: kỹ sư, quản lý, tổ chức hay nhà cung cấp?
Làm sao bạn khiến việc nêu phản đối đạo đức thực sự an toàn thay vì hạn chế sự nghiệp?
Một tổ chức có nghĩa vụ gì với người dùng mà nó không thiết kế cho, và công bằng phải mở rộng đến đâu?
Chi phí môi trường của tính toán nên được tính vào quyết định kiến trúc và sản phẩm thế nào?

Những điểm cần ghi nhớ

Khi phần mềm đưa ra quyết định có hệ quả về con người, người tạo ra nó chịu trách nhiệm về những gì nó làm, không chỉ về việc nó có đạt đặc tả không.
Khả năng tiếp cận và công bằng là nghĩa vụ và là khiếm khuyết khi vắng mặt, không phải điểm cải thiện tùy chọn, đặc biệt với dịch vụ mà người ta không thể từ chối.
Quyết định tự động có hệ quả đòi giải thích, rà soát bởi con người, kháng nghị và kiểm thử thiên kiến liên tục; hãy thiết kế trách nhiệm giải trình vào thay vì tuyên bố sau.
Hiệu quả tối ưu mà không quan tâm đến công bằng có thể lặng lẽ tàn nhẫn; hãy thiết kế cho trường hợp thất bại cá nhân, không chỉ tổng thể.
Trong khu vực công, minh bạch về cách hệ thống thuật toán hoạt động nên là mặc định, với bí mật là ngoại lệ hẹp.
Luận chứng kinh doanh là lòng tin và rủi ro: xây dựng có trách nhiệm từ đầu rẻ hơn nhiều so với khắc phục tác hại ở quy mô, và với các thể chế công, công bằng là sứ mệnh.

Tài liệu tham khảo và đọc thêm

ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
ACM, Code of Ethics and Professional Conduct
Cathy O’Neil, Weapons of Maths Destruction
Virginia Eubanks, Automating Inequality
Safiya Umoja Noble, Algorithms of Oppression
Ruha Benjamin, Race After Technology
Batya Friedman và David G. Hendry, Value Sensitive Design
World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
NIST, AI Risk Management Framework
OECD, Principles on Artificial Intelligence
European Union, General Data Protection Regulation (GDPR) và AI Act
UK Government, Data Ethics Framework và Algorithmic Transparency Recording Standard