10.5 Maadili, uwajibikaji, na maslahi ya umma

Muhtasari na msukumo

Programu si zana isiyoegemea upande tena inayokaa nyuma ya maamuzi ya binadamu. Zaidi na zaidi ndiyo uamuzi wenyewe. Inaamua nani anapata mkopo, wasifu upi mwajiri anauona, dai la mafao linachukua muda gani, kama tahadhari ya ulaghai inafunga akaunti, na taarifa gani zinafikia mamilioni ya watu. Programu inapofanya au kuumba maamuzi yanayoathiri haki, fedha, usalama, na utu wa watu, wahandisi na mashirika yanayoijenga hubeba wajibu zaidi ya usahihi na utendaji. Sura hii inahusu wajibu huo: maadili ya kitaaluma, uwajibikaji kwa kile mifumo inachofanya, ufikivu na usawa kama wajibu badala ya vipengele, uwazi wa algoriti, uendelevu, na wajibu wa kuwahudumia watu kwa haki na utu.

Kwa mashirika makubwa, ukubwa na nguvu huinua dau. Mfumo wa biashara kubwa au serikali haumwathiri mtu mmoja. Unaathiri mamilioni. Uchaguzi mmoja wa usanifu (seti ya mafunzo yenye upendeleo, fomu isiyofikika, kukataa kwa kiotomatiki kusikoeleweka) unajirudia kwa kila mmoja wao. Serikali hubeba wajibu ulioongezeka, kwa sababu mifumo yao si ya hiari. Raia hawezi kuchagua mshindani kwa mamlaka yake ya kodi au wakala wake wa mafao. Ukiritimba wa serikali kwa huduma fulani unamaanisha mfumo uliojengwa vibaya unaweza kuwanyima watu haki ambazo hawana njia nyingine ya kuzitumia. Pamoja na ufikiaji huo huja wajibu unaolingana wa kuwa na haki, uwazi, na uwajibikaji.

Maadili katika programu mara nyingi huchukuliwa kama mada laini iliyobandikwa mwishoni, au kukabidhiwa kwa orodha ya ukaguzi ya uzingatiaji wa kisheria. Sura hii inahoji kinyume. Mazingatio ya kimaadili ni mahitaji ya kihandisi. Uwajibikaji lazima ujengwe ndani, si kudaiwa baadaye. Na kuwahudumia watu kwa utu ni wajibu wa kimaadili na, kwa muda, msingi wa uaminifu ambao mashirika makubwa yanautegemea.

Kanuni kuu

Programu hufanya maamuzi, kwa hiyo waundaji wake hubeba wajibu. Mnawajibika kwa kile mfumo wenu unachowafanyia watu, si tu kama unatimiza vipimo.
Ufikivu na usawa ni wajibu, si maboresho. Kuwatenga watu ni kasoro, na mara nyingi kushindwa kisheria na kimaadili.
Maamuzi ya kiotomatiki yenye matokeo yanahitaji uwajibikaji. Watu walioathiriwa na uamuzi wa kiotomatiki wanastahili maelezo, njia ya kupinga, na mapitio ya binadamu.
Uwazi ni chaguo-msingi, usiri ni ubaguzi. Hasa katika sekta ya umma, watu wana haki ya kuelewa jinsi maamuzi kuhusu wao yanavyofanywa.
Haki lazima ichunguzwe, isidhaniwe. Mifumo hurithi na kukuza upendeleo uliopo kwenye data na usanifu wao isipokuwa mnakagua kwa makusudi.
Utu ni sharti la usanifu. Chukulia kila mtumiaji, wakiwemo walio hatarini na wasio wa kawaida, kama mtu anayestahili heshima.
Uendelevu na athari za kijamii zinahesabika. Nishati, rasilimali, na athari za kijamii za programu ni sehemu ya gharama yake halisi.

Mapendekezo

Pokea na uishi maadili ya kitaaluma

Weka shirika kwenye kanuni ya maadili ya kitaaluma inayotambulika, na uifanye halisi badala ya pambo. Wahandisi wanapaswa kuelewa kwamba wana wajibu kwa umma, si kwa mwajiri wao tu. “Nilifuata tu vipimo” si utetezi mfumo unapowadhuru watu. Unda njia halisi za kutoa wasiwasi wa kimaadili: njia ya kusema “hatupaswi kujenga hiki, au kukijenga kwa njia hii” isiyohitaji ujasiri wa kumaliza kazi. Zipe timu msamiati na hadhi ya kupima matokeo. Iunge mkono na uongozi unaochukulia pingamizi za kimaadili kama ishara ya thamani, si kizuizi. Mafunzo ya maadili yanasaidia tu ikiwa shirika linatenda kwa dhahiri juu ya inachofundisha.

Chukulia ufikivu na usawa kama wajibu

Jenga kwa wigo mzima wa uwezo wa binadamu na hali tangu mwanzo. Kusasisha ufikivu baadaye ni ghali zaidi sana na kwa kawaida mbaya zaidi. Fuata viwango vilivyoimarika vya ufikivu (kama WCAG, Miongozo ya Ufikivu wa Maudhui ya Wavuti), na katika mamlaka nyingi timiza mahitaji ya kisheria yanayoviagiza kwa huduma za umma. Jaribu na teknolojia saidizi na, zaidi ya yote, na watumiaji halisi wenye ulemavu. Panua usawa zaidi ya ulemavu hadi idadi kamili ya watu mnaowahudumia: watu wenye kipimo data kidogo, vifaa vya zamani, ujuzi wa kidijitali mdogo, lugha za wachache, na hali ngumu za maisha. Kwa huduma ambazo watu hawawezi kuchagua kutozitumia (hasa huduma za serikali), kubuni tu kwa mtumiaji mwenye kujiamini, aliyeunganishwa, wa kawaida ni kushindwa kuhudumia, si chaguo-msingi la busara.

Jenga uwajibikaji wa algoriti na uwazi wa umma

Kwa mfumo wowote unaofanya au kuumba kwa kiasi kikubwa maamuzi yenye matokeo kuhusu watu, jenga uwajibikaji ndani. Weka binadamu kwenye mzunguko kwa maana kwa maamuzi ya dau kubwa, badala ya kutii kwa upofu matokeo ya kiotomatiki. Muweze kueleza, kwa maneno ambayo mtu aliyeathirika anaweza kuelewa, kwa nini uamuzi ulifanywa. Toa njia halisi ya kuupinga na kufikia binadamu. Jaribu mifumo kwa upendeleo na athari tofauti kuvuka makundi yaliyolindwa na yaliyo hatarini, kabla na wakati wa usambazaji, na ufuatilie kuteleza kwa muda. Katika sekta ya umma, chapisha jinsi mifumo ya algoriti inavyofanya kazi (madhumuni yake, data, na mantiki kwa kiwango kinachofaa) kupitia mifumo kama rejista za algoriti, ili raia na vyombo vya usimamizi viweze kuzichunguza. Andika matumizi yaliyokusudiwa na mapungufu yanayojulikana, ili mifumo isitumike mahali isipopaswa.

Buni kwa haki, utu, na njia ya kurekebisha

Chunguza mifumo yenu kwa njia ambazo inaweza kuwatendea watu isivyo haki au bila utu. Kagua data ya mafunzo na kanuni kwa upendeleo uliopachikwa. Kumbuka kwamba mfumo ulioboreshwa kwa ufanisi tu unaweza kuwa katili: kichujio cha ulaghai kilichorekebishwa kupunguza hasi za uongo kinaweza kufunga akaunti za maelfu ya watu wasio na hatia, kila mmoja mtu halisi katika dhiki. Buni kwa kesi za kushindwa kutoka mtazamo wa mtu aliyeathirika. Nini kinatokea mfumo ukikosea? Anaweza kupata binadamu, maelezo, na suluhisho kwa urahisi kiasi gani? Shughulikia data ya kibinafsi kwa heshima na kujizuia: kusanya tu kinachohitajika, na kuwa mwaminifu kuhusu matumizi yake. Chukulia kosa, ucheleweshaji, na kukataliwa si kama kesi za pembeni bali kama nyakati ambazo utu uko hatarini zaidi.

Zingatia uendelevu na wajibu wa kijamii

Tambua kwamba programu ina gharama za kimwili na za kijamii. Vituo vya data, uendeshaji wa mafunzo, na mifumo isiyo na ufanisi hutumia nishati halisi. Ufanisi ni fadhila ya kimazingira pamoja na ya kifedha. Zingatia athari pana za mnachojenga (kwa kazi, kwa mjadala wa umma, kwa makundi yaliyo hatarini) na uwe tayari kukataa au kubadilisha umbo la kazi ambayo madhara yake yanazidi faida. Kwa mashirika makubwa ambayo mifumo yao inaumba jamii kwa ukubwa, wajibu wa kijamii si ukarimu kando ya biashara. Ni sehemu ya kujenga kwa uwajibikaji, na zaidi na zaidi suala la udhibiti na matarajio ya umma.

Mabadilishano: faida na hasara

Mvutano	Upande mmoja	Upande mwingine
Uotomatishaji dhidi ya hukumu ya binadamu	Ukubwa, uthabiti, kasi, gharama ndogo	Uwajibikaji, umakini wa kina, huruma, njia ya kurekebisha
Uwazi dhidi ya ulinzi	Uchunguzi wa umma, uaminifu, usimamizi	Hatari ya kuchezewa, usalama, faragha ya data
Uwekezaji wa ufikivu dhidi ya kasi	Hutumikia kila mtu; uzingatiaji wa kisheria na wa kimaadili	Utoaji wa awali wa polepole; juhudi zaidi ya usanifu
Ufanisi dhidi ya haki	Matokeo yaliyoboreshwa; gharama ndogo	Hatari ya ukatili kwa watu mmoja mmoja pembezoni
Ubinafsishaji tajiri kwa data dhidi ya faragha	Huduma bora; uzoefu uliorekebishwa	Hatari ya ufuatiliaji; wasiwasi wa utu na ridhaa
Kasi ya ubunifu dhidi ya tahadhari	Thamani ya haraka; ukingo wa ushindani	Madhara yasiyochunguzwa yanayosambazwa kwa ukubwa

Mabadilishano magumu zaidi ni ukubwa dhidi ya haki ya mtu mmoja. Uotomatishaji hutoa uthabiti na ufanisi kuvuka mamilioni. Lakini makosa yake pia yanatolewa kwa ukubwa, na mfumo ulioboreshwa kwa jumla unaweza kuwa katili kimyakimya kwa watu pembezoni mwake. Jibu si kuacha uotomatishaji. Ni kubuni kwa kesi ya kushindwa ya mtu mmoja: weka binadamu kwenye mzunguko pale dau ni kubwa, hakikisha maelezo na njia ya kurekebisha, na upime athari ya mfumo kwa wale waliohudumiwa vibaya zaidi, si wastani tu. Uwazi pia hubeba mvutano halisi, kwa sababu uwazi kamili unaweza kuwezesha kuchezea na kufichua data ya kibinafsi. Lakini katika huduma za umma jibu linaelekea kwa nguvu kwenye kufichua kwa chaguo-msingi, kusamehe tu kinachopaswa kulindwa kweli, badala ya kuchukulia kutoeleweka kama chaguo-msingi salama.

Maswali ya kujadili na timu yako

Mifumo yenu ipi inafanya au kuumba kwa kiasi kikubwa maamuzi yenye matokeo kuhusu watu, na je, kila mmoja unatoa maelezo, mapitio ya binadamu, na njia ya kurekebisha leo? Programu zaidi na zaidi ndiyo uamuzi: nani anapata mkopo, wasifu upi unaonekana, kama akaunti inafungwa, dai linachukua muda gani. Kwa kila mfumo kama huo, mtu aliyeathirika anastahili maelezo anayoweza kuelewa, njia halisi ya kuupinga, na binadamu anayeweza kuingilia, na katika ukubwa wa biashara kubwa au serikali kasoro moja ya usanifu inajirudia kuvuka mamilioni. Leta ushahidi: orodhesha maamuzi yenu ya kiotomatiki yenye matokeo na, kwa kila moja, angalia kama mtu aliyetendewa vibaya anaweza kufikia binadamu kweli na kupata sababu kwa lugha rahisi. Jibu likiwa hapana, hiyo ni kasoro ya kurekebisha, si kipengele cha kuongeza baadaye. Kwa huduma ambazo watu hawawezi kuchagua kutozitumia, hasa huduma za serikali, huu ni wajibu badala ya wema.
Mnachukulia ufikivu kama sharti la kuzuia uzinduzi linalojaribiwa na watumiaji halisi wenye ulemavu, na mnawashindwa nani sasa? Ufikivu na usawa ni wajibu, na kuwatenga watu ni kasoro, mara nyingi kushindwa kisheria na kimaadili, hata hivyo kusasisha ufikivu baadaye kila mara ni polepole, ghali zaidi, na mbaya zaidi kuliko kuubuni tangu skrini ya kwanza. Fuata WCAG, na uende zaidi ya ukaguzi wa kiotomatiki kujaribu na teknolojia saidizi na watumiaji halisi wenye ulemavu, pamoja na watu wenye kipimo data kidogo, vifaa vya zamani, lugha za wachache, na ujuzi mdogo wa kidijitali. Leta ushahidi: endesha mtiririko wenu muhimu zaidi na kisoma skrini na kwenye muunganisho uliobanwa, na uone mahali unapovunjika. Jibu linapaswa kuamua kama ufikivu ni lango linalozuia toleo au kipengee cha mrundikano ambacho hakipandi kamwe, na kwa huduma ambazo watu hawawezi kuchagua kutozitumia, ni lango tu linaloweza kutetewa. Kubuni tu kwa mtumiaji mwenye kujiamini, aliyeunganishwa, wa kawaida ni kushindwa kuhudumia.
Mchakato wenu wa kudumu wa kujaribu mifumo yenye matokeo kwa upendeleo na athari tofauti, kabla na wakati wa usambazaji, ni upi? Mifumo hurithi na kukuza upendeleo uliopo kwenye data na usanifu wao isipokuwa mnakagua kwa makusudi, na kudhania haki kwa sababu hakuna aliyekusudia kutokuwa na haki ni upendeleo kwa kupuuza. Kichujio cha ulaghai kilichorekebishwa tu kupunguza hasi za uongo kinaweza kufunga akaunti za maelfu ya watu wasio na hatia, kila mmoja mtu halisi katika dhiki, kwa hiyo ufanisi ulioboreshwa bila kujali haki unaweza kuwa katili kimyakimya. Leta ushahidi: kwa kila kielelezo kinachowaathiri watu, onyesha jaribio la athari tofauti kuvuka makundi yaliyolindwa na yaliyo hatarini, data iliyoandikwa na mapungufu yanayojulikana, na ufuatiliaji wa kuteleza unaojaribu tena idadi ya watu inapobadilika. Jibu linapaswa kufanya upimaji wa upendeleo uwe wa kawaida na endelevu badala ya kisanduku cha ukaguzi cha kabla ya uzinduzi cha mara moja, na linapaswa kubadilisha lengo lenu la uboreshaji kupima madhara kwa watu mmoja mmoja, si usahihi wa jumla tu. Buni kwa kesi ya kushindwa kutoka mtazamo wa mtu aliyeathirika.
Mhandisi anapoamini hampaswi kujenga kitu, au kukijenga kwa njia hii, nini kinatokea kwa pingamizi hilo kweli? Maadili huwa halisi tu pale “hatupaswi kusafirisha hiki” ni sentensi ambayo mtu anaweza kuisema bila kumaliza kazi yake, na kwa ukubwa mtu aliye karibu zaidi na madhara mara nyingi ndiye mdogo kuliko wote chumbani. Shinikizo linaloshindana ni utoaji: pingamizi lililotolewa hupunguza kasi ya ramani ya njia, na viongozi walio chini ya tarehe ya mwisho wanaweza kulichukulia kama kizuizi badala ya ishara ya thamani. Leta ushahidi: taja njia hasa ambayo mhandisi angetumia, hesabu wasiwasi ngapi ulitolewa mwaka uliopita, na ufuatilie nini kilibadilika kwa sababu yake, kwa sababu njia ambayo haijawahi kusimamisha wala kubadilisha umbo la kazi ni pambo. Kwa shirika kubwa au la serikali, funga njia na mmiliki aliyetajwa na mapitio yaliyoandikwa, kwa kuwa pingamizi ambalo hakuna anayelazimika kulisikia ni lile ambalo hakuna atakayehatarisha kulitoa, na madhara kisha yanajitokeza kwanza kama kashfa ya umma.
Mnajua gharama ya kimazingira na ya kijamii ya mnachoendesha, na je, mngebadilisha umbo au kukataa kazi ambayo madhara yake yanazidi faida? Programu ina gharama za kimwili na za kijamii: vituo vya data, uendeshaji wa mafunzo, na mifumo isiyo na ufanisi hutumia nishati halisi, na athari za pili kwa kazi, mjadala wa umma, na makundi yaliyo hatarini ni sehemu ya gharama halisi ya mfumo. Mvutano ni kwamba kupima na kupunguza gharama hizi kunashindana na kasi ya vipengele, na kukataa kazi yenye madhara kunaacha mapato ambayo mtu fulani anawajibika kwayo. Leta ushahidi: alama ya nishati au ya kompyuta ya mifumo yenu mikubwa zaidi, usomaji wa uaminifu wa nani anabeba athari za chini ya mkondo, na angalau kesi moja halisi ambapo mlibadilisha umbo au kukataa kazi kwa sababu hizi. Katika ukubwa wa biashara kubwa au serikali, ambapo mifumo yenu inaumba jamii, chukulia hili kama sehemu ya kujenga kwa uwajibikaji na zaidi na zaidi suala la udhibiti na matarajio ya umma, si ukarimu uliobandikwa kando ya biashara.
Mtu wa nje anaweza kujifunza kiasi gani kuhusu jinsi mifumo yenu yenye matokeo inavyoamua, na je, kufichua ni chaguo-msingi lenu au ubaguzi wenu? Uwazi ndipo uaminifu wa umma unapopatikana au kupotea, kwa sababu watu wana haki ya kuelewa jinsi maamuzi kuhusu wao yanavyofanywa, na katika sekta ya umma haki hiyo mara nyingi ni sheria. Shinikizo halisi la kupinga ni kwamba uwazi kamili unaweza kuwezesha kuchezea na kufichua data ya kibinafsi, kwa hiyo swali halisi ni wapi kuchora mstari badala ya kama kufichua kabisa. Leta ushahidi: kwa kila mfumo wenye matokeo, onyesha mnachochapisha (madhumuni, data, na mantiki kwa kiwango kinachofaa), mnachozuia na sababu mahususi, na kama maelezo ya lugha rahisi yapo kando ya yoyote ya kiufundi. Kwa chombo cha serikali, pima utaratibu kama rejista ya algoriti dhidi ya misamaha finyu, inayoweza kutetewa, na uhakikishe ufichuzi wenu unaeleza kweli badala ya kufahamisha kitaalamu huku ukimwambia mtu aliyeathirika hakuna.

Mtazamo wa sekta

Kampuni changa. Ukiwa na watu wachache na njia fupi ya kukimbia, huwezi kuajiri bodi ya maadili, kwa hiyo pachika tabia za bei nafuu, zenye nguvu kubwa kwenye bidhaa yenyewe: sababu ya lugha rahisi kwa kila kukataliwa kwa kiotomatiki, njia ya mbofyo mmoja kufikia binadamu, na fomu zinazofikika tangu skrini ya kwanza kwa sababu kuzisasisha baadaye ni polepole na mbaya zaidi. Chagua mahali pamoja ambapo programu yako inafanya uamuzi wenye matokeo kuhusu mtu na upate maelezo na njia ya kurekebisha sawa pale kabla hujapanua madhara. Kuchukulia haki na utu kama sharti la uzinduzi, si ung’arisho wa baadaye, kunagharimu kidogo sasa na kunaepuka sifa usiyoweza kumudu kuipoteza mapema.

Biashara ndogo. Huenda huna mtaalamu wa ufikivu wala wa haki na bajeti ni finyu, kwa hiyo egemea maadili yaliyojengwa ndani ya zana unazonunua: chagua wauzaji wanaotimiza WCAG, wanaoandika jinsi vipengele vyao vya kiotomatiki vinavyoamua, na kukuruhusu kuweka binadamu kwenye mzunguko. Weka wajibu wako mwenyewe kama swali la usafi wa data na utu, kujua data ya kibinafsi unayoshikilia, kukusanya tu unachohitaji, na kuhakikisha jibu baya la kiotomatiki halimwachi mteja bila njia ya kukufikia. Waombe wasambazaji waonyeshe msimamo wao wa ufikivu na upendeleo kabla ya kusaini, badala ya kugundua pengo baada ya malalamiko.

Biashara kubwa. Kwa ukubwa tatizo ni utawala kuvuka timu nyingi: kiwango cha pamoja cha nini kinahesabika kama uamuzi wenye matokeo, malango thabiti ya majaribio ya ufikivu na upendeleo, na nyayo za ukaguzi zinazothibitisha maelezo, mapitio ya binadamu, na njia ya kurekebisha zipo pale zinapopaswa. Simamisha mapitio ya kimaadili yanayozuia toleo badala ya mafunzo yasiyobadilisha chochote, weka bajeti wazi ya kazi ya ufikivu na athari tofauti, na ufuatilie vielelezo vilivyosambazwa kwa kuteleza ili haki iwe endelevu badala ya kisanduku cha ukaguzi cha mara moja. Chukulia kasoro moja ya usanifu kama inayojirudia kuvuka mamilioni, kwa sababu kwa ufikiaji wenu, ndivyo ilivyo.

Serikali. Kanuni za ununuzi, wajibu wa uwazi, na uwajibikaji wa umma huumba kila uchaguzi, na raia hawawezi kuacha huduma yenu kwa kwenda kwa mshindani. Chapisha jinsi mifumo yenye matokeo inavyofanya kazi kupitia utaratibu kama rejista ya algoriti, dai wauzaji kwa mkataba kufichua mazoea ya data na mapungufu yanayojulikana, na ujenge kila huduma ya umma kwa viwango vya ufikivu vilivyojaribiwa na watumiaji wenye ulemavu, miunganisho ya kipimo data kidogo, na wazungumzaji wa lugha za wachache. Hakikisha haki ya mapitio ya binadamu na maelezo ya lugha rahisi kwa kila uamuzi wa kiotomatiki wenye matokeo, na uweke maamuzi ya mwisho yanayopaswa kukaa na afisa anayewajibika nje ya uotomatishaji kamili kabisa.

Mifano

Kampuni changa. Kampuni changa ya fintech ya watu watatu inayojenga kipengele cha mikopo cha kiotomatiki inaamua haki na utu ni mahitaji, si ung’arisho wa baadaye. Kabla ya uzinduzi wanajaribu kielelezo kwa athari tofauti kuvuka makundi wanayoweza kupima, wanaandika data inayotumia na mahali pasipopaswa kuaminiwa, na kuhakikisha kila mwombaji aliyekataliwa anapata sababu ya lugha rahisi na njia ya mbofyo mmoja kufikia mwanzilishi binadamu. Wanajenga mtiririko wa kujisajili kwa viwango vya ufikivu tangu skrini ya kwanza, kwa sababu kuusasisha baadaye kungekuwa polepole na mbaya zaidi, na wanaongeza njia ya haraka ya kubatilisha ili akaunti iliyofungwa kimakosa ifunguliwe ndani ya dakika badala ya kumwacha mtu halisi akiwa amekwama.

Biashara kubwa. Benki inayosambaza uamuzi wa kiotomatiki wa mikopo inachukulia haki kama mahitaji ya kihandisi. Kabla ya uzinduzi, inajaribu kielelezo kwa athari tofauti kuvuka makundi yaliyolindwa, inaandika data na mapungufu yake, na kujenga kituo cha maelezo, ili kila mwombaji aliyekataliwa apate sababu inayoeleweka na njia wazi ya mapitio ya binadamu. Mchakato wa ufuatiliaji unatazama kuteleza na kujaribu tena upendeleo idadi ya watu inapobadilika. Mfumo wa kugundua ulaghai ulipoanza kufunga idadi kubwa ya akaunti halali, benki iliongeza njia ya haraka ya mapitio ya binadamu na kubadilisha lengo lake la uboreshaji kupima madhara kwa mteja. Ilichukulia dhiki ya wateja walioshukiwa kimakosa kama gharama halisi, si takwimu inayokubalika.

Serikali. Serikali ya jiji inachapisha rejista ya algoriti. Inaorodhesha mifumo ya kiotomatiki ambayo jiji linatumia katika huduma za umma, na kuelezea madhumuni ya kila mfumo, data inayotegemea, na jinsi maamuzi yanavyoweza kupingwa. Huduma za kidijitali za jiji zimejengwa kwa viwango vya ufikivu na kujaribiwa na watumiaji wenye ulemavu, miunganisho ya kipimo data kidogo, na wazungumzaji wa lugha za wachache, kwa kanuni kwamba huduma ambayo watu hawawezi kuchagua kutoitumia lazima ifanye kazi kwa kila mtu. Kila uamuzi wa kiotomatiki wenye matokeo hubeba haki ya mapitio ya binadamu na maelezo ya lugha rahisi, ili raia wabaki na utu na njia ya kurekebisha programu ya serikali inapoamua kitu kuhusu maisha yao.

Kesi ya biashara: sababu, ROI, na TCO

Kesi ya biashara ya maadili na uwajibikaji inasimama juu ya uaminifu, hatari, na ufikiaji. Uaminifu ndio mali ya kudumu. Mashirika ambayo mifumo yake inawatendea watu kwa haki na uwazi hupata imani inayofanya watu wawe tayari kuyatumia, na taasisi za umma hasa zinategemea uhalali ambao mfumo mmoja usio wa haki unaojulikana unaweza kuuvunja. Hatari ndiyo kichocheo cha karibu. Mifumo yenye upendeleo, isiyofikika, au isiyoeleweka inazidi kubeba adhabu za kisheria, madai, na uharibifu wa sifa unaoweza kuzidi gharama ya kujenga kwa uwajibikaji. Ufikiaji unakuza vyote viwili. Katika ukubwa wa biashara kubwa au serikali, kushindwa kimoja kwa kimaadili kunajirudia kuvuka mamilioni na kuwa kichwa cha habari.

Gharama ya kupokea ni halisi. Kazi ya ufikivu, upimaji wa upendeleo, mifumo ya maelezo na njia ya kurekebisha, mapitio ya binadamu-kwenye-mzunguko, na muda wa usanifu wa kuzingatia matokeo yote huongeza juhudi, hasa mapema. Gharama ya kutopokea ni kubwa zaidi na zaidi na zaidi si ya hiari: dhima ya ubaguzi, kuwatenga sehemu kubwa ya idadi ya watu mnaolazimika kuwahudumia, gharama ya kusasisha ufikivu na uwajibikaji baada ya uzinduzi, na mmomonyoko wa uaminifu ambao, ukipotea, ni ghali na polepole kujenga upya. Mnapotoa hoja kwa uongozi, weka maadili kama usimamizi wa hatari na kujenga uaminifu, si ukarimu. Taja mazingira ya udhibiti yanayobana kuhusu uwajibikaji wa algoriti na ufikivu. Sisitiza jumla ya gharama ya umiliki: kujenga kwa uwajibikaji tangu mwanzo ni nafuu zaidi sana kuliko kurekebisha mfumo ambao tayari umewadhuru watu kwa ukubwa. Kwa taasisi za umma, ongeza hoja iliyo wazi zaidi: kuwahudumia raia kwa haki ndiyo dhamira, si kikwazo juu yake.

Mifumo mibaya na mitego

Maadili kama kisanduku cha ukaguzi. Mapitio au mafunzo ya mara moja yasiyobadilisha chochote kuhusu jinsi mifumo inavyojengwa kweli.
Kusasisha ufikivu baadaye. Kuchukulia ufikivu kama nyongeza ya marehemu, kuzalisha matokeo mabaya zaidi na ghali zaidi kuliko kuubuni ndani.
Algoriti isiyowajibika. Maamuzi ya kiotomatiki yenye matokeo bila maelezo, bila mapitio ya binadamu, na bila njia ya kuyapinga.
Kuboresha mpaka ukatili. Kurekebisha kwa ufanisi wa jumla pekee hadi mfumo unawaumiza kimyakimya watu walio pembezoni mwake.
Upendeleo kwa kupuuza. Kudhania mfumo una haki kwa sababu hakuna aliyekusudia kutokuwa na haki, bila kuujaribu kamwe.
“Kompyuta inasema hapana.” Wafanyakazi wa mstari wa mbele na watumiaji wasio na uwezo wa kubatilisha au kuhoji uamuzi wa kiotomatiki wanaouona ni kosa.
Kubuni kwa mtumiaji mwenye kujiamini. Kujenga kwa mtumiaji wa kawaida, aliyeunganishwa, mwenye elimu na kuwatenga kila mtu mwingine, jambo lisilotetewa kwa huduma ambazo watu hawawezi kuchagua kutozitumia.
Maigizo ya uwazi. Kuchapisha ufichuzi usiopenyeka unaofahamisha kitaalamu lakini hauelezi chochote kweli.

Kielelezo cha ukomavu

Ngazi ya 1: Kuanzisha. Maadili hayashughulikiwi au yanashughulikiwa tu kwa kuitikia baada ya kashfa. Ufikivu unapuuzwa au ni wa chini kabisa. Maamuzi ya kiotomatiki hayaeleweki, bila maelezo na bila njia ya kurekebisha. Upendeleo haujajaribiwa kamwe, na uendelevu na athari za kijamii hazizingatiwi.

Ngazi ya 2: Kuendeleza. Kanuni ya maadili ipo na baadhi ya viwango vya ufikivu vinafuatwa, mara nyingi kwa kuchelewa. Maamuzi ya kiotomatiki yenye hadhi ya juu yanapata usimamizi fulani wa binadamu, lakini mengi hayapati. Upendeleo unakaguliwa mara kwa mara, wasiwasi unaweza kutolewa kupitia mchakato dhaifu, na mazoea yanatofautiana sana kutoka timu moja hadi nyingine.

Ngazi ya 3: Kusawazisha. Mapitio ya kimaadili ni sehemu iliyoandikwa ya mchakato wa uundaji na yanatekelezwa kuvuka shirika. Ufikivu umebuniwa ndani na kujaribiwa na watumiaji halisi. Maamuzi ya kiotomatiki yenye matokeo yanabeba maelezo, mapitio ya binadamu, na njia ya kurekebisha kwa chaguo-msingi. Upimaji wa upendeleo na ufuatiliaji wa kuteleza ni wa kawaida, mifumo ya sekta ya umma inachapisha jinsi inavyofanya kazi, na uendelevu unapimwa kwa kiwango cha pamoja.

Ngazi ya 4: Kusimamia. Shirika linapima na kudhibiti msimamo wake wa kimaadili kwa data dhidi ya vipimo vya msingi: alama za uzingatiaji wa ufikivu, vipimo vya athari tofauti vinavyofuatiliwa kuvuka makundi yaliyolindwa kwa muda, viwango vya kurekebisha na muda-hadi-binadamu kwa maamuzi yanayopingwa, sehemu ya mifumo yenye matokeo inayobeba nyaraka zilizochapishwa, na alama ya nishati au ya kompyuta ya mifumo mikuu. Vipimo vinaweka lango kwenye matoleo, ukiukaji wa kizingiti unachochea uchunguzi, na viongozi wanapitia namba kwa mzunguko uliowekwa badala ya kudhania mazoea yanafuatwa.

Ngazi ya 5: Kuratibu. Uwajibikaji umepachikwa katika jinsi shirika linavyojenga na kujirekebisha. Ufikivu na usawa ni chaguo-msingi zisizojadiliwa zilizothibitishwa kwa idadi kamili ya watu wanaohudumiwa, uwajibikaji wa algoriti (uwazi, upimaji wa haki, njia ya kurekebisha, usimamizi wa binadamu) ni wa kawaida na unafuatiliwa mfululizo, na wasiwasi wa kimaadili unathaminiwa kama ishara inayobadilisha umbo au kusimamisha kazi. Shirika linachukulia uaminifu, haki, na utu kama kiini cha dhamira yake, linaunganisha maadili na maamuzi ya bidhaa, hatari, na ununuzi, na linapanga upya wigo au kustaafisha mifumo matarajio na ushahidi vinapobadilika.

Mawazo ya kujadili

Mstari uko wapi kati ya maamuzi yanayoweza kuotomatishwa kikamilifu na yale yanayopaswa kuweka binadamu kwenye mzunguko kwa maana?
Uwazi wa algoriti wa kiasi gani unatosha, na mnafichua vipi kwa maana bila kuwezesha kuchezea au kuvunja faragha?
Nani anawajibika mfumo wa kiotomatiki unapomdhuru mtu: mhandisi, meneja, shirika, au muuzaji?
Mnafanyaje kutoa pingamizi la kimaadili kuwe salama kweli badala ya kudhuru kazi?
Shirika lina wajibu gani kwa watumiaji ambao halikuwabunia, na usawa lazima uenee umbali gani?
Gharama ya kimazingira ya kompyuta inapaswa kuingia vipi katika maamuzi ya kiusanifu na ya bidhaa?

Mambo muhimu ya kukumbuka

Programu inapofanya maamuzi yenye matokeo kuhusu watu, waundaji wake wanawajibika kwa kile inachofanya, si tu kama inatimiza vipimo.
Ufikivu na usawa ni wajibu na kasoro zinapokosekana, si maboresho ya hiari, hasa kwa huduma ambazo watu hawawezi kuchagua kutozitumia.
Maamuzi ya kiotomatiki yenye matokeo yanahitaji maelezo, mapitio ya binadamu, njia ya kurekebisha, na upimaji endelevu wa upendeleo; jenga uwajibikaji ndani badala ya kudai baadaye.
Ufanisi ulioboreshwa bila kujali haki unaweza kuwa katili kimyakimya; buni kwa kesi ya kushindwa ya mtu mmoja mmoja, si jumla tu.
Katika sekta ya umma, uwazi kuhusu jinsi mifumo ya algoriti inavyofanya kazi unapaswa kuwa chaguo-msingi, na usiri ubaguzi finyu.
Kesi ya biashara ni uaminifu na hatari: kujenga kwa uwajibikaji tangu mwanzo ni nafuu zaidi sana kuliko kurekebisha madhara kwa ukubwa, na kwa taasisi za umma, haki ndiyo dhamira.

Marejeo na usomaji zaidi

ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
ACM, Code of Ethics and Professional Conduct
Cathy O’Neil, Weapons of Math Destruction
Virginia Eubanks, Automating Inequality
Safiya Umoja Noble, Algorithms of Oppression
Ruha Benjamin, Race After Technology
Batya Friedman and David G. Hendry, Value Sensitive Design
World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
NIST, AI Risk Management Framework
OECD, Principles on Artificial Intelligence
European Union, General Data Protection Regulation (GDPR) and the AI Act
UK Government, Data Ethics Framework and the Algorithmic Transparency Recording Standard