10.5 Siðfræði, ábyrgð og almannahagur

Yfirlit og tilgangur

Hugbúnaður er ekki lengur hlutlaust verkfæri sem situr á bak við ákvarðanir manna. Hann er í auknum mæli ákvörðunin. Hann ákveður hver fær lán, hvaða ferilskrá ráðningarfulltrúi sér, hve langan tíma bótakrafa tekur, hvort svikaviðvörun frystir reikning og hvaða upplýsingar ná til milljóna manna. Þegar hugbúnaður tekur eða mótar ákvarðanir sem hafa áhrif á réttindi fólks, peninga, öryggi og virðingu taka verkfræðingarnir og skipulagsheildirnar sem smíða hann á sig ábyrgð umfram réttleika og afköst. Þessi kafli fjallar um þá ábyrgð: starfssiðfræði, ábyrgð á því sem kerfi gera, aðgengi og jafnræði sem skyldur frekar en eiginleika, gagnsæi reiknirita, sjálfbærni og skylduna til að þjóna fólki af sanngirni og virðingu.

Fyrir stórar skipulagsheildir hækka stærð og vald húfin. Fyrirtækja- eða opinbert kerfi hefur ekki áhrif á eina manneskju. Það hefur áhrif á milljónir. Eitt hönnunarval (hlutdrægt þjálfunargagnasafn, óaðgengilegt eyðublað, ógagnsæ sjálfvirk synjun) er endurtekið gagnvart hverri þeirra. Ríkisstjórnir bera aukna skyldu, því kerfi þeirra eru ekki valkvæð. Borgari getur ekki valið keppinaut við skattayfirvöld sín eða bótastofnun. Einokun ríkisins á tiltekinni þjónustu þýðir að illa smíðað kerfi getur svipt fólk réttindum sem það hefur enga aðra leið til að nýta. Með þeirri útbreiðslu fylgir samsvarandi skylda til að vera sanngjörn, gagnsæ og ábyrg.

Siðfræði í hugbúnaði er oft meðhöndluð sem mjúkt viðfangsefni boltað á í lokin, eða afhent lagalegum samræmisgátlista. Þessi kafli færir rök fyrir hinu gagnstæða. Siðferðileg sjónarmið eru verkfræðikröfur. Ábyrgð verður að hanna inn, ekki fullyrða eftir á. Og að þjóna fólki með virðingu er bæði siðferðileg skylda og, með tímanum, grunnur trausts sem stórar skipulagsheildir byggja á.

Meginreglur

Hugbúnaður tekur ákvarðanir, svo smiðir hans bera ábyrgð. Þú ert ábyrg(ur) fyrir því sem kerfið gerir fólki, ekki aðeins fyrir hvort það uppfyllir forskrift.
Aðgengi og jafnræði eru skyldur, ekki viðbætur. Að útiloka fólk er galli og oft lagaleg og siðferðileg bilun.
Afdrifaríkar sjálfvirkar ákvarðanir krefjast ábyrgðar. Fólk sem sjálfvirk ákvörðun varðar á skilið skýringu, úrræði og mannlega rýni.
Gagnsæi er sjálfgefið, leynd undantekning. Sérstaklega hjá hinu opinbera á fólk rétt á að skilja hvernig ákvarðanir um það eru teknar.
Sanngirni verður að rannsaka, ekki gera ráð fyrir. Kerfi erfa og magna hlutdrægni í gögnum sínum og hönnun nema þú athugir það af ásetningi.
Virðing er hönnunarkrafa. Komdu fram við hvern notanda, þar á meðal viðkvæma og óhefðbundna, sem manneskju sem verðskuldar virðingu.
Sjálfbærni og samfélagsáhrif skipta máli. Orkan, auðlindirnar og samfélagsleg áhrif hugbúnaðar eru hluti af raunverulegum kostnaði hans.

Ráðleggingar

Taktu upp og lifðu starfssiðfræði

Grundaðu skipulagsheildina í viðurkenndum siðareglum starfsstéttar og gerðu þær raunverulegar frekar en skrautlegar. Verkfræðingar ættu að skilja að þeir hafa skyldur gagnvart almenningi, ekki bara vinnuveitanda. „Ég fylgdi bara forskriftinni“ er engin vörn þegar kerfi skaðar fólk. Búðu til raunverulegar leiðir til að vekja máls á siðferðilegum áhyggjum: leið til að segja „við ættum ekki að smíða þetta, eða ekki smíða það svona“ sem krefst ekki starfsferilsendandi hugrekkis. Gefðu teymum orðaforðann og stöðuna til að vega afleiðingar. Styddu það með forystu sem lítur á siðferðileg andmæli sem verðmætt merki, ekki hindrun. Siðfræðiþjálfun hjálpar aðeins ef skipulagsheildin framkvæmir sýnilega það sem hún kennir.

Líttu á aðgengi og jafnræði sem skyldur

Smíðaðu fyrir allt svið mannlegrar getu og aðstæðna frá upphafi. Að bæta aðgengi við eftir á er langtum dýrara og yfirleitt verra. Fylgdu viðurkenndum aðgengisstöðlum (svo sem WCAG, Web Content Accessibility Guidelines) og uppfylltu í mörgum lögsagnarumdæmum lagakröfur sem skylda þá fyrir opinbera þjónustu. Prófaðu með hjálpartækni og umfram allt með raunverulegum notendum með fötlun. Víkkaðu jafnræði út fyrir fötlun til alls hópsins sem þú þjónar: fólk með litla bandvídd, gömul tæki, takmarkaða stafræna læsi, á minnihlutamálum og í erfiðum lífsaðstæðum. Fyrir þjónustu sem fólk getur ekki valið frá (sérstaklega opinbera þjónustu) er að hanna aðeins fyrir örugga, tengda, dæmigerða notandann bilun í að þjóna, ekki sanngjarnt sjálfgildi.

Byggðu reikniritaábyrgð og opinbert gagnsæi

Fyrir hvert kerfi sem tekur eða mótar verulega afdrifaríkar ákvarðanir um fólk skaltu hanna ábyrgð inn. Haltu mönnum raunverulega í lykkjunni fyrir áhættusamar ákvarðanir, frekar en að fresta blint til sjálfvirkra úttaka. Vertu fær um að útskýra, á máli sem sá sem ákvörðunin varðar skilur, hvers vegna ákvörðun var tekin. Veittu raunverulega leið til að véfengja hana og ná til manneskju. Prófaðu kerfi fyrir hlutdrægni og mismunandi áhrifum yfir verndaða og viðkvæma hópa, fyrir og á meðan útsetning stendur, og vaktaðu rek yfir tíma. Hjá hinu opinbera skaltu birta hvernig reikniritakerfi virka (tilgang þeirra, gögn og rökfræði á viðeigandi stigi) gegnum kerfi eins og reikniritaskrár, svo borgarar og eftirlitsaðilar geti rýnt þau. Skjalfestu ætlaða notkun og þekktar takmarkanir, svo kerfi séu ekki notuð þar sem þau ættu ekki að vera.

Hannaðu fyrir sanngirni, virðingu og úrræði

Rannsakaðu kerfi þín með tilliti til leiðanna sem þau geta komið ósanngjarnt fram við fólk eða án virðingar. Skoðaðu þjálfunargögn og reglur fyrir innbyggða hlutdrægni. Mundu að kerfi fínstillt eingöngu fyrir skilvirkni getur verið grimmt: svikasía stillt til að lágmarka falsk neikvæð getur fryst reikninga þúsunda saklausra manna, hver þeirra raunveruleg manneskja í nauð. Hannaðu fyrir bilunartilfellin frá sjónarhorni þess sem ákvörðunin varðar. Hvað gerist þegar kerfið hefur rangt fyrir sér? Hve auðveldlega getur viðkomandi náð í manneskju, skýringu og úrbót? Meðhöndlaðu persónuupplýsingar af virðingu og hófsemi: safnaðu aðeins því sem þarf og vertu heiðarleg(ur) um notkun þeirra. Líttu á villu, töf og synjun ekki sem jaðartilfelli heldur sem augnablikin þar sem virðing er í mestri hættu.

Taktu tillit til sjálfbærni og samfélagsábyrgðar

Viðurkenndu að hugbúnaður hefur líkamlegan og samfélagslegan kostnað. Gagnaver, þjálfunarkeyrslur og óskilvirk kerfi nota raunverulega orku. Skilvirkni er umhverfisdyggð jafnt sem fjárhagsleg. Hugleiddu víðtækari áhrif þess sem þú smíðar (á vinnuafl, á opinbera umræðu, á viðkvæma hópa) og vertu tilbúin(n) að hafna eða endurmóta vinnu þar sem skaðinn vegur þyngra en ávinningurinn. Fyrir stórar skipulagsheildir þar sem kerfi móta samfélagið í stærð er samfélagsábyrgð ekki góðgerðarstarfsemi samhliða rekstrinum. Hún er hluti af ábyrgri smíði og í auknum mæli spurning um regluverk og væntingar almennings.

Málamiðlanir: kostir og gallar

Spenna	Önnur hliðin	Hin hliðin
Sjálfvirkni á móti mannlegri dómgreind	Stærð, samræmi, hraði, lægri kostnaður	Ábyrgð, blæbrigði, miskunn, úrræði
Gagnsæi á móti vernd	Opinber rýni, traust, eftirlit	Hætta á misnotkun, öryggi, persónuvernd gagna
Aðgengisfjárfesting á móti hraða	Þjónar öllum. Lagalegt og siðferðilegt samræmi	Hægari upphafsafhending. Meiri hönnunarfyrirhöfn
Skilvirkni á móti sanngirni	Fínstilltar niðurstöður. Lægri kostnaður	Hætta á grimmd gagnvart einstaklingum í halanum
Gagnaríkt sérsnið á móti persónuvernd	Betri þjónusta. Sniðin upplifun	Eftirlitshætta. Virðingar- og samþykkisáhyggjur
Nýsköpunarhraði á móti varúð	Hraðara verðmæti. Samkeppnisforskot	Órannsakaður skaði útsettur í stærð

Erfiðasta málamiðlunin er stærð gegn réttlæti einstaklingsins. Sjálfvirkni skilar samræmi og skilvirkni yfir milljónir. En villur hennar eru líka afhentar í stærð og kerfi fínstillt fyrir heildina getur verið hljóðlega grimmt gagnvart einstaklingunum í halanum. Svarið er ekki að yfirgefa sjálfvirkni. Það er að hanna fyrir einstaka bilunartilfellið: haltu mönnum í lykkjunni þar sem áhættan er mikil, tryggðu skýringu og úrræði og mældu áhrif kerfisins á þá sem verst eru þjónaðir, ekki bara meðaltalið. Gagnsæi ber líka raunverulega spennu, því full opnun getur gert misnotkun mögulega og afhjúpað einkagögn. En í opinberri þjónustu hallar svarið mjög að birtingu sjálfgefið, með undanþágum aðeins fyrir það sem sannarlega verður að vernda, frekar en að líta á ógagnsæi sem öruggt sjálfgildi.

Spurningar til að ræða með teyminu

Hver kerfa ykkar taka eða móta verulega afdrifaríkar ákvarðanir um fólk og býður hvert þeirra upp á skýringu, mannlega rýni og úrræði í dag? Hugbúnaður er í auknum mæli ákvörðunin: hver fær lán, hvaða ferilskrá er séð, hvort reikningur er frystur, hve langan tíma krafa tekur. Fyrir hvert slíkt kerfi á sá sem ákvörðunin varðar skilið skýringu sem hann skilur, raunverulega leið til að véfengja hana og manneskju sem getur gripið inn í, og í fyrirtækja- eða opinberri stærð er eitt hönnunargalli endurtekinn yfir milljónir. Komdu með sönnunargögn: gerðu skrá yfir afdrifaríkar sjálfvirkar ákvarðanir ykkar og athugaðu fyrir hverja hvort rangt meðhöndluð manneskja geti í raun náð í mann og fengið skýringu á einföldu máli. Þar sem svarið er nei er það galli til að laga, ekki eiginleiki til að bæta við síðar. Fyrir þjónustu sem fólk getur ekki valið frá, sérstaklega opinbera þjónustu, er þetta skylda frekar en fínheit.
Lítið þið á aðgengi sem útgáfutálmandi kröfu prófaða með raunverulegum fötluðum notendum og hverja bregðist þið núna? Aðgengi og jafnræði eru skyldur og að útiloka fólk er galli, oft lagaleg og siðferðileg bilun, en samt er að bæta aðgengi við eftir á áreiðanlega hægara, dýrara og verra en að hanna það inn frá fyrstu skjámynd. Fylgdu WCAG og farðu umfram sjálfvirkar athuganir til að prófa með hjálpartækni og raunverulegum notendum með fötlun, auk fólks með litla bandvídd, gömul tæki, minnihlutamál og takmarkaða stafræna læsi. Komdu með sönnunargögn: keyrðu mikilvægasta flæðið ykkar með skjálesara og á takmarkaðri tengingu og sjáðu hvar það brotnar. Svarið ætti að ákvarða hvort aðgengi sé hlið sem stöðvar útgáfu eða verkefnalistaatriði sem rís aldrei og fyrir þjónustu sem fólk getur ekki valið frá er aðeins hliðið verjanlegt. Að hanna aðeins fyrir örugga, tengda, dæmigerða notandann er bilun í að þjóna.
Hvert er fasta ferli ykkar til að prófa afdrifarík kerfi fyrir hlutdrægni og mismunandi áhrif, fyrir og á meðan útsetning stendur? Kerfi erfa og magna hlutdrægni í gögnum sínum og hönnun nema þú athugir það af ásetningi og að gera ráð fyrir sanngirni því enginn ætlaði ósanngirni er hlutdrægni af vanrækslu. Svikasía stillt eingöngu til að lágmarka falsk neikvæð getur fryst þúsundir saklausra reikninga, hver raunveruleg manneskja í nauð, svo skilvirkni fínstillt án tillits til sanngirni getur verið hljóðlega grimm. Komdu með sönnunargögn: fyrir hvert líkan sem hefur áhrif á fólk, sýndu mismunandi-áhrifa prófið yfir verndaða og viðkvæma hópa, skjalfest gögn og þekktar takmarkanir og rekvöktunina sem endurprófar þegar þýðið breytist. Svarið ætti að gera hlutdrægnipróf rútínu og samfelld frekar en einskiptis gátreit fyrir opnun og það ætti að breyta fínstillingarmarkmiði ykkar til að vega skaða einstaklinga, ekki bara heildarnákvæmni. Hannaðu fyrir bilunartilfellið frá sjónarhorni þess sem ákvörðunin varðar.
Þegar verkfræðingur telur að þið ættuð ekki að smíða eitthvað, eða ekki smíða það svona, hvað gerist í raun við þau andmæli? Siðfræði verður raunveruleg aðeins þegar „við ættum ekki að senda þetta frá okkur“ er setning sem einhver getur sagt án þess að binda enda á starfsferil sinn og í stærð er sá sem er næstur skaða oft yngstur í herberginu. Samkeppnisþrýstingurinn er afhending: andmæli sem vakin eru hægja á vegvísi og leiðtogar undir fresti geta litið á þau sem hindrun frekar en verðmætt merki. Komdu með sönnunargögn: nefndu nákvæmu leiðina sem verkfræðingur myndi nota, teldu hve margar áhyggjur voru vakin síðasta ár og raktu hvað breyttist fyrir vikið, því leið sem hefur aldrei stöðvað eða endurmótað vinnu er skrautleg. Fyrir fyrirtæki eða opinbera stofnun skaltu tengja leiðina við nefndan eiganda og skjalfesta rýni, þar sem andmæli sem enginn er skyldugur að hlusta á eru andmæli sem enginn mun þora að vekja og skaðinn birtist þá fyrst sem opinbert hneyksli.
Þekkið þið umhverfislegan og samfélagslegan kostnað þess sem þið rekið og mynduð þið endurmóta eða hafna vinnu þar sem skaðinn vegur þyngra en ávinningurinn? Hugbúnaður hefur líkamlegan og samfélagslegan kostnað: gagnaver, þjálfunarkeyrslur og óskilvirk kerfi nota raunverulega orku og annars stigs áhrif á vinnuafl, opinbera umræðu og viðkvæma hópa eru hluti af raunverulegum kostnaði kerfis. Spennan er að mæling og skerðing þessa kostnaðar keppir við eiginleikahraða og að hafna skaðlegri vinnu fórnar tekjum sem einhver ber ábyrgð á. Komdu með sönnunargögn: orku- eða reiknifótspor stærstu kerfa ykkar, hreinskilinn lestur á hver ber niðurstreymisáhrifin og að minnsta kosti eitt áþreifanlegt dæmi þar sem þið endurmótuðuð eða höfnuðuð vinnu á þessum forsendum. Í fyrirtækja- eða opinberri stærð, þar sem kerfi ykkar móta samfélagið, skaltu líta á þetta sem hluta af ábyrgri smíði og í auknum mæli spurningu um regluverk og væntingar almennings, ekki góðgerðarstarfsemi boltaða á hlið rekstursins.
Hve mikið getur utanaðkomandi í raun lært um hvernig afdrifarík kerfi ykkar ákveða og er birting sjálfgefin hjá ykkur eða undantekning? Gagnsæi er þar sem opinbert traust vinnst eða tapast, því fólk á rétt á að skilja hvernig ákvarðanir um það eru teknar og hjá hinu opinbera er sá réttur oft lög. Raunverulegi mótþrýstingurinn er að full opnun getur gert misnotkun mögulega og afhjúpað einkagögn, svo raunverulega spurningin er hvar á að draga línuna frekar en hvort eigi að birta yfirleitt. Komdu með sönnunargögn: fyrir hvert afdrifaríkt kerfi, sýndu hvað þið birtið (tilgang, gögn og rökfræði á viðeigandi stigi), hverju þið haldið til baka og sérstaka ástæðu og hvort lýsing á einföldu máli sitji við hlið hverrar tæknilegrar. Fyrir opinbera stofnun skaltu vega kerfi eins og reikniritaskrá gegn þröngum, verjanlegum undanþágum og athuga að birtingar ykkar útskýri í raun frekar en að upplýsa tæknilega á meðan þær segja þeim sem ákvörðunin varðar ekkert.

Sjónarhorn eftir geirum

Sprotafyrirtæki. Með handfylli fólks og litla fjárhagslega þrautseigju geturðu ekki mannað siðanefnd, svo bakaðu ódýru, áhrifamiklu venjurnar inn í vöruna sjálfa: skýringu á einföldu máli á hverja sjálfvirka synjun, einnar smellu leið til að ná í manneskju og aðgengileg eyðublöð frá fyrstu skjámynd því að bæta þeim við síðar er hægara og verra. Veldu þann eina stað þar sem hugbúnaðurinn þinn tekur afdrifaríka ákvörðun um manneskju og komdu skýringu og úrræði í lag þar áður en þú eykur skaðann í stærð. Að líta á sanngirni og virðingu sem útgáfukröfur, ekki síðari fægingu, kostar lítið núna og forðar orðspori sem þú hefur ekki efni á að missa snemma.

Lítið fyrirtæki. Þú hefur líklega engan aðgengis- eða sanngirnisérfræðing og þröngt fjárhagsáætlun, svo hallaðu þér að siðfræðinni sem er innbyggð í verkfærin sem þú kaupir: veldu seljendur sem uppfylla WCAG, skjalfesta hvernig sjálfvirkir eiginleikar þeirra ákveða og leyfa þér að halda manneskju í lykkjunni. Rammaðu eigin skyldu sem gagnahreinlætis- og virðingarspurningu: að vita hvaða persónuupplýsingar þú átt, safna aðeins því sem þú þarft og tryggja að rangt sjálfvirkt svar skilji ekki viðskiptavin eftir strandaðan án leiðar til að ná í þig. Biddu birgja að sýna aðgengis- og hlutdrægnistöðu sína áður en þú skrifar undir, frekar en að uppgötva gatið eftir kvörtun.

Stórfyrirtæki. Í stærð er vandinn stjórnarhættir yfir mörg teymi: sameiginlegur staðall fyrir hvað telst afdrifarík ákvörðun, samræmd aðgengis- og hlutdrægniprófunarhlið og úttektarslóð sem sannar að skýring, mannleg rýni og úrræði séu til þar sem þau eiga að vera. Komdu upp siðferðilegri rýni sem stöðvar útgáfu frekar en þjálfun sem breytir engu, fjárhagsáætlaðu aðgengis- og mismunandi-áhrifa vinnuna skýrt og vaktaðu útsett líkön fyrir rek svo sanngirni sé samfelld frekar en einskiptis gátreitur. Líttu á eitt hönnunargalla sem endurtekinn yfir milljónir, því í þinni útbreiðslu er hann það.

Hið opinbera. Innkaupareglur, gagnsæisskyldur og opinber ábyrgð móta hvert val og borgarar geta ekki valið frá þjónustu þinni með því að fara til keppinautar. Birtu hvernig afdrifarík kerfi virka gegnum kerfi eins og reikniritaskrá, krefstu þess með samningi að seljendur upplýsi um gagnavenjur og þekktar takmarkanir og byggðu hverja opinbera þjónustu eftir aðgengisstöðlum prófaðri með fötluðum notendum, lágbandvíddartengingum og málhöfum minnihlutamála. Tryggðu rétt til mannlegrar rýni og skýringar á einföldu máli á hverja afdrifaríka sjálfvirka ákvörðun og haltu lokaúrskurðum sem verða að hvíla hjá ábyrgum embættismanni alveg utan fullrar sjálfvirkni.

Dæmi

Sprotafyrirtæki. Þriggja manna fjártæknisprotafyrirtæki sem smíðar sjálfvirkan lánaeiginleika ákveður að sanngirni og virðing séu kröfur, ekki síðari fæging. Fyrir opnun prófa þau líkanið fyrir mismunandi áhrifum yfir hópana sem þau geta mælt, skrifa niður gögnin sem það notar og hvar ekki ætti að treysta því og tryggja að hver hafnaður umsækjandi fái skýringu á einföldu máli og einnar smellu leið til að ná í mannlegan stofnanda. Þau smíða skráningarflæðið eftir aðgengisstöðlum frá fyrstu skjámynd, því að bæta því við síðar yrði hægara og verra, og bæta við hraðri yfirskrifunarleið svo ranglega frystan reikning megi afþíða á mínútum frekar en að skilja raunverulega manneskju eftir strandaða.

Stórfyrirtæki. Banki sem útsetur sjálfvirka lánshæfisákvörðun lítur á sanngirni sem verkfræðikröfu. Fyrir opnun prófar hann líkanið fyrir mismunandi áhrifum yfir verndaða hópa, skjalfestir gögnin og takmarkanir þeirra og byggir skýringaraðstöðu, svo hver hafnaður umsækjandi fái skiljanlega ástæðu og skýra leið til mannlegrar rýni. Vöktunarferli fylgist með reki og endurprófar fyrir hlutdrægni þegar þýðið breytist. Þegar svikagreiningarkerfið byrjaði að frysta mikinn fjölda lögmætra reikninga bætti bankinn við hraðri mannlegri rýnileið og breytti fínstillingarmarkmiði sínu til að vega skaða viðskiptavina. Hann leit á nauð ranglega merktra viðskiptavina sem raunverulegan kostnað, ekki ásættanlega tölfræði.

Hið opinbera. Borgarstjórn birtir reikniritaskrá. Hún listar sjálfvirku kerfin sem borgin notar í opinberri þjónustu og lýsir tilgangi hvers kerfis, gögnunum sem það reiðir sig á og hvernig má véfengja ákvarðanir. Stafræn þjónusta borgarinnar er smíðuð eftir aðgengisstöðlum og prófuð með fötluðum notendum, lágbandvíddartengingum og málhöfum minnihlutamála, á þeirri meginreglu að þjónusta sem fólk getur ekki valið frá verði að virka fyrir alla. Hver afdrifarík sjálfvirk ákvörðun ber rétt til mannlegrar rýni og skýringar á einföldu máli, svo borgarar halda bæði virðingu og úrræði þegar hugbúnaður ríkisins ákveður eitthvað um líf þeirra.

Viðskiptarök: hvatar, ávöxtun fjárfestingar og heildarkostnaður

Viðskiptarök fyrir siðfræði og ábyrgð hvíla á trausti, áhættu og útbreiðslu. Traust er varanlega eignin. Skipulagsheildir þar sem kerfi koma fram við fólk af sanngirni og gagnsæi vinna sér inn traustið sem gerir fólk viljugt til að nota þau og opinberar stofnanir sérstaklega byggja á lögmæti sem eitt áberandi ósanngjarnt kerfi getur splundrað. Áhætta er nærtækasti drifkrafturinn. Hlutdræg, óaðgengileg eða ógagnsæ kerfi bera í auknum mæli regluverksviðurlög, málaferli og orðsporsskaða sem getur dvergað kostnað við ábyrga smíði. Útbreiðsla magnar hvort tveggja. Í fyrirtækja- eða opinberri stærð er ein siðferðileg bilun endurtekin yfir milljónir og verður fyrirsögn.

Upptökukostnaðurinn er raunverulegur. Aðgengisvinna, hlutdrægniprófanir, skýringar- og úrræðakerfi, mannleg rýni í lykkjunni og hönnunartíminn til að íhuga afleiðingar bæta öll við fyrirhöfn, sérstaklega snemma. Kostnaðurinn við að taka það ekki upp er stærri og í auknum mæli ófrávíkjanlegur: mismununarábyrgð, útilokun stórra hluta þýðisins sem þér ber skylda til að þjóna, kostnaður við að bæta aðgengi og ábyrgð við eftir opnun og rýrnun trausts sem, einu sinni tapað, er dýrt og hægt að endurbyggja. Þegar þú færir rök við forystu skaltu ramma siðfræði sem áhættustjórnun og traustbyggingu, ekki fórnfýsi. Nefndu herðandi regluverkið í kringum reikniritaábyrgð og aðgengi. Leggðu áherslu á heildareignarkostnað: að smíða ábyrgt frá upphafi er langtum ódýrara en að bæta kerfi sem hefur þegar skaðað fólk í stærð. Fyrir opinberar stofnanir skaltu bæta við einföldustu rökunum: að þjóna borgurum af sanngirni er verkefnið, ekki skorða á það.

Andmynstur og gildrur

Siðfræði sem gátreitur. Einskiptis rýni eða þjálfun sem breytir engu um hvernig kerfi eru í raun smíðuð.
Aðgengisviðbót eftir á. Að líta á aðgengi sem síðbúna viðbót, sem skilar verri og dýrari niðurstöðum en að hanna það inn.
Ábyrgðarlausa reikniritið. Afdrifaríkar sjálfvirkar ákvarðanir án skýringar, án mannlegrar rýni og án leiðar til að véfengja.
Fínstilling til grimmdar. Að stilla eingöngu fyrir skilvirkni heildarinnar þar til kerfið beitir fólkið í halanum hljóðlega ofbeldi.
Hlutdrægni af vanrækslu. Að gera ráð fyrir að kerfi sé sanngjarnt því enginn ætlaði ósanngirni, án þess að prófa það nokkru sinni.
„Tölvan segir nei.“ Starfsfólk í framlínu og notendur án getu til að yfirskrifa eða véfengja sjálfvirka ákvörðun sem þeir sjá að er röng.
Hönnun fyrir örugga notandann. Að smíða fyrir dæmigerðan, tengdan, læsan notanda og útiloka alla aðra, óverjanlegt fyrir þjónustu sem fólk getur ekki valið frá.
Gagnsæisleikhús. Að birta órjúfanlegar upplýsingar sem upplýsa tæknilega en útskýra í raun ekkert.

Þroskalíkan

Stig 1: Upphaf. Siðfræði er óvarin eða eingöngu viðbragðsdrifin eftir hneyksli. Aðgengi er hunsað eða í lágmarki. Sjálfvirkar ákvarðanir eru ógagnsæjar, án skýringar og án úrræðis. Hlutdrægni er aldrei prófuð og sjálfbærni og samfélagsáhrif eru ekki íhuguð.

Stig 2: Þróun. Siðareglur eru til og sumir aðgengisstaðlar eru fylgdir, oft seint. Áberandi sjálfvirkar ákvarðanir fá einhverja mannlega yfirsýn, en flestar ekki. Hlutdrægni er athuguð öðru hverju, áhyggjur má vekja gegnum veikt ferli og vinnubrögð eru mjög ólík milli teyma.

Stig 3: Stöðlun. Siðferðileg rýni er skjalfestur hluti þróunarferlisins og framfylgt um skipulagsheildina. Aðgengi er hannað inn og prófað með raunverulegum notendum. Afdrifaríkar sjálfvirkar ákvarðanir bera skýringu, mannlega rýni og úrræði sjálfgefið. Hlutdrægnipróf og rekvöktun eru rútína, kerfi hins opinbera birta hvernig þau virka og sjálfbærni er mæld samkvæmt sameiginlegum staðli.

Stig 4: Stjórnun. Skipulagsheildin mælir og stýrir siðferðilegri stöðu sinni með gögnum gegn grunnlínum: aðgengissamræmiseinkunnum, mismunandi-áhrifa mælikvörðum raktum yfir verndaða hópa með tímanum, úrræðahlutföllum og tíma-til-manneskju fyrir véfengdar ákvarðanir, hlutfalli afdrifaríkra kerfa sem bera birt skjöl og orku- eða reiknifótspori stórra kerfa. Mælikvarðar hliða útgáfur, þröskuldsbrot ræsa rannsókn og leiðtogar rýna tölurnar á föstum takti frekar en að gera ráð fyrir að venjum sé fylgt.

Stig 5: Samhæfing. Ábyrgð er innbyggð í hvernig skipulagsheildin smíðar og aðlagast. Aðgengi og jafnræði eru óumsemjanleg sjálfgildi staðfest fyrir allt þýðið sem þjónað er, reikniritaábyrgð (gagnsæi, sanngirnispróf, úrræði, mannlegt eftirlit) er staðlað og stöðugt vöktuð og siðferðilegar áhyggjur eru metið merki sem endurmótar eða stöðvar vinnu. Skipulagsheildin lítur á traust, sanngirni og virðingu sem kjarna verkefnis síns, samþættir siðfræði við vöru-, áhættu- og innkaupaákvarðanir og endurskilgreinir eða leggur niður kerfi eftir því sem væntingar og sönnunargögn þróast.

Hugmyndir til umræðu

Hvar er línan milli ákvarðana sem mega vera fullkomlega sjálfvirkar og þeirra sem verða að halda manneskju raunverulega í lykkjunni?
Hve mikið reikniritagagnsæi er nóg og hvernig birtir þú marktækt án þess að gera misnotkun mögulega eða brjóta persónuvernd?
Hver ber ábyrgð þegar sjálfvirkt kerfi skaðar einhvern: verkfræðingurinn, stjórnandinn, skipulagsheildin eða seljandinn?
Hvernig gerir þú það raunverulega öruggt að vekja siðferðileg andmæli frekar en starfsferilsskaðlegt?
Hvaða skyldur hefur skipulagsheild gagnvart notendum sem hún hannaði ekki fyrir og hve langt verður jafnræði að ná?
Hvernig ætti umhverfiskostnaður útreikninga að hafa áhrif á arkitektúr- og vöruákvarðanir?

Helstu atriði

Þegar hugbúnaður tekur afdrifaríkar ákvarðanir um fólk bera smiðir hans ábyrgð á því sem hann gerir, ekki aðeins á hvort hann uppfyllir forskrift.
Aðgengi og jafnræði eru skyldur og gallar þegar þau vantar, ekki valkvæðar viðbætur, sérstaklega fyrir þjónustu sem fólk getur ekki valið frá.
Afdrifaríkar sjálfvirkar ákvarðanir krefjast skýringar, mannlegrar rýni, úrræða og stöðugra hlutdrægniprófana. Hannaðu ábyrgð inn frekar en að fullyrða hana eftir á.
Skilvirkni fínstillt án tillits til sanngirni getur verið hljóðlega grimm. Hannaðu fyrir einstaka bilunartilfellið, ekki bara heildina.
Hjá hinu opinbera ætti gagnsæi um hvernig reikniritakerfi virka að vera sjálfgefið, með leynd sem þrönga undantekningu.
Viðskiptarökin eru traust og áhætta: að smíða ábyrgt frá upphafi er langtum ódýrara en að bæta skaða í stærð og fyrir opinberar stofnanir er sanngirni verkefnið.

Heimildir og frekari lestur

ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
ACM, Code of Ethics and Professional Conduct
Cathy O’Neil, Weapons of Maths Destruction
Virginia Eubanks, Automating Inequality
Safiya Umoja Noble, Algorithms of Oppression
Ruha Benjamin, Race After Technology
Batya Friedman and David G. Hendry, Value Sensitive Design
World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
NIST, AI Risk Management Framework
OECD, Principles on Artificial Intelligence
European Union, General Data Protection Regulation (GDPR) and the AI Act
UK Government, Data Ethics Framework and the Algorithmic Transparency Recording Standard