10.5 Moeseg, atebolrwydd, a budd y cyhoedd

Trosolwg a chymhelliant

Nid teclyn niwtral sy’n eistedd y tu ôl i benderfyniadau dynol yw meddalwedd bellach. Yn gynyddol, y penderfyniad ydyw. Mae’n penderfynu pwy sy’n cael benthyciad, pa gyflafan (CV) a wêl recriwtiwr, pa mor hir mae hawliad budd-dal yn ei gymryd, a yw baner dwyll yn rhewi cyfrif, a pha wybodaeth sy’n cyrraedd miliynau o bobl. Pan fydd meddalwedd yn gwneud neu’n siapio penderfyniadau sy’n effeithio ar hawliau, arian, diogelwch, ac urddas pobl, mae’r peirianwyr a’r sefydliadau sy’n ei adeiladu’n ysgwyddo cyfrifoldebau y tu hwnt i gywirdeb a pherfformiad. Mae’r bennod hon yn ymwneud â’r cyfrifoldebau hynny: moeseg broffesiynol, atebolrwydd am yr hyn y mae systemau’n ei wneud, hygyrchedd a thegwch fel rhwymedigaethau yn hytrach na nodweddion, tryloywder algorithmig, cynaliadwyedd, a’r ddyletswydd i wasanaethu pobl gyda thegwch ac urddas.

I sefydliadau mawr, mae graddfa a phŵer yn codi’r risg. Nid yw system fenter neu lywodraeth yn effeithio ar un person. Mae’n effeithio ar filiynau. Caiff un dewis dylunio (set hyfforddi ragfarnllyd, ffurflen anhygyrch, gwrthodiad awtomataidd afloyw) ei ailadrodd ar draws pob un ohonynt. Mae gan lywodraethau ddyletswydd uwch, oherwydd nid yw eu systemau’n opsiynol. Ni all dinesydd ddewis cystadleuydd ar gyfer eu hawdurdod treth na’u hasiantaeth fudd-daliadau. Mae monopoli’r wladwriaeth ar wasanaethau penodol yn golygu y gall system a adeiladwyd yn wael amddifadu pobl o hawliau nad oes ganddynt unrhyw ffordd arall i’w harfer. Gyda’r cyrhaeddiad hwnnw daw dyletswydd gyfatebol i fod yn deg, yn dryloyw, ac yn atebol.

Yn aml caiff moeseg mewn meddalwedd ei drin fel pwnc meddal wedi’i sgriwio ymlaen ar y diwedd, neu ei drosglwyddo i restr wirio cydymffurfiaeth gyfreithiol. Mae’r bennod hon yn dadlau’r gwrthwyneb. Mae ystyriaethau moesegol yn ofynion peirianyddol. Rhaid dylunio atebolrwydd i mewn, nid ei honni ar ôl y ffaith. A mae gwasanaethu pobl ag urddas yn ddyletswydd foesol ac, dros amser, yn sylfaen yr ymddiriedaeth y mae sefydliadau mawr yn dibynnu arni.

Egwyddorion allweddol

Mae meddalwedd yn gwneud penderfyniadau, felly mae ei chreawdwyr yn dwyn cyfrifoldeb. Rydych yn atebol am yr hyn y mae eich system yn ei wneud i bobl, nid dim ond am a yw’n bodloni’r fanyleb.
Mae hygyrchedd a thegwch yn rhwymedigaethau, nid gwelliannau. Mae eithrio pobl yn ddiffyg, ac yn aml yn fethiant cyfreithiol a moesol.
Mae penderfyniadau awtomataidd canlyniadol yn gofyn am atebolrwydd. Mae pobl yr effeithir arnynt gan benderfyniad awtomataidd yn haeddu esboniad, adferiad, ac adolygiad dynol.
Diofyn yw tryloywder, eithriad yw cyfrinachedd. Yn enwedig yn y sector cyhoeddus, mae gan bobl hawl i ddeall sut y gwneir penderfyniadau amdanynt.
Rhaid archwilio tegwch, nid ei dybio. Mae systemau’n etifeddu ac yn chwyddo’r rhagfarnau yn eu data a’u dyluniad oni bai eich bod yn gwirio’n fwriadol.
Mae urddas yn ofyniad dylunio. Trinnwch bob defnyddiwr, gan gynnwys y bregus a’r anodweddiadol, fel person sy’n haeddu parch.
Mae cynaliadwyedd ac effaith gymdeithasol yn cyfrif. Mae’r ynni, yr adnoddau, a’r effeithiau cymdeithasol sy’n gysylltiedig â meddalwedd yn rhan o’i chost wirioneddol.

Argymhellion

Mabwysiadu a byw moeseg broffesiynol

Seiliwch y sefydliad mewn cod ymddygiad proffesiynol cydnabyddedig, a’i wneud yn wirioneddol yn hytrach nag yn addurniadol. Dylai peirianwyr ddeall bod ganddynt rwymedigaethau tuag at y cyhoedd, nid dim ond tuag at eu cyflogwr. Nid amddiffyniad yw “roeddwn ond yn dilyn y fanyleb” pan fydd system yn niweidio pobl. Crëwch sianeli gwirioneddol ar gyfer codi pryderon moesegol: ffordd o ddweud “ni ddylem adeiladu hyn, neu ni ddylem ei adeiladu fel hyn” nad yw’n gofyn am ddewrder sy’n gorffen gyrfa. Rhowch i dimau’r eirfa a’r sefyllfa i bwyso canlyniadau. Cefnogwch hynny ag arweinyddiaeth sy’n trin gwrthwynebiadau moesegol fel signal gwerthfawr, nid rhwystr. Dim ond os yw’r sefydliad yn gweithredu’n weladwy ar yr hyn y mae’n ei ddysgu y mae hyfforddiant moeseg o gymorth.

Trin hygyrchedd a thegwch fel rhwymedigaethau

Adeiladwch ar gyfer yr ystod lawn o allu ac amgylchiad dynol o’r cychwyn. Mae ôl-osod hygyrchedd yn llawer drutach ac fel arfer yn waeth. Dilynwch safonau hygyrchedd sefydledig (megis WCAG, y Canllawiau Hygyrchedd Cynnwys Gwe), ac mewn llawer o awdurdodaethau bodloni gofynion cyfreithiol sy’n eu gorfodi ar gyfer gwasanaethau cyhoeddus. Profwch gyda thechnolegau cynorthwyol ac, yn anad dim, gyda defnyddwyr gwirioneddol sydd ag anableddau. Ehangwch degwch y tu hwnt i anabledd i’r boblogaeth gyfan rydych yn ei gwasanaethu: pobl ar led band isel, ar ddyfeisiau hen, gyda llythrennedd digidol cyfyngedig, mewn ieithoedd lleiafrifol, ac mewn amgylchiadau bywyd anodd. Ar gyfer gwasanaethau na all pobl optio allan ohonynt (yn enwedig gwasanaethau llywodraeth), mae dylunio dim ond ar gyfer y defnyddiwr hyderus, cysylltiedig, arferol yn fethiant i wasanaethu, nid yn ddiofyn rhesymol.

Adeiladu atebolrwydd algorithmig a thryloywder cyhoeddus

Ar gyfer unrhyw system sy’n gwneud neu’n siapio’n sylweddol benderfyniadau canlyniadol am bobl, dyluniwch atebolrwydd i mewn. Cadwch bobl yn ystyrlon yn y ddolen ar gyfer penderfyniadau risg-uchel, yn hytrach na phlygu’n ddall i allbwn awtomataidd. Byddwch yn gallu esbonio, mewn termau y gall person yr effeithir arno eu deall, pam y gwnaed penderfyniad. Darparwch lwybr gwirioneddol i’w herio a chyrraedd person dynol. Profwch systemau am dueddiad ac effaith anghymesur ar draws grwpiau gwarchodedig a bregus, cyn ac yn ystod defnyddio, a monitro am ddrifft dros amser. Yn y sector cyhoeddus, cyhoeddwch sut mae systemau algorithmig yn gweithio (eu pwrpas, eu data, a’u rhesymeg ar lefel briodol) drwy fecanweithiau megis cofrestrau algorithm, fel y gall dinasyddion a chyrff goruchwylio eu harchwilio. Dogfennwch y defnydd bwriadedig a’r cyfyngiadau hysbys, fel na chaiff systemau eu cymhwyso lle na ddylent fod.

Dylunio ar gyfer tegwch, urddas, ac adferiad

Archwiliwch eich systemau am y ffyrdd y gallant drin pobl yn annheg neu heb urddas. Craffwch ar ddata hyfforddi a rheolau am dueddiad wedi’i blannu. Cofiwch y gall system a optimeiddiwyd yn bur ar gyfer effeithlonrwydd fod yn greulon: gall hidlydd twyll wedi’i diwnio i leihau negyddion ffug rewi cyfrifon miloedd o bobl ddiniwed, pob un yn berson gwirioneddol mewn trallod. Dyluniwch ar gyfer yr achosion methiant o safbwynt y person yr effeithir arno. Beth sy’n digwydd pan fydd y system yn anghywir? Pa mor hawdd y gallant gyrraedd person dynol, esboniad, ac unioniad? Trinnwch ddata personol â pharch a chymedroldeb: casglwch ddim ond yr hyn sydd ei angen, a byddwch yn onest am ei ddefnydd. Trinnwch wall, oedi, a gwrthodiad nid fel achosion ymylol ond fel y momentau lle mae urddas fwyaf mewn perygl.

Cyfrif am gynaliadwyedd a chyfrifoldeb cymdeithasol

Cydnabyddwch fod gan feddalwedd gostau ffisegol a chymdeithasol. Mae canolfannau data, rhediadau hyfforddi, a systemau aneffeithlon yn defnyddio ynni gwirioneddol. Mae effeithlonrwydd yn rhinwedd amgylcheddol yn ogystal ag un ariannol. Ystyriwch effeithiau ehangach yr hyn a adeiladwch (ar lafur, ar ddisgwrs cyhoeddus, ar grwpiau bregus) a byddwch yn barod i wrthod neu ail-siapio gwaith y mae ei niwed yn gorbwyso ei fuddion. I sefydliadau mawr y mae eu systemau’n siapio cymdeithas ar raddfa, nid dyngarwch ochr yn ochr â’r busnes yw cyfrifoldeb cymdeithasol. Mae’n rhan o adeiladu’n gyfrifol, ac yn gynyddol yn fater o reoleiddio a disgwyliad cyhoeddus.

Cyfaddawdau: manteision ac anfanteision

Tyndra	Un ochr	Ochr arall
Awtomeiddio yn erbyn barn ddynol	Graddfa, cysondeb, cyflymder, cost is	Atebolrwydd, arlliw, trugaredd, adferiad
Tryloywder yn erbyn amddiffyniad	Craffu cyhoeddus, ymddiriedaeth, goruchwyliaeth	Risg twyllo, diogelwch, preifatrwydd data
Buddsoddiad hygyrchedd yn erbyn cyflymder	Gwasanaethu pawb; cydymffurfiaeth gyfreithiol a moesol	Cyflenwi cychwynnol arafach; mwy o ymdrech ddylunio
Effeithlonrwydd yn erbyn tegwch	Canlyniadau wedi’u optimeiddio; cost is	Risg o greulondeb i unigolion yn y cynffonnau
Personoli data-gyfoethog yn erbyn preifatrwydd	Gwasanaeth gwell; profiad wedi’i deilwra	Risg gwyliadwriaeth; pryderon urddas a chydsyniad
Cyflymder arloesi yn erbyn rhagofal	Gwerth cyflymach; mantais gystadleuol	Niwed heb ei archwilio wedi’i ddefnyddio ar raddfa

Y cyfaddawd anoddaf yw graddfa yn erbyn cyfiawnder unigol. Mae awtomeiddio’n cyflenwi cysondeb ac effeithlonrwydd ar draws miliynau. Ond caiff ei wallau eu cyflenwi ar raddfa hefyd, a gall system a optimeiddiwyd ar gyfer y cyfanredd fod yn dawel greulon i’r unigolion yn ei chynffonnau. Nid yw’r ateb yn golygu gadael awtomeiddio. Mae’n golygu dylunio ar gyfer yr achos methiant unigol: cadwch bobl yn y ddolen lle mae’r risg yn uchel, gwarantwch esboniad ac adferiad, a mesurwch effaith y system ar y rhai a wasanaethir waethaf, nid dim ond y cyfartaledd. Mae gan dryloywder dyndra gwirioneddol hefyd, oherwydd gall didwylledd llawn alluogi twyllo ac amlygu data preifat. Ond yn y gwasanaethau cyhoeddus mae’r ateb yn pwyso’n gryf tuag at ddatgeliad yn ddiofyn, gan eithrio dim ond yr hyn y mae’n rhaid ei amddiffyn yn wirioneddol, yn hytrach na thrin afloywder fel y diofyn diogel.

Cwestiynau i’w trafod gyda’ch tîm

Pa rai o’ch systemau sy’n gwneud neu’n siapio’n sylweddol benderfyniadau canlyniadol am bobl, ac a yw pob un yn cynnig esboniad, adolygiad dynol, ac adferiad heddiw? Yn gynyddol, meddalwedd yw’r penderfyniad: pwy sy’n cael benthyciad, pa gyflafan a welir, a yw cyfrif wedi’i rewi, pa mor hir mae hawliad yn ei gymryd. Ar gyfer pob system o’r fath, mae person yr effeithir arno’n haeddu esboniad y gallant ei ddeall, llwybr gwirioneddol i’w herio, a pherson dynol a all ymyrryd, ac ar raddfa menter neu lywodraeth caiff un diffyg dylunio ei ailadrodd ar draws miliynau. Dewch â thystiolaeth: rhestrwch eich penderfyniadau awtomataidd canlyniadol a, ar gyfer pob un, gwiriwch a all person a driniwyd yn anghywir gyrraedd person dynol mewn gwirionedd a chael rheswm mewn iaith blaen. Lle mae’r ateb yn na, dyna ddiffyg i’w drwsio, nid nodwedd i’w hychwanegu’n ddiweddarach. Ar gyfer gwasanaethau na all pobl optio allan ohonynt, yn enwedig gwasanaethau llywodraeth, mae hon yn rhwymedigaeth yn hytrach na chwrteisi.
Ydych chi’n trin hygyrchedd fel gofyniad sy’n rhwystro lansio ac wedi’i brofi gyda defnyddwyr anabl gwirioneddol, a phwy ydych chi’n methu ar hyn o bryd? Mae hygyrchedd a thegwch yn rhwymedigaethau, ac mae eithrio pobl yn ddiffyg, yn aml yn fethiant cyfreithiol a moesol, ac eto mae ôl-osod hygyrchedd yn ddibynadwy arafach, drutach, a gwaeth na’i ddylunio i mewn o’r sgrin gyntaf. Dilynwch WCAG, a mynd y tu hwnt i wiriadau awtomataidd i brofi gyda thechnolegau cynorthwyol a defnyddwyr gwirioneddol sydd ag anableddau, ynghyd â phobl ar led band isel, dyfeisiau hen, ieithoedd lleiafrifol, a llythrennedd digidol cyfyngedig. Dewch â thystiolaeth: rhedwch eich llif pwysicaf gyda darllenydd sgrin ac ar gysylltiad wedi’i dagu, a gweld ble mae’n torri. Dylai’r ateb benderfynu a yw hygyrchedd yn giât sy’n rhwystro rhyddhau neu’n eitem ôl-restr nad yw byth yn codi, ac ar gyfer gwasanaethau na all pobl optio allan ohonynt, dim ond y giât sy’n amddiffynadwy. Mae dylunio dim ond ar gyfer y defnyddiwr hyderus, cysylltiedig, arferol yn fethiant i wasanaethu.
Beth yw eich proses sefydlog ar gyfer profi systemau canlyniadol am dueddiad ac effaith anghymesur, cyn ac yn ystod defnyddio? Mae systemau’n etifeddu ac yn chwyddo’r rhagfarnau yn eu data a’u dyluniad oni bai eich bod yn gwirio’n fwriadol, a mae tybio tegwch am nad oedd neb yn bwriadu annhegwch yn dueddiad drwy esgeulustod. Gall hidlydd twyll wedi’i diwnio’n bur i leihau negyddion ffug rewi miloedd o gyfrifon diniwed, pob un yn berson gwirioneddol mewn trallod, felly gall effeithlonrwydd a optimeiddiwyd heb ystyried tegwch fod yn dawel greulon. Dewch â thystiolaeth: ar gyfer pob model sy’n effeithio ar bobl, dangoswch y prawf effaith anghymesur ar draws grwpiau gwarchodedig a bregus, y data dogfennedig a’r cyfyngiadau hysbys, a’r monitro drifft sy’n ail-brofi wrth i’r boblogaeth newid. Dylai’r ateb wneud profi tueddiad yn rheolaidd ac yn barhaus yn hytrach na blwch ticio cyn-lansio unwaith yn unig, a dylai newid eich targed optimeiddio i bwyso niwed i unigolion, nid dim ond cywirdeb cyfanredol. Dyluniwch ar gyfer yr achos methiant o safbwynt y person yr effeithir arno.
Pan fydd peiriannydd yn credu na ddylech adeiladu rhywbeth, neu na ddylech ei adeiladu fel hyn, beth sy’n digwydd i’r gwrthwynebiad hwnnw mewn gwirionedd? Mae moeseg yn dod yn wirioneddol dim ond pan fydd “ni ddylem ryddhau hyn” yn frawddeg y gall rhywun ei dweud heb orffen ei yrfa, ac ar raddfa’r person agosaf at niwed yn aml yw’r mwyaf iau yn yr ystafell. Y pwysau cystadleuol yw cyflenwi: mae gwrthwynebiad a godwyd yn arafu map ffordd, a gall arweinwyr o dan derfyn amser ei drin fel rhwystr yn hytrach na signal gwerthfawr. Dewch â thystiolaeth: enwch y sianel union y byddai peiriannydd yn ei defnyddio, cyfrifwch faint o bryderon a godwyd y llynedd, a olrheiniwch beth newidiodd o’r herwydd, oherwydd mae sianel nad yw erioed wedi atal neu ail-siapio gwaith yn addurniadol. I gorff menter neu lywodraeth, clymwch y sianel wrth berchennog a enwir ac adolygiad dogfennedig, gan fod gwrthwynebiad nad oes gan neb rwymedigaeth i’w glywed yn un na fydd neb yn mentro ei godi, a mae’r niwed wedyn yn ymddangos gyntaf fel sgandal cyhoeddus.
Ydych chi’n gwybod cost amgylcheddol a chymdeithasol yr hyn rydych yn ei redeg, ac a fyddech yn ail-siapio neu’n gwrthod gwaith y mae ei niwed yn gorbwyso ei fuddion? Mae gan feddalwedd gostau ffisegol a chymdeithasol: mae canolfannau data, rhediadau hyfforddi, a systemau aneffeithlon yn defnyddio ynni gwirioneddol, a mae’r effeithiau ail-drefn ar lafur, disgwrs cyhoeddus, a grwpiau bregus yn rhan o gost wirioneddol system. Y tyndra yw bod mesur a thorri’r costau hyn yn cystadlu â chyflymder nodweddion, a mae gwrthod gwaith niweidiol yn ildio refeniw y mae rhywun yn atebol amdano. Dewch â thystiolaeth: ôl troed ynni neu gyfrifiadura eich systemau mwyaf, darlleniad gonest o bwy sy’n dwyn yr effeithiau i lawr yr afon, ac o leiaf un achos diriaethol lle gwnaethoch ail-siapio neu wrthod gwaith ar y sail hon. Ar raddfa menter neu lywodraeth, lle mae eich systemau’n siapio cymdeithas, trinnwch hyn fel rhan o adeiladu’n gyfrifol ac yn gynyddol yn fater o reoleiddio a disgwyliad cyhoeddus, nid dyngarwch wedi’i sgriwio ar ochr y busnes.
Faint y gall rhywun allanol ei ddysgu mewn gwirionedd am sut mae eich systemau canlyniadol yn penderfynu, ac ai datgeliad yw eich diofyn neu eich eithriad? Tryloywder yw lle enillir neu gollir ymddiriedaeth gyhoeddus, oherwydd bod gan bobl hawl i ddeall sut y gwneir penderfyniadau amdanynt, ac yn y sector cyhoeddus mae’r hawl honno’n aml yn gyfraith. Y gwrth-bwysau gwirioneddol yw y gall didwylledd llawn alluogi twyllo ac amlygu data preifat, felly’r cwestiwn gwirioneddol yw ble i dynnu’r llinell yn hytrach nag a ddylid datgelu o gwbl. Dewch â thystiolaeth: ar gyfer pob system ganlyniadol, dangoswch beth rydych yn ei gyhoeddi (pwrpas, data, a rhesymeg ar lefel briodol), beth rydych yn ei atal a’r rheswm penodol, ac a yw disgrifiad iaith-blaen yn eistedd ochr yn ochr ag unrhyw un technegol. I gorff llywodraeth, pwyswch fecanwaith megis cofrestr algorithm yn erbyn yr eithriadau cul, amddiffynadwy, a gwiriwch fod eich datgeliadau’n wirioneddol esbonio yn hytrach na hysbysu’n dechnegol tra’n dweud dim wrth berson yr effeithir arno.

Lens sector

Cwmni newydd. Gyda llond llaw o bobl a fawr o redfa, ni allwch staffio bwrdd moeseg, felly pobwch yr arferion rhad, lifer-uchel i mewn i’r cynnyrch ei hun: rheswm iaith-blaen ar bob gwrthodiad awtomataidd, llwybr un-clic i gyrraedd person dynol, a ffurflenni hygyrch o’r sgrin gyntaf oherwydd bod eu hôl-osod yn ddiweddarach yn arafach ac yn waeth. Dewiswch yr un man lle mae eich meddalwedd yn gwneud penderfyniad canlyniadol am berson a chael esboniad ac adferiad yn iawn yno cyn i chi raddio’r niwed. Mae trin tegwch ac urddas fel gofynion lansio, nid caboli diweddarach, yn costio ychydig nawr ac yn osgoi enw da na allwch fforddio ei golli’n gynnar.

Busnes bach. Mae’n debyg nad oes gennych arbenigwr hygyrchedd na thegwch a chyllideb dynn, felly pwyswch ar y foeseg wedi’i hadeiladu i mewn i’r offer rydych yn eu prynu: dewiswch werthwyr sy’n bodloni WCAG, sy’n dogfennu sut mae eu nodweddion awtomataidd yn penderfynu, ac sy’n gadael i chi gadw person dynol yn y ddolen. Fframiwch eich dyletswydd eich hun fel cwestiwn hylendid data ac urddas, gan wybod pa ddata personol sydd gennych, gan gasglu dim ond yr hyn sydd ei angen arnoch, a gwneud yn siŵr nad yw ateb awtomataidd anghywir yn gadael cwsmer heb ffordd o’ch cyrraedd. Gofynnwch i gyflenwyr ddangos eu hystum hygyrchedd a thueddiad cyn i chi lofnodi, yn hytrach na darganfod y bwlch ar ôl cwyn.

Menter. Ar raddfa’r broblem yw llywodraethu ar draws llawer o dimau: safon a rennir ar gyfer beth sy’n cyfrif fel penderfyniad canlyniadol, giatiau profi hygyrchedd a thueddiad cyson, a llwybr archwilio sy’n profi bod esboniad, adolygiad dynol, ac adferiad yn bodoli lle mae’n rhaid. Sefydlwch adolygiad moesegol sy’n rhwystro rhyddhau yn hytrach na hyfforddiant nad yw’n newid dim, cyllidwch y gwaith hygyrchedd ac effaith anghymesur yn benodol, a monitrwch fodelau a ddefnyddiwyd am ddrifft fel bod tegwch yn barhaus yn hytrach na blwch ticio unwaith yn unig. Trinnwch un diffyg dylunio fel un a ailadroddir ar draws miliynau, oherwydd ar eich cyrhaeddiad chi, mae’n wir.

Llywodraeth. Mae rheolau caffael, dyletswyddau tryloywder, ac atebolrwydd cyhoeddus yn siapio pob dewis, ac ni all dinasyddion optio allan o’ch gwasanaeth drwy fynd at gystadleuydd. Cyhoeddwch sut mae systemau canlyniadol yn gweithio drwy fecanwaith megis cofrestr algorithm, mynnwch drwy gontract fod gwerthwyr yn datgelu arferion data a chyfyngiadau hysbys, ac adeiladwch bob gwasanaeth cyhoeddus i safonau hygyrchedd wedi’u profi gyda defnyddwyr anabl, cysylltiadau led band isel, a siaradwyr ieithoedd lleiafrifol. Gwarantwch hawl i adolygiad dynol ac esboniad iaith-blaen ar bob penderfyniad awtomataidd canlyniadol, a chadwch benderfyniadau terfynol y mae’n rhaid iddynt orffwys gyda swyddog atebol allan o awtomeiddio llawn yn gyfan gwbl.

Enghreifftiau

Cwmni newydd. Mae cwmni newydd fintech tri pherson sy’n adeiladu nodwedd fenthyca awtomataidd yn penderfynu bod tegwch ac urddas yn ofynion, nid caboli diweddarach. Cyn lansio maent yn profi’r model am effaith anghymesur ar draws y grwpiau y gallant eu mesur, yn ysgrifennu i lawr y data y mae’n ei ddefnyddio a lle na ddylid ymddiried ynddo, ac yn gwneud yn siŵr bod pob ymgeisydd a wrthodwyd yn cael rheswm iaith-blaen a llwybr un-clic i gyrraedd sylfaenydd dynol. Maent yn adeiladu’r llif cofrestru i safonau hygyrchedd o’r sgrin gyntaf, oherwydd byddai ei ôl-osod yn ddiweddarach yn arafach ac yn waeth, ac maent yn ychwanegu sianel drosysgrifo gyflym fel y gellir dadrewi cyfrif wedi’i rewi’n anghywir o fewn munudau yn hytrach na gadael person gwirioneddol yn sownd.

Menter. Mae banc sy’n defnyddio penderfynu credyd awtomataidd yn trin tegwch fel gofyniad peirianyddol. Cyn lansio, mae’n profi’r model am effaith anghymesur ar draws grwpiau gwarchodedig, yn dogfennu’r data a’i gyfyngiadau, ac yn adeiladu cyfleuster esboniad, fel bod pob ymgeisydd a wrthodwyd yn cael rheswm y gellir ei ddeall a llwybr clir at adolygiad dynol. Mae proses fonitro’n gwylio am ddrifft ac yn ail-brofi am dueddiad wrth i’r boblogaeth newid. Pan ddechreuodd y system canfod twyll rewi niferoedd mawr o gyfrifon dilys, ychwanegodd y banc sianel adolygiad dynol gyflym a newidiodd ei darged optimeiddio i bwyso niwed cwsmeriaid. Fe wnaeth drin trallod cwsmeriaid a fflagiwyd yn anghywir fel cost wirioneddol, nid ystadegyn derbyniol.

Llywodraeth. Mae llywodraeth ddinesig yn cyhoeddi cofrestr algorithm. Mae’n rhestru’r systemau awtomataidd y mae’r ddinas yn eu defnyddio mewn gwasanaethau cyhoeddus, ac yn disgrifio pwrpas pob system, y data y mae’n dibynnu arno, a sut y gellir herio penderfyniadau. Adeiladwyd gwasanaethau digidol y ddinas i safonau hygyrchedd a’u profi gyda defnyddwyr anabl, cysylltiadau led band isel, a siaradwyr ieithoedd lleiafrifol, ar yr egwyddor bod yn rhaid i wasanaeth na all pobl optio allan ohono weithio i bawb. Mae gan bob penderfyniad awtomataidd canlyniadol hawl i adolygiad dynol ac esboniad iaith-blaen, fel bod dinasyddion yn cadw urddas ac adferiad fel ei gilydd pan fydd meddalwedd y wladwriaeth yn penderfynu rhywbeth am eu bywydau.

Achos busnes: cymhellion, ROI, a TCO

Mae’r achos busnes dros foeseg ac atebolrwydd yn gorffwys ar ymddiriedaeth, risg, a chyrhaeddiad. Ymddiriedaeth yw’r ased parhaol. Mae sefydliadau y mae eu systemau’n trin pobl yn deg ac yn dryloyw yn ennill yr hyder sy’n gwneud pobl yn barod i’w defnyddio, ac mae sefydliadau cyhoeddus yn benodol yn dibynnu ar gyfreithlondeb y gall un system annheg proffil uchel ei chwalu. Risg yw’r gyrrwr tymor-agos. Mae systemau tueddol, anhygyrch, neu afloyw’n gynyddol yn dwyn cosbau rheoleiddiol, ymgyfreitha, a niwed i enw da a all orbwyso cost adeiladu’n gyfrifol. Mae cyrhaeddiad yn chwyddo’r ddau. Ar raddfa menter neu lywodraeth, caiff un methiant moesegol ei ailadrodd ar draws miliynau a mae’n dod yn benawd.

Mae’r gost fabwysiadu’n wirioneddol. Mae gwaith hygyrchedd, profi tueddiad, mecanweithiau esboniad ac adferiad, adolygiad person-yn-y-ddolen, a’r amser dylunio i ystyried canlyniadau i gyd yn ychwanegu ymdrech, yn enwedig yn gynnar. Mae cost peidio â mabwysiadu’n fwy ac yn gynyddol anrhwymol: atebolrwydd gwahaniaethu, eithrio rhannau mawr o’r boblogaeth y mae rhwymedigaeth arnoch i’w gwasanaethu, cost ôl-osod hygyrchedd ac atebolrwydd ar ôl lansio, ac erydiad ymddiriedaeth sydd, unwaith y collir hi, yn ddrud ac yn araf i’w hailadeiladu. Pan wnewch yr achos i arweinyddiaeth, fframiwch foeseg fel rheoli risg ac adeiladu ymddiriedaeth, nid dyngarwch. Nodwch yr amgylchedd rheoleiddiol sy’n tynhau o amgylch atebolrwydd algorithmig a hygyrchedd. Pwysleisiwch gost gyfan perchnogaeth: mae adeiladu’n gyfrifol o’r cychwyn yn llawer rhatach na gwella system sydd eisoes wedi niweidio pobl ar raddfa. Ar gyfer sefydliadau cyhoeddus, ychwanegwch y ddadl symlaf: gwasanaethu dinasyddion yn deg yw’r genhadaeth, nid cyfyngiad arni.

Gwrth-batrymau a phethau i’w hosgoi

Moeseg fel blwch ticio. Adolygiad neu hyfforddiant unwaith yn unig nad yw’n newid dim am sut mae systemau’n cael eu hadeiladu mewn gwirionedd.
Ôl-osod hygyrchedd. Trin hygyrchedd fel ychwanegiad diweddar, gan gynhyrchu canlyniadau gwaeth a drutach na’i ddylunio i mewn.
Yr algorithm anatebol. Penderfyniadau awtomataidd canlyniadol heb esboniad, heb adolygiad dynol, a heb lwybr i herio.
Optimeiddio i greulondeb. Tiwnio’n bur ar gyfer effeithlonrwydd cyfanredol nes bod y system yn dawel greulon i’r bobl yn ei chynffonnau.
Tueddiad drwy esgeulustod. Tybio bod system yn deg oherwydd na fwriadodd neb annhegwch, heb byth ei brofi.
“Y cyfrifiadur sy’n dweud na.” Staff rheng flaen a defnyddwyr heb allu i drosysgrifo neu gwestiynu penderfyniad awtomataidd y gallant weld sy’n anghywir.
Dylunio ar gyfer y defnyddiwr hyderus. Adeiladu ar gyfer y defnyddiwr arferol, cysylltiedig, llythrennog ac eithrio pawb arall, sy’n anamddiffynadwy ar gyfer gwasanaethau na all pobl optio allan ohonynt.
Theatr tryloywder. Cyhoeddi datgeliadau annealladwy sy’n hysbysu’n dechnegol ond nad ydynt yn esbonio dim mewn gwirionedd.

Model aeddfedrwydd

Lefel 1: Cychwyn. Ni chaiff moeseg ei chyfarch neu mae’n bur adweithiol ar ôl sgandal. Anwybyddir hygyrchedd neu mae’n finimol. Mae penderfyniadau awtomataidd yn afloyw, heb esboniad a heb adferiad. Ni chaiff tueddiad byth ei brofi, ac ni ystyrir cynaliadwyedd nac effaith gymdeithasol.

Lefel 2: Datblygu. Mae cod ymddygiad yn bodoli a dilynir rhai safonau hygyrchedd, yn aml yn hwyr. Mae penderfyniadau awtomataidd proffil uchel yn cael rhywfaint o oruchwyliaeth ddynol, ond nid felly y rhan fwyaf. Gwirir tueddiad yn achlysurol, gellir codi pryderon drwy broses wan, ac mae arferion yn amrywio’n eang o un tîm i’r nesaf.

Lefel 3: Safoni. Mae adolygiad moesegol yn rhan ddogfennedig o’r broses ddatblygu ac fe’i gorfodir ar draws y sefydliad. Dylunnir hygyrchedd i mewn a’i brofi gyda defnyddwyr gwirioneddol. Mae gan benderfyniadau awtomataidd canlyniadol esboniad, adolygiad dynol, ac adferiad yn ddiofyn. Mae profi tueddiad a monitro drifft yn rheolaidd, mae systemau’r sector cyhoeddus yn cyhoeddi sut maent yn gweithio, a mesurir cynaliadwyedd yn erbyn safon gyffredin.

Lefel 4: Rheoli. Mae’r sefydliad yn mesur ac yn rheoli ei ystum moesegol â data yn erbyn llinellau sylfaen: sgorau cydymffurfiaeth hygyrchedd, metrigau effaith anghymesur wedi’u holrhain ar draws grwpiau gwarchodedig dros amser, cyfraddau adferiad ac amser-i-berson-dynol ar gyfer penderfyniadau a herwyd, cyfran systemau canlyniadol sy’n cario dogfennaeth gyhoeddedig, ac ôl troed ynni neu gyfrifiadura systemau mawr. Mae metrigau’n giatio rhyddhau, mae torri trothwyon yn sbarduno ymchwiliad, a mae arweinwyr yn adolygu’r rhifau ar gadence sefydlog yn hytrach na thybio bod yr arferion yn cael eu dilyn.

Lefel 5: Cerddorfa. Mae cyfrifoldeb wedi’i blannu yn sut mae’r sefydliad yn adeiladu ac yn addasu. Mae hygyrchedd a thegwch yn ddiofynion na ellir eu negodi wedi’u gwirio ar gyfer y boblogaeth lawn a wasanaethir, mae atebolrwydd algorithmig (tryloywder, profi tegwch, adferiad, goruchwyliaeth ddynol) yn safonol ac yn cael ei fonitro’n barhaus, a mae pryderon moesegol yn signal gwerthfawr sy’n ail-siapio neu’n atal gwaith. Mae’r sefydliad yn trin ymddiriedaeth, tegwch, ac urddas fel craidd i’w genhadaeth, yn integreiddio moeseg â phenderfyniadau cynnyrch, risg, a chaffael, ac yn ail-gwmpasu neu’n ymddeol systemau wrth i ddisgwyliadau a thystiolaeth esblygu.

Syniadau ar gyfer trafodaeth

Ble mae’r llinell rhwng penderfyniadau y gellir eu hawtomeiddio’n llawn a’r rhai sy’n gorfod cadw person dynol yn ystyrlon yn y ddolen?
Faint o dryloywder algorithmig sy’n ddigon, a sut ydych yn datgelu’n ystyrlon heb alluogi twyllo neu dorri preifatrwydd?
Pwy sy’n atebol pan fydd system awtomataidd yn niweidio rhywun: y peiriannydd, y rheolwr, y sefydliad, neu’r gwerthwr?
Sut ydych yn gwneud codi gwrthwynebiad moesegol yn wirioneddol ddiogel yn hytrach na chyfyngu gyrfa?
Pa rwymedigaethau sydd gan sefydliad tuag at ddefnyddwyr na ddyluniodd ar eu cyfer, a pha mor bell y mae’n rhaid i degwch ymestyn?
Sut y dylai cost amgylcheddol cyfrifiadura ffactori i mewn i benderfyniadau pensaernïol a chynnyrch?

Casgliadau allweddol

Pan fydd meddalwedd yn gwneud penderfyniadau canlyniadol am bobl, mae ei chreawdwyr yn atebol am yr hyn y mae’n ei wneud, nid dim ond am a yw’n bodloni’r fanyleb.
Mae hygyrchedd a thegwch yn rhwymedigaethau ac yn ddiffygion pan absennol, nid gwelliannau opsiynol, yn enwedig ar gyfer gwasanaethau na all pobl optio allan ohonynt.
Mae penderfyniadau awtomataidd canlyniadol yn gofyn am esboniad, adolygiad dynol, adferiad, a phrofi tueddiad parhaus; dyluniwch atebolrwydd i mewn yn hytrach na’i honni wedyn.
Gall effeithlonrwydd a optimeiddiwyd heb ystyried tegwch fod yn dawel greulon; dyluniwch ar gyfer yr achos methiant unigol, nid dim ond y cyfanredd.
Yn y sector cyhoeddus, dylai tryloywder ynghylch sut mae systemau algorithmig yn gweithio fod yn ddiofyn, gyda chyfrinachedd yn eithriad cul.
Ymddiriedaeth a risg yw’r achos busnes: mae adeiladu’n gyfrifol o’r cychwyn yn llawer rhatach na gwella niwed ar raddfa, ac ar gyfer sefydliadau cyhoeddus, tegwch yw’r genhadaeth.

Cyfeiriadau a darllen pellach

ACM/IEEE-CS, Software Engineering Code of Ethics and Professional Practice
ACM, Code of Ethics and Professional Conduct
Cathy O’Neil, Weapons of Math Destruction
Virginia Eubanks, Automating Inequality
Safiya Umoja Noble, Algorithms of Oppression
Ruha Benjamin, Race After Technology
Batya Friedman a David G. Hendry, Value Sensitive Design
World Wide Web Consortium (W3C), Web Content Accessibility Guidelines (WCAG)
NIST, AI Risk Management Framework
OECD, Principles on Artificial Intelligence
European Union, General Data Protection Regulation (GDPR) a’r AI Act
UK Government, Data Ethics Framework a’r Algorithmic Transparency Recording Standard