9.3 Rheoli digwyddiadau

Trosolwg a chymhelliant

Rheoli digwyddiadau yw’r ddisgyblaeth o ganfod, ymateb i, datrys, a dysgu o darfiadau heb eu cynllunio i wasanaeth. Mae pob system nad yw’n ddibwys yn methu yn y pen draw, felly nid a fydd digwyddiadau’n digwydd yw’r cwestiwn ond pa mor dda rydych yn eu trin. Mae rheoli digwyddiadau da’n cadw effaith a hyd tarfiadau’n fach, yn cydgysylltu pobl o dan bwysau, yn cyfathrebu’n onest â’r rhai yr effeithir arnynt, ac yn troi pob methiant yn welliant parhaol. Mae’n cyfuno parodrwydd gweithredol, rolau clir, cyfathrebu tawel, a diwylliant dysgu.

I dimau mawr, dyma lle mae cymhlethdod y sefydliad wir yn brathu. Gall digwyddiad difrifol gynnwys llawer o wasanaethau, sawl tîm, cyfarwyddwyr, cwsmeriaid, rheoleiddwyr, a’r cyhoedd, i gyd ar unwaith, o dan bwysau amser a chyda gwybodaeth anghyflawn. Heb strwythur a rennir, mae’r ymateb yn disgyn i anhrefn: ymdrech ddyblyg, penderfyniadau gwrthdrawiadol, distawrwydd tuag at randdeiliaid, ac arwriaeth sy’n llosgi pobl allan. Mae proses digwyddiad wedi’i diffinio’n dda’n rhoi ffordd hysbys i bawb blygio i mewn, un ffynhonnell wirionedd, ac awdurdod penderfynu clir, fel y gall grŵp mawr weithredu’n gydlynol mewn argyfwng.

Mae’r peryglon i fenter a llywodraeth yn uchel. Mae gwasanaethau ariannol yn wynebu terfynau amser adrodd rheoleiddiol ar gyfer toriadau mawr. Gall digwyddiadau gofal iechyd effeithio ar ddiogelwch cleifion. Gall methiannau gwasanaeth llywodraeth atal dinasyddion rhag cael mynediad at fudd-daliadau, ffeilio trethi, neu gyrraedd gwasanaethau brys. Mae atebolrwydd cyhoeddus yn golygu bod toriadau’n weladwy ac yn cael eu craffu arnynt. Mae arferion ar-alwad cynaliadwy hefyd yn ddyletswydd gofal: mae cylchdroeon tanstaffiedig, wedi’u rheoli’n wael yn achosi ymlâdd ac ymadawiadau sy’n gwneud dibynadwyedd yn waeth yn y pen draw. Mae rheoli digwyddiadau felly’n eistedd lle mae rhagoriaeth weithredol, lles dynol, ac ymddiriedaeth sefydliadol yn cyfarfod.

Gweler hefyd: pennod 9.1 (peirianneg dibynadwyedd safle), pennod 9.2 (arsylladwyedd a monitro), a phennod 1.1 (diwylliant peirianneg: diwylliant digwyddiadau di-fai, sy’n canolbwyntio ar ddysgu).

Egwyddorion allweddol

Mae strwythur yn curo arwriaeth. Mae strwythur gorchymyn wedi’i ddiffinio’n gadael i lawer o bobl gydgysylltu; nid yw dibynnu ar ychydig o arwyr yn graddio ac mae’n eu llosgi allan.
Rolau, nid teitlau. Mewn digwyddiad, mae rolau clir megis cadlywydd digwyddiad ac arweinydd cyfathrebu’n bwysicach na safle sefydliadol.
Cyfathrebwch yn gynnar ac yn aml. Mae diweddariadau aml, gonest i randdeiliaid yn adeiladu ymddiriedaeth hyd yn oed pan fydd y newyddion yn ddrwg; mae distawrwydd yn ei dinistrio.
Gwahanwch gydgysylltu oddi wrth ymchwilio. Ni ddylai’r person sy’n rhedeg y digwyddiad hefyd fod â’i ben i lawr yn dadfygio.
Rhaid i ar-alwad fod yn gynaliadwy. Mae cylchdroeon, iawndal, a therfynau llwyth yn amddiffyn y bobl sy’n amddiffyn y system.
Di-fai yn ddiofyn. Mae pobl yn gweithredu’n rhesymol o gofio’r hyn a wyddent; mae bai’n cuddio’r achosion systemig, gwirioneddol.
Dysgu yw’r pwynt. Roedd digwyddiad na chynhyrchodd welliant parhaol yn ddioddefaint gwastraffedig.
Cadwch gof sefydliadol. Rhaid i bost-mortemau a’u camau fod yn ganfyddadwy ac yn cael eu hailddefnyddio, nid ar goll ar ôl wythnos.

Argymhellion

Rhedwch gylchdroeon ar-alwad cynaliadwy

Cynlluniwch ar-alwad i fod yn ddyngar ac yn effeithiol. Cadwch gylchdroeon yn ddigon mawr fel nad oes neb ar alwad yn rhy aml, darparwch haen gynradd ac eilaidd (uwchgyfeirio), a gosodwch ddisgwyliadau clir ar gyfer amseroedd cydnabod ac ymateb. Talwch am ar-alwad yn deg, boed drwy dâl neu amser i ffwrdd, a’i drin fel gwaith go iawn. Trac lwyth rhybuddion fesul shifft, a thriniwch gylchdro swnllyd, sy’n dinistrio cwsg fel bwg i’w drwsio drwy dorri galwadau ffug, nid fel arferol. Dilynwch yr haul ar draws parthau amser lle gallwch, fel bod pobl ar alwad yn ystod eu horiau effro. Sicrhewch fod gan bob peiriannydd ar alwad y rhedlyfrau, y mynediad, a’r awdurdod i weithredu, a bod trosglwyddiadau shifft yn trosglwyddo cyd-destun yn fwriadol.

Sefydlwch orchymyn digwyddiad a lefelau difrifoldeb

Mabwysiadwch system orchymyn digwyddiadau wedi’i hysbrydoli gan ymateb brys. Mae’r cadlywydd digwyddiad yn berchen ar gydgysylltu a phenderfyniadau, nid y datrysiad technegol. Maent yn dirprwyo, yn tracio camau, ac yn cadw’r ymateb i symud. Mae rolau cefnogol yn cynnwys arweinydd gweithrediadau neu dechnegol sy’n cyfarwyddo’r ymchwiliad ymarferol, arweinydd cyfathrebu sy’n trin diweddariadau mewnol ac allanol, ac ysgrifennydd sy’n cofnodi’r llinell amser. Diffiniwch lefelau difrifoldeb (er enghraifft SEV1 ar gyfer toriadau critigol, eang, neu’n effeithio ar ddiogelwch i lawr i SEV3 ar gyfer materion mân) gyda meini prawf clir, oherwydd bod difrifoldeb yn gyrru pwy sy’n cael ei alw, pa mor gyflym, a faint o’r sefydliad sy’n symudoli. Dylai unrhyw un allu datgan digwyddiad, a dylech wyro tuag at ddatgan.

Cyfathrebwch yn ystod digwyddiadau, yn fewnol ac yn gyhoeddus

Sefydlwch un sianel gydgysylltu fel y ffynhonnell wirionedd, a phostiwch ddiweddariadau ar gadwyn sefydlog, hyd yn oed pan mai’r cwbl yw’r diweddariad yw “dal i ymchwilio.” Yn fewnol, cadwch arweinyddiaeth a thimau yr effeithir arnynt yn hysbys drwy’r arweinydd cyfathrebu, fel nad yw ymatebwyr yn cael eu torri ar draws. Yn allanol, defnyddiwch dudalen statws ac, ar gyfer digwyddiadau sylweddol, hysbysiadau cwsmer neu gyhoeddus sy’n onest am effaith a datrysiad disgwyliedig heb addo gormod. Ar gyfer gwasanaethau rheoleiddiedig a llywodraeth, gwybyddwch eich rhwymedigaethau a therfynau amser adrodd gorfodol ymlaen llaw, a chael templedi’n barod. Y nod yw bod rhanddeiliaid bob amser yn clywed mwy gennych chi na chan sïon.

Cynhaliwch bost-mortemau di-fai a gyrrwch gamau cywiro

Ar ôl unrhyw ddigwyddiad sylweddol, ysgrifennwch bost-mortem di-fai: llinell amser ffeithiol, yr effaith, y ffactorau cyfrannol, beth aeth yn dda, beth aeth yn wael, a lle cawsoch lwc. Mae di-fai yn golygu ei fod yn canolbwyntio ar sut y caniataodd y system a’r broses y methiant, nid ar bwy i’w gosbi, oherwydd mai diogelwch seicolegol sy’n cynhyrchu adroddiadau gonest a dysgu go iawn. Mae pob post-mortem yn cynhyrchu camau cywiro gyda pherchnogion a dyddiadau dyledus, wedi’u blaenoriaethu yn ôl eu heffaith ar risg y dyfodol. Traciwch y rhain i gwblhad yn y backlog peirianneg arferol. Nid yw post-mortem nad yw ei gamau byth yn cael eu gwneud ond yn theatr.

Dysgwch o ddigwyddiadau ac adeiladwch gof sefydliadol

Mae post-mortemau unigol yn angenrheidiol, ond nid ydynt yn ddigon ar eu pen eu hunain. Adolygwch ddigwyddiadau’n gyfunol i ddod o hyd i themâu cylchol, gwendidau systemig, a dosbarthiadau o fethiant sy’n werth trwsiad strwythurol. Gwnewch bost-mortemau’n chwiliadwy a’u rhannu’n eang, fel bod gwersi’n croesi ffiniau tîm. Bwydwch yr hyn a ddysgwch yn ôl i mewn i redlyfrau, hyfforddiant, adolygiadau pensaernïaeth, a bariau parodrwydd cynhyrchu. Ystyriwch adolygiadau dibynadwyedd cyfnodol a diwrnodiau gêm neu ymarferion anhrefn sy’n ymarfer yr ymateb ac yn dod â bylchau i’r wyneb cyn i ddigwyddiad go iawn wneud hynny. Triniwch eich corff o ddigwyddiadau fel ased strategol sy’n dal gwybodaeth weithredol a enillwyd yn galed.

Cyfaddawdau: manteision ac anfanteision

Penderfyniad	Manteision	Anfanteision
Gorchymyn digwyddiad ffurfiol	Ymateb cydgysylltiedig, graddadwy	Baich ar gyfer digwyddiadau bach
Bar isel i ddatgan	Yn dal problemau’n gynnar	Larymau ffug achlysurol
Tryloywder statws cyhoeddus	Yn adeiladu ymddiriedaeth, yn lleihau sïon	Yn datgelu methiannau, yn gwahodd craffu
Post-mortemau di-fai	Dysgu gonest, diogelwch	Gall deimlo fel dim atebolrwydd os caiff ei gam-ddefnyddio
Cylchdroeon ar-alwad mawr	Cynaliadwy, llai o ymlâdd	Angen mwy o staff wedi’u hyfforddi, yn gwanhau cyd-destun

Y prif gyfaddawd yw rhwng baich proses a budd cydgysylltu. Mae strwythur digwyddiad pwysau trwm yn amhrisiadwy mewn SEV1 sy’n rhychwantu llawer o dimau ond yn ormodedd ar gyfer pigiad bach, felly tiwniwch y broses i ddifrifoldeb. Mae tryloywder yn cyfnewid embaras tymor byr am ymddiriedaeth tymor hir. Mae sefydliadau sy’n cyfathrebu’n agored yn ystod toriadau fel arfer yn cadw mwy o ewyllys da na’r rhai sy’n mynd yn dawel. Weithiau camddarllenir di-faioldeb fel diffyg atebolrwydd, ond mae’r atebolrwydd y mae’n ei fynnu’n gyfunol a systemig: mae’r tîm yn berchen ar drwsio’r amodau a ganiataodd y methiant, sy’n gweithio’n well o lawer na beio unigolyn.

Cwestiynau i’w trafod gyda’ch tîm

Faint o bobl all redeg digwyddiad fel cadlywydd, ac a allwch enwi tri nad ydynt yn uwch reolwyr? Mae dibynnu ar un neu ddau arwr i achub pob digwyddiad yn fregus ac yn gwarantu eu ymlâdd, ac mae rôl cadlywydd digwyddiad ynglŷn â chydgysylltu, nid safle technegol, felly ni ddylai ddiofynnu i’r un bobl uwch bob tro. Dewch â’r rhestr i’r drafodaeth: rhestrwch bawb sydd wedi’u hyfforddi i ddal y rôl cadlywydd a phryd y gwnaethant redeg un go iawn ddiwethaf. I sefydliad mawr, gall digwyddiad difrifol rychwantu llawer o dimau am 3am, ac mae angen cadlywydd wedi’i hyfforddi ar gael ym mhob parth amser, nid un arbenigwr sy’n cysgu. Cylchdrowch y rôl a rhedwch gadlywyddion newydd drwy ddiwrnodiau gêm fel bod y sgil yn lledaenu. Mae’r ateb yn dweud wrthych a yw eich ymateb yn graddio gyda’r sefydliad neu’n torri’r eiliad nad yw eich person gorau ar gael.
A ydych yn gwybod eich terfynau amser adrodd toriad gorfodol, ac a yw’r templedi a’r perchnogion yn barod cyn y SEV1 nesaf? Mae gwasanaethau ariannol yn wynebu terfynau amser adrodd rheoleiddiol ar gyfer toriadau mawr, mae digwyddiadau gofal iechyd yn cyffwrdd diogelwch cleifion, ac mae methiannau llywodraeth yn rhwystro dinasyddion rhag budd-daliadau neu wasanaethau brys, felly mae ffenestr adrodd a gollwyd yn troi toriad technegol yn broblem gyfreithiol. Canol SEV1 yw’r amser gwaethaf i ddarganfod bod gennych bedair awr i hysbysu rheoleiddiwr a dim templed. Dewch â’r rhwymedigaethau go iawn: pa reoleiddwyr, pa drothwyon sy’n sbarduno adroddiad, beth yw’r terfyn amser, a phwy sy’n awdurdodedig i ffeilio. Neilltuwch hyn i’r rôl arweinydd cyfathrebu ymlaen llaw fel nad yw ymatebwyr byth yn cael eu tynnu oddi ar y trwsiad i ddrafftio ffeiliad. Dylai’r ateb gynhyrchu templedi parod, perchennog wedi’i enwi, a lefel difrifoldeb sy’n sbarduno’r cloc adrodd yn awtomatig.
Pryd oedd y tro diwethaf i chi ymarfer digwyddiad mawr gyda diwrnod gêm, a pha fwlch a ddatgelwyd? Mae diwrnodiau gêm ac ymarferion anhrefn yn ymarfer yr ymateb ac yn dod â bylchau i’r wyneb cyn i ddigwyddiad go iawn wneud hynny, a’r cyflwr terfynol aeddfed yn y bennod hon yw ymateb llyfn, wedi’i ymarfer yn dda, nid ymateb wedi’i ddyfeisio o dan bwysau. Mae cynllun nad yw erioed wedi’i ymarfer yn cuddio rhagdybiaethau wedi torri: rhedlyfrau hen, mynediad coll, llwybr uwchgyfeirio sy’n mynd i ddim, tudalen statws nad oes neb yn gallu ei diweddaru. Dewch â chanfyddiadau’r ymarfer diwethaf, neu os na fu un, triniwch hynny fel y canfyddiad. Ar gyfer systemau menter a llywodraeth lle mae toriadau’n cael eu craffu’n gyhoeddus, ymarfer yw sut rydych yn dangos cymhwysedd yn hytrach nag ymfyfyrio o flaen dinasyddion a rheoleiddwyr. Dylai’r ateb osod cadwyn ar gyfer diwrnodiau gêm a bwydo pob bwlch a ddatgelwyd i mewn i redlyfrau, adolygiadau mynediad, a bariau parodrwydd cynhyrchu.
Beth yw’r llwyth rhybuddion gwirioneddol ar eich cylchdro prysuraf, ac a fyddech yn fodlon cario’r bipiwr hwnnw eich hun? Mae cylchdro swnllyd, sy’n dinistrio cwsg yn fwg, nid yn fathodyn anrhydedd, a blinder rhybuddion yw lle mae ymatebwyr yn colli neu’n araf gydnabod yr argyfwng go iawn, felly mae’r cwestiwn dyngar a’r cwestiwn dibynadwyedd yr un cwestiwn. Y pwysau cystadleuol yw bod torri galwadau’n teimlo fel gostwng gwyliadwriaeth, pan mewn gwirionedd mae llifogydd o alwadau ffug yn ei ostwng yn llawer mwy. Dewch â’r rhifau: galwadau fesul shifft, faint a danfonwyd y tu allan i oriau gwaith, faint oedd yn weithredadwy, a’r amseroedd cydnabod ar gyfer y rhai a oedd yn bwysig. Gosodwch nenfwd penodol ar alwadau fesul shifft a thriniwch unrhyw gylchdro sy’n mynd drosto fel gwaith i’w drwsio drwy diwnio neu ddileu rhybuddion. I sefydliad mawr neu lywodraeth, mae ar-alwad cynaliadwy’n ddyletswydd gofal ac yn ysgogydd cadw staff, oherwydd mai’r peirianwyr profiadol sy’n cario gwybodaeth system na ellir ei disodli yw’n union y rhai y mae cylchdro creulon yn eu gyrru allan, ac mae ailadeiladu’r wybodaeth honno’n costio llawer mwy na staffio’r cylchdro’n ddyngar.
Pa ffracsiwn o gamau cywiro’r chwarter diwethaf sydd wedi’u gorffen mewn gwirionedd, a phwy sy’n atebol pan nad ydynt? Mae post-mortem nad yw ei gamau byth yn cael eu cwblhau’n cynhyrchu’r un digwyddiad eto, felly’r ddisgyblaeth sy’n gwahanu dysgu go iawn o theatr yw a yw’r trwsiadau’n cael eu cyflenwi, nid a yw’r ysgrifau’n darllen yn dda. Y tensiwn yw bod camau cywiro’n cystadlu â gwaith nodwedd yn yr un backlog, a heb berchennog wedi’i enwi, dyddiad dyledus, a chadwyn adolygu, maent yn colli pob brwydr blaenoriaethu’n dawel. Dewch â’r cofrestr: pob cam o bost-mortemau diweddar, ei berchennog, ei ddyddiad dyledus, a’i statws, ynghyd â chyfrif y digwyddiadau a ailddigwyddodd am fod trwsiad wedi stolio. Traciwch y rhain yn y backlog peirianneg arferol ac adolygwch gwblhad fel metrig yn erbyn llinell sylfaen, fel bod camau sy’n heneiddio neu’n cael eu gollwng yn dod i’r wyneb yn hytrach na diflannu. Mewn lleoliadau menter a llywodraeth, mae cam cywiro anorffenedig ar ôl toriad a adroddwyd yn fath o ganfyddiad y mae archwiliwr neu gorff goruchwylio’n gafael ynddo, felly mae cwblhad yn amddiffyniad peirianneg ac yn fater o atebolrwydd y gellir ei ddangos.
A yw pawb yn teimlo’n ddiogel yn datgan digwyddiad yn gynnar ac yn siarad yn onest yn y post-mortem, neu a yw ofn bai’n eu harafu? Diwylliant di-fai yw’r hyn sy’n cynhyrchu’r adroddiadau gonest sy’n datgelu achosion systemig, a bar isel i ddatgan yw’r hyn sy’n dal problemau tra maent yn fach, felly mae’r ddau’n dibynnu ar bobl nad ydynt yn ofni y bydd codi llaw yn cael ei ddal yn eu herbyn. Y pryder cystadleuol yw bod di-faioldeb yn darllen fel diffyg atebolrwydd, ond mae’r atebolrwydd y mae’n ei fynnu’n gyfunol: mae’r tîm yn berchen ar drwsio’r amodau a ganiataodd y methiant yn hytrach na beio pwy bynnag a’i cyffyrddodd ddiwethaf. Dewch â thystiolaeth y gallwch ei harsylwi mewn gwirionedd: pa mor gyflym mae digwyddiadau’n cael eu datgan o’i gymharu â pha mor hir mae problemau’n mudferwi’n gyntaf, a yw peirianwyr iau byth yn datgan, ac a yw post-mortemau’n enwi amodau cyfrannol neu’n enwi person yn dawel. I sefydliad mawr neu gyhoeddus, mae diogelwch seicolegol yn fregus ac yn hawdd ei ddadwneud gan un adolygiad wedi’i yrru gan fai neu un arweinydd sy’n cosbi negesydd, felly gwyliwch am yr arwydd bod pobl yn mynd o gwmpas y broses, a thriniwch ddatganiad cynnar gonest fel ymddygiad i’w amddiffyn yn hytrach na risg i’w reoli.

Lens sector

Cwmni newydd. Gyda llond dwrn o beirianwyr a dim gofod anadlu i’w sbario, cadwch y broses i un dudalen: pwy bynnag sy’n sylwi’n datgan, un person yn cydgysylltu, un person yn ymchwilio, un person yn dweud wrth gwsmeriaid, a neb arall yn cyffwrdd cynhyrchu. Hepgorwch haenau difrifoldeb ffurfiol a rolau pwrpasol na allwch eu staffio, ond ysgrifennwch yr ysgrif un-dudalen di-fai, oherwydd ar eich maint gall un methiant cylchol eich suddo. Pwyswch ar dudalen statws wedi’i letya ac offeryn galw yn hytrach na adeiladu offer cydgysylltu eich hun.

Busnes bach. Nid oes gennych arbenigwr dibynadwyedd pwrpasol a chyllideb dynn, felly prynwch offer digwyddiad wedi’i blannu yn y gwasanaethau monitro a galw rydych eisoes yn talu amdanynt yn hytrach na adeiladu eich un eich hun. Triniwch ar-alwad fel dyletswydd a rennir gyda therfynau clir, dyngar fel nad yw’n llosgi allan yr un neu ddau berson sy’n deall y system. Ysgrifennwch bost-mortemau byr a chwblhewch y trwsiadau go iawn, gan y bydd toriad ailadroddus gyda thîm bach yn costio cwsmeriaid i chi na allwch eu disodli’n hawdd.

Menter. Yr her yw cydgysylltu llawer o dimau o dan bwysau, felly safonwch system orchymyn digwyddiad, meini prawf difrifoldeb a rennir, ac un ffynhonnell wirionedd fel nad yw SEV1 sy’n rhychwantu gwasanaethau’n darniogi. Buddsoddwch mewn cadlywyddion wedi’u hyfforddi ar draws pob parth amser, cyfunwch bost-mortemau’n gof sefydliadol chwiliadwy, a llywodraethwch gamau cywiro i gwblhad gyda pherchnogion a thraciau archwilio. Rheolwch lwyth ar-alwad fel metrig ar draws y fflyd gyfan fel nad oes unrhyw gylchdro’n dawel yn dod yn ddiddyngar.

Llywodraeth. Mae rheolau caffael, tryloywder, ac atebolrwydd cyhoeddus yn siapio’r ymateb. Gwybyddwch eich terfynau amser a throthwyon adrodd toriad gorfodol ymlaen llaw, cadwch dempledi ffeilio a pherchennog awdurdodedig wedi’i enwi’n barod, a chyhoeddwch ddiweddariadau statws gonest a sgriptiau canolfan alwadau fel na chaiff dinasyddion byth eu gadael i ddyfalu. Rhannwch bost-mortemau ar draws yr asiantaeth, bwydwch nhw i mewn i gynllunio gwydnwch ar gyfer cyfnodau brig, a thriniwch gofnod digwyddiadau’r gorffennol fel tystiolaeth y gallwch ei dangos i gyrff goruchwylio bod methiannau wedi cynhyrchu trwsiadau parhaol.

Enghreifftiau

Cwmni newydd. Mae cwmni newydd chwe pherson yn deffro i’w API yn dychwelyd gwallau a phawb yn pentyrru i mewn i’r un edefyn sgwrsio ar unwaith. Wedi’u llosgi gan yr anhrefn, maent yn ysgrifennu un dudalen o hanfodion digwyddiad: pwy bynnag sy’n sylwi’n datgan y digwyddiad ac yn dod yn gydgysylltydd, un person yn ymchwilio, un person yn postio diweddariad plaen i gwsmeriaid, a neb arall yn cyffwrdd cynhyrchu. Mae’r toriad nesaf yn rhedeg yn dawel ac yn datrys mewn deugain munud. Mae ysgrif ddi-fai fer yn dod o hyd i fudo a redodd heb gam wrth gefn, ac maent yn ychwanegu’r gwiriad hwnnw i’w sgript ddefnyddio’r un diwrnod.

Menter. Mae darparwr meddalwedd-fel-gwasanaeth mawr yn cael toriad rhannol yn ystod oriau busnes. Mae’r peiriannydd ar alwad yn datgan SEV1, ac mae cadlywydd digwyddiad yn cymryd drosodd cydgysylltu tra bo’r arweinydd technegol yn ymchwilio a’r arweinydd cyfathrebu’n postio diweddariadau i’r dudalen statws gyhoeddus bob ugain munud. Mae cyfarwyddwyr yn dilyn sianel arweinyddiaeth yn lle torri ar draws ymatebwyr. Mae’r gwasanaeth yn dychwelyd mewn naw deg munud. Mae post-mortem di-fai’r wythnos nesaf yn dod o hyd i warchodwr coll mewn piblinell ddefnyddio ac yn cynhyrchu tri cham cywiro gyda pherchnogion. Mae adolygiad cyfunol yn ddiweddarach yn dangos mai dyma’r trydydd digwyddiad cysylltiedig â defnyddio’r chwarter hwnnw, sy’n sbarduno buddsoddiad strwythurol mewn cyflwyniadau mwy diogel.

Llywodraeth. Mae system daliadau asiantaeth budd-daliadau’n methu ar ddiwrnod cyfaint uchel, gan rwystro dinasyddion rhag derbyn cymorth. Mae proses digwyddiad yr asiantaeth yn symudoli cadlywydd, ymatebwyr technegol, ac arweinydd cyfathrebu sy’n cydgysylltu negeseuon cyhoeddus ac yn bodloni gofyniad rheoleiddiol i adrodd toriadau mawr o fewn ffenestr sefydlog. Mae tudalen statws a sgriptiau canolfan alwadau’n cadw dinasyddion a staff yn hysbys. Mae’r post-mortem di-fai, wedi’i rannu ar draws yr asiantaeth, yn bwydo gwersi i mewn i redlyfrau ac adolygiad parodrwydd cynhyrchu, ac mae corff digwyddiadau’r gorffennol yn llywio cynllunio capasiti a gwydnwch y flwyddyn ganlynol ar gyfer cyfnodau brig.

Achos busnes: cymhellion, ROI, a TCO

Mae’r enillion ar reoli digwyddiadau aeddfed yn ymddangos fel effaith is fesul digwyddiad a llai o ddigwyddiadau ailadroddus. Mae ymateb cyflymach, wedi’i gydgysylltu’n well yn byrhau toriadau, sy’n arbed refeniw, cosbau, a chost adfer yn uniongyrchol. Mae post-mortemau disgybledig a chamau cywiro’n dileu dosbarthiadau cyfan o fethiant yn gyson, felly mae’r gyfradd digwyddiadau’n gostwng dros amser. Mae ar-alwad cynaliadwy’n lleihau’r gost enfawr, aml guddiedig o ymlâdd ac ymadawiadau ymhlith peirianwyr profiadol, sy’n ddrud i’w disodli ac yn cario gwybodaeth system na ellir ei disodli.

Mae costau mabwysiadu’n gymedrol o’u cymharu â’r budd: hyfforddiant mewn gorchymyn digwyddiad, offer ar gyfer cydgysylltu a chyfathrebu statws, amser a dreulir ar bost-mortemau, a’r staffio sydd ei angen ar gyfer cylchdroeon dyngar. Mae cost peidio â mabwysiadu’n ddifrifol ac yn ailadroddus: ymatebion anhrefnus sy’n llusgo toriadau allan, distawrwydd sy’n erydu ymddiriedaeth cwsmeriaid a’r cyhoedd, cosbau rheoleiddiol am adrodd wedi’i golli, digwyddiadau ailadroddus o gamau na chwblhaodd neb, a staff ar-alwad wedi’u digalonni. I wneud yr achos i arweinyddiaeth, meintiolwch ddigwyddiadau diweddar yn ôl hyd ac effaith, dangoswch sut y byddai cydgysylltu a chamau cywiro wedi’u cwblhau wedi’u byrhau neu wedi atal ailddigwyddiad, a fframiwch ar-alwad cynaliadwy fel cadw staff a rheoli risg, nid moethusrwydd.

Gwrth-batrymau a pheryglon

Diwylliant arwriaeth. Mae dibynnu ar un neu ddau berson i achub pob digwyddiad yn fregus ac yn gwarantu eu ymlâdd.
Dim cadlywydd clir. Heb rywun yn berchen ar gydgysylltu, mae ymatebwyr yn dyblygu gwaith, yn gwrthdaro, ac yn colli’r llinell amser.
Mynd yn dawel. Mae dal diweddariadau’n ôl yn ystod toriad yn magu sïon, panig, ac anymddiriedaeth barhaol.
Gemau beio. Mae cosbi unigolion yn gyrru gonestrwydd o’r golwg ac yn cuddio’r achosion systemig y mae angen i chi eu trwsio.
Theatr post-mortem. Mae ysgrifennu post-mortemau nad yw eu camau cywiro byth yn cael eu cwblhau’n cynhyrchu’r un digwyddiad eto.
Ar-alwad wedi’i flino gan rybuddion. Mae cylchdroeon swnllyd yn blino ymatebwyr fel eu bod yn colli neu’n araf gydnabod yr argyfwng go iawn.
Dryswch difrifoldeb. Mae lefelau difrifoldeb heb eu diffinio neu wedi’u cymhwyso’n anghyson yn achosi tan-ymateb i ddigwyddiadau difrifol a gor-ymateb i rai dibwys.

Model aeddfedrwydd

Lefel 1, Cychwyn. Trinnir digwyddiadau ar hap gan bwy bynnag sy’n sylwi, ac mae’r ymateb yn adweithiol ac wedi’i fyrfyfyrio. Nid oes rolau, lefelau difrifoldeb, na phost-mortemau diffiniedig yn bodoli. Mae ar-alwad, os yw’n bodoli o gwbl, yn anffurfiol ac yn straenus, ac mae’r un methiannau’n ailddigwydd am nad oes dim parhaol yn cael ei ddysgu.

Lefel 2, Datblygu. Mae cylchdroeon ar-alwad sylfaenol a diffiniadau difrifoldeb yn bodoli, ac mae rhai digwyddiadau’n cael post-mortemau, ond mae’r arfer yn anghyson ar draws timau. Mae rolau’n aneglur yn ystod yr ymateb, gall un tîm redeg digwyddiad disgybledig tra bo’r nesaf yn disgyn i anhrefn, a thraciwyd camau cywiro ar hap os o gwbl.

Lefel 3, Safoni. Mae system orchymyn digwyddiad ffurfiol gyda rolau a meini prawf difrifoldeb clir wedi’i dogfennu a’i defnyddio’n gyson ar draws y sefydliad. Mae post-mortemau di-fai’n safon ar gyfer digwyddiadau sylweddol, cofnodir camau cywiro gyda pherchnogion a dyddiadau dyledus, telir am ar-alwad, a gorfodir un sianel gydgysylltu ac arfer tudalen statws ar draws y sefydliad yn hytrach na’i adael i bob tîm.

Lefel 4, Rheoli. Mae’r rhaglen ddigwyddiadau’n cael ei mesur a’i rheoli yn erbyn llinellau sylfaen. Rydych yn olrhain amser i ganfod, amser i gydnabod, amser i ddatrys, galwadau fesul shifft, cyfradd cwblhau camau cywiro, a chyfradd digwyddiadau ailadroddus, ac rydych yn adolygu’r metrigau hyn ar gadwyn i ddal atchweliadau. Cymhwysir lefelau difrifoldeb yn ddigon cyson fel bod y data’n ddibynadwy, cedwir llwyth rhybuddion o dan nenfwd penodol, a llywir penderfyniadau mynd neu beidio â mynd yn ystod ac ar ôl digwyddiadau gan dystiolaeth yn hytrach na greddf.

Lefel 5, Cyd-drefnu. Mae rheoli digwyddiadau’n cael ei wella’n barhaus a’i integreiddio ar draws y sefydliad. Mae ymateb yn llyfn ac wedi’i ymarfer yn dda drwy ddiwrnodiau gêm rheolaidd, mae dadansoddiad cyfunol yn gyrru buddsoddiad strwythurol sy’n dileu dosbarthiadau cyfan o fethiant, ac mae post-mortemau’n ffurfio cof sefydliadol chwiliadwy sy’n bwydo rhedlyfrau, hyfforddiant, adolygiadau pensaernïaeth, a chynllunio capasiti. Mae’r system yn addasu wrth iddi dyfu, ac mae cyfradd ac effaith digwyddiadau’n tueddu i lawr dros amser.

Syniadau ar gyfer trafodaeth

Pa feini prawf sy’n gwahaniaethu eich lefelau difrifoldeb, ac a yw pawb yn eu cymhwyso’n gyson?
Sut rydych yn cadw ar-alwad yn gynaliadwy wrth i’r system dyfu heb ychwanegu pobl yn ddiddiwedd?
Pwy sydd ag awdurdod i wneud penderfyniadau drud, megis methu drosodd neu wrthdroi, yn ystod digwyddiad byw?
Pa mor dryloyw ddylech chi fod gyda chwsmeriaid a’r cyhoedd yn ystod toriad, a ble mae’r terfynau?
Sut rydych yn sicrhau bod camau cywiro’n cael eu cwblhau go iawn yn hytrach na llusgo mewn backlog?
Beth fyddai ei angen i droi eich casgliad o bost-mortemau’n gof sefydliadol y gellir ei ailddefnyddio go iawn?

Prif negeseuon

Mae pob system yn methu; mesurir aeddfedrwydd yn ôl pa mor dda rydych yn ymateb ac yn dysgu, nid drwy osgoi pob digwyddiad.
Mae strwythur gorchymyn digwyddiad clir gyda rolau a lefelau difrifoldeb diffiniedig yn gadael i grwpiau mawr gydgysylltu o dan bwysau.
Cyfathrebwch yn gynnar, yn aml, ac yn onest â rhanddeiliaid mewnol ac allanol; mae distawrwydd yn dinistrio ymddiriedaeth.
Cadwch ar-alwad yn gynaliadwy drwy gylchdroeon teg, iawndal, a lleihad diflino o rybuddion swnllyd.
Cynhaliwch bost-mortemau di-fai sy’n cynhyrchu camau cywiro perchnogedig, wedi’u tracio, a’u cwblhau.
Mae dysgu cyfunol a chof sefydliadol chwiliadwy’n troi digwyddiadau unigol yn welliant parhaol.

Cyfeiriadau a darllen pellach

Betsy Beyer et al., Site Reliability Engineering (chapters on incident management and postmortems)
Betsy Beyer et al., The Site Reliability Workbook (on-call and incident response practices)
John Allspaw, Blameless PostMortems and a Just Culture (Etsy engineering)
Sidney Dekker, The Field Guide to Understanding Human Error
Charles Perrow, Normal Accidents: Living with High-Risk Technologies
U.S. Federal Emergency Management Agency, Incident Command System (ICS) reference materials
PagerDuty, Incident Response Documentation (open-sourced practices)