9.8 Simu ya dharura na utayari wa uendeshaji

Muhtasari na msukumo

Mtu fulani yuko macho sasa hivi kwa sababu mfumo wako unaweza kumpigia simu. Simu ya dharura ni mpangilio wa kibinadamu unaoweka mtu mwenye sifa ndani ya uwezo wa kufikia tatizo la uzalishaji saa yoyote, na utayari wa uendeshaji ni kazi unayoifanya mapema ili mtu huyo apate nafasi ya kupigana. Sura hii inahusu utayari huo na mfumo huo wa kibinadamu: jinsi mnavyobuni zamu ambayo watu wanaweza kuidumisha kwa miaka, jinsi mnavyoamua nini kinastahili kumwamsha mtu, na jinsi mnavyohakikisha huduma iko tayari kweli kuendeshwa kabla ya kuiruhusu kubeba trafiki halisi.

Weka hili tofauti na majirani wawili. Sura ya 9.3 inashughulikia usimamizi wa matukio, mchakato wa kuitikia pindi kitu kimevunjika kikamilifu: majukumu ya uongozi, viwango vya ukali, uratibu, na uchambuzi wa baada ya tukio. Sura ya 9.1 inashughulikia uhandisi wa kutegemewa wa tovuti (SRE), nidhamu pana ya kuhandisi kutegemewa kwa malengo ya kiwango cha huduma na bajeti za makosa. Sura hii iko juu ya mkondo wa tukio na kando ya nidhamu hiyo. Inauliza swali finyu zaidi, la kibinafsi zaidi: huduma iko tayari kuendeshwa, na mtu aliyebeba kifaa cha miito amewekwa kufanikiwa badala ya kuteseka? Shirika linaweza kuwa na mchakato bora wa matukio na bado kuwachosha wahandisi wake, kwa sababu maumivu ya simu ya dharura huamuliwa muda mrefu kabla ya tukio lolote, na ubora wa tahadhari, hali ya vitabu vya mwongozo, na utu wa ratiba.

Kwa timu kubwa, simu ya dharura huacha kuwa fadhila isiyo rasmi na kuwa miundombinu. Jukwaa la mamia ya huduma na makumi ya timu haliwezi kutegemea mtu mmoja anayejua jinsi kila kitu kinavyofanya kazi. Linahitaji zamu, njia za kupandisha, na viwango vya utayari vinavyoshikilia waandishi wa awali wanapohamia kwingine. Katika mazingira ya mashirika makubwa na serikali dau linaongezeka zaidi. Huduma zinazodhibitiwa hubeba ahadi za upatikanaji na wajibu wa uangalizi kwa wafanyakazi wanaoziendesha. Mfumo wa mafao au afya unaowakabili raia hauwezi kuzima usiku kwa sababu mtu pekee aliyeuelewa alikuwa likizoni. Utayari wa uendeshaji ndio jinsi taasisi inavyotimiza ahadi zake baada ya sherehe ya uzinduzi kuisha, na simu ya dharura ya kibinadamu ndiyo jinsi inavyobaki na watu wanaotimiza ahadi hizo.

Kanuni kuu

Mpigie binadamu simu tu kwa matatizo ya haraka, yanayotekelezeka, na halisi.
Buni zamu kwa mtu mwenye maisha, si kwa mashine inayopatikana daima.
Thibitisha huduma iko tayari kuendeshwa kabla ya kubeba trafiki ya uzalishaji.
Tahadharisha kwa dalili zinazoonekana kwa mtumiaji na SLO, si kwa kila sababu ya ndani.
Chukulia vitabu vya mwongozo na mapitio ya utayari kama nyaraka hai zinazotumika, si kuhifadhiwa kwenye faili.
Yeyote anayejenga huduma anapaswa kusaidia kuiendesha, ndani ya mipaka ya kibinadamu na inayoungwa mkono.
Pima afya ya simu ya dharura na punguza kazi ya kuchosha ili mzigo ushuke, usipande.

Mapendekezo

Buni zamu ya kibinadamu, endelevu

Anza na umbo la ratiba, kwa sababu linaamua zaidi kuhusu uendelevu kuliko zana yoyote. Mfumo wa kawaida ni zamu ya kila wiki yenye mwitikiaji wa msingi anayepokea miito kwanza na wa pili anayefanya kazi kama mbadala wa msingi asipokiri au anahitaji msaada. Weka kundi kubwa vya kutosha ili mhandisi yeyote asiwe kwenye simu ya dharura zaidi ya wiki moja kati ya nne, na ikiwezekana moja kati ya sita au zaidi. Zamu ya watu wanne au wachache ni ishara ya onyo: ugonjwa, sikukuu, na kuondoka kwa wafanyakazi vitaiporomosha kuwa mashujaa wawili walewale waliochoka.

Pale mnapofanya kazi kuvuka maeneo ya saa, pendelea mfano wa kufuata jua, ambapo timu katika kanda tofauti kila moja inafunika saa zake za mchana ili hakuna anayepigiwa simu kwa kawaida saa tisa usiku. Hii inaheshimu mdundo wa circadian, mzunguko wa ndani wa mwili wa kulala-kuamka, ambao kuvurugwa kwake ni gharama ya moja kwa moja ya afya, si usumbufu mdogo. Kufuata jua kusipowezekana, punguza maumivu: vipindi vifupi vya zamu ya usiku, muda wa kupona uliohakikishwa baada ya usiku mbaya, na kanuni wazi kwamba mhandisi aliyepigiwa simu sana usiku hana deni la siku kamili ya kazi ya vipengele asubuhi inayofuata.

Kupandisha ni wavu wa usalama chini ya zamu. Fafanua, kwa maandishi, nini kinatokea mwitikiaji wa msingi asipokiri mwito ndani ya dirisha lililowekwa: unaenda kwa wa pili, kisha kwa kiongozi wa timu au meneja, kisha kwa kundi pana zaidi. Sera ya kupandisha ya kiotomatiki na inayoeleweka vizuri inamaanisha hakuna mwito unaoanguka kimya sakafuni, na hakuna mtu mmoja aliyechoka anayekuwa safu pekee ya ulinzi.

Fanya sera ya kupiga simu iwe kuhusu matatizo yanayotekelezeka, ya haraka, halisi

Njia ya haraka zaidi ya kuharibu zamu ya simu ya dharura ni kuwapigia watu simu kwa vitu wasivyoweza au wasivyohitaji kuvitendea kazi. Pokea kanuni moja na uitetee kwa nguvu: mwito ni dai kwamba binadamu lazima afanye kitu sasa. Tahadhari isipotimiza majaribio yote matatu, ya haraka, inayotekelezeka, na inayoelezea tatizo halisi linaloonekana kwa mtumiaji, haistahili mwito. Ielekeze kwenye tiketi, dashibodi, au muhtasari wa kila siku badala yake.

Adui hapa ni uchovu wa kengele, jambo lililoandikwa vizuri ambapo watu wanaokabiliwa na kengele za mara kwa mara hupoteza hisia na kuanza kuzipuuza, zikiwemo zile zinazojali. Ni dhana ya usalama wa wagonjwa kutoka hospitalini, na inahamia kikamilifu kwenye programu. Kila zamu inapoleta miito ishirini na kumi na tisa ni kelele, waitikiaji hujifunza kuipeperusha wakiwa nusu usingizini, na wa ishirini, ule uliokuwa halisi, hupata kutupwa kwa reflex ile ile. Kila tahadhari yenye kelele mnayoivumilia ni kodi ndogo kwa uaminifu wa kila tahadhari nyingine.

Chukulia ubora wa tahadhari kama matokeo ya kihandisi ya daraja la kwanza. Fuatilia uwiano wa kukiri-hadi-hatua: kati ya miito iliyowaka, mingapi ilisababisha binadamu kufanya kitu kilichojali? Tahadhari ambayo haikuhitaji hatua hata mara moja kwa robo ni mgombea wa kufutwa au kushushwa daraja. Pitia tahadhari zako kwa mzunguko, na mpe mhandisi yeyote hadhi ya kupinga yenye kelele. Lengo ni zamu ambayo mwito ni adimu vya kutosha hivi kwamba bado una maana.

Tahadharisha kwa dalili na SLO, si sababu

Njia yenye ufanisi zaidi ya kupunguza kelele ni kubadilisha unachotahadharisha. Kutahadharisha kwa sababu, kama CPU ya juu, diski iliyojaa, au mchakato mmoja ulioanzishwa upya, huzalisha mafuriko ya miito kwa hali ambazo huenda hazimwathiri mtumiaji kamwe na ambazo mfumo mara nyingi hujiponya. Tahadharisha badala yake kwa dalili: huduma inafanya watumiaji wanachohitaji? Funga tahadhari zako za kupiga simu kwa malengo yako ya kiwango cha huduma (SLO), malengo ya kutegemewa ya kinumeri yaliyofafanuliwa katika sura ya 9.1, na upige simu unapoteketeza bajeti ya makosa haraka vya kutosha kukosa lengo, au kiashiria kinachomkabili mtumiaji kama ucheleweshaji au kiwango cha mafanikio kinapovuka mstari ambao watu wanauhisi kweli.

Mbinu hii ya msingi wa dalili, inayoendeshwa na SLO inategemea uonekanaji na telemetry ya sura ya 9.2, kwa sababu tahadhari za kasi ya kuteketeza hufanya kazi tu pale vipimo, kumbukumbu, na nyayo zako zimepangwa na zinaaminika. Faida ni kubwa: tahadhari chache za dalili zenye maana hubadilisha mamia ya tahadhari za sababu, na mwito tena unahusiana na tatizo linalostahili kuamsha mtu. Sababu bado ni muhimu, lakini ziko kwenye dashibodi za uchunguzi ambazo mwitikiaji anazitumia baada ya tahadhari ya dalili kuwaka, si kwenye njia ya kupiga simu.

Hitaji utayari wa uendeshaji kabla ya uzinduzi

Huduma inapaswa kupata njia yake ya kuingia kwenye uzalishaji. Kabla ya kubeba trafiki halisi, ipitishe kwenye mapitio ya utayari wa uzalishaji: ukaguzi uliopangwa, ikiwezekana na mtu nje ya timu inayojenga, kwamba huduma inaweza kuendeshwa kweli. Simba mapitio kama orodha ya ukaguzi inayokuwa kiwango cha pamoja kuvuka timu. Orodha imara inafunika ufuatiliaji na SLO, tahadhari zinazotimiza sera ya kupiga simu, dashibodi, vitabu vya mwongozo kwa kushindwa kunakowezekana, umiliki ulioainishwa na zamu ya simu ya dharura, matarajio ya uwezo na mzigo, uchambuzi wa utegemezi na njia za kushindwa, nakala rudufu na kupona, udhibiti wa usalama na ufikiaji, na mpango wa kurudisha nyuma.

Mapitio ni mazungumzo, si lango la kuchezewa. Thamani yake ni kwamba yanailazimisha timu inayojenga kukabiliana na uwezo wa kuendeshwa wakati bado ina muktadha, badala ya kugundua saa nane usiku miezi sita baadaye kwamba hakuna aliyeandika kitabu cha mwongozo wala kuweka tahadhari. Funga utayari na majaribio ya ustahimilivu ya sura ya 9.6: huduma ambayo haijawahi kuingizwa kushindwa kwa utegemezi kabla ya uzinduzi inatoa ahadi isiyojaribiwa kuhusu jinsi inavyoshindwa. Kwa uzinduzi wa dau kubwa wa mashirika makubwa na serikali, fanya mapitio ya utayari kuwa hatua inayohitajika, iliyoandikwa, kwa sababu gharama ya huduma ya raia isiyo tayari kushindwa hadharani inapimwa kwa uaminifu kama kwa fedha.

Andika vitabu vya mwongozo na vitabu vya mchezo vinavyotumika kweli

Kitabu cha mwongozo ni waraka wa hatua kwa hatua wa kiuendeshaji: jinsi ya kuanzisha upya huduma hii, kuzungusha kitambulisho hiki, kumwaga foleni hii, kutafsiri tahadhari hii. Kitabu cha mchezo ni mwongozo mpana wa mwitikio kwa daraja la hali. Vyote havina thamani ikiwa hakuna anayevisoma, na vitabu vingi vya mwongozo havisomwi kwa sababu vimepitwa na wakati, ni hafifu, au haviwezekani kupatikana saa tisa usiku. Rekebisha njia za kushindwa moja kwa moja. Unganisha kitabu cha mwongozo kutoka tahadhari yenyewe, ili mwitikiaji afikie kwa mbofyo mmoja kutoka kwenye mwito. Weka vitabu vya mwongozo kwenye udhibiti wa matoleo kando ya msimbo, kama mazoea ya uandishi wa nyaraka ya sura ya 2.7 yanavyopendekeza, ili vipitiwe na kusasishwa kama mabaki mengine yoyote. Viandike kwa mgeni aliyesumbuka, mwenye usingizi, kwa amri halisi na matokeo yanayotarajiwa, si nathari inayodhania muktadha wa mwandishi.

Jaribio la kitabu cha mwongozo ni kama mtu mwingine zaidi ya mwandishi wake anaweza kukifuata kwa mafanikio chini ya shinikizo. Thibitisha hilo wakati wa kuanza kazi na siku za michezo, na usasishe kitabu cha mwongozo mara tukio linapofichua kilikuwa kimekosea. Kitabu cha mwongozo kinachodanganya ni kibaya kuliko kutokuwa nacho, kwa sababu kinamtuma mwitikiaji aliyechoka kwa kujiamini upande usio sahihi.

Miliki unachojenga, ndani ya mipaka ya kibinadamu

Harakati ya DevOps iliyoeneza “ukijenga, uendeshe”: timu inayoandika huduma pia inabeba kifaa chake cha miito. Faida ni halisi na inastahili kutetewa. Wajenzi wanapohisi miito yao wenyewe, wanawekeza katika kutegemewa, wanarekebisha tahadhari zenye kelele, na kubuni kwa uwezo wa kuendeshwa, kwa sababu mzunguko wa maoni unawafikia binafsi badala ya kuanguka kwa timu tofauti ya uendeshaji isiyoweza kurekebisha chanzo cha tatizo.

Mfano una mipaka ambayo lazima mheshimu. Unahitaji timu ziwe na vifaa kweli vya kuendesha huduma zao: kupewa zana, jukwaa, mafunzo, na muda wa kufanya operesheni vizuri, kama ufanisi wa kihandisi wa sura ya 1.10 na njia za kufanya kazi za sura ya 1.4 zote zinavyodai. Umiliki kamili ni ukatili ukilazimishwa kwa timu ndogo mno kuweza kuajiri zamu, au bila msaada wa jukwaa unaofanya simu ya dharura kuvumilika. Baadhi ya mashirika huendesha mseto, ambapo timu ya kati ya SRE au jukwaa inamiliki pamoja madaraja magumu zaidi au kutoa ufunikaji wa saa za nje ya kazi kwa huduma zinazotimiza kiwango cha juu cha kutegemewa, ikiziachilia timu za bidhaa kutoka miito ya kawaida ya usiku. Kanuni ya kubaki nayo ni mzunguko wa maoni; umbo linaweza kunyumbulika kulingana na ukubwa wa timu, ukomavu, na utu wa mzigo.

Wapokee wahandisi wa simu ya dharura kwa makusudi na uendeshe siku za michezo

Hakuna anayepaswa kuchukua kifaa cha miito kwa mara ya kwanza peke yake na bila kujiandaa. Jenga njia ya kuanzia: kuangalia mwitikiaji mwenye uzoefu kwa zamu moja, kuangalia kwa kurudi nyuma ambapo mgeni anaongoza huku mshauri akitazama, kutembea kupitia dashibodi na vitabu vya mwongozo, na ramani wazi ya nani wa kupandishia. Fanya utayari wa kuingia kwenye simu ya dharura kuwa hatua ya wazi, si dhana.

Siku za michezo ndizo mazoezi yanayofanya simu ya dharura kuwa halisi. Katika siku ya mchezo mnajaribu kwa makusudi kushindwa, ikiwezekana katika mazingira halisi, na kumwacha mhandisi wa simu ya dharura aitikie kwa kutumia tu zana na vitabu vya mwongozo ambavyo angekuwa navyo katika tukio halisi. Hapa ndipo mnapogundua kwamba kitabu cha mwongozo kimepitwa na wakati, dashibodi inakosa ishara, au tahadhari haiwaki kamwe. Siku za michezo hujenga kumbukumbu ya misuli na imani inayobadilisha mwito wa kwanza halisi kutoka hofu hadi utaratibu, na zinaunganishwa kwa asili na uhandisi wa machafuko wa sura ya 9.6.

Fanya makabidhiano safi na upime afya ya simu ya dharura

Makabidhiano kati ya zamu ndipo muktadha unapovuja. Weka makabidhiano mafupi, yaliyopangwa: nini kimeharibika sasa, tahadhari zipi ziliwaka na kunyamazishwa, mabadiliko gani yanaendelea, nini cha kutazama. Yaambatanishe na usafi wa msingi wa simu ya dharura, ukijumuisha sera kwamba mwitikiaji anayeondoka haachi fujo kwa anayeingia, na kwamba chochote kilichobaki nusu kimerekebishwa kinaandikwa.

Zaidi ya yote, pima. Huwezi kusimamia mzigo usioona. Fuatilia miito kwa kila zamu, sehemu ya miito inayotua nje ya saa za kazi (jioni, usiku, wikendi), muda wa kukiri, na mara ngapi daraja la pili na la kupandisha huchochewa. Tazama mwelekeo, si namba tu: zamu ambayo miito yake ya nje ya saa za kazi inapanda robo kwa robo inaelekea uchovu bila kujali hesabu kamili ya sasa. Lisha vipimo hivi kwenye mapitio ya kawaida ya kiuendeshaji ambapo timu inaamua kazi ipi ya kuchosha ya kuotomatisha, tahadhari zipi za kuua, na wapi utayari ulipopungua. Kupunguza kazi ya kuchosha, kazi ya mkono ya uendeshaji inayojirudia inayopanuka na trafiki badala ya kurekebishwa mara moja, ndiyo jinsi mnavyoweka mzigo wa simu ya dharura tambarare huku mfumo ukikua.

Mabadilishano: faida na hasara

Chaguo	Faida	Hasara
Ukijenga, uendeshe	Mzunguko mkali wa maoni ya kutegemewa; wamiliki hurekebisha sababu za msingi	Ukatili kwa timu zisizo na rasilimali au ndogo sana; mzigo wa usiku usio sawa
Simu ya dharura ya SRE au jukwaa la kati	Hulinda timu za bidhaa kutoka miito ya kawaida ya usiku; ujuzi wa kina wa uendeshaji	Hudhoofisha mzunguko wa maoni ya wajenzi; inaweza kuwa jalala
Zamu ya kufuata jua	Hakuna anayepigiwa simu usiku; ya kibinadamu na yenye afya	Inahitaji wafanyakazi katika kanda nyingi; mzigo mzito wa makabidhiano
Zamu ndogo ya ndani	Rahisi; kila mtu anajua mfumo	Huporomoka kwa ugonjwa au kuondoka; uchovu wa haraka
Tahadhari za dalili na SLO	Miito michache, yenye maana; uchovu mdogo	Inahitaji telemetry iliyokomaa; inaweza kukosa sababu zinazojengeka polepole
Tahadhari za msingi wa sababu	Hukamata masuala mapema na kwa mahususi	Hufurika waitikiaji; huendesha uchovu wa kengele
Mapitio makali ya utayari	Mshangao mchache mbaya kwenye uzalishaji	Hupunguza kasi ya uzinduzi; inaweza kuhisi kama urasimu ikichezewa

Mvutano wa kati ni kati ya ufunikaji na utu. Sukuma kwa ufunikaji wa juu zaidi na unapata zamu kubwa, tahadhari kali, na umiliki kamili kila mahali, jambo linalolinda mfumo huku likisaga watu. Boresha kwa starehe ya mwitikiaji tu na unahatarisha mapengo ambapo tatizo halisi linasubiri bila kuangaliwa. Utatue si kwa kugawanya tofauti bali kwa kuinua ubora: tahadhari bora, vitabu vya mwongozo vinavyofanya kazi, na huduma zilizo tayari huruhusu zamu ndogo, tulivu zaidi kufunika eneo zaidi kwa usalama. Mashirika yanayoendesha vizuri zaidi kwa kawaida ni yale ambayo waitikiaji wake wanapigiwa simu kidogo zaidi, kwa sababu yaliwekeza katika utayari badala ya uvumilivu. Kila saa inayotumika kuondoa tahadhari yenye kelele au kurekebisha kitabu cha mwongozo hununua tena saa nyingi za umakini wa binadamu na hulinda uaminifu wa mfumo mzima.

Maswali ya kujadili na timu yako

Je, ungekuwa tayari binafsi kubeba zamu hii kwa mwaka mmoja, na ungebadilisha nini jibu likiwa hapana? Swali hili hukata kupitia uondoaji kwa kufanya mzigo kuwa wa kibinafsi. Leta namba halisi kwenye mazungumzo: miito mingapi iliwaka mwezi uliopita, mingapi ilitua baada ya usiku wa manane au wikendi, na wastani wa kukiri ulichukua muda gani. Mwulize kila mtu kwenye zamu kama umbo la sasa ni lile wanaloweza kulidumisha bila kuogopa wiki yao ya simu ya dharura, na usikilize majibu ya kimya kama ya sauti. Jibu la uaminifu likiwa zamu inaweza kuvumilika tu kwa sababu mashujaa wachache wanachukua mabaya zaidi, umepata udhaifu utakaovunjika mara moja wao atakapoondoka. Tokeo mnalolitaka ni orodha halisi ya mabadiliko, iwe kundi kubwa zaidi, mgawanyo wa kufuata jua, kupunguza miito ya usiku, au usafishaji wa tahadhari, kila moja ikiwa na mmiliki na tarehe.
Kwa kila tahadhari inayoweza kumpigia binadamu simu, unaweza kutaja hatua ambayo mwitikiaji anatarajiwa kuchukua? Zamu nyingi hazijawahi kukagua hili, na zoezi linafichua. Vuta orodha kamili ya tahadhari za kupiga simu na, kwa kila moja, uliza mwitikiaji anatakiwa kufanya nini inapowaka na mara ngapi iliwaka bila kusababisha hatua yoyote halisi robo iliyopita. Tahadhari zinazoshindwa jaribio, zile ambazo hakuna anayeweza kuziunganisha na hatua, au zinazojitatua mara kwa mara kabla mtu hajazigusa, ndizo kelele zinazomomonyoa uaminifu katika kila tahadhari nyingine. Leta data ya kukiri-hadi-hatua ikiwa unayo, na uwe tayari kufuta au kushusha daraja kwa ukali. Lengo ni njia ya kupiga simu ambapo kila tahadhari ni ombi halisi la msaada wa binadamu, na mkutano unapaswa kuisha na orodha fupi, kali zaidi ya tahadhari kuliko ulivyoanza.
Mhandisi mpya anapojiunga na zamu hii, hasa nini kinamwandaa, na je, mmejaribu kwamba kinafanya kazi? Kuanza kwenye simu ya dharura mara nyingi hudhaniwa badala ya kubuniwa, na pengo linaonekana mara ya kwanza mgeni anapopigiwa simu peke yake kwenye kushindwa ambako hajawahi kuona. Pitia njia halisi anayochukua mwitikiaji mpya: anaangalia nini, vitabu vipi vya mwongozo anavisoma, kama mtu yeyote amevifuata hivi karibuni kuthibitisha bado vinafanya kazi, na nani anampandishia anapokwama. Jaribu kuchagua tukio halisi la hivi karibuni na uulize kama mwajiriwa mpya, akiwa na vitabu vya mwongozo na dashibodi za sasa tu, angeweza kulitatua. Jibu la uaminifu kwa kawaida hufichua nyaraka zilizopitwa na wakati na ishara zilizokosekana, hasa kile siku za michezo zinachokusudiwa kufichua kabla tukio halisi halijafanya. Ondoka na hatua iliyofafanuliwa ya utayari kwa simu ya dharura na ratiba ya siku za michezo zitakazoiweka ya uaminifu.
Miito yetu ya nje ya saa za kazi inatua wapi kweli, na tuko tayari kubadilisha wafanyakazi au ufunikaji kulinda usingizi wa watu? Miito ya usiku na wikendi hubeba gharama ya afya ambayo hesabu ghafi ya miito inaficha, kwa hiyo zamu inayoonekana kuvumilika kwa wastani inaweza bado kuwaharibu kimyakimya watu wachache wanaopata kushindwa kwa saa tisa usiku. Leta mgawanyo wa miito kwa saa na siku ya wiki, uliogawanywa kwa huduma na kwa mwitikiaji, na utafute mkusanyiko badala ya wastani. Mazingatio yanayoshindana ni halisi: ufunikaji wa kufuata jua unahitaji wafanyakazi katika zaidi ya kanda moja na unaongeza mzigo wa makabidhiano, wakati zamu ndogo ya ndani ni rahisi zaidi lakini inamwachia mtu usiku. Amua kwa makusudi kama suluhisho ni zamu ya kanda ya pili, timu ya kati ya jukwaa kuchukua madaraja ya nje ya saa za kazi, vipindi vifupi vya usiku vyenye muda wa kupona uliohakikishwa, au usafishaji wa tahadhari unaoondoa kelele za usiku kwenye chanzo. Kwa waendeshaji wa mashirika makubwa na serikali, chukulia wajibu wa uangalizi kwa wafanyakazi wa simu ya dharura kama wajibu rasmi wenye mmiliki na kipimo kilichoripotiwa, si kauli mbiu ya ustawi, kwa sababu mdhibiti au baraza la wafanyakazi linaweza hatimaye kuomba mwonyeshe.
Mapitio yetu ya utayari wa uzalishaji ni mazungumzo ya kweli kuhusu jinsi huduma inavyoshindwa, au orodha ya ukaguzi iliyochezewa kupita lango? Mapitio ya utayari yanalipa tu ikiwa yanabadilisha kinachosafirishwa, na hali ya kushindwa ni fomu iliyojazwa alasiri kabla ya uzinduzi kutimiza mchakato ambao hakuna anayeuamini. Leta mapitio machache ya mwisho yaliyokamilika na uulize kila moja ilikamata nini kweli: kitabu cha mwongozo kilichokosekana, kurudisha nyuma ambako hakukujaribiwa, tahadhari ambayo haikuwaka kamwe, au chochote. Mvutano ni kati ya kasi ya uzinduzi na ukali wa uendeshaji, na mapitio yanayohisi kama urasimu yatachezewa wakati yale yanayofichua njia halisi za kushindwa yatachukiwa hadi mara ya kwanza yanapookoa usiku wa mtu. Amua nani anaendesha mapitio, kama ni mtu nje ya timu inayojenga, na ushahidi gani, kama kushindwa kwa utegemezi kulikoingizwa au kitabu cha mwongozo ambacho mgeni alikifuata, unahesabika kama kupita. Katika uzinduzi wa mashirika makubwa na serikali, weka mapitio yaliyokamilika kama mabaki ya ukaguzi na uyafunge na majaribio ya ustahimilivu ya sura ya 9.6, kwa sababu huduma ya raia isiyo tayari inayoshindwa hadharani inagharimu uaminifu ambao hakuna kurudisha nyuma kunaorejesha.
“Ukijenga, uendeshe” inatuhudumia wapi kweli, na wapi ni ukatili kimyakimya kwa timu ambayo hatujaipa rasilimali ya kuendesha huduma yake? Umiliki kamili huunda mzunguko wa maoni unaofanya wajenzi kurekebisha tahadhari zenye kelele na kubuni kwa uwezo wa kuendeshwa, lakini ukilazimishwa kwa timu ndogo mno kuajiri zamu ya kibinadamu unakuwa injini ya polepole ya uchovu iliyovaa uwajibikaji. Leta ramani ya timu zipi zinamiliki vifaa vipi vya miito, kila zamu ni kubwa kiasi gani kweli ukiwaondoa watu wasiochukua mwito mgumu kamwe, na jukwaa, zana, na mafunzo gani kila timu inayo kuendesha operesheni vizuri. Mvuto unaoshindana ni kati ya kanuni safi ya umiliki wa wote na uhalisia wa fujo kwamba baadhi ya madaraja yanahitaji timu ya kati ya SRE au jukwaa kumiliki pamoja kazi ngumu zaidi ya kutegemewa au kutoa ufunikaji wa nje ya saa za kazi. Tokeo mnalolitaka ni uainishaji wa uaminifu wa kila huduma kuwa inayomilikiwa kikamilifu, inayomilikiwa pamoja, au inayofunikwa kati, pamoja na pengo la rasilimali kutajwa kwa timu yoyote mnayoiomba iendeshe kitu isichoweza kudumisha. Kwa shirika kubwa au la umma, ongeza muda wa kuongoza wa ununuzi na uajiri kwa msaada wa jukwaa na wafanyakazi ambao umiliki wa kibinadamu unadhania, kwa sababu timu ambayo huwezi kuiajiri ndani ya dirisha husika ni ile unayoiandalia kushindwa.

Mtazamo wa sekta

Kampuni changa. Ukiwa na wahandisi wachache, kila mtu yuko kwenye simu ya dharura na hakuna nafasi ya zamu ya mashujaa kujificha ndani yake. Tumia muda wako adimu kwenye mabadiliko mawili yanayolipa haraka zaidi: futa tahadhari za msingi wa sababu na upigie simu tu kwa SLO chache zinazofuatilia mtiririko wako mkuu, na unganisha kitabu cha mwongozo cha ukurasa mmoja kutoka kila tahadhari iliyobaki. Ruka zana za kina na kufuata jua; lahajedwali ya pamoja, kupandisha kiotomatiki kutoka msingi hadi wa pili, na kanuni ngumu kwamba usiku mbaya unanunua asubuhi inayofuata kama mapumziko vitakupeleka mbali zaidi kuliko ununuzi wowote wa jukwaa.

Biashara ndogo. Huenda huna SRE maalumu na huwezi kuajiri zamu ya usiku, kwa hiyo egemea unachokinunua badala ya unachojenga. Pendelea huduma zinazosimamiwa na upangishaji ambao mtoa huduma wake anabeba miito mizito ya miundombinu, na utumie zana ya miito iliyopangishwa badala ya kujenga kupandisha kwako. Weka utayari kama orodha fupi ya ukaguzi na tahadhari chache zenye maana zilizofungwa kwa kile mteja angekiona, na uwe mwaminifu kwamba baadhi ya huduma hazipaswi kumpigia binadamu simu usiku wakati tiketi ya asubuhi ingetosha.

Biashara kubwa. Tatizo ni uthabiti kuvuka timu nyingi: mapitio ya pamoja ya utayari wa uzalishaji, sera ya pamoja ya kupiga simu, na hazina ya vitabu vya mwongozo kwenye udhibiti wa matoleo ili mhandisi anayehamia kati ya timu aelewe mfumo wa simu ya dharura mara moja. Fanya afya ya simu ya dharura kuwa kipimo kinachotawaliwa chenye vizingiti vya miito ya nje ya saa za kazi vinavyochochea mapitio, sawazisha kupandisha na makabidhiano ili hakuna mwito unaoanguka kimya, na uiache timu ya kati ya jukwaa imiliki pamoja madaraja magumu zaidi. Simamia jalada la zamu kama unavyosimamia jalada la huduma, kwa data ya kazi ya kuchosha, mzigo wa miito, na hatari ya uchovu inayolisha mapitio ya kawaida ya kiuendeshaji.

Serikali. Kanuni za ununuzi, uwazi, na wajibu wa uangalizi huumba mpangilio. Chukulia afya ya wafanyakazi wa simu ya dharura kama sharti rasmi, linaloweza kukaguliwa, na pale wafanyakazi wa usiku wanapokuwa na kikomo, kandarasi mshirika wa operesheni wa kufuata jua ili hakuna mtumishi wa umma anayepigiwa simu kwa kawaida saa tisa usiku. Hifadhi kila mapitio ya utayari yaliyokamilika kama mabaki ya ukaguzi, andika vitabu vya mwongozo vitekelezwe na mwitikiaji ambaye hakujenga mfumo, kwa kuwa watu wanaouendesha miaka mitano ijayo hawatakuwa waandishi wake, na ufanyie mazoezi kilele cha msimu kwa siku za michezo kabla raia hawajakutana nacho kweli.

Mifano

Kampuni changa. Kampuni changa ya watu kumi na wawili inazindua bidhaa yake ya kwanza ya kulipia na kuweka wahandisi wote sita kwenye zamu ya kila wiki yenye wa msingi na wa pili. Mwezi wa kwanza kifaa cha miito kinawaka kila usiku, hasa kwa tahadhari za CPU na diski zinazojitatua, na wahandisi wawili wanaanza kimyakimya kutafuta kazi. Timu inasimama na kujenga upya: inafuta kila tahadhari ya msingi wa sababu, inafafanua SLO mbili kwa malipo na utafutaji, na kupiga simu tu kwa kuteketeza bajeti ya makosa. Miito inashuka kutoka takriban arobaini kwa wiki hadi mitatu. Inaongeza orodha ya ukaguzi ya utayari ya ukurasa mmoja ambayo kila huduma mpya lazima ipite na kuunganisha kila kitabu cha mwongozo moja kwa moja kutoka tahadhari yake. Simu ya dharura inabadilika kutoka sababu ya watu kuondoka hadi sehemu inayoweza kudhibitiwa ya kazi, na wameifanya kwa lahajedwali na nidhamu badala ya zana ghali.

Biashara kubwa. Kampuni ya malipo ya kimataifa inaendesha mamia ya huduma chini ya mfano wa “ukijenga, uendeshe,” ikiungwa mkono na timu ya kati ya jukwaa inayotoa mfumo wa miito, mchakato wa mapitio ya utayari, na hazina ya pamoja ya vitabu vya mwongozo kwenye udhibiti wa matoleo. Kila huduma inapita mapitio yaliyoandikwa ya utayari wa uzalishaji kabla ya uzinduzi, yakifunika SLO, tahadhari, vitabu vya mwongozo, uwezo, na kurudisha nyuma. Afya ya simu ya dharura ni kipimo kinachofuatiliwa: timu ambazo miito yao ya nje ya saa za kazi inazidi kizingiti zinachochea mapitio ya kiotomatiki, na timu ya jukwaa inajitolea kumiliki pamoja kazi ya kutegemewa hadi mzigo ushuke. Siku za michezo zinaendeshwa kila robo mwaka dhidi ya uingizaji halisi wa makosa. Kwa sababu kiwango ni cha pamoja na zana zinashirikiwa, mhandisi anaweza kuhamia kati ya timu na kuelewa mfumo wa simu ya dharura mara moja, na uongozi unaweza kuona, kwa kila timu, kama mzigo wa kibinadamu ni endelevu.

Serikali. Mamlaka ya kitaifa ya kodi inaendesha mfumo wa kuwasilisha wenye vilele vikali vya msimu na wajibu wa kisheria wa kubaki ikipatikana kwa raia. Kwa sababu wafanyakazi wamekusanyika katika eneo moja la saa na wafanyakazi wa usiku ni wachache, mamlaka inakandarasi mpangilio wa kufuata jua na mshirika wa operesheni ili hakuna mtumishi wa umma anayepigiwa simu kwa kawaida katikati ya usiku, na inachukulia afya na wajibu wa uangalizi wa wafanyakazi wa simu ya dharura kama sharti rasmi. Kila badiliko la huduma linapita mapitio ya utayari wa uendeshaji kabla ya usambazaji, na orodha ya ukaguzi ikihifadhiwa kwa ukaguzi. Vitabu vya mwongozo vinaandikwa vitekelezwe na mwitikiaji ambaye hakujenga mfumo, kwa sababu watu wanaouendesha miaka mitano ijayo hawatakuwa wale walioandika. Wakati wa msimu wa kuwasilisha mamlaka inaendesha siku za michezo dhidi ya hali ya mzigo wa kilele, ili waitikiaji wakutane na ongezeko kwenye mazoezi kabla hawajakutana nalo kweli.

Kesi ya biashara: sababu, ROI, na TCO

Faida ya utayari wa uendeshaji na simu ya dharura ya kibinadamu inaonekana kwenye leja mbili: kutegemewa kwa mfumo na kubaki kwa timu. Upande wa kutegemewa, huduma zinazopita mapitio ya utayari na kubeba tahadhari za msingi wa dalili hushindwa mara chache na kupona haraka, kwa sababu kitabu cha mwongozo kipo, tahadhari ina maana, na mwitikiaji alifanyiwa mazoezi. Muda wa wastani wa kukiri na wa wastani wa kupona vyote vinashuka mwito unapomfikia mtu aliyejiandaa mwenye kitabu cha mwongozo kilichounganishwa badala ya aliyechanganyikiwa anayewinda muktadha. Upande wa kibinadamu, simu ya dharura ni sababu kuu ya wahandisi kuondoka, na kubadilisha mhandisi mkuu kunagharimu zidisho kubwa la uwekezaji ambao ungehitajika kurekebisha zamu. Uchovu wa kazi, hali ya uchovu sugu wa mahali pa kazi ambayo Shirika la Afya Duniani linaitambua kama jambo la kikazi, ni ghali hasa kwa sababu unachukua watu wako wenye uzoefu zaidi, wale wanaoelewa mfumo, na kuwafukuza.

Gharama ya kupokea kwa kiasi kikubwa ni ya mara moja na ndogo. Mnaandika orodha ya ukaguzi ya utayari, mnahamisha tahadhari kutoka sababu hadi dalili, mnaweka vitabu vya mwongozo kwenye udhibiti wa matoleo, na mnaweka vipimo vya afya ya simu ya dharura. Gharama inayojirudia ni nidhamu ya kupitia tahadhari, kuendesha siku za michezo, na kuheshimu ratiba za kibinadamu. Gharama ya kupuuza inajilimbikiza kimyakimya: tahadhari zenye kelele huzaa uchovu, uchovu huzaa matukio halisi kukosekana na watu kuondoka, na kila kuondoka kunachukua maarifa ya uendeshaji, jambo linaloongeza mzigo kwa wanaobaki. Kutoa hoja kwa uongozi, unganisha afya ya simu ya dharura na vipimo ambavyo tayari wanavitazama: mara na muda wa matukio, muda wa kukiri, kuondoka kusikopangwa, na mwelekeo wa miito ya nje ya saa za kazi. Zamu ambayo miito yake ya nje ya saa za kazi inashuka huku mfumo ukikua ni ushahidi wa moja kwa moja kwamba uwekezaji wako wa kutegemewa unafanya kazi na kwamba wahandisi wako bado watakuwepo mwaka ujao.

Mifumo mibaya na mitego

Zamu ya mashujaa: watu wawili au watatu wanachukua kimyakimya kila mwito mgumu, kwa hiyo ratiba inaonekana nzuri kwenye karatasi na inaporomoka mara mmoja wao anapoondoka.
Kupiga simu kwa sababu: kutahadharisha kwa CPU, kumbukumbu, na diski badala ya dalili zinazoonekana kwa mtumiaji, kujaza waitikiaji miito isiyohitaji binadamu kamwe.
Uchovu wa tahadhari unavumiliwa: tahadhari zinazojulikana kuwa na kelele zinabaki kwenye njia ya kupiga simu kwa miezi kwa sababu kuzifuta kunahisi hatari, hadi waitikiaji wanapuuza kila kitu.
Kuoza kwa kitabu cha mwongozo: nyaraka zilizoandikwa mara moja wakati wa uzinduzi, hazisasishwi kamwe, na zina makosa kwa kujiamini mwitikiaji aliyechoka anapozifuata saa tisa usiku.
Umiliki bila msaada: kulazimisha “ukijenga, uendeshe” kwa timu ndogo mno kuajiri zamu au isiyo na jukwaa na zana za kuiendesha kibinadamu.
Maigizo ya utayari: orodha ya ukaguzi ya mapitio iliyojazwa kupita lango badala ya kukabiliana kweli na jinsi huduma inavyoshindwa.
Uzinduzi na kuacha: kusafirisha huduma bila zamu, bila tahadhari, na bila vitabu vya mwongozo, kisha kugundua pengo wakati wa kukatika kwa kwanza.
Mzigo usiopimwa: hakuna data ya miito kwa zamu wala ya nje ya saa za kazi, kwa hiyo uchovu hauonekani hadi watu waache kazi.
Mwito wa kwanza, bila mazoezi: kumweka mhandisi mpya kwenye simu ya dharura bila kuangalia wala siku ya mchezo, kisha kushangaa wanapoganda.

Kielelezo cha ukomavu

Ngazi ya 1, Kuanzisha: Simu ya dharura si rasmi na ya kuitikia. Watu wachache wanapigiwa simu mambo yanapovunjika, tahadhari zinawaka kwa sababu na kwa kiasi kikubwa ni kelele, vitabu vya mwongozo havipo au vimepitwa na wakati, huduma zinazinduliwa bila ukaguzi wa utayari, na hakuna anayepima mzigo wa kibinadamu hadi mtu achoke au aache kazi.
Ngazi ya 2, Kuendeleza: Mazoea ya msingi yanaonekana lakini yanatofautiana kwa timu. Baadhi ya zamu zina msingi, wa pili, na kupandisha vilivyofafanuliwa, baadhi ya tahadhari zimerekebishwa na baadhi ya vitabu vya mwongozo vimeandikwa, na orodha ya ukaguzi ya utayari ipo lakini inatumika bila uthabiti. Miito inaweza kuhesabiwa kwa timu zinazojali, miito ya usiku ni ya kawaida, na kuanza kwa simu ya dharura kunabuniwa papo hapo badala ya kupangwa.
Ngazi ya 3, Kusawazisha: Mapitio ya utayari ni hatua iliyoandikwa kabla ya uzinduzi, inayotekelezwa kuvuka timu. Kupiga simu kunategemea dalili na SLO kwa sera ya pamoja, vitabu vya mwongozo viko kwenye udhibiti wa matoleo na vimeunganishwa kutoka tahadhari, kuanza kazi kunajumuisha kuangalia na siku za michezo, makabidhiano yanafuata muundo uliopangwa, na kupandisha ni kwa usawa wa kutosha hivi kwamba mhandisi anayehamia kati ya timu anatambua mfumo mara moja.
Ngazi ya 4, Kusimamia: Simu ya dharura inapimwa na kudhibitiwa dhidi ya vipimo vya msingi. Miito kwa zamu, sehemu ya nje ya saa za kazi, muda wa kukiri, mara ya kupandisha, na uwiano wa kukiri-hadi-hatua vinafuatiliwa kwa timu na kulinganishwa na malengo, kwa hiyo zamu inayoelekea uchovu inaonekana kabla watu hawajaacha kazi badala ya baada. Vizingiti vinachochea mapitio, ubora wa tahadhari unakaguliwa kwa ushahidi wa miito ipi ilisababisha hatua halisi, na maamuzi ya wafanyakazi na umiliki yanaendeshwa na data badala ya hadithi.
Ngazi ya 5, Kuratibu: Afya ya simu ya dharura ni matokeo yanayoboreshwa mfululizo na kuunganishwa kuvuka shirika. Mielekeo ya miito na ya nje ya saa za kazi inashuka mfumo unapokua, kazi ya kuchosha inaotomatishwa kimfumo, kufuata jua au sawa nayo kunalinda usingizi, siku za michezo na uingizaji wa makosa ni jambo la kawaida, na shirika linarekebisha umiliki, ufunikaji, na viwango vya utayari linapojifunza kutoka kila zamu, likisawazisha upya mzigo kuvuka timu na kanda picha ya hatari inapohama.

Mawazo ya kujadili

Uwiano wenu wa sasa wa miito iliyosababisha hatua halisi dhidi ya miito iliyojitatua ni upi, na ingechukua nini kuupima?
Mwitikiaji wenu mwenye maarifa zaidi akiondoka kesho, huduma zipi zingekuwa si salama kuendeshwa, na kwa nini?
“Ukijenga, uendeshe” inawahudumia wapi vizuri, na wapi ni ukatili kimyakimya kwa timu isiyo na rasilimali za kutosha?
Lini mliwahi kumtazama mhandisi mpya akifuata mojawapo ya vitabu vyenu vya mwongozo kwa hali halisi, na nini kilivunjika?
Miito yenu ya nje ya saa za kazi inapanda au inashuka katika robo nne zilizopita, na je, yeyote anamiliki namba hiyo?
Kipengele kipi cha mapitio ya utayari, mngekitekeleza kwa ukali, kingezuia uzinduzi wenu mbaya wa hivi karibuni?

Mambo muhimu ya kukumbuka

Utayari wa simu ya dharura huamuliwa kabla ya tukio lolote, kwa ubora wa tahadhari, vitabu vya mwongozo, na zamu yenu, si kwa ushujaa wakati wa kukatika.
Mpigie binadamu simu tu kwa matatizo ya haraka, yanayotekelezeka, yanayoonekana kwa mtumiaji; tahadharisha kwa dalili na SLO, na elekeza kila kitu kingine kwenye tiketi na dashibodi.
Buni zamu kwa watu wenye maisha: vikundi vikubwa vya kutosha, kufuata jua inapowezekana, kupandisha kiotomatiki, na muda wa kupona unaoheshimiwa.
Thibitisha huduma ziko tayari kabla ya uzinduzi kwa mapitio ya utayari wa uzalishaji, weka vitabu vya mwongozo kwenye udhibiti wa matoleo na vimeunganishwa kutoka tahadhari, na fanya mazoezi kwa siku za michezo.
Pima afya ya simu ya dharura, hasa miito ya nje ya saa za kazi na muda wa kukiri, na ushushe mzigo kwa kupunguza kazi ya kuchosha na kelele badala ya kuwaomba watu wavumilie zaidi.

Marejeo na usomaji zaidi

Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy (eds.), Site Reliability Engineering: How Google Runs Production Systems
Betsy Beyer, Niall Richard Murphy, David K. Rensin, Kent Kawahara, and Stephen Thorne (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE
Rob Ewaschuk, “My Philosophy on Alerting,” in Site Reliability Engineering appendix
John Allspaw and Jesse Robbins (eds.), Web Operations: Keeping the Data on Time
Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate: The Science of Lean Software and DevOps
Gene Kim, Jez Humble, Patrick Debois, and John Willis, The DevOps Handbook
Michael T. Nygard, Release It! Design and Deploy Production-Ready Software
World Health Organization, ICD-11, entry on burn-out as an occupational phenomenon