5.8 Ymchwil dylunio a phrofi defnyddioldeb

Trosolwg a chymhelliant

Mae ymchwil defnyddwyr yn ddisgyblaeth dysgu am y bobl rydych yn adeiladu ar eu cyfer: eu nodau, eu cyd-destunau, eu tasgau, a’r rhwystrau sy’n eu baglu. Ei werth craidd yw lleihau risg. Nid gwall na therfyn amser a gollwyd yw’r camgymeriad mwyaf costus mewn meddalwedd; adeiladu’r peth anghywir yn dda, a darganfod wedyn ar ôl lansio nad oedd neb ei angen na neb yn gallu ei ddefnyddio, yw hynny. Mae ymchwil yn prynu’r risg honno i lawr yn rhad, cyn i chi arllwys peirianneg i gyfeiriad sy’n troi allan i fod yn anghywir. Mae pennod 5.1 yn gosod sylfeini UX; mae’r bennod hon yn mynd yn ddwfn i’r ddau injan sy’n cadw’r sylfeini hynny’n onest, ymchwil generadol sy’n dweud wrthych beth i’w adeiladu ac ymchwil werthuso sy’n dweud wrthych a yw’r hyn a adeiladwyd yn gweithio go iawn.

I dimau mawr mae’r peryglon yn lluosi. Pan fydd sawl sgwad yn cyflenwi i un cynnyrch, mae pob un yn gwneud betiau am ddefnyddwyr bob sbrint, a heb arferiad ymchwil a rennir mae’r betiau hynny’n ddim byd mwy na barn wedi’i wisgo mewn hyder. Mae ffrwd fach a chyson o dystiolaeth yn rhoi’r un realiti i bawb ddadlau ohono, fel bod dadleuon yn dod i ben gyda “gadewch i ni fynd i wylio ychydig o ddefnyddwyr” yn hytrach na phwy bynnag sydd â’r mwyaf o hynafedd neu’r llais uchaf. Mae ymchwil hefyd yn teithio: gall un astudiaeth a redir yn dda gywiro rhagdybiaethau dwsin o dimau ar unwaith, os byddwch yn ei chofnodi a’i rhannu’n dda.

Mae mentrau a llywodraethau’n codi’r safon eto. Mae gan feddalwedd mentrau yn aml ddefnyddwyr caeth na allant adael, felly telir am declynnau na ellir eu defnyddio mewn gwallau, hyfforddiant, ac oriau a gollir yn hytrach nag mewn cwsmeriaid sy’n gadael y gallwch eu gweld ar ddangosfwrdd. Mae gwasanaethau llywodraeth yn cyrraedd y cyhoedd cyfan, gan gynnwys pobl mewn argyfwng, ar ffonau hen, gyda hyder digidol isel, neu heb unrhyw ddewis arall. Mae llawer o safonau gwasanaeth digidol cenedlaethol bellach yn gwneud ymchwil defnyddwyr yn orfodol am y rheswm hwn yn union, oherwydd bod ffurflen na all neb ei chwblhau yn amddifadu pobl o fudd-daliadau y mae ganddynt hawl iddynt. Yma nid moethusrwydd yw ymchwil. Dyma sut rydych yn cadw addewid cyhoeddus.

Egwyddorion allweddol

Mae ymchwil yn lleihau’r risg o adeiladu’r peth anghywir; mae rataf cyn i chi adeiladu, nid wedyn.
Mae ymchwil generadol yn dod o hyd i’r broblem gywir; mae ymchwil werthuso yn gwirio’r ateb. Mae angen y ddau arnoch.
Gwyliwch beth mae pobl yn ei wneud, nid dim ond yr hyn maen nhw’n ei ddweud; mae dewis a nodir ac ymddygiad gwirioneddol yn gwyro oddi wrth ei gilydd.
Mae dulliau ansoddol yn esbonio pam; mae dulliau meintiol yn mesur faint. Parwch nhw.
Mae bach a pharhaus yn curo prin a thrwm. Mae ychydig ddefnyddwyr bob wythnos yn dysgu mwy nag un astudiaeth fawr y flwyddyn.
Dim ond mor gynrychioliadol â’ch cyfranogwyr yw eich canfyddiadau, felly recriwtiwch yn fwriadus, gan gynnwys defnyddwyr anabl a defnyddwyr anodd eu cyrraedd.
Mae mewnwelediad sy’n byw yn unig ym mhecyn sleidiau un tîm ar goll. Cofnodwch ymchwil fel y gall y sefydliad cyfan ei ailddefnyddio.
Mae rhagfarn yn llithro i mewn drwy gwestiynau arweiniol a synthesis gobeithiol; cynlluniwch yn ei erbyn yn fwriadus.

Argymhellion

Gwahanwch ymchwil generadol oddi wrth ymchwil werthuso

Byddwch yn eglur ynghylch pa gwestiwn rydych yn ei ofyn, oherwydd mae’r dulliau’n wahanol. Mae ymchwil generadol (neu ddarganfod) yn agored ac yn archwilio gofod problem cyn bod gennych ateb: Beth mae pobl mewn gwirionedd yn ceisio’i gyflawni? Ble mae’r profiad presennol yn brifo? Beth maen nhw’n ei osgoi drwy weithredoedd amgen? Mae ymchwil werthuso yn profi cynllun penodol yn erbyn tasg: A all pobl ei gwblhau, a ble maen nhw’n baglu? Mae drysu’r ddau yn gwastraffu’r ddau. Mae rhedeg sesiwn profi defnyddioldeb wedi’i sgriptio’n dynn pan nad ydych eto’n deall y broblem yn rhoi atebion caboledig i chi i’r cwestiwn anghywir, tra bod sgwrs anstrwythuredig pan fo angen i chi ddilysu llif talu wrth y til yn eich gadael i ddyfalu. Enwch y cwestiwn ymchwil yn gyntaf, yna dewiswch y dull, a bwydwch ganfyddiadau generadol i ddarganfod cynnyrch (pennod 10.14) lle mae’r map ffordd yn cael ei siapio go iawn.

Parwch y dull â’r cwestiwn

Does dim un dull at bob pwrpas, dim ond ffit. Mae cyfweliadau defnyddwyr yn dod â chymhellion, modelau meddyliol, a hanes i’r wyneb, ac maen nhw’n geffyl gwaith i chi ar gyfer darganfod. Mae ymholiad cyd-destunol, lle rydych yn arsylwi pobl yn gwneud gwaith go iawn yn eu hamgylchedd eu hunain, yn datgelu’r ffyrdd amgen a’r ymyriadau nad yw pobl byth yn eu crybwyll mewn ystafell gynadledda. Mae arolygon yn mesur agweddau ac amleddau ar draws poblogaeth fawr ond ni allant esbonio’r rhesymau y tu ôl iddynt, ac maent yn cosbi cynllunio cwestiynau blêr yn ddidrugaredd. Mae didoli cardiau a phrofi coed yn deillio ac yn dilysu pensaernïaeth gwybodaeth o fodelau meddyliol defnyddwyr: mae didoli cardiau yn gofyn i bobl grwpio a labelu cysyniadau, tra bod profi coed yn gwirio a allant ddod o hyd i bethau mewn strwythur arfaethedig. Mae astudiaethau dyddiadur yn cofnodi ymddygiad sy’n datblygu dros ddyddiau neu wythnosau, fel sefydlu neu ffurfio arferion, na all yr un sesiwn unigol ei weld. Rheol gyffredinol syml: defnyddiwch gyfweliadau ac ymholiad cyd-destunol i ddeall pobl, didoli cardiau a phrofi coed i strwythuro gwybodaeth, arolygon ac astudiaethau dyddiadur i weld ar draws amser a graddfa, a phrofi defnyddioldeb i wirio cynllun.

Cynhaliwch brofion defnyddioldeb yn gynnar, yn aml, ac yn fach

Profi defnyddioldeb yw’r dull gwerthuso sengl â’r trosoledd uchaf, a gallwch ei ddechrau gyda brasluniau papur ymhell cyn i’r un cod fodoli. Y rheol gyffredinol adnabyddus yw bod tua phum defnyddiwr y rownd yn datgelu mwyafrif y problemau defnyddioldeb difrifol, amlwg, felly mae’n well rhedeg tair rownd o bump wrth i’r cynllun ddatblygu na un astudiaeth fawr o bymtheg ar y diwedd. Deallwch derfynau’r rheol gyffredinol, serch hynny. Dim ond ar gyfer un grŵp cydryw sy’n darganfod problemau mawr y mae pum defnyddiwr yn ddigon; nid yw’n mesur cyfraddau llwyddiant, nid yw’n cwmpasu segmentau defnyddwyr gwahanol (mae angen llond dwrn ei hun ar bob grŵp sy’n wahanol mewn ffordd ystyrlon), ac nid yw’n dal materion prin ond difrifol. Dewiswch brofi wedi’i gymedroli pan fyddwch am archwilio rhesymeg, addasu ar y pryd, a thrin tasgau cymhleth neu sensitif, a phrofi heb ei gymedroli pan fyddwch am gael cyflymder, cyfaint, cyrhaeddiad daearyddol, a chost is ar gyfer llifau syml. Mae’r rhan fwyaf o dimau aeddfed yn rhedeg y ddau: wedi’i gymedroli i ddeall, heb ei gymedroli i gadarnhau ar raddfa.

Ysgrifennwch dasgau a chwestiynau nad ydynt yn arwain y tyst

Dim ond mor ddibynadwy â’ch protocol y mae eich astudiaeth, a’r ffordd gyflymaf o’i difetha yw telegraffio’r ateb rydych yn gobeithio amdano. Rhowch nodau realistig i gyfranogwyr, nid cyfarwyddiadau: dywedwch “rydych newydd symud tŷ ac angen diweddaru eich cyfeiriad” yn hytrach na “cliciwch y botwm Golygu Proffil a newid eich cyfeiriad.” Gofynnwch am ymddygiad y gorffennol yn hytrach na bwriadau’r dyfodol, oherwydd mae “a fyddech chi’n defnyddio hyn?” yn cynhyrchu celwyddau cwrtais yn ddibynadwy tra bod “dywedwch wrthyf am y tro diwethaf i chi wneud hyn” yn cynhyrchu ffeithiau. Osgowch gwestiynau sy’n rhagdybio eu casgliad eu hunain, a byddwch yn effro i ragfarn gadarnhau, y tueddiad dynol i sylwi ar a chofio tystiolaeth sy’n cefnogi’r hyn rydych eisoes yn ei gredu. Ni ddylai’r ymchwilydd a ysgrifennodd y cynllun hyfforddi cyfranogwyr yn ddistaw tuag at lwyddiant, a dylai’r tîm sy’n gwylio gofnodi’r hyn a ddigwyddodd cyn dadlau am yr hyn y mae’n ei olygu. Pan fyddwch yn gwahanu cynllunio a chyfathrebu tasgau oddi wrth gynllunio’r cynnyrch (pennod 5.4), rydych yn cael signal glanach.

Recriwtiwch gyfranogwyr sydd wir yn cynrychioli eich defnyddwyr

Mae canfyddiadau’n etifeddu rhagfarn eich recriwtio. Os byddwch bob amser yn profi gyda gwirfoddolwyr hyderus, cysylltiedig, cyfforddus gyda thechnoleg yn unig, byddwch yn cyflenwi rhywbeth sy’n gweithio’n hardd i bobl a oedd prin angen cymorth ac yn methu’r bobl a’i hangai fwyaf. Diffiniwch eich segmentau, yna recriwtiwch yn eu herbyn yn fwriadus, gan gynnwys defnyddwyr anabl sy’n dibynnu ar dechnoleg gynorthwyol (pennod 5.3) a grwpiau anodd eu cyrraedd fel pobl mewn argyfwng, pobl â hyder digidol isel, defnyddwyr hŷn, a’r rhai ar gysylltiadau araf neu ddyfeisiau hen. Mae cyrraedd y cyfranogwyr hyn yn cymryd mwy o ymdrech ac yn aml bartneriaeth â sefydliadau cymunedol, cymhellion priodol, a logisteg hyblyg, ond nid yw ei osgoi’n gwneud i’r defnyddwyr ddiflannu; mae’n symud y darganfyddiad i gynhyrchu yn unig, lle mae’n llawer mwy costus a llawer mwy niweidiol. Sgriniwch yn ofalus fel eich bod yn cael aelodau go iawn o segment yn hytrach na phrofwyr proffesiynol sy’n twyllo’r cymhellion.

Syntheseiddiwch ganfyddiadau’n benderfyniadau, nid dim ond adroddiadau

Nid mewnwelediad yw arsylwadau crai. Gwaith synthesis yw troi pentwr o nodiadau sesiwn yn nifer fach o benderfyniadau y gall y tîm weithredu arnynt. Mapio affinedd, sef clystyru arsylwadau unigol yn themâu (yr arfer y tu ôl i’r diagram affinedd), yw’r symudiad safonol ar gyfer gwneud patrymau’n weladwy ar draws sesiynau. Ar gyfer astudiaethau sy’n drwm ar gyfweliadau, mae dadansoddiad thematig ysgafn yn eich cadw’n onest ynghylch pa themâu sy’n cael eu cefnogi go iawn gan y data. Rholiwch batrymau parhaol i fyny i’r modelau a rennir o bennod 5.1, personau ar sail tystiolaeth a mapiau taith, fel bod mewnwelediad yn cyfansymio yn hytrach nag anweddu. Mae prawf synthesis da’n syml: a newidiodd penderfyniad? Roedd astudiaeth sy’n cynhyrchu pecyn hardd a dim eitem map ffordd wedi’i newid yn theatr. Gorffennwch bob astudiaeth gyda rhestr fer, wedi’i graddio o ganfyddiadau a chamau gweithredu a argymhellir ar gyfer pob un.

Trionglwch ymchwil ansoddol ag analyteg ac arbrofi

Mae ymchwil ansoddol a data meintiol yn ateb hanner gwahanol o’r un cwestiwn, ac mae pob un yn cwmpasu man dall y llall. Mae ymchwil yn esbonio pam mae defnyddwyr yn ymddwyn fel y maent ond dim ond yn gweld y llond llaw o bobl yn yr ystafell; mae analyteg ac arbrofi (pennod 7.4) yn gweld y boblogaeth gyfan ond ni allant esbonio cymhelliant na dal problemau pobl na ddaeth byth yn ddefnyddwyr. Defnyddiwch nhw fel dolen: mae analyteg yn dangos gostyngiad, mae ymchwil yn ei esbonio, mae ailgynllunio’n mynd i’r afael ag ef, ac mae arbrawf yn mesur a symudodd yr ateb y rhif. Pan fydd signalau ansoddol a meintiol yn anghytuno, triniwch y gwrthddywediad fel cliw yn hytrach na niwsans, oherwydd fel arfer mae un ohonynt yn mesur rhywbeth nad oeddech yn sylweddoli eich bod yn ei fesur. Nid yw’r naill ffynhonnell yn feistr ar y llall; daw’r penderfyniad o’u darllen gyda’i gilydd.

Adeiladwch weithrediadau ymchwil fel bod ymchwil yn graddadwy

Cyn gynted ag y bydd mwy na chwpl o dimau’n gwneud ymchwil, mae’r tagfa’n peidio â bod yn ddull ac yn dod yn logisteg: recriwtio, amserlennu, caniatâd, cymhellion, storio nodiadau, a dod o hyd i astudiaeth y chwarter diwethaf cyn i rywun ei hail-redeg. Mae gweithrediadau ymchwil (ResearchOps) yn arfer o wneud y peirianwaith hwnnw’n ddibynadwy. Buddsoddwch mewn storfa fewnwelediad y gellir chwilio ynddi fel bod canfyddiadau wedi’u tagio, yn ddarganfyddadwy, ac yn ailddefnyddiadwy ar draws timau; system rheoli cyfranogwyr sy’n parchu caniatâd, preifatrwydd, a pha mor aml rydych yn cysylltu â phobl; a cham ymchwil rheolaidd fel bod astudiaethau’n arferiad cyson yn hytrach na sgrialu. Mae democrateiddio ymchwil, sef gadael i bobl nad ydynt yn ymchwilwyr redeg rhai astudiaethau, yn werth ei wneud ond dim ond gyda mesurau diogelu: templedi, hyfforddiant, ac adolygiad, fel eich bod yn graddio cyfaint y dysgu heb raddio cyfaint y protocolau gwael a’r casgliadau rhagfarnllyd.

Cyfaddawdau: manteision ac anfanteision

Dull	Gorau ar gyfer	Manteision	Anfanteision
Cyfweliadau defnyddwyr	Darganfod, cymhellion	Pam dwfn, hyblyg, rhad i ddechrau	N bach, tueddol i ragfarn cyfwelydd
Ymholiad cyd-destunol	Ymddygiad byd go iawn	Datgelu ffyrdd amgen a chyd-destun	Yn cymryd amser, anodd ei drefnu
Arolygon	Agweddau ar raddfa	N mawr, meintiadwy	Ni all esbonio pam, hawdd ei ysgrifennu’n wael
Didoli cardiau a phrofi coed	Pensaernïaeth gwybodaeth	Yn seilio strwythur mewn modelau meddyliol	Cwmpas cul, angen dadansoddiad gofalus
Astudiaethau dyddiadur	Ymddygiad dros amser	Yn cofnodi patrymau hydredol	Cyfradd ollwng uchel, ymdrech gan gyfranogwyr
Profi defnyddioldeb wedi’i gymedroli	Deall cynllun	Ymchwiliol, addasadwy, cyfoethog	Arafach, drutach, trwm ar drefnu
Profi defnyddioldeb heb ei gymedroli	Cadarnhau ar raddfa	Cyflym, rhad, eang yn ddaearyddol	Dim dilyniant, arwynebol ar dasgau cymhleth

Y tyndra canolog yw dyfnder yn erbyn graddfa, a’r datrysiad yw dilyniant yn hytrach na dewis. Defnyddiwch ddulliau dwfn, ansoddol, N bach i ddeall ac i gynhyrchu damcaniaethau, yna defnyddiwch ddulliau eang, meintiol i fesur maint a chadarnhau’r rheini. Ail dyndra yw cyflymder yn erbyn trylwyredd: mae ymchwil ysgafn parhaus yn cadw’r tîm i ddysgu bob wythnos, ond mae’r un cyflymder sy’n ei wneud yn werthfawr hefyd yn ei gwneud hi’n hawdd torri corneli ar recriwtio a phrotocol. Datryswch hyn drwy baru trylwyredd â gwrthdroadwyedd. Treuliwch ofal methodolegol go iawn ar benderfyniadau sy’n ddrud i’w dad-wneud (llifau craidd, pensaernïaeth gwybodaeth, betiau platfform) a symudwch yn gyflym a rhydd ar y manylion y gallwch eu newid y sbrint nesaf.

Cwestiynau i’w trafod gyda’ch tîm

Pan fyddwn yn gwneud bet cynnyrch, beth yw’r darn lleiaf o ymchwil a fyddai’n newid ein meddwl, ac a ydym yn barod i’w gynnal cyn i ni ymrwymo? Mae timau’n caru ymchwil mewn egwyddor ac yn ei osgoi o dan bwysau terfyn amser, felly y cwestiwn go iawn yw a oes gan dystiolaeth unrhyw awdurdod dros y map ffordd o gwbl. Penderfynwch ymlaen llaw beth fyddai’n cyfrif fel tystiolaeth wrthbrofol, oherwydd mae astudiaeth y byddwch yn ei anwybyddu waeth beth fo’r canlyniad yn wastraff amser pawb ac yn fath o theatr. Mae hyn yn bwysicaf ar gyfer penderfyniadau sy’n ddrud i’w gwrthdroi, lle mae wythnos o ddarganfod yn ddibwys wrth ochr misoedd o adeiladu’r peth anghywir. Dewch â phenderfyniad cyfredol ac enwch, yn uchel, y canfyddiad a fyddai’n gwneud i chi newid cwrs. Os na all unrhyw ganfyddiad ei newid, nid ydych yn gwneud ymchwil, rydych yn casglu sicrwydd, a dylech naill ai ymrwymo’n onest neu ailagor y penderfyniad.
A yw’r bobl rydym yn profi gyda nhw mewn gwirionedd yn edrych fel y bobl sy’n defnyddio’r cynnyrch, yn enwedig y rhai sy’n cael y drafferth fwyaf? Mae’n gyfforddus recriwtio gwirfoddolwyr hyderus, cysylltiedig, sydd ar gael, ac mae’r cysur hwnnw’n cynhyrchu darlleniad gwenieithus a ffug o ba mor ddefnyddiadwy y mae eich cynnyrch mewn gwirionedd. Fel arfer y defnyddwyr y mae angen fwyaf i’r feddalwedd weithio’n dda ar eu cyfer, defnyddwyr anabl, pobl mewn argyfwng, pobl â hyder digidol isel, yw’r anoddaf i’w recriwtio, felly maen nhw’n disgyn allan o’r sampl yn ddistaw oni bai eich bod yn ymladd drostynt. Tynnwch ddemograffeg y cyfranogwyr o’ch tair astudiaeth ddiwethaf a’u gosod wrth ochr eich sylfaen defnyddwyr go iawn neu eich rhwymedigaethau gwasanaeth cyhoeddus. Os ydynt yn gogwyddo tuag at ddefnyddwyr hawdd eu cyrraedd, mae eich hyder wedi’i gamosod, a dylech drwsio’r bibell recriwtio, partneru â sefydliadau cymunedol, ac addasu cymhellion cyn i chi ymddiried mewn rownd arall o ganfyddiadau.
Ble mae ein canfyddiadau ymchwil yn byw, ac a allai tîm arall ddod o hyd iddynt a’u hailddefnyddio ymhen chwe mis? Mewn sefydliad mawr caiff yr un cwestiwn ei ymchwilio drosodd a throsodd oherwydd na allai neb ddod o hyd i’r ateb y talodd y tîm cyntaf amdano eisoes, sy’n wastraff pur wedi’i wisgo fel diwydrwydd. Penderfynwch pwy sy’n berchen ar y storfa fewnwelediad, sut mae astudiaethau’n cael eu tagio a’u crynhoi, a beth yw’r ysgrifen leiaf hyfyw fel bod cofnodi canfyddiad yn ddigon cyflym fel bod pobl mewn gwirionedd yn ei wneud. Ystyriwch beth sy’n digwydd i ganiatâd a phreifatrwydd cyfranogwyr wrth i ganfyddiadau gael eu hailddefnyddio a’u rhannu, oherwydd mae ailddefnyddio heb ofal yn broblem cydymffurfiaeth ac ymddiriedaeth. Dewch ag un penderfyniad diweddar a cheisiwch olrhain y dystiolaeth y tu ôl iddo. Os na allwch ddod o hyd i’r astudiaeth mewn llai na ychydig funudau, mae eich ymchwil yn anweddu’n gynt nag rydych yn ei gynhyrchu.
Pan fyddwn yn dyfynnu’r rheol “tua phum defnyddiwr”, faint o segmentau gwahanol y mae’r cynnyrch hwn mewn gwirionedd yn eu gwasanaethu, ac a ydym yn profi sampl go iawn o bob un? Mae’r rheol gyffredinol pum-defnyddiwr yn dod yn fagl pan fydd gan gynnyrch sawl grŵp defnyddwyr sy’n wahanol mewn ffordd ystyrlon, oherwydd nid yw pum cyfranogwr o un grŵp yn dweud dim wrthych am y lleill, ac eto dyfynnir y rhif fel pe bai un rownd wedi setlo’r mater i bawb. I dîm mawr sy’n cyflenwi i gynnyrch a rennir, mae’r segmentau’n lluosi’n gyflym: rolau, rhanbarthau, dyfeisiau, anghenion hygyrchedd, a lefelau arbenigedd gwahanol, ac mae angen llond dwrn ei hun ar bob grŵp sy’n wahanol mewn ffordd ystyrlon. Y pwysau cystadleuol yw cost ac amserlen, gan fod profi pob segment bob rownd yn ddrud, felly penderfynwch pa segmentau sy’n cario’r risg fwyaf, cwmpaswch y rheini bob rownd, a chylchdrowch y gweddill. Dewch â’ch map segmentau go iawn a chyfrifon y cyfranogwyr fesul segment o rowndiau diweddar, a byddwch yn onest ynghylch pa grwpiau nad ydych erioed wedi’u gwylio. Mewn lleoliadau mentrau a llywodraeth, lle mae defnyddwyr caeth a rhwymedigaethau gwasanaeth cyhoeddus yn golygu na all y segment a esgeuluswyd symud i ffwrdd yn syml, mae segment heb ei brofi’n boblogaeth rydych yn ei siomi’n ddistaw, ac mae’r bwlch hwnnw’n perthyn yn y cynllun fel cwmpas eglur yn hytrach nag ystadegyn wedi’i gyfartaleddu i ffwrdd.
Pwy sy’n cael rhedeg astudiaeth yma, a beth sy’n atal brwdfrydig heb hyfforddiant rhag cynhyrchu nonsens hyderus ar raddfa? Mae democrateiddio ymchwil yn caniatáu i fwy o dimau ddysgu’n gyflymach, ond heb dempledi, hyfforddiant, ac adolygiad mae hefyd yn graddio protocolau rhagfarnllyd, cwestiynau arweiniol, a synthesis gobeithiol, felly mae cyfaint y dysgu a chyfaint y casgliadau gwael yn codi gyda’i gilydd. Mae’r tyndra rhwng cynnyrch a hyder: caewch bopeth drwy ychydig o ymchwilwyr a byddant yn dod yn dagfa, agorwch y giatiau heb unrhyw fesurau diogelu a byddwch yn llifogi’r sefydliad â chanfyddiadau na ddylai neb weithredu arnynt. Penderfynwch pa fathau o astudiaeth sy’n ddiogel i’w dirprwyo, fel prawf tasg cyflym heb ei gymedroli, yn erbyn pa rai sy’n mynnu llaw wedi’i hyfforddi, fel pynciau sensitif, cyfranogwyr agored i niwed, neu fetiau pensaernïaeth gwybodaeth, a dewch â’r templedi, y cam adolygu, ac archwiliad gonest o astudiaethau hunanwasanaeth diweddar i weld sawl un a fyddai’n goroesi craffu. Ar gyfer menter fawr neu gorff llywodraeth, ychwanegwch yr ongl caffael a phreifatrwydd: prynir offer ymchwil a rennir yn aml, ac mae platfform hunanwasanaeth sy’n gadael i unrhyw un gysylltu â chyfranogwyr heb olrhain caniatâd yn ddigwyddiad cydymffurfiaeth sy’n aros i ddigwydd, felly mae’r mesurau diogelu yr un mor ymwneud â thrin data cyfreithlon ag ansawdd dull.
Pan fydd ein analyteg a’n cyfweliadau’n dweud straeon dirgroes am yr un nodwedd, sut mae’r tîm hwn yn penderfynu pa un i’w gredu? Mae signalau ansoddol a meintiol yn ateb hanner gwahanol o un cwestiwn, ac mae trin gwrthddywediad rhyngddynt fel niwsans i’w setlo yn ôl hynafedd yn taflu ymaith y cliw mwyaf defnyddiol sydd gennych, oherwydd fel arfer mae un ffynhonnell yn mesur rhywbeth nad oeddech yn sylweddoli eich bod yn ei fesur. I sefydliad mawr y risg yw llwythdeuluaeth: tîm data sy’n ymddiried mewn dangosfyrddau’n unig a thîm ymchwil sy’n ymddiried mewn sesiynau’n unig, pob un yn diystyru’r llall yn hytrach na’u darllen gyda’i gilydd. Dewch ag anghytundeb diweddar go iawn, y gostyngiad o analyteg wedi’i osod wrth ochr y rhesymau o ymchwil, a cherddwch ddolen analyteg yn dangos ble, ymchwil yn esbonio pam, ac arbrawf yn mesur a symudodd ateb y rhif. Mewn cyd-destunau mentrau a llywodraeth, lle gall un fetrig ddylanwadu ar gyllid neu ymrwymiad cyhoeddus, enwch ymlaen llaw pwy sy’n cyflafareddu pan fydd y ddau’n anghytuno a pha dystiolaeth sy’n cau’r ddadl, fel bod y penderfyniad yn gorffwys ar ddarlleniad trionglog yn hytrach nag ar ba bynnag swyddogaeth sydd â’r eiriolwr uchaf ei lais yn yr ystafell.

Lens sector

Cwmni newydd. Gyda llond llaw o bobl a dim rhedfa i’w gwastraffu, triniwch ymchwil fel yr yswiriant rhataf y gallwch ei brynu, nid cyfnod. Ceisiwch gael sylfaenydd i redeg pum sesiwn wedi’u cymedroli ar brototeipiau papur cyn ysgrifennu llawer o god, gan fframio tasgau fel nodau yn hytrach na chyfarwyddiadau, a gadewch i’r hyn rydych yn ei wylio ladd neu ailgyfeirio’r syniad tra ei fod yn dal yn frasluniau. Hepgorwch y storfa a’r panel; holl bwynt y peth yw dysgu’n ddigon cyflym i osgoi adeiladu’r peth anghywir.

Busnes bach. Mae’n debyg nad oes gennych ymchwilydd penodedig a bod gennych gyllideb dynn, felly pwyswch ar declynnau profi cost isel, heb eu cymedroli a chyfweliadau ysgafn yn hytrach na swyddogaeth ymchwil â staff. Pan fyddwch yn prynu meddalwedd profi defnyddioldeb, ffafriwch declynnau sy’n trin recriwtio a chaniatâd ar eich rhan, gan mai anaml y mae’n werth i chi adeiladu’r peirianwaith hwnnw eich hun ar eich graddfa. Profwch yr ychydig lifau sy’n gwneud neu’n colli cwsmer i chi, a byddwch yn ddisgybledig ynghylch ysgrifennu tasgau nad ydynt yn arwain y tyst, oherwydd mae protocol gwael yn gwastraffu’r ychydig gyllideb sydd gennych.

Menter. Gyda sawl sgwad yn cyflenwi i gynhyrchion a rennir, y cyfyngiad yw llywodraethu: storfa fewnwelediad y gellir chwilio ynddi, panel cyfranogwyr wedi’i reoli gydag olrhain caniatâd, a cham ymchwil fel bod astudiaethau’n arferiad yn hytrach na sgrialu. Democrateiddiwch ymchwil o fewn mesurau diogelu o dempledi, hyfforddiant, ac adolygiad fel bod cyfaint yn graddio heb raddio protocolau gwael, a sicrhewch fod canfyddiadau wedi’u tagio ac yn archwiliadwy fel na fydd dau sgwad byth yn talu ddwywaith i ateb yr un cwestiwn. Triniwch ddata cyfranogwyr fel rhai wedi’u rheoleiddio: mae angen polisi ar gadw, caniatâd, ac amlder cyswllt oll.

Llywodraeth. Mae llawer o safonau gwasanaeth digidol cenedlaethol yn gwneud ymchwil defnyddwyr yn orfodol ac yn destun asesiad, felly triniwch ef fel giât y mae’n rhaid i wasanaeth ei phasio, gyda thystiolaeth. Mae rheolau caffael yn siapio eich offer a’ch cyflenwyr recriwtio, mae tryloywder yn golygu dogfennu gyda phwy y gwnaethoch brofi a beth a ganfuwyd, ac mae atebolrwydd cyhoeddus yn golygu recriwtio’r defnyddwyr anoddaf eu cyrraedd, gan gynnwys cyfranogwyr digidol-gynorthwyol ac anabl, oherwydd mae gwasanaeth sy’n eu heithrio’n amddifadu pobl o’u hawliau. Cadwch gofnodion clir o ganiatâd a dull fel y gall aseswr, archwilydd, neu’r cyhoedd weld bod yr ymchwil yn real.

Enghreifftiau

Cwmni newydd. Roedd cwmni newydd chwe pherson yn adeiladu meddalwedd treuliau ar gyfer gweithwyr llawrydd yn argyhoeddedig mai’r nodwedd laddwr oedd sganio derbynebau awtomataidd, ac wedi adeiladu fersiwn bras. Cyn buddsoddi ymhellach, rhedodd dau sylfaenydd bum sesiwn defnyddioldeb wedi’u cymedroli gyda gweithwyr llawrydd go iawn gan ddefnyddio prototeipiau papur, gan fframio tasgau fel nodau (“cofnodwch y coffi rydych newydd ei dreulio”) yn hytrach na chyfarwyddiadau. Anwybyddodd pedwar o’r pump sganio’n gyfan gwbl a theipio symiau â llaw, oherwydd nid cyflymder mewnbynnu data oedd eu gwir bryder ond a fyddai treuliad yn goroesi archwiliad treth. Trodd y tîm y cynnyrch o amgylch categoreiddio parod-ar-gyfer-archwiliad a llwybr papur clir, rhedeg dwy rownd fach arall wrth iddynt ailadrodd, a throi treial rhad ac am ddim a oedd yn stolio’n danysgrifwyr talu, y cyfan am gost wythnos o frasluniau a sgyrsiau.

Menter. Roedd cwmni logisteg byd-eang yn safoni meddalwedd warws ar draws safleoedd ac wedi sefydlu swyddogaeth gweithrediadau ymchwil barhaol i gadw dwsinau o sgwadiau cynnyrch yn onest. Adeiladon nhw storfa fewnwelediad wedi’i thagio, panel wedi’i reoli o staff warws a oedd wedi cydsynio i sesiynau cyfnodol, a cham ymchwil pob pythefnos. Pan gynigiodd dau sgwad yn annibynnol ailgynllunio’r un llif gwaith sganio, datgelodd chwiliad o’r storfa ymholiad cyd-destunol o’r chwarter blaenorol yn dangos mai menig ac amodau ystorfa oer, nid cynllun sgrin, oedd yn achosi’r rhan fwyaf o wallau sganio. Ailgyfeiriodd y canfyddiad hwnnw a ailddefnyddiwyd unwaith y ddau sgwad tuag at dargedau tapio mwy a rhyngweithiadau sy’n gyfeillgar i fenig, gan osgoi darganfod dyblyg, a thorri camsganio’n fesuradwy unwaith y’i cyflenwyd.

Llywodraeth. Roedd gwasanaeth iechyd cenedlaethol a oedd yn ailgynllunio ei wasanaeth archebu apwyntiadau yn trin ymchwil defnyddwyr fel gorfodol o dan ei safon gwasanaeth digidol, nid dewisol. Ochr yn ochr â phrofi defnyddioldeb wedi’i gymedroli gyda sampl eang yn ddemograffig, rhedodd y tîm sesiynau digidol-gynorthwyol gyda phobl sydd fel arfer yn dibynnu ar berthynas neu gynorthwyydd llyfrgell, a recriwtio cyfranogwyr anabl sy’n defnyddio darllenwyr sgrin a mynediad switsh (pennod 5.3) drwy bartneriaethau ag elusennau. Datgelodd profi fod jargon clinigol mewn penawdau adran yn achosi i ddefnyddwyr hŷn a llai hyderus adael cyn cyrraedd rhwystr go iawn. Cododd ailstrwythuro cynnwys o amgylch nodau iaith blaen cleifion, a chadarnhau’r ennill wedyn gydag astudiaeth heb ei chymedroli ar raddfa a chymhariaeth analyteg fyw (pennod 7.4), archebion hunanwasanaeth llwyddiannus a lleihau’r llwyth ar y ganolfan alwadau, gan wella cost gwasanaethu a thegwch mynediad ill dau.

Achos busnes: cymhellion, ROI, a TCO

Daw’r enillion ar ymchwil o dri lifer. Yn gyntaf, gwastraff a osgowyd: mae dal cyfeiriad anghywir yn ystod wythnos o ddarganfod yn hytrach nag ar ôl chwarter o beirianneg yn arbediad mwyaf ac sy’n cael ei danamcangyfrif fwyaf, yn union oherwydd nad yw’r adeiladu a wastraffwyd byth yn digwydd ac felly byth yn ymddangos ar adroddiad. Yn ail, llwyddiant uwch: mwy o ddefnyddwyr yn cwblhau tasgau gwerthfawr, sy’n ymddangos fel trosi mewn cynhyrchion defnyddwyr ac fel cynhyrchiant a llai o wallau mewn lleoliadau mentrau lle mae defnyddwyr yn gaeth. Yn drydydd, cost is i wasanaethu: mae gwasanaethau y gellir eu defnyddio’n cynhyrchu llai o gysylltiadau cymorth, llai o hyfforddiant, a llai o gamgymeriadau i lawr yr afon i’w cywiro.

Mae’n rhaid i gyfanswm cost perchnogaeth bwyso cost gwneud ymchwil yn erbyn cost ei osgoi. Mae costau ei wneud yn weladwy ac yn gymedrol: ymchwilwyr, recriwtio a chymhellion, offer, storfa, ac amser yn yr amserlen. Mae costau ei osgoi’n fwy ond wedi’u gwasgaru ar draws cyllidebau eraill: trafodion a adawyd, tocynnau cymorth, dyddiau hyfforddi, ailgynlluniau hwyr drud, lansiadau a fethodd, ac, yn y sector cyhoeddus, eithrio dinasyddion a’r risg gyfreithiol ac i enw da sy’n dilyn. Oherwydd bod y costau hyn yn cuddio mewn cymorth, hyfforddiant, a gweithrediadau yn hytrach nag yn llinell y cynnyrch, mae arweinwyr yn eu tanamcangyfrif yn rheolaidd, sef yn union pam mae ymchwil yn edrych yn ddewisol hyd nes bod lansiad yn methu.

I wneud yr achos, cysylltwch ymchwil â rhifau y mae uwch-swyddogion eisoes yn eu gwylio: cyfraddau cwblhau a throsi, cost fesul trafodyn, cyfaint cymorth, amser hyfforddi, a chyfraddau gwallau ac ailwaith. Rhedwch un cymhariaeth cyn-ac-ar-ôl fach, wedi’i offeryna, ar lif go iawn, dangoswch y symudiad, ac allosodwch ar draws y portffolio. Fframiwch ymchwil fel lleihau risg ar benderfyniadau anwrthdroadwy, yr iaith sy’n atseinio gyda rhanddeiliaid cyllid a llywodraethu na fyddant efallai byth yn darllen adroddiad defnyddioldeb ond sy’n deall bet a allai fynd o chwith.

Gwrth-batrymau a pheryglon

Theatr ymchwil: astudiaethau a redir i gyfiawnhau penderfyniad a wnaed eisoes, gyda chanfyddiadau’n cael eu hanwybyddu’n ddistaw pan fyddant yn anghyfleus.
Arwain y tyst: tasgau a chwestiynau sy’n telegraffio’r ateb a ddymunir, gan gynhyrchu data gwenieithus nad yw’n golygu dim.
Synthesis â rhagfarn gadarnhau: clywed dim ond yr arsylwadau sy’n ffitio’r cynllun a diystyru’r gweddill.
Camsyniad y pum defnyddiwr: trin “tua phum defnyddiwr” fel deddf gyffredinol, gan anwybyddu ei fod yn rhagdybio un segment a dim ond yn dod o hyd i faterion difrifol, nid cyfraddau llwyddiant.
Recriwtio cyfleustra: profi pwy bynnag sy’n hawdd ei gyrraedd, fel bod defnyddwyr anabl ac anodd eu cyrraedd yn diflannu o’r sampl.
Ymddiriedaeth mewn dewis a nodir: credu “byddwn, byddwn i’n defnyddio hynny” yn hytrach na gwylio beth mae pobl yn ei wneud mewn gwirionedd.
Mynwentydd mewnwelediad: canfyddiadau wedi’u claddu yn sleidiau un tîm, fel bod yr un cwestiwn yn cael ei ymchwilio drosodd a throsodd.
Democrateiddio heb fesurau diogelu: gadael i unrhyw un redeg astudiaethau heb dempledi na adolygiad, gan raddio protocolau rhagfarnllyd a chasgliadau simsan.
Llwythdeuluaeth ansoddol-yn-erbyn-meintiol: dewis ffynhonnell ddata ffefryn a diystyru’r llall yn hytrach na thrionglu.

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae ymchwil yn achlysurol neu’n absennol, ac mae penderfyniadau’n gorffwys ar farn a hynafedd. Mae profi defnyddioldeb, os yw’n digwydd, yn ddigwyddiad ymatebol unigol cyn lansio gyda phwy bynnag sydd wrth law, ac anaml mae canfyddiadau’n newid unrhyw beth.
Lefel 2, Datblygu: Mae rhai timau’n rhedeg profion defnyddioldeb a chyfweliadau achlysurol, ond mae recriwtio’n gyfleus, mae protocolau’n anffurfiol, ac mae mewnwelediadau’n byw mewn pecynnau gwasgaredig. Mae arfer yn amrywio’n eang o sgwad i sgwad, ac mae ymchwil yn gyfnod sy’n cael ei dorri o dan bwysau amserlen.
Lefel 3, Safoni: Mae ymchwil generadol a gwerthuso wedi’u dogfennu ac yn cael eu rhedeg yn barhaus ar draws timau, gan fwydo blaenoriaethu drwy broses a rennir. Mae recriwtio’n targedu segmentau go iawn gan gynnwys defnyddwyr anabl ac anodd eu cyrraedd, mae storfa fewnwelediad y gellir chwilio ynddi’n bodoli, mae synthesis yn cynhyrchu penderfyniadau wedi’u graddio, ac mae gweithrediadau ymchwil yn rheoli cam, templedi, a chyfranogwyr ar draws y sefydliad.
Lefel 4, Rheoli: Mae’r rhaglen ymchwil yn cael ei mesur yn erbyn llinellau sylfaen. Mae timau’n olrhain cwmpas segmentau defnyddwyr, cyfraddau llwyddiant a chwblhau tasgau, amser o fewnwelediad i newid a gyflenwyd, a’r effaith i lawr yr afon ar gyfaint cymorth, amser hyfforddi, a chyfraddau gwallau ac ailwaith, ac maen nhw’n gosod trothwyon sy’n sbarduno gweithredu pan fydd metrig yn llithro. Caiff ailddefnyddio storfa ac ansawdd astudiaeth eu monitro, fel y gall arweinwyr weld yr enillion y mae ymchwil yn eu cynhyrchu yn hytrach na’u tybio.
Lefel 5, Cyfluniadu: Mae ymchwil yn ddolen barhaus, drionglog ag analyteg ac arbrofi, gan gau o fewnwelediad i newid a gyflenwyd i effaith wedi’i mesur, ac mae wedi’i integreiddio â strategaeth cynnyrch a chynllunio risg ar draws y sefydliad. Mae ymchwil wedi’i ddemocrateiddio’n rhedeg yn ddiogel o fewn mesurau diogelu, mae canfyddiadau’n cyfansymio ac yn addasu wrth i’r cynnyrch a’i ddefnyddwyr symud, ac mae ymchwil yn amlwg yn siapio strategaeth, nid dim ond sgriniau.

Syniadau i’w trafod

Faint o ddarganfod sy’n “ddigon” cyn ymrwymo i adeiladu, a phwy sydd â’r awdurdod i ddweud pryd rydych wedi dysgu digon?
Pan fydd analyteg a chyfweliadau’n dweud straeon dirgroes wrthych am yr un nodwedd, sut ddylai’r tîm benderfynu ar ba un i weithredu?
Ble mae’r llinell rhwng democrateiddio ymchwil yn gyfrifol a gadael i frwdfrydedd heb hyfforddiant gynhyrchu astudiaethau rhagfarnllyd ar raddfa?
Sut ydych chi’n mesur yr enillion ar astudiaeth y mae ei gwerth yn gamgymeriad na wnaethoch felly byth ac na allwch byth bwyntio ato?
Beth yw’r ffordd foesegol o ymchwilio gyda phobl mewn argyfwng neu mewn amgylchiadau agored i niwed heb ychwanegu at eu baich?
A ddylai ymchwil defnyddwyr orfodol, fel mewn safonau gwasanaeth llywodraeth, fod yn giât a all rwystro lansiad, a phwy sy’n ei orfodi?

Prif gasgliadau

Mae ymchwil yn bodoli i leihau’r risg o adeiladu’r peth anghywir, ac mae rataf cyn i chi adeiladu.
Gwahanwch ymchwil generadol (dod o hyd i’r broblem gywir) oddi wrth ymchwil werthuso (gwirio’r ateb); dewiswch y dull o’r cwestiwn.
Mae “tua phum defnyddiwr” yn dod o hyd i’r rhan fwyaf o’r materion difrifol mewn un segment y rownd, ond nid yw’n mesur llwyddiant nac yn cwmpasu grwpiau gwahanol.
Ysgrifennwch dasgau fel nodau realistig, gofynnwch am ymddygiad y gorffennol, a chynlluniwch yn erbyn cwestiynau arweiniol a rhagfarn gadarnhau.
Recriwtiwch gyfranogwyr sy’n wir gynrychioli eich defnyddwyr, gan gynnwys pobl anabl ac anodd eu cyrraedd, neu mae eich canfyddiadau’n ffug yn ddistaw.
Syntheseiddiwch yn benderfyniadau wedi’u graddio, nid pecynnau; y prawf yw a newidiodd penderfyniad mewn gwirionedd.
Trionglwch ymchwil ansoddol ag analyteg ac arbrofi, a chofnodwch ganfyddiadau mewn storfa a rennir fel bod dysgu’n cyfansymio.

Cyfeiriadau a darllen pellach

Erika Hall, Just Enough Research
Steve Krug, Rocket Surgery Made Easy
Jakob Nielsen, Usability Engineering
Mike Kuniavsky, Observing the User Experience
Steve Portigal, Interviewing Users
Tomer Sharon, Validating Product Ideas: Through Lean User Research
Hugh Beyer and Karen Holtzblatt, Contextual Design
Donna Spencer, Card Sorting: Designing Usable Categories
Kathy Baxter, Catherine Courage, and Kelly Caine, Understanding Your Users
Kate Towsey, Research That Scales: The Research Operations Handbook
Nielsen Norman Group, erthyglau ar brofi defnyddioldeb, maint sampl, a dulliau ymchwil
UK Government Digital Service, Service Manual: canllawiau ymchwil defnyddwyr