3.17 Chwilio ac adalw gwybodaeth

Trosolwg a chymhelliant

Yn hwyr neu’n hwyrach, bydd rhywun yn teipio ychydig eiriau i mewn i flwch ac yn disgwyl i’ch system ddod o hyd i’r peth cywir. Mae’r blwch hwnnw’n dwyllodrus o syml. Y tu ôl iddo mae un o’r disgyblaethau hynaf a chyfoethocaf mewn cyfrifiadura: adalw gwybodaeth, sef gwyddor dod o hyd i eitemau perthnasol mewn casgliad mawr o gais amherffaith ei fynegiant. Nid nodwedd yw chwilio i’w bolltio ar gynnyrch yn hwyr yn y broses; mae’n bryder system gyda’i fodel data ei hun, ei ffyrdd ei hun o fethu, ei stori raddadwyedd ei hun, a’i ffordd ei hun o fod yn anghywir. Pan fydd chwilio’n dda, bydd pobl yn dod o hyd i’r hyn sydd ei angen arnynt ac yn prin sylwi. Pan fydd chwilio’n wael, byddant yn gadael, neu’n waeth byth, byddant yn casglu nad yw’r peth roedden nhw ei eisiau yn bodoli.

Mae’r bennod hon yn trin chwilio fel pensaernïaeth o’r radd flaenaf. Mae’n eistedd ochr yn ochr â phenderfyniadau data a storio pennod 3.4, gan fod mynegai chwilio yn storfa arbenigol wedi’i optimeiddio ar gyfer ymholi, ar wahân i’r system gofnod sy’n berchen ar y gwirionedd. Mae’n pwyso ar syniadau storio dros dro a chyflenwi pennod 3.15, gan fod canlyniadau chwilio ac awgrymiadau’n sensitif i oedi ac yn addas i’w storio dros dro. Ac erbyn hyn mae’n gorgyffwrdd yn helaeth â gwaith deallusrwydd artiffisial cynhyrchiol pennod 6.3, gan fod adalw modern yn bwydo modelau iaith mawr â’r cyd-destun sydd ei angen arnynt i ateb yn dda.

I dimau mawr, chwilio yw’r man lle mae perthnasedd, ffresni, a graddfa’n gwrthdaro. Mae catalog menter gyda degau o filiynau o eitemau, porth cofnodion llywodraeth sy’n atebol i’r cyhoedd, cronfa wybodaeth gymorth sy’n gorfod dangos yr union erthygl sy’n datrys tocyn: mae pob un yn mynnu bod chwilio’n cael ei fesur, ei diwnio, a’i weithredu â’r un trylwyredd â system gynhyrchu arall. Mae’r peryglon yn goncrid. Mae awdurdod treth na all ei chwiliad ddod o hyd i’r ffurflen gywir erbyn y dyddiad cau ffeilio, neu borth iechyd sy’n claddu’r canllawiau perthnasol o dan sŵn, yn methu ei ddefnyddwyr mewn ffordd sy’n erydu ymddiriedaeth yn y sefydliad y tu ôl iddo.

Egwyddorion allweddol

Trin y mynegai chwilio fel storfa deilliedig, ar wahân i’ch system gofnod.
Mae perthnasedd yn ansawdd mesuradwy, nid mater o chwaeth; bernwch ef â data.
Cyfatebwch â sut mae pobl mewn gwirionedd yn teipio: sillafu anghywir, cryno, ac amwys.
Cyfunwch adalw geiriadurol ac ystyrol; nid yw’r naill na’r llall ar ei ben ei hun yn ymdrin â phob ymholiad.
Dyluniwch y biblinell fynegeio ar gyfer ffresni, nid dim ond ar gyfer y llwyth cychwynnol.
Gwerthuswch all-lein gyda dyfarniadau ac ar-lein gydag ymddygiad go iawn, a defnyddiwch y ddau.
Graddiwch chwilio’n fwriadol gyda shardiau a chopïau, ac arsylwch arno fel unrhyw wasanaeth.

Argymhellion

Dechreuwch gyda’r mynegai gwrthdro a’r biblinell ddadansoddi

Yr injan wrth wraidd chwilio clasurol yw’r mynegai gwrthdro: map o bob term i’r rhestr o ddogfennau sy’n ei gynnwys, delwedd ddrych o ddogfen sy’n rhestru ei thermau. Gofynnwch am “invoice refund” a bydd yr injan yn croestorri’r rhestr bostio ar gyfer “invoice” â’r rhestr bostio ar gyfer “refund” mewn milieiliadau, ni waeth faint o filiynau o ddogfennau sydd gennych. Y strwythur data hwn sy’n gwneud i chwilio deimlo’n ddi-oed, ac mae ei ddeall yn esbonio’r rhan fwyaf o’r hyn y mae chwilio’n ei wneud yn dda a heb ei wneud yn dda.

Nid yw’r mynegai’n well na’r testun rydych yn ei fwydo iddo, a dyna waith y dadansoddwr. Mae dadansoddi’n rhedeg mewn camau. Yn gyntaf, mae tocyneiddio yn hollti llif o destun yn dermau, sy’n anos na hollti wrth fylchau unwaith y dewch ar draws atalnodi, cysylltnodi, ac ieithoedd fel Tsieinëeg nad ydynt yn amffinio geiriau. Yna mae normaleiddio’n troi’n llythrennau bach, yn tynnu acenion, ac yn plygu amrywiadau at ei gilydd. Yna mae gwreiddeiddio, neu ei gefnder mwy manwl gywir, lemateiddio, yn lleihau “running,” “ran,” a “runs” tuag at wreiddyn cyffredin fel bod ymholiad am un yn cyfateb â’r lleill. Mae trin geiriau atal, ehangu cyfystyron, a chanfod iaith yn cwblhau’r broses. Y rheol sy’n arbed poen i chi: rhaid i ddadansoddi adeg mynegeio a dadansoddi adeg ymholi gytuno, gan mai dim ond os yw’r ddwy ochr yn ei normaleiddio yr un ffordd y ceir hyd i derm.

Deallwch drefnu perthnasedd cyn ei diwnio

Mae dod o hyd i’r dogfennau sy’n cyfateb yn hanner hawdd y dasg. Eu trefnu fel bod yr un orau ar y brig yw’r hanner anodd, a gelwir hyn yn drefnu. Y ceffyl gwaith traddodiadol yw TF-IDF, byrfodd am amlder term wedi’i luosi ag amlder dogfen gwrthdro: mae term yn cyfrif am fwy pan fydd yn ymddangos yn aml mewn dogfen (amlder term) a phan fydd yn brin ar draws y casgliad cyfan (amlder dogfen gwrthdro), felly mae “photosynthesis” yn drymach na “the.” Mae’r rhan fwyaf o injans modern yn rhagosod i Okapi BM25, gwelliant sy’n dirlenwi amlder term (nid yw’r degfed digwyddiad yn ychwanegu fawr ddim dros y nawfed) ac sy’n normaleiddio ar gyfer hyd dogfen fel nad yw dogfennau hir yn ennill drwy faint yn unig. Nid oes angen i chi ddeillio’r fformiwla, ond dylech wybod bod deial yn bodoli, bod ganddo ragosodiadau egwyddorol, a bod ei newid yn newid pa ganlyniadau sy’n trefnu gyntaf.

Bernwch ansawdd â dau air o’r maes. Manwl gywirdeb yw’r gyfran o’r canlyniadau a ddychwelwyd sy’n berthnasol; adalw yw’r gyfran o’r holl ganlyniadau perthnasol a ddychwelwyd gennych. Maent yn cyfnewid yn erbyn ei gilydd. Llaciwch yr ymholiad i ddal pob cyfatebiaeth bosibl a bydd manwl gywirdeb yn gostwng wrth i sŵn ymdreiddio; tynhewch ef ar gyfer set canlyniadau lân a bydd adalw’n gostwng wrth i gyfatebiaethau da ddisgyn allan. Mae pob penderfyniad perthnasedd, o oddefgarwch camsillafu i ehangu cyfystyron, yn fenter ar ba ran o’r gromlin honno y mae eich defnyddwyr am fod, ac mae’r ateb yn wahanol ar gyfer archif gyfreithiol (ffafrio adalw, peidio â cholli dim) o gymharu â siop (ffafrio manwl gywirdeb, dangos yr enillwyr).

Buddsoddwch mewn deall ymholiadau

Nid yw defnyddwyr yn teipio yn y ffordd y mae eich dogfennau’n cael eu hysgrifennu. Maent yn camsillafu, yn byrfoddi, yn chwilio am gyfystyr na wnaethoch chi erioed ei fynegeio, ac yn stwffio tri bwriad i bedwar gair. Deall ymholiadau yw’r haen sy’n pontio’r bwlch hwnnw, ac mae’n talu’n ôl am fuddsoddiad yn fwy na bron unrhyw beth arall. Ychwanegwch gyfystyron wedi’u curadu a’u cloddio fel bod “laptop” yn dod o hyd i “notebook” a “heart attack” yn dod o hyd i “myocardial infarction.” Ychwanegwch oddefgarwch camsillafu drwy bellter golygu, sef nifer y newidiadau un-nod rhwng dwy linyn, fel bod “reciept” yn dal i ddod o hyd i dderbynebau. Canfyddwch endidau a bwriad fel bod “flights to Paris under $500” yn cyfeirio at yr hidlwyr cywir yn hytrach na bag o eiriau.

Trinwch yr ymholiadau anoddaf yn fwriadol. Mae chwiliad am linyn union prin, fel rhif archeb neu ddyfyniad statud, eisiau cyfatebiaeth union heb unrhyw ehangu clyfar. Mae cwestiwn amwys mewn iaith naturiol eisiau’r gwrthwyneb. Cyfeiriwch y rhain yn wahanol yn hytrach na gorfodi un ymddygiad ar y ddau. A dylunwch bob amser yr achos dim canlyniadau: pan fydd ymholiad yn dychwelyd dim byd, llaciwch ef, awgrymwch ddewisiadau amgen, neu syrthiwch yn ôl ar gyfatebiaeth ehangach, gan mai tudalen wag yw’r ffordd gyflymaf o golli defnyddiwr.

Ychwanegwch ffasedau, awtogwblhau, a hidlo strwythuredig

Mae chwilio’n fwy na rhestr wedi’i threfnu. Mae chwilio ffasedig yn galluogi defnyddwyr i gulhau canlyniadau yn ôl priodoleddau strwythuredig: brand, ystod pris, adran, dyddiad, math dogfen. Mae ffasedau’n troi set canlyniadau lethol yn sgwrs dywysedig, ac maent hefyd yn gwasanaethu fel llywio. Maent yn dibynnu ar eich data’n cael ei briodoli’n lân, sy’n fuddsoddiad ansawdd data ynghynt na chwilio, ac maent yn rhyngweithio â threfnu, gan fod hidlydd yn newid y set ymgeisiol y mae’r trefnydd yn ei weld.

Mae awtogwblhau ac awgrymiadau’n llunio’r ymholiad cyn iddo hyd yn oed gael ei gyflwyno. Mae awgrymydd da’n cynnig ymholiadau gwirioneddol, gwerth-uchel wrth i’r defnyddiwr deipio, yn cywiro sillafu’n gynnar, ac yn dangos bwriadau poblogaidd neu duedd. Mae’n hanfodol o ran oedi (mae pob gwasgiad bysell yn gais) ac mae’n elwa’n uniongyrchol o batrymau storio dros dro pennod 3.15. Mae awgrymiadau hefyd yn cyfeirio pobl tuag at ymholiadau rydych yn eu trin yn dda, sy’n codi perthnasedd cyffredinol yn ddistaw bach. Trinwch yr awgrymydd fel ei fynegai bach ei hun â’i drefnu ei hun, wedi’i diwnio ar gofnodion ymholiad yn hytrach na chynnwys dogfen.

Cyfunwch chwilio geiriadurol a fector

Mae chwilio clasurol yn cyfateb geiriau. Ni all ddweud bod “car” ac “automobile” yn golygu’r un peth oni bai eich bod wedi dweud wrtho, ac mae’n baglu ar gwestiynau wedi’u geirio mewn ffyrdd nad yw eich dogfennau byth yn eu defnyddio. Mae chwilio fector yn mynd i’r afael â hyn drwy gynrychioli testun fel embedding, fector rhifiadol dwys a gynhyrchir gan fodel dysgu peiriant fel bod ystyron tebyg yn glanio’n agos at ei gilydd yn y gofod fector. Yna daw adalw’n chwiliad cymydog agosaf yn y gofod hwnnw, a chan fod cymydog-agosaf union yn rhy araf ar raddfa fawr, mae injans yn defnyddio algorithmau cymydog agosaf bras (ANN) sy’n cyfnewid ychydig o gywirdeb am enillion cyflymder mawr. Mae chwilio ystyrol o’r math hwn yn dod o hyd i’r ddogfen gywir hyd yn oed pan nad yw’n rhannu unrhyw eiriau â’r ymholiad.

Nid yw’r naill ddull na’r llall yn ennill ym mhobman. Mae chwilio geiriadurol yn ardderchog ar gyfer termau union, enwau, codau, a geiriau allweddol prin; mae’n dryloyw ac yn rhad i’w esbonio. Mae chwilio fector yn ardderchog ar gyfer ystyr, aralleirio, a chwestiynau iaith naturiol, ond gall golli dynodwr union ac mae’n anos ei ddadfygio. Y rhagosodiad cryf ar gyfer systemau difrifol yw chwilio hybrid: rhedwch y ddau a chyfunwch y canlyniadau, yn aml gyda thechneg fel cyfuniad trefn ddwyochrog sy’n cyfuno dwy restr wedi’u trefnu heb fod angen i’w sgoriau fod yn gymaradwy. Mae hybrid yn rhoi i chi fanwl gywirdeb geiriau allweddol ac adalw ystyrol, ac mae’n dirywio’n raddol pan fo’r naill ochr neu’r llall yn wan.

Cysylltwch chwilio â chynhyrchu estynedig gan adalw

Nid person yn darllen rhestr ganlyniadau yw’r defnyddiwr chwilio sy’n tyfu gyflymaf; model iaith ydyw. Mae cynhyrchu estynedig gan adalw (RAG) yn seilio model cynhyrchiol yn eich data drwy adalw darnau perthnasol a’u gosod yng nghyd-destun y model fel ei fod yn ateb o’ch ffeithiau yn hytrach na’i gof hyfforddi. Mae ansawdd cynhyrchu pennod 6.3 yn dibynnu’n uniongyrchol ar ansawdd adalw: bwydwch y darnau anghywir i’r model a bydd yn cyfansoddi ateb anghywir yn hyderus. Mae popeth yn y bennod hon (rhannu testun yn ddarnau, eu trefnu’n dda, cyfuno signalau geiriadurol a fector, cadw’r mynegai’n ffres) yn union yn hanner adalw RAG. Os yw eich sefydliad yn adeiladu ar fodelau iaith mawr, eich system chwilio yw’r sylfaen, ac mae gwella adalw ar y darnau cywir yn aml yn helpu’r cynorthwyydd yn fwy na newid y model.

Adeiladwch biblinell fynegeio ar gyfer ffresni

Copi yw mynegai, ac mae copi’n crwydro. Y biblinell fynegeio yw’r peirianwaith sy’n cadw’r mynegai chwilio ar yr un cam â’r system gofnod: darllen newidiadau ffynhonnell, rhedeg dadansoddi ac embedding, ac ysgrifennu i’r mynegai, yn ddelfrydol fel ffrwd yn hytrach na swp nosweithiol. Mae hyn yn bryder peirianneg data (pennod 7.2), ac mae’r un gofal am drefn, ailgeisiadau, a diddymedd o bennod 3.3 yn berthnasol, gan y gall diweddariad allan o drefn atgyfodi dogfen sydd wedi’i dileu. Penderfynwch ar eich targed ffresni yn benodol. Efallai y bydd angen i bris neu gyfrif stoc fod yn chwiliadwy o fewn eiliadau; gall dogfen bolisi wedi’i harchifo lusgo oriau. Cefnogwch ailfynegeio llawn ar gyfer newidiadau sgema a dadansoddwr, a dyluniwch iddo redeg heb amser segur, fel arfer drwy adeiladu mynegai newydd a newid arddangosair yn atomig unwaith y bydd yn barod.

Diwniwch berthnasedd â gwerthuso, nid barn

Ni ellir ennill dadleuon perthnasedd drwy honni’n unig, felly rhowch fesur yn lle barn. All-lein, adeiladwch restr ddyfarnu: set o ymholiadau cynrychioliadol wedi’u paru â graddfeydd dynol o ba ganlyniadau sy’n berthnasol, a sgoriwch eich trefnu yn ei herbyn gyda mesur fel NDCG (enillion cronnus disgowntiedig wedi’u normaleiddio), sy’n gwobrwyo rhoi canlyniadau hynod berthnasol yn agos at y brig ac yn disgowntio’r rhai a gladdwyd yn is. Mae gwerthuso all-lein yn caniatáu i chi gymharu dwy ffurfwedd drefnu cyn i’r un o’r ddwy gyffwrdd â defnyddiwr. Ar-lein, gwyliwch ymddygiad go iawn: cyfradd clicio-drwodd, safle’r canlyniadau a gliciwyd, ail-luniadau ymholiad, cyfradd dim-canlyniadau, a throsiadau. Rhedwch arbrofion rheoledig (pennod 7.4) fel bod newid perthnasedd yn cael ei brofi yn erbyn set ddal-yn-ôl yn hytrach na’i ryddhau ar sail dyfaliad. Defnyddiwch y ddau, gan fod mesuriadau all-lein yn gyflym ond yn ddelfrydol, tra bo mesuriadau ar-lein yn wirioneddol ond yn araf ac yn swnllyd. Mae’r ddolen aeddfed yn cloddio cofnodion ymholiad i dyfu’r rhestr ddyfarnu, fel bod gwerthuso’n gwella wrth i chi ddysgu.

Graddiwch â shardiau a chopïau, ac arsylwch bopeth

Mae chwilio’n graddio ar hyd dwy echelin. Mae shardio yn hollti un mynegai ar draws peiriannau drwy raniadu dogfennau, fel bod ymholiad yn ymledu i bob shard a’r canlyniadau rhannol yn cyfuno; mae hyn yn caniatáu i fynegai dyfu y tu hwnt i’r hyn y mae un peiriant yn ei ddal ac yn lledaenu’r llwyth mynegeio. Mae copïau’n copïo pob shard fel bod traffig darllen yn lledaenu ar draws copïau ac nad yw colli nod yn colli data; mae copïau’n gwasanaethu trwybwn ymholiadau ac yn darparu gwydnwch. Mae mwy o shardiau’n codi cost ymledu fesul ymholiad, felly meintiolwch nhw yn ôl eich data, nid yn ôl rhif crwn. Gweithredwch chwilio ag arsylwadwyedd pennod 9.2: tracio canraddau oedi ymholiad (mae’r gynffon yn bwysicach na’r cyfartaledd), llusgiad mynegeio, cyfraddau taro storfa dros dro, cyfraddau gwallau, ac, fel signalau o’r radd flaenaf, fesurau perthnasedd fel cyfradd dim-canlyniadau a safle clicio. Mae system chwilio sy’n gyflym ond sy’n dychwelyd canlyniadau gwael yn methu’n ddistaw, a dim ond telemetreg perthnasedd a fydd yn dweud wrthych.

Cyfaddawdau: manteision ac anfanteision

Dull	Manteision	Anfanteision
Chwilio geiriadurol (BM25)	Termau, codau, enwau union; tryloyw; rhad	Dall i gyfystyron ac aralleirio heb diwnio
Chwilio fector (ystyrol)	Deall ystyr a chwestiynau; adalw cryf	Colli dynodwyr union; costus i’w gyfrifo; anos ei ddadfygio
Chwilio hybrid	Manwl gywirdeb geiriau allweddol ynghyd ag adalw ystyrol	Mwy o rannau symudol; mae cyfuno angen diwnio a phrofi
Ehangu camsillafu a chyfystyron ymosodol	Adalw uwch; goddefgar o ddefnyddwyr go iawn	Manwl gywirdeb yn gostwng; canlyniadau swnllyd os na wirir
Mynegeio amser real	Canlyniadau ffres o fewn eiliadau	Cost a chymhlethdod uwch na swp
Mwy o shardiau	Mynegeion mwy; mynegeio cyfochrog	Cost ymledu uwch fesul ymholiad a chost cydgysylltu
Gwerthuso all-lein (rhestrau dyfarnu)	Cyflym, ailadroddadwy, diogel i ailadrodd	Delfrydol; efallai na fydd yn cyfateb ag ymddygiad defnyddwyr go iawn
Gwerthuso ar-lein (mesurau clicio, profion)	Yn adlewyrchu defnyddwyr a bwriad go iawn	Araf, swnllyd, angen traffig a disgyblaeth arbrofi

Y tyndra sy’n ailddigwydd yw manwl gywirdeb yn erbyn adalw, ac mae’n cuddio y tu mewn i bob deial. Llaciwch gyfatebu, ehangwch gyfystyron, a phwyswch ar ystyron, a byddwch yn dal mwy ar gost sŵn; tynhewch bopeth a byddwch yn lân ond yn colli pethau. Nid oes gosodiad cyffredinol, dim ond y gosodiad cywir ar gyfer casgliad a chynulleidfa penodol, a ddarganfyddir drwy fesur. Yr ail dyndra yw ffresni yn erbyn cost: mae mynegeio amser real ac adalw hybrid ill dau’n prynu ansawdd â chyfrifiadura a chymhlethdod. Datryswch y ddau yn yr un modd, drwy glymu pob penderfyniad wrth fesur gwerthuso a chanlyniad i’r defnyddiwr yn hytrach na greddf, fel y gallwch weld beth yn union a brynwyd gan newid.

Cwestiynau i’w trafod gyda’ch tîm

Sut ydym yn mesur perthnasedd chwilio heddiw, ac a fyddem yn sylwi pe bai’n gwaethygu? Ni all llawer o dimau ateb hyn, sy’n golygu mai eu perthnasedd yw beth bynnag a gynhyrchodd y rhagosodiadau, a’u bod yn hedfan yn ddall i ddirywiadau. Dewch â’ch signalau presennol: a oes gennych restr ddyfarnu, a ydych yn tracio cyfradd dim-canlyniadau a safle clicio, a allech gymharu dwy ffurfwedd drefnu’n wrthrychol? Y bwlch rhwng “mae chwilio’n teimlo’n iawn” a “dyma ein NDCG ar gant o ymholiadau graddedig, a dyma duedd y mis diwethaf” yw’r bwlch rhwng dyfalu a pheirianneg. Y weithred sy’n dilyn yw adeiladu hyd yn oed rhestr ddyfarnu fach ac offeryna ymddygiad clicio, gan na allwch diwnio’r hyn na allwch ei fesur, ac mae pob newid perthnasedd a ryddhewch yn ddall yn newid na allwch ei amddiffyn.
Ble mae adalw geiriadurol ac ystyrol yn ein methu, ac a ddylem fynd yn hybrid? Mae chwilio geiriau allweddol pur yn methu’n ddistaw ar gwestiynau wedi’u haralleirio a chyfystyron, tra bo chwilio fector pur yn methu’n ddistaw ar ddynodwyr union a thermau prin, ac mae’r rhan fwyaf o dimau erioed ond wedi rhedeg un o’r ddau. Dewch â set o ymholiadau go iawn a ddychwelodd ganlyniadau gwael a dosbarthwch pam y methodd pob un: ai cyfystyr coll, camgymeriad sillafu, anghyfatebiaeth ystyrol, neu gyfatebiaeth union goll ydoedd? Mae’r patrwm yn y methiannau hynny’n dweud wrthych a fyddai chwilio hybrid o gymorth a lle i wario ymdrech yn gyntaf. Mae hyn yn bwysicach os ydych yn bwydo model iaith, gan fod methiannau adalw’n dod yn atebion anghywir hyderus, ac mae cost canlyniad gwael yn codi’n serth pan fo haen gynhyrchiol yn eistedd ar ei ben.
Beth yw ein gofyniad ffresni, ac a yw ein piblinell fynegeio mewn gwirionedd yn ei fodloni? Mae ffresni fel arfer yn cael ei gymryd yn ganiataol yn hytrach na’i bennu, felly mae timau’n darganfod yr anghysondeb yn ystod digwyddiad pan fydd eitem sydd wedi’i dileu’n dal i ymddangos neu ddiweddariad pris yn llusgo oriau. Dewch â’r rhifau go iawn: pa mor hir o newid yn y system gofnod i’r newid hwnnw fod yn chwiliadwy, a sut mae hynny’n cymharu â’r hyn y mae gwahanol rannau o’ch catalog mewn gwirionedd ei angen? Mae’n debygol y bydd yr ateb yn wahanol yn ôl math data, ac mae ei enwi’n gorfodi’r penderfyniadau piblinell ynghylch ffrydio yn erbyn swp, trefn, ac ailfynegeio. Mae mynegai sy’n hen mewn ffyrdd y gall eich defnyddwyr eu gweld yn tanseilio ymddiriedaeth yn y cynnyrch cyfan, ac mae targed ffresni nad ydych erioed wedi’i fesur yn darged rydych chi’n debygol o’i fethu.
A ydym yn adeiladu chwilio ar ein injan ein hunain neu’n prynu gwasanaeth chwilio neu fector wedi’i reoli, a beth fyddai’n ei gostio i ni newid ein meddwl yn nes ymlaen? Mae’r penderfyniad adeiladu-yn-erbyn-prynu’n gosod eich strwythur cost a’ch nenfwd rheolaeth am flynyddoedd, ac mae timau mawr yn tueddu i grwydro i un ateb drwy inertia yn hytrach na’i benderfynu’n fwriadol. Dewch â’r rhifau go iawn ar y ddwy ochr: cost weithredol rhedeg a graddio eich clwstwr a’ch piblinell embedding eich hun o’i gymharu â chost fesul ymholiad neu danysgrifiad gwasanaeth wedi’i reoli, a’r amser peirianneg y mae pob un yn ei fynnu gan bobl y gallech eu defnyddio mewn man arall. Y newidyn cudd yw clymu-i-mewn: faint o’ch trefnu, dadansoddi, a sgema fector sy’n gludadwy, a pha mor hir y byddai mudo mewn gwirionedd yn ei gymryd pe bai prisio neu allu’n newid oddi tanoch. Mewn lleoliadau menter a llywodraeth, ychwanegwch amser arwain caffael a rhwymedigaethau ymadael, gan fod gwasanaeth na all ddatgelu ei ymddygiad trefnu na allforio eich mynegai yn ddibyniaeth na chaniateir i chi ei derbyn o bosibl.
Faint ydym yn barod i’w fuddsoddi mewn deall ymholiadau, a phwy sy’n adolygu’r ymholiadau sy’n methu? Mae defnyddwyr yn camsillafu, yn byrfoddi, ac yn geirio cwestiynau â geiriau nad yw eich dogfennau byth yn eu defnyddio, felly’r bwlch rhwng ymholiad crai a chanlyniad da yw lle mae’r rhan fwyaf o ansawdd chwilio canfyddedig yn byw, ac eto anaml y bydd yn swydd benodol i unrhyw un. Dewch â’ch cyfradd dim-canlyniadau, eich ymholiadau sy’n methu ac yn cael eu hail-lunio fwyaf, ac adroddiad gonest o’r trin cyfystyron, goddefgarwch camsillafu, a bwriad sydd gennych heddiw. Y tyniad cystadleuol yw manwl gywirdeb yn erbyn adalw: mae pob cyfystyr a phob uned o bellter golygu rydych yn ei ganiatáu’n dal mwy o ddefnyddwyr go iawn ac yn derbyn mwy o sŵn, felly’r buddsoddiad cywir yw’r un y gallwch ei fesur yn hytrach na’r un sy’n swnio’n hael. I sefydliad mawr neu gyhoeddus, mae’r gynffon hir o ymholiadau sy’n methu hefyd yn fap o angen heb ei ddiwallu, ac mae ei adolygu ar gyfnod sefydlog yn troi cost cymorth yn fap ffordd, yn enwedig lle mae gan ffurflen neu fudd-dal a gollwyd ganlyniadau go iawn i ddinesydd.
Pwy sy’n berchen ar berthnasedd fel cyfrifoldeb parhaus wedi’i ariannu, a sut y bydd y ddolen werthuso’n goroesi ar ôl lansio? Nid yw chwilio byth wedi gorffen: mae catalogau’n newid, mae iaith yn crwydro, ac mae diwnio’r chwarter diwethaf yn dirywio’n ddistaw bach, felly mae system heb berchennog atebol yn dirywio tuag at beth bynnag a gynhyrchir gan y rhagosodiadau. Dewch â realiti’r siart sefydliadol: ai tîm â enw sydd â pherthnasedd, ag amser a mesurau, neu dasg sy’n glanio ar bwy bynnag a gyffyrddodd y mynegai ddiwethaf, ac a oes rhestr ddyfarnu a harnais arbrofi’n bodoli y gallai person newydd eu codi? Y tyndra yw bod gwaith perthnasedd yn ddi-sglein ac yn hawdd ei ddadariannu’r eiliad y mae chwilio’n ymddangos yn gweithio, sef union pryd mae’r dirywiad yn dechrau. Mewn cyd-destunau menter a llywodraeth, clymwch berchnogaeth wrth rwymedigaethau concrid, cywirdeb fesul marchnad, hygyrchedd, sylw amlieithog, ac adolygiad o ymholiadau dim-canlyniadau, fel bod y cyfrifoldeb yn archwiliadwy ac na fydd yn anweddu pan fydd y tîm lansio’n gwasgaru.

Lens sector

Cwmni newydd. Estynnwch am wasanaeth chwilio neu fector wedi’i reoli a rhyddhewch ragosodiadau BM25 ar ddiwrnod un; peidiwch â chodi eich clwstwr eich hun cyn bod gennych ymholiadau i diwnio yn eu herbyn. Dewiswch yr un wyneb chwilio sy’n cyffwrdd â refeniw neu gadw cwsmeriaid, offeryna safle clicio a chyfradd dim-canlyniadau o’r rhyddhad cyntaf, a gadewch i gofnodion ymholiad go iawn, nid map ffordd, ddweud wrthych pryd i ychwanegu cyfystyron neu haen ystyrol. Mae’r un haen adalw rydych yn ei hadeiladu ar gyfer chwilio’n dod yn gefn cynhyrchu estynedig gan adalw i chi’n nes ymlaen, felly cadwch ef y tu ôl i ryngwyneb tenau.

Busnes bach. Bron yn sicr nid oes gennych beiriannydd perthnasedd, felly prynwch chwilio wedi’i fewnosod yn y platfform rydych eisoes yn ei redeg, fel eich gwesteiwr e-fasnach, desg gymorth, neu system rheoli cynnwys, a thriniwch diwnio fel gorchwyl ysgafn cyson yn hytrach na phrosiect. Treuliwch eich ymdrech gyfyngedig ar sylfeini ansawdd data y mae chwilio’n dibynnu arnynt: priodoleddau cynnyrch glân ar gyfer ffasedau, teitlau synhwyrol, a rhestr gyfystyron fer ar gyfer y geiriau y mae eich cwsmeriaid mewn gwirionedd yn eu defnyddio. Gwyliwch ymholiadau dim-canlyniadau’n fisol, gan mai nhw yw’r signal rhataf o fwlch y gallwch ei gau heb beiriannydd.

Menter. Y broblem yw perthnasedd ar raddfa fawr ar draws llawer o dimau, catalogau, ac ieithoedd: dull rhestr ddyfarnu a rennir, gwerthuso fesul marchnad, a swyddogaeth berthnasedd wedi’i hariannu fel nad yw pob grŵp yn ail-diwnio BM25 o’r cychwyn. Safonwch y biblinell fynegeio, y targedau ffresni, a’r ddisgyblaeth arbrofi sy’n gatio newidiadau trefnu, a meintiolwch shardio a dyblygu’n fwriadol yn hytrach nag yn ôl arferiad. Pwyswch adeiladu yn erbyn prynu’n benodol, gan y gall gwasanaeth fector wedi’i reoli dorri cost weithredol ar draul rhywfaint o reolaeth a chlymu-i-mewn posibl.

Llywodraeth. Mae hygyrchedd-canfod yn aml yn rhwymedigaeth gyfreithiol a mater tegwch: ni all dinesydd na all ddod o hyd i’r ffurflen gywir arfer hawl. Ffafriwch adalw a threfnu y gellir ei ddehongli fel y gall yr asiantaeth esbonio pam yr ymddangosodd canlyniad, ychwanegwch gyfystyron sy’n pontio termau iaith blaen â theitlau swyddogol, a thriniwch hygyrchedd a chymorth amlieithog fel gofynion yn hytrach nag ychwanegion. Dylai caffael bwyso clymu-i-mewn a mynnu bod unrhyw wasanaeth wedi’i reoli’n datgelu ei ymddygiad trefnu ac yn caniatáu cludadwyedd data, a dylid adolygu ymholiadau dim-canlyniadau fel cofnod cyhoeddus o angen heb ei ddiwallu.

Enghreifftiau

Cwmni newydd. Mae cwmni meddalwedd deg person yn ychwanegu chwilio at ei gronfa wybodaeth gymorth fel y gall cwsmeriaid hunanwasanaethu. Maent yn dechrau â rhagosodiadau BM25 ac yn taro’r nenfwd yn gyflym: mae defnyddwyr yn gofyn cwestiynau mewn iaith blaen nad ydynt yn rhannu unrhyw eiriau allweddol â’r erthyglau. Maent yn ychwanegu embeddings fector ac yn cyfuno’r ddau â chyfuniad trefn ddwyochrog, ac mae gwyriad yn gwella dros nos. I diwnio, maent yn cloddio eu cofnodion ymholiad eu hunain, yn labelu ychydig gannoedd o barau ymholiad-erthygl, ac yn tracio safle clicio’n wythnosol. Pan fyddant yn ddiweddarach yn ychwanegu cynorthwyydd o fewn y cynnyrch, mae’r un haen adalw’n dod yn gefn RAG, felly mae’r buddsoddiad chwilio’n talu ar ei ganfed ddwywaith.

Menter. Mae manwerthwr byd-eang yn rhedeg chwilio cynnyrch dros ddegau o filiynau o eitemau ar draws dwsinau o farchnadoedd ac ieithoedd. Mae’r mynegai wedi’i shardio ar gyfer maint ac wedi’i ddyblygu ar gyfer trwybwn, gyda dadansoddwyr fesul iaith yn trin tocyneiddio a gwreiddeiddio’n gywir ar gyfer pob marchnad. Mae llywio ffasedig yn ôl brand, pris, ac argaeledd yn troi setiau canlyniadau enfawr yn bori tywysedig, ac mae awtogwblhau’n cyfeirio siopwyr tuag at ymholiadau sy’n trosi’n dda. Mae perthnasedd yn dîm wedi’i ariannu â rhestrau dyfarnu fesul marchnad ac arbrofion ar-lein parhaus; nid yw newid trefnu’n rhyddhau ond ar ôl iddo guro’r rheolydd ar drosiad. Mae piblinell fynegeio amser real yn cadw pris a stoc yn chwiliadwy o fewn eiliadau, gan fod eitem wedi’i gwerthu allan wedi’i threfnu’n gyntaf yn golled gwerthiant a thocyn cymorth.

Llywodraeth. Mae asiantaeth genedlaethol yn cyhoeddi rheoliadau, ffurflenni, a chanllawiau y mae’n rhaid i’r cyhoedd allu dod o hyd iddynt, yn aml o dan rwymedigaeth gyfreithiol ac ar adegau o lwyth brig wedi’i yrru gan derfynau amser. Mae’r tîm yn ffafrio adalw a thryloywder: ni ddylai dinasyddion sy’n chwilio am fudd-dal fethu’r ffurflen berthnasol, ac mae’n rhaid i’r asiantaeth allu esbonio pam yr ymddangosodd canlyniad, sy’n eu gwthio tuag at drefnu geiriadurol y gellir ei ddehongli, wedi’i ategu, yn ofalus, â chyfystyron ar gyfer y termau iaith blaen y mae pobl yn eu defnyddio yn lle teitlau swyddogol. Mae hygyrchedd a chymorth amlieithog yn ofynion, nid yn ychwanegion. Mae’r mynegai’n ailfynegeio heb amser segur y tu ôl i arddangosair pan fydd dogfennau polisi’n newid, ac mae ymholiadau dim-canlyniadau’n cael eu cofnodi a’u hadolygu fel signal o angen cyhoeddus heb ei ddiwallu.

Achos busnes: cymhellion, ROI, a TCO

Mae chwilio’n eistedd yn uniongyrchol ar y llwybr at werth. Mewn masnach, mae cyfran fesuradwy o refeniw’n llifo drwy’r blwch chwilio, ac mae defnyddwyr sy’n chwilio’n trosi ar gyfraddau uwch na’r rhai sydd ond yn pori, felly mae ychydig bwyntiau o welliant perthnasedd yn trosi’n arian go iawn. Mewn cymorth ac offer mewnol, mae chwilio gwell yn gwyro tocynnau, yn byrhau amseroedd trin, ac yn adfer yr oriau y mae gweithwyr gwybodaeth yn eu colli wrth hela am ddogfennau. Yn y sector cyhoeddus, mae chwilio effeithiol yn fater ansawdd gwasanaeth a thegwch: ni all pobl na allant ddod o hyd i’r ffurflen neu’r canllaw cywir arfer hawl na chyflawni rhwymedigaeth. Mae’r canlyniadau hyn yn feintiadwy, a dyna’n union pam mae chwilio’n haeddu gwerthusiad wedi’i ariannu yn hytrach na rhagosodiadau ymdrech-orau.

Mae cyfanswm cost perchnogaeth yn mynd ymhell y tu hwnt i’r drwydded neu’r clwstwr. Rydych yn talu am gyfrifiadura a storio’r mynegai a’i gopïau, am gynhyrchu embedding os ewch yn ystyrol, am y biblinell fynegeio sy’n ei gadw’n ffres, ac, yn bennaf oll, am waith dynol parhaus diwnio a gwerthuso perthnasedd. Y gost olaf honno yw’r un y mae timau’n ei thanamcangyfrif a’r un sy’n penderfynu llwyddiant fwyaf, gan nad yw chwilio byth wedi gorffen: mae catalogau’n newid, mae iaith yn crwydro, ac mae diwnio ddoe’n dirywio. Gall prynu gwasanaeth chwilio neu fector wedi’i reoli ostwng cost weithredol a’ch cyflymu, ar draul rhywfaint o reolaeth a chlymu-i-mewn posibl, penderfyniad adeiladu-yn-erbyn-prynu clasurol i’w bwyso yn erbyn eich graddfa a’ch gwahaniaethiad. Mae’r achos busnes cryfaf yn clymu mesur perthnasedd penodol wrth ganlyniad penodol, yn ariannu’r ddolen werthuso, ac yn trin chwilio fel cynnyrch sy’n cael ei fesur a’i wella, nid cydran sy’n cael ei gosod a’i anghofio.

Gwrth-batrymau a pheryglon

Dadansoddi anghyfatebol: mae dadansoddwyr adeg mynegeio ac adeg ymholi’n anghytuno, felly mae termau’n methu cyfateb yn ddistaw ac mae canlyniadau’n diflannu heb unrhyw wall.
Perthnasedd yn ôl barn: trefnu wedi’i diwnio gan bwy bynnag sy’n dadlau galetaf, heb restr ddyfarnu, heb fesurau, a heb ffordd o ddal dirywiadau.
Ffydd fector-yn-unig: disodli chwilio geiriau allweddol yn llwyr ag embeddings, yna methu ar ddynodwyr union, codau, a thermau prin.
Anwybyddu dim canlyniadau: gadael i dudalennau canlyniadau gwag sefyll yn lle llacio, awgrymu, neu syrthio’n ôl, a cholli’r defnyddiwr.
Mynegai hen: piblinell swp nosweithiol yn gwasanaethu prisiau, stoc, neu ddileadau y gall defnyddwyr weld eu bod yn anghywir.
Amser segur ailfynegeio: ailadeiladu yn ei le yn hytrach na thu ôl i arddangosair, gan gymryd chwilio all-lein bob tro y ceir newid sgema.
Rhagosodiadau heb eu diwnio am byth: rhyddhau BM25 syth-o’r-bocs a byth ei ailedrych wrth i’r casgliad a’r gynulleidfa esblygu.
Dim telemetreg perthnasedd: monitro oedi a gwallau ond nid cyfradd dim-canlyniadau na safle clicio, fel bod canlyniadau gwael yn methu’n ddistaw.
Ehangu gorselog: pentyrru cyfystyron a goddefgarwch camsillafu nes bod manwl gywirdeb yn cwympo a phob ymholiad yn dychwelyd sŵn.

Model aeddfedrwydd

Lefel 1, Cychwyn: Ymholiad cronfa ddata ragosodedig neu injan heb ei diwnio â gosodiadau stoc yw chwilio, wedi’i chodi’n adweithiol pan fydd rhywun o’r diwedd yn gofyn amdani. Nid oes mesur perthnasedd, dim haen deall ymholiadau, ac mae ffresni’n beth bynnag y mae swydd swp yn digwydd ei gynhyrchu. Dim ond pan fydd defnyddwyr yn cwyno y sylwir ar ganlyniadau gwael, ac mae pob ateb yn un untro.
Lefel 2, Datblygu: Mae injan chwilio go iawn ar waith â dadansoddi synhwyrol, trefnu BM25, a ffasedau ac awtogwblhau sylfaenol. Mae rhai cyfystyron a goddefgarwch camsillafu’n bodoli, mae’r tîm yn gwylio oedi a gwallau, ac mae wedi dechrau cofnodi ymholiadau dim-canlyniadau. Mae arferion yn amrywio o dîm i dîm a chynnyrch i gynnyrch, ac mae perthnasedd yn dal i gael ei diwnio yn ôl barn yn hytrach na thystiolaeth.
Lefel 3, Safoni: Mae arfer perthnasedd wedi’i ddogfennu a’i gymhwyso’n gyson ar draws y sefydliad. Mae timau’n mesur â dull rhestr ddyfarnu a rennir ac NDCG all-lein a mesurau clicio ar-lein, yn rhedeg adalw hybrid geiriadurol-a-fector lle mae o gymorth, yn dal y biblinell fynegeio i darged ffresni datganedig, ac yn ailfynegeio heb amser segur y tu ôl i arddangosair. Mae shardio a dyblygu wedi’u meintioli’n fwriadol, ac mae mesurau perthnasedd yn cael eu monitro ochr yn ochr â rhai gweithredol.
Lefel 4, Rheoli: Mae chwilio’n cael ei fesur a’i reoli yn erbyn llinellau sylfaen. Mae pob wyneb chwilio’n tracio tuedd NDCG, cyfradd dim-canlyniadau, safle clicio, a chyfradd ail-lunio yn erbyn llinell sylfaen y cytunwyd arni, gydag amcanion lefel gwasanaeth ar ganraddau oedi ymholiad a llusgiad mynegeio. Nid yw newidiadau trefnu a dadansoddi’n rhyddhau ond ar ôl i arbrawf rheoledig guro’r rheolydd ar ganlyniad a enwyd, mae dirywiad perthnasedd yn tanio rhybudd yn awtomatig, ac mae dangosfyrddau fesul marchnad neu fesul segment yn gwneud dirywiad distaw yn weladwy cyn i ddefnyddwyr ei deimlo. Gwneir penderfyniadau i newid deial ar sail data, gyda meini prawf dadwneud penodol.
Lefel 5, Cyd-drefnu: Mae gwella chwilio’n ddolen barhaus, wedi’i gyrru gan arbrofion, wedi’i integreiddio ar draws y sefydliad. Mae rhestrau dyfarnu’n tyfu o gofnodion ymholiad wedi’u cloddio, mae deall ymholiadau’n addasu i iaith go iawn, ac mae adalw’n cael ei diwnio fel y sylfaen a rennir ar gyfer cymwysiadau cynhyrchiol i lawr yr afon. Mae’r system gyfan yn cael ei harsylwi o ben i ben ar gyfer cyflymder a pherthnasedd fel ei gilydd, ac mae’r arfer chwilio’n ail-gydbwyso ei hun wrth i gatalogau, iaith, a thirwedd y modelau grwydro.

Syniadau i’w trafod

Pa gyfran o’ch chwiliadau sy’n dychwelyd dim canlyniadau neu’n arwain at ail-lunio, a beth mae’r ymholiadau hynny’n ei ddatgelu am angen heb ei ddiwallu?
Pe baech yn disodli chwilio geiriau allweddol â chwilio fector pur yfory, pa ymholiadau fyddai’n torri, a sut y byddech yn gwybod cyn i’ch defnyddwyr wneud hynny?
Pwy sy’n berchen ar berthnasedd yn eich sefydliad, ac a oes ganddynt restr ddyfarnu a mesurau, neu ddim ond barn ac anecdotau?
Pa mor hir yw’r oedi o newid yn eich system gofnod i’r newid hwnnw fod yn chwiliadwy, ac a yw hynny’n dderbyniol ar gyfer pob math data?
Os yw model iaith yn defnyddio eich canlyniadau chwilio, a yw ansawdd eich adalw’n bodloni’r bar uwch y mae ateb cynhyrchiol yn ei fynnu?
Sut y byddech yn amddiffyn newid trefnu i randdeiliad amheus: gyda chanlyniad arbrawf, neu gyda stori?

Prif gasgliadau

Triniwch chwilio fel system o’r radd flaenaf: mynegai deilliedig â’i fodel data, ei biblinell, ei raddio, a’i ffyrdd o fethu ei hun, ar wahân i’ch system gofnod.
Meistrolwch y sylfeini (mynegai gwrthdro, dadansoddi cydweddol, trefnu BM25, manwl gywirdeb yn erbyn adalw) cyn estyn am unrhyw beth mwy ffansi.
Buddsoddwch mewn deall ymholiadau (cyfystyron, goddefgarwch camsillafu, bwriad, a chynllun dim-canlyniadau go iawn) gan nad yw defnyddwyr byth yn teipio yn y ffordd y mae eich dogfennau’n darllen.
Rhagosodwch ar adalw hybrid sy’n cyfuno chwilio geiriadurol a fector, a chofiwch mai’r un haen adalw hon yw sylfaen cynhyrchu estynedig gan adalw.
Rhowch fesur yn lle barn: rhestrau dyfarnu ac NDCG all-lein, mesurau clicio ac arbrofion rheoledig ar-lein, a thelemetreg perthnasedd wedi’i monitro fel unrhyw signal cynhyrchu.

Cyfeiriadau a darllen pellach

Christopher D. Manning, Prabhakar Raghavan, and Hinrich Schütze, Introduction to Information Retrieval
Stephen E. Robertson and Hugo Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond
Ricardo Baeza-Yates and Berthier Ribeiro-Neto, Modern Information Retrieval: The Concepts and Technology behind Search
Doug Turnbull and John Berryman, Relevant Search: With Applications for Solr and Elasticsearch
Trey Grainger, Doug Turnbull, and Max Irwin, AI-Powered Search
Patrick Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”
Jeff Johnson, Matthijs Douze, and Hervé Jégou, “Billion-Scale Similarity Search with GPUs”
Kalervo Järvelin and Jaana Kekäläinen, “Cumulated Gain-Based Evaluation of IR Techniques”