Subjektivity se nezbavite. Jen se musi potlacit. Coz se da, pokud bude testovat vic ruznych lidi, kteri se nezavisle budou rozhodovat, co od vysledku ocekavaji, a pozdeji jestli to, co dostali, je to, co ocekavali.
Samozrejme muzete hodnotit treba prvnich 1000 dotazu. Ale pak bych nechtel bych testerem. Z vlastni zkusenosti vim, ze hledam v naproste vetsine jen na prvni strane vysledku (10 nalezenych odkazu), na druhou jdu vyjimecne, na treti skoro nikdy - snad jen u obrazku, protoze tam mam sanci rychle prohlednou obsah vsech najednou.
Pokud bych mezi prvnimi deseti nenasel relevantni odkaz, do vysledku bych zapsal nejake trestne body, treba 20 (zalezi na dohode - nevidel bych to jako zasadni problem, navic se da po testu snadno zjistit, jak hodne tenhle parametr ovlivnuje vysledky). V pripade, ze by se pocitalo pocet relevantnich odkazu mezi prvnimi deseti, tak by vysledek byl v takovem pripade jednoduse 0.