Ušetřete

Test: Který vyhledávač je nejlepší?

Před nedávnem se na Lupě objevil seriál týkající se českých vyhledávačů, přičemž na jeho konci jsme slíbili, že provedeme test. Nyní vám přinášíme výsledky od dvou autorů (Jana Žáčka a Lukáše Mižocha), ve kterém oba na základě stejné metodiky zvolili mírně odlišný způsob hodnocení, takže můžete posoudit, které je nejrelevantnější.

reklama

Jan Žáček

Přesné cílení

Mám-li zhodnotit výkon jednotlivých vyhledávačů, nezbývá než jít se svou kůží na trh a uvést jednotlivé vyhledávané pojmy (pochopitelně, že každý by vybral lepší, tohle jsou ty nejhorší – chtěl bych ukonejšit mudrlanty):

  • Firmy: Škoda Praha, Jitex, Česká spořitelna
  • Instituce: Ministerstvo práce a sociálních věcí, Národní muzeum, Vlakový jízdní řád
  • Lidé: Václav Klaus, Tomáš Baldýnský, Lenka Přibylová (kandidátka na miss2000)

Všechny vyhledávané pojmy byly zadávány malými písmeny a s diakritikou. Výsledky tohoto dotazování jsou uvedeny zde:

Škoda Praha Jitex Česká spořitelna MPSV ČR Národní museum Vlakový jízdní řád Václav Klaus Tomáš Baldýnský Lenka Přibylová
Archon/katalogy 2 2 3 3 3 3 3 0 0 2,11111111
Archon/fulltexty 3 3 3 3 3 3 3 0 0 2,33333333
Atlas/katalog 3 3 3 3 3 3 3 0 0 2,33333333
Atlas/fulltext 0 2 0 0 0 0 0 0 0 0,22222222
Centrum/katalog 2 0 1 3 3 2 0 0 0 1,22222222
Centrum/fulltext 1 3 1 3 2 0 3 2 0 1,66666667
Empyreum Fulltext 1 2 2 3 3 0 3 0 0 1,55555556
Katedrála/katalog 0 0 0
Katedrála/fulltext 0 0 0 0 0
Klikni/katalog 3 3 3 3 2 0 3 0 0 1,88888889>
Megatext 0 0 1 0 1 0 0 1 1 0,44444444
Najdi to 3 0 2 3 2 1 0 0 0 1,22222222
Quick/katalog 3 3 3 3 3 3 1 0 0 2,11111111
Redbox/katalog 0 0 0 0 0 0 3 0 0 0,33333333
Seznam/katalog 3 3 3 3 3 3 3 0 0 2,33333333
Seznam/fulltext 0 2 1 3 3 0 0 2 0 1,22222222
Webcz/katalog 0 0 0 0 3 0 0 0 0 0,33333333
Yo/katalog 0 0 0 0 0 0 0 0 0 0
Google 3 3 3 3 3 3 3 0 0 2,33333333
Altavista 3 0 0 3 1 0 0 0 0 0,77777778

Několik hodin testování svádí k pronesení univerzálních pouček a vyjevení moudra. Je několik vyhledávačů, na které můžete s klidem zapomenout, nic v nich totiž nenajdete – dané vyhledávače se nezmohly ani na jedinou rozumnou odpověď – Yo a Katedrála. Katedrála byla ve srovnání s ostatními neuvěřitelně pomalá (čti absolutně nepoužitelná), nevím, jestli šlo jen o dočasný výpadek, nebo je to stabilní situace. Yo alespoň neustále ujišťovalo, že kde nic není, ani lvi neřvou…

WebCZ se přinutil k jedné naprosto korektní informaci, stejná situace byla i v případě mediálně silného Redboxu. Na tomto místě je třeba poznamenat, že hodnocení se týká pouze katalogové části, která je podle těchto výsledků neuvěřitelně slabá. Fulltext Atlasu svým výkonem taky neohromil – jedna téměř správná odpověď by vysloužila žákovi maximálně 5+. Pravdou ale zůstává, že jinak vyhledávač Atlasu uspokojí vaší zvědavost katalogem, na fulltext nemusí ani dojít. Do stejné třídy bych zařadil i Megatext, jehož kvalita se projevila u vyhledávání jmen – našel alespoň něco.

Další kategorii vyhledávačů otevírá Altavista, která neprojevila příliš kvalit (což mě překvapilo, protože ji denně spokojeně využívám). Najdi.to a fulltext Seznamu by mohl český Internet klidně postrádat, jejich kvalita není nijak vyrovnaná, předvídatelná a uživateli moc nepomohou. Do stejné kategorie překvapivě spadl i Katalog Centra.

Čestnou plaketu za slušný výkon připnu na hruď Centru a jeho fulltextu, a kabrňácké poplácání společně s plaketou si rozhodně zaslouží Klikni. Až na malé zakolísání u jízdního řádu (tady se neblaze projevila regionalita) by mohl být směle zařazen mezi nejlepší. Ve stejných intencích je i výkon Empyreum Fulltextu.

Archon Katalog a Quick jsou v porovnání s ostatními v předsálí dokonalosti. Pro Quick jsou očividně jména problém, ale po úpravě algoritmu se může zařadit do nejvyšší skupiny bez ztráty květinky, na všechny otázky odpověděl naprosto přesně.

Na špičce mezi testovanými vyhledávači je kvarteto, které si poradí téměř s každým dotazem. Tyto čtyři volby by se měly učit děti ve škole, protože je třeba tyto adresy znát. Seznam s Atlasem, ač věční rivalové, podávají stejný výkon a jen rozdíl v uživatelském rozhraní může rozhodnout o vašem nejoblíbenějším vyhledávači. Ze zahraničí k nám vyslal svoje roboty i Google, jehož odpovědi jsou nejen rychlé, ale i kvalitní. Pro vyhledávání bylo použito nastavení stejné jako v portálu Redbox, a tak medaile může být udělena duu Redbox/Google. Černým koněm celého závodu je Archon, který svou kvalitu odvozuje od kvality ostatních vyhledávačů (jedná se o metahledač), a že je to postup více než správný, dokazují jeho výsledky. Když si uvědomím i výsledky v rámci katalogu, jedná se rozhodně o nejkvalitnější vyhledávač pro přesné cílení.

Vystižení tématu

Testování vystižení tématu není dobře objektivně hodnotitelné, uživatelé mohou klást různé dotazy a očekávají, že děd Vševěd v každém vyhledávači vybere, co se týká dané otázky a zobrazí pouze relevantní odkazy.

Zvolil jsem tři oblasti: kočky (snadná záměna čtyřnohých za dvounohé – cílem bylo zjistit něco o chovu koček čtyřnohých), Hi8 (informace o formátu Hi8 – nechci si koupit kazetu ani kameru) a nakonec Plzeň (cestuji a chci se něco dozvědět o městu). Poté byly prozkoumány první tři odkazy a ohodnoceno kladně nebo záporně, jak se dané odkazy věnují „tématu“ – zdali jsou úplně mimo mísu.

Zatímco s kočkami se vypořádali téměř všichni až na tradiční odpadlíky, v případě Plzně se servery snažily nabídnou všechny firmy sídlící v Plzni. S formátem Hi8 si poradily pouze 4 servery.

kočky hi-8 plzeň
Archon/katalogy +
Archon/fulltexty + + ++
Atlas/katalog + ++
Atlas/fulltext + +
Centrum/katalog +
Centrum/fulltext +
Empyreum Fulltext + +
Katedrála/katalog
Katedrála/fulltext
Klikni/katalog + ++
Megatext + ++ +
Najdi to +
Quick/katalog +
Redbox/katalog + +
Seznam/katalog +
Seznam/fulltext + +
Webcz/katalog
Yo/katalog +
Google + ++
Altavista

V tomto případě nebude doporučení natolik přímočaré jako u předchozího hodnocení, ale přesto se pokusím nabídnout závěr. Fulltexty dopadly lépe – Archon a Megatext jsou nejuniverzálnější, Atlas, Seznam a Google jsou pro tyto účely také použitelné.

Finální pořadí, které bych asi po 5 hodinách určil, je následující (a nekamenujte mě, prosím):

1. Archon 2.- 3. místo Atlas, Seznam 4. Google

Lukáš Mižoch

Vystižení tématu

Při tomto testování jsem zvolil celkem pět témat (tedy nikoliv konkrétních subjektů), která jsem postupně předkládal všem hledačům ze seznamu. Ve výsledku jsem pak ohodnotil první tři odkazy podle následujícího postupu:

  • 0 bodů – stránka informace neobsahuje, případně je obsahuje, ale v zanedbatelné míře
  • 1 bod – stránka alespoň zčásti obsahuje požadované informace
  • 2 body – stránka obsahuje převážně požadované informace
  • 3 body – stránka poskytuje vyčerpávající informace o daném tématu

Použil jsem rovněž penalizaci (-1 bod), pokud nalezený odkaz byl chybný (např. chyba číslo 404 apod.). Pokud server na dotaz odpověděl různými odkazy, které ale vedly ke stejné stránce, hodnotil jsem pouze tento link a ostatní stejné dostaly nula. bodů.

U některých katalogů jsem k hodnocení přidal hvězdičku (*), pokud daný server nabídl pro konkrétní výraz podkategorii, která tomuto výrazu náležela. Hvězdičky jsem nikterak nezapočítával do daného hodnocení. Berte je jako takové „body k dobru“.

V následující tabulce naleznete součet bodů pro jednotlivé hledané výrazy a samozřejmě i celkovou sumu. Jako určité zjednodušení je v sloupci IRH uveden index relevance hledání, který se vypočte jako celkový počet bodů vydělený 45 (maximum možných bodů) a vynásobený stem. Získané výsledky v procentech uvádějí, nakolik byl daný vyhledávač úspěšný. Upozorňuji, že se jedná pouze o orientační číslo právě pro tuto pětici použitých výrazů. Pro jinou množinu, bude pochopitelně jiné. Čím tmavší je pozadí v tomto sloupci, tím lepší je výsledek.


1. výraz = Java
2. výraz = Evropská unie
3. výraz = runy
4. výraz = chemické názvosloví
5. výraz = mobil
1. výraz 2. výraz 3. výraz 4. výraz 5. výraz celkem IRH
Archon/katalogy 4 6 4 2 3 19 42 %
Archon/fulltexty 4 6 6 1 7 24 53 %
Atlas/katalog 5* 4 3 2 3* 17 38 %
Atlas/fulltext 3 2 6 1 1 13 29 %
Centrum/katalog 5* 6 5 1 3 20* 44 %
Centrum/fulltext 4 4 0 1 6 15 33 %
Empyreum Fulltext 5 4 6 2 9 26 58 %
Katedrála/katalog –1 –2 0 0 0 –3 XXX
Katedrála/fulltext 2 2 0 1 3 8 18 %
Klikni/katalog 7 2 3 1 3* 16* 36 %
Megatext 6 0 3 1 6 16 36 %
Najdi to/katalog 2 0 3 0 3 8 18 %
Najdi to/fulltext 0 0 0 0 3 3 7 %
Quick/katalog 0* 7 5 0 0* 12 27 %
Redbox/katalog 2* 4 0 0 0 6* 13 %
Seznam/katalog 3* 7 4 1 0 15* 33 %
Seznam/fulltext 6 3 6 3 0 18 40 %
Webcz/katalog 0 0 0 0 1 1 2 %
Yo/katalog 1 0 0 0 –1 0 XXX
Google 2 5 6 1 6 20 44 %
Altavista 8 3 0 –1 9 19 42 %

Na závěr ještě poznámka k vybraným tématům. První dvě, Java a Evropská unie, jsou relativně dobře známé pojmy. Od serverů jsem očekával, že mi o nich podají konkrétní informace (jak se programuje v Javě, přehled tříd Javy atd.; co je EU, jaké má EU orgány apod.). Další dvojice, runy a chemické názvosloví, už nejsou tak frekventované pojmy. Přesto i zde jsem očekával alespoň nějaké konkrétní informace. Zejména druhý výraz byl ovšem velkým oříškem. A konečně poslední výraz, mobil, představuje velice známé a obecně používané slovo. V tomto případě jsem čekal, že odpovědí na můj dotaz bude několik odkazů na weby, které se mobilními telefony zabývají (jako je třeba Mobil Server, Mobil Mania apod.). Zde „selhaly“ některé fulltexty, které vrátily všechny stránky, na kterých se slovo mobil používá, i když je to třeba jen kontakt na prodejce.

UX design guru v Praze - nezmeškejte jedinečný workshop

  •  
    Know how od světového UX experta
  • Trendy mobilního designu
  • Případové studie persusasion designu

Více o workshopu Mobile Persuasion UX designu »

       
26 názorů Vstoupit do diskuse
poslední názor přidán 29. 10. 2001 14:37

Tento text je již více než dva měsíce starý. Chcete-li na něj reagovat v diskusi, pravděpodobně vám již nikdo neodpoví. Pro řešení aktuálních problémů doporučujeme využít naše diskusní fórum.

Zasílat nově přidané příspěvky e-mailem