Hlavní navigace

Hodnocení uživatelů - závěry workshopu

Martin Kopta

[eWorkshop] V pondělí jsme otevřeli otázky týkající se hodnocení kvality příspěvků uživatelů webových serverů a stanovení uživatelského ranku. Ze čtenářské diskuze vyplynulo několik zajímavých nápadů a problémů uživatelského hodnocení. Pojďme se na ně znovu podívat a vybrat z nich návrh řešení pro hodnocení.

Nejdříve bych chtěl poděkovat desítce čtenářů, která se zapojila do debaty nad základními otázkami workshopu. Hned z počátku také přiznám, že pro server Sexus jsme uživatelské hodnocení v hrubých rysech vymysleli už před zveřejněním prvního dílu workshopu. Vycházeli jsme především z Kuroshinu a Slashdotu zmíněného v minulém dílu. Některé z nápadů z diskuze do něj ale nejspíš přidáme.

Názory z diskuze

Čtenář s přezdívkou noname přišel se zajímavou komplikací: umožnit uživateli vystupovat pod různými identitami. Pak se ovšem zdá vhodné oddělit také UserRank jednotlivých identit. Pozoruhodný je také nonamův nápad, aby se v UserRanku projevilo, jak často uživatel hodnotí jiné a s jakou přesností hodnotí. V uživatelském ranku by se takové hledisko projevit mohlo podobně, jako se v něm nejspíš projeví další aktivita: jak dlouho a jak často uživatel server navštěvuje, jak často přispívá či zda je ochotný podílet se na jeho správě. Podobně to ostatně funguje na Slashdotu.

Dan Lukeš si všiml rozdílných uživatelských rolí a povahy textů v komentářích článků a v poradně. Zajímavý je nápad s tím, aby příspěvky hodnotil ten, kdo začal diskuzi. Tedy u článku autor a u poradny tazatel. To by neměl být problém, protože reakcí pod článkem bývá kolem třiceti až padesáti, málokdy více, a autor obvykle má o problematice dobrou představu a dokáže rozpoznat příspěvky, které diskuzi někam posunují, u poradny by to mohlo fungovat podobně.

Potíž je v tom, že u takového hodnocení se stírá pocit spoluodpovědnosti uživatelů za kvalitu, protože se sami nepodílejí na jejím hodnocení. Také by docházelo ke zpoždění účinku hodnocení, protože ten, kdo stojí na počátku diskuze, není motivován, aby příspěvky moderoval v krátkém čase. Cestou z toho problému by mohlo být přidělení moderačních práv širší skupině uživatelů. Tedy například tomu, kdo v poradně položil dotaz, a uživatelům s vysokým UserRankem. Což je vlastně to, kam jsme se chtěli dostat.

Daniel Peder navrhuje, aby hodnocení bylo skryté, aby se textu zvyšoval rank s počtem reakcí. Přikláním se k názoru, že v případě diskuzního serveru by to byla spolehlivá cesta do pekel, protože jak upozorňuje 8an, nejvyšší rank by získali vyvolavači flamewarů. U serveru Sexus ale není možné založit obecnou diskuzi. Na počátku je vždy článek nebo dotaz v poradně. Tím, že by článek a dotaz získaly vysoký rank, bychom ničemu neublížili. Potíž je spíš v tom, jak odhalit kvalitní reakce u základu pyramidy, tedy na konci diskuze. Pravděpodobně by to chtělo propojit skrytý rekurzní rank s hodnocením od moderátora. To by mohl být jednoduchý a snad i účinný systém. Problém bude ale v tom, že více reakcí nepředstavuje vyšší hodnotu textu.

Čtenář Vítek odhalil další slabinu našeho uvažování: hodnocení uživatele se projevuje v delším časovém odstupu a vyžaduje aktivitu uživatele. Názor náhodného uživatele, který server navštíví jen jednou a nechá na něm svůj komentář, může snadno zapadnout, byť by byl sebelepší.

Obecné závěry z diskuze

V celé diskuzi se také projevuje snaha nezjišťovat kvalitu textů škálově, ale zjišťovat jejich povahu nastavením návěstí (upozornění na chybu, poznámka na okraj, flamewar, trefa do černého, nevhodné do 18 let atp.). Podle mého názoru je třeba ta dvě hlediska oddělit. Uživatel při zadávání textů může nastavit příspěvku příznak, a ten posléze může být změněn moderátorem. Ale pro zjištění TextRanku a UserRanku to nestačí.

Jedna z možností je ranky vůbec nepočítat, ponechat pouze nastavování příznaků a moderátory vybírat na základě úsudku. To je samozřejmě cesta, která by nejspíš fungovala dobře. Naším cílem ale je uživatele do tvorby obsahu zapojit až tak daleko, aby měl pocit, že směřování serveru může ovlivňovat, a k tomu vybírání moderátorů podle sympatie nepřispívá.

V diskuzi se také objevily názory, že příspěvky od uživatelů by se měly zobrazovat až při dosažení minimálního ranku. Vzhledem k tomu, že server Sexus je hojně navštěvován uživateli mladšími osmnácti let, snažíme se výrazně dbát také na výchovný zřetel. V minulosti jsme nastavili na serveru filtr pro čtenáře mladší osmnácti let a hodnocením uživatelů a zavedením moderovaných diskuzí bychom tenhle filtr chtěli ještě zpřísnit a zpřesnit. Takže ano, nehodnocené a záporně hodnocené příspěvky se zobrazovat nebudou.

Návrh TextRanku a UserRanku

Základní princip uživatelského hodnocení jsme pro server Sexus vybrali následně: Uživatel po zaregistrování získá hlas o síle jednoho bodu. Tím může hodnotit texty buď kladně, nebo záporně. Texty s převažujícími zápornými body dostanou nulový rank. Kladně hodnocené texty dostanou rank podle dekády, v níž se umístí na žebříčku. Získáme tak pro účely vizualizace TextRanku škálu rankovaných textů od nuly do deseti podobně, jako je to v případě PageRanku Googlu.

Uživatelský rank se spočítá jako průměrný počet bodů za hodnocený příspěvek, který se převede na škálu od jedné do sta a od mínus jedné do mínus sta (kladný a záporný percentil). Podle ranku se pak určí nová síla hlasu v bodech. Uživatel, který se umístí v 93. kladném percentilu, svým hlasem přidá nebo odejme 93 bodů. Podobně uživatel, který se umístí v –93. percentilu, svým hlasem přidá či odejme 0,07 bodu (vypočteno jako 1 – 0,93). Uživatelé z vyšších percentilů se stanou kandidáty na moderátorské pozice (možnost změny příznaku, hodnocení uživatelů).

K uživatelskému ranku pak přidáme další váhy, jako je třeba hodnocení uživatele od moderátorů, četnost přihlášení do systému, aktivita na serveru a podobně. Tímto postupem bychom jako provozovatelé měli získat kontrolu nad uživatelskými ranky. V případě obou ranků zároveň pravděpodobně začleníme do systému možnost nastavit rank na pevnou hodnotu, tedy jakýsi božský zásah správce serveru.

Anketa

Domníváte se, že navržený princip uživatelského hodnocení je životaschopný?

Našli jste v článku chybu?

13. 7. 2004 12:45

Patrik (neregistrovaný)
Zajímavé je, že tady se vede diskuze o ranku a rank živě na google baru mám 1 :-))

2. 6. 2004 10:25

r. (neregistrovaný)
Martine, nemyslim si, ze vytezovani logu je mimoradne slozite. Abych doplnil, nemyslel jsem jen pouhe vytezovani logu jako takovych, ale monitorovani cele interakce, u komercnich serveru nebo u 'recommender systems' napr. toho, co si uzivatel objedna, zda doporuci nejaky vyrobek pratelum atd. Co se tyka poptavky, myslim ze je to dany tim, ze vetsina vlastniku je spokojena se status quo. Mam zkusenosti z vyzkumu, kde se tomuhle venuje relativne dost lidi a je na tohle tema poradanych hodne konfer…
Podnikatel.cz: Daňové úlevy s EET nestačí. Budou zdražovat

Daňové úlevy s EET nestačí. Budou zdražovat

Vitalia.cz: 9 největších mýtů o mase

9 největších mýtů o mase

Podnikatel.cz: Změny v cestovních náhradách 2017

Změny v cestovních náhradách 2017

DigiZone.cz: Placené VoD a obsah zdarma

Placené VoD a obsah zdarma

Podnikatel.cz: Chtějte údaje k dani z nemovitostí do mailu

Chtějte údaje k dani z nemovitostí do mailu

DigiZone.cz: ČT má dalšího zástupce v EBU

ČT má dalšího zástupce v EBU

Vitalia.cz: Jmenuje se Janina a žije bez cukru

Jmenuje se Janina a žije bez cukru

Vitalia.cz: Mondelez stahuje rizikovou čokoládu Milka

Mondelez stahuje rizikovou čokoládu Milka

DigiZone.cz: Perspektivy TV v roce 1939 podle časopisu Life

Perspektivy TV v roce 1939 podle časopisu Life

120na80.cz: Rovnátka, která nejsou vidět

Rovnátka, která nejsou vidět

Podnikatel.cz: Vládu obejde, kvůli EET rovnou do sněmovny

Vládu obejde, kvůli EET rovnou do sněmovny

Měšec.cz: Kdy vám stát dá na stěhování 50 000 Kč?

Kdy vám stát dá na stěhování 50 000 Kč?

Vitalia.cz: Pamlsková vyhláška bude platit jen na základkách

Pamlsková vyhláška bude platit jen na základkách

Podnikatel.cz: Udávání kvůli EET začalo

Udávání kvůli EET začalo

DigiZone.cz: Recenze Westworld: zavraždit a...

Recenze Westworld: zavraždit a...

120na80.cz: Popraskané rty? Některé balzámy stav zhoršují

Popraskané rty? Některé balzámy stav zhoršují

DigiZone.cz: Česká televize mění schéma ČT :D

Česká televize mění schéma ČT :D

Root.cz: Mirai má nový cíl 5 milionů routerů

Mirai má nový cíl 5 milionů routerů

DigiZone.cz: NG natáčí v Praze seriál o Einsteinovi

NG natáčí v Praze seriál o Einsteinovi

Podnikatel.cz: K EET. Štamgast už peníze na stole nenechá

K EET. Štamgast už peníze na stole nenechá