Hlavní navigace

Názory k článku Hodnocení uživatelů - závěry workshopu

  • Článek je starý, nové názory již nelze přidávat.
  • 27. 5. 2004 15:56

    dgx (neregistrovaný)
    Velmi zajímavý workshop!

    Měl bych dva podněty:

    1) nastavený systém UserRanků a hodnocení vede dle mého k tomu, že nejvyšší rank získají populisté, zatímco zastánci menšinových názorů se do vyšších čísel nebudou mít šanci dostat. Nevěřím totiž, že lidé budou jako kvalitní hodnotit i ty příspěvky, se kterými v zásadě nesouhlasí (a ony přitom skutečně kvalitní budou). Něco ve smyslu: "Když volíš komunisty, tak jsi blbec."

    2) Získaná silná pozice (vysoký UserRank) by měla být snadno zvratitelná. Lidé mění své chování. Třeba bloggerovi, který před rokem či půl byl v oblibě, dnes nikdo nemůže přijít na jméno. Stejně tak Google klidně změní názor na web ze dne na den. Pokud přemýšlím nad uvedeným systémem, mám pocit, že to tu příliš nefunguje. Jednou získaná pozice je neotřesitelná. Především díky průměrování a síle hlasu.

    Co vy na to?
  • 27. 5. 2004 16:23

    Michal Šviga (neregistrovaný)
    Podobný systém již je několik měsíců funkční v diskusích na serveru Dáma.cz ( diskuse.dama.cz ).
    V podstatě jde o stejný princip, jen používáme jiný rozsah hodnot atp.
    Máme také malou odchylku navíc a tou je zvýšení popřípadě snížení UserRanku uživatele, který kladně či záporně ohodnotil jiný příspěvek.
    Je to proto, aby jeden uživatel neustálým záporným hodnocením ostatních nemohl snižovat jejich váhu a přitom jeho UserRank by zůstal stejný.
    Systém se zatím osvědčil a funguje bez větších problémů.
  • 27. 5. 2004 16:41

    Dan Lukes (neregistrovaný)
    Na to mam pomerne jednoduchy nazor. "Dobry" a "blby" prispevek se nepozna podle toho, jestli ja souhlasim obsahem nebo on souhlasi s mym drive vyjadrenym nazorem. Tohle obvykle vedi i prumerne inteligentni ucastnici diskusi. Bezne se v diskusich setkavam s dobrymi prispevky, ackoliv co se obhajovaneho nazoru s autorem nesouhlasim - a opacne.

    Takze by populiste nemeli mit sanci.

    Jo - pokud se ukaze, kladne body bezne ziskavaji lide za prispevky "ano, bezvyhradne s vami souhlasim, mate to pekne vymysleno", pak na "vysokych postech" budou proste lidi s takto hodnotmymi nazory. A zrejme budou s ostanimi velmi dobre souznit (jinak by se tak vysoko nedostali).

    Pokud vim, cilem bylo, mel jsem dojem, vytvorit system, ktery bude vyhovovat vetsine. Coz v tomto pripade plati a tak v tom nevidim problem, i kdyby takovy vyvoj nastal.

  • 27. 5. 2004 17:50

    Aleš Studený (neregistrovaný)
    Opravdu?
    Tak to neváhejte sem napsat jaké vám to přineslo zlepšení? Jsou diskuze kvalitnější? Máte víc moderátorů a spolupracovníků? Případně jaké další přínosy sledujete?
    Děkuji.
  • 27. 5. 2004 17:58

    Martin Kopta (neregistrovaný)
    Ano, potřebujeme najít přirozené autority, které uznávají ostatní v komunitě. Pokud to dopadne takhle, zlobit se nebudu.

    Ovšem pořád je tu ještě ta možnost dvojího propočítávání ranku. Jelikož budeme moci rank přepočítat na aktuální počet bodů i zpětně (tak to dělá Google PageRank), ale myslím, že to nebude třeba. Právě to průměrování by mělo pomoci k vyššímu UR i nováčkům, kteří se uchytí třeba jen jedním dobře hodnoceným příspěvkem (coz je trochu prehnane).
  • 27. 5. 2004 18:03

    Martin Kopta (neregistrovaný)
    Tak to vidíte, Michale, my se mohli prostě zeptat. :-)
    Připojuju se k Alešovi, opravdu mě zkušenosti zajímají.
  • 27. 5. 2004 19:58

    Michal Šviga (neregistrovaný)
    Náš cíl bylo především zabránit tomu, aby kdejaký puberťák mohl diskuse v podstatě devastovat nesmyslnými výlevy a rušit tak jinak pokojné ženské diskuse.
    Tento cíl byl splněn, ještě uvidíme v září a říjnu, kdy je těchto akcí nejvíce.
    Slušné čtenářky tak mohou provokaréry úplně odstranit z diskusí.
    Zavedli jsme systém bodování registrovaných čtenářek. Body sbírají za všemožné aktivity na Dámě. (čtení článků, přispívání, zakládání vlastních diskusí, psaní deníčků, ..). Body rostou od 0 do nekonečna. Nejaktivnější čtenářka má dnes přes 22000 bodů.
    Čím více má bodů, tím větší váhu má její příspěvek. Každá registrovaná čtenářka může ostatní příspěvky jednoduše ohodnotit pomocí + nebo -. Vždy pouze jednou.
    Ohodnocení má opět různou váhu, podle toho, kolik má čtenářka bodů. Autor ohodnoceného příspěvku tím také získá nebo ztratí několik svých bodů.

    Nezavedli jsme systém moderátorek diskusí, i když o tom na základě tohoto článku uvažuji. Nevím ovšem, jaké pravomoce bych mohl moderátorkám udělit.

    Celý systém nevzešel jen z mé hlavy, ale probírali jsme vše s čtenářským jádrem na několika schůzkách. Jeden z hlavních požadavků byl: "Hlavně ať je to co nejjednodušší, abych to zvládla i já". Proto požíváme jednoduché + -. Kdo chce, může příspěvek ohodnotit, kdo nechce nemusí.
    Body se pro jednoduchost a čitelnost uživatelů převádějí na procenta. Příspevky, které získají 0 nebo méně procent se nezobrazují. Čtenářky si mohou nastavit vlastní hranici v %.

    Další plus, které bodovnáním vzniklo je v tom, že víme, které čtenářky a čtenáři jsou ti aktivní a to třeba zohledňujeme při losování v soutěžích atp. Čtenářky své body sledují a předhánějí se.

    Neregistrovaní uživatelé moc práv nemají. Mohou přispívat, nemohou však sbírat body, natož pak hodnotit cizí příspěvky.
  • 13. 7. 2004 12:45

    Patrik (neregistrovaný)
    Zajímavé je, že tady se vede diskuze o ranku a rank živě na google baru mám 1 :-))
  • 28. 5. 2004 11:12

    Martin Kopta (neregistrovaný)
    Ano, přemýšleli jsme o tom, že by uživatel neviděl přímo hodnotu svého ranku, ale počet hvězdiček. * až *****. Podobně u jednotlivých textů by se nezobrazovala skutečná hodnota, ale nějaký grafický symbol (mně se líbil bar, který dříve používalo Centrum ve výsledcích hledání, teď po redesignu už tam není).

    Vnější jednoduchost a srozumitelnost systému hodnocení jsou pro nás klíčové. Především oproto, že k nám chodí lidi pod osmnáct let, kteří možná tráví hodně času na chatech, ale jinak je vidět, že si s internetem moc hlavu nelámou.

    S prudičema kupodivu do kontaktu nepřicházíme. Spíš se snažíme naše uživatele chránit. Minulý týden jsem smazal kolem dvacítky příspěvků s telefonními čísly a podobně. :-) To by mohli od podzimu dělat už moderátoři.

    Zajímavé je to předhánění v počtu bodů. :-) To považuju za ohromný úspěch. Máte určitě skvělé čtenářské jádro.
  • 29. 5. 2004 18:21

    r. (neregistrovaný)
    Okolo ceho se cela diskuse a clanky v podstate toci je tzv. 'social engineering'. Nevsiml jsem si, ze by se nekdo zminil napr. o tom, jaky vliv ma vztah autora clanku a hodnotitele, nebo vztah autora prispevku v diskusi a jeho hodnotitele. Uzivatele nejakeho serveru v podstate tvoji podobnou sit vztahu jakou zname z fyzickeho sveta. Relace ze nekoho znam, je to muj pritel, nebo kolega, nebo ho nenavidim, nebo ho vubec neznam, ovlivnuji i moje hodnoceni 'kvality' jeho produktu. Bude-li uzivatel hodnotit clanky nebo prispevky autora 'X' vzdy nekolik bodu na prumerem, a u ostatnich se prumeru priblizi, muze to napr. indikovat snahu pomoci 'X' v jeho celkovem postaveni (karme) na serveru.
    Dal se nikdo (alespon jsem si nevsiml, je mozne ze jsem se prehlidl) neotrel o to, jaky vliv na hodnoceni ma zkusenost uzivatele(autora prispevku v diskusi, autora clanku, hodnotitele) s danym tematem. Pokud jsem jako uzivatel doted neprojevil zadny zajem zajem o tema 'A' a dam clanku o 'A' plny pocet bodu, a napr. zaroven jsem pri vyplnovani 'topics of interests' neuvedl 'A' ale 'B', muze to znamenat, ze o 'A' nevim v podstate nic, a proto moje hodnoceni by melo mit jinou vahu nez to od profesionala v 'A'.
    To, o co ma registrovany uzivatel me sluzby zajem, koho zna, koho uznava, a dalsi informace, se daji lehce odvodit z jeho interakce a z jeho (vyplneho) profilu. Nedavno jsme experimentovali z 'odhadovanim' techle atributu a vysledky byly prekvapive presne.
  • 31. 5. 2004 17:14

    Martin Kopta (neregistrovaný)
    Robe, tohle je pravda, a proto myslim Robert Němec tvrdil, že ten workshop nemá smysl dělat. Sociálníma sítěma se zabývá pár nadšenců kolem Denisy Kera. Vytěžováním logů zase jen pár magorů, ale chybí tu poptávka po nasazení do reálněho života sítě. Sexus má trochu jiné cíle než tvorbu komunitního prostředí, takže jsem tyhle otázky záměrně nekladl.

    Pokud ale hledáme karmu pro vytvoření kasty moderátorů, pak je právě potřeba tyhle vztahy virtuální náklonosti zjevit. O možnosti přidělovat body škálově jsme z toho důvodu uvažovali, ale nemáme na to odvahu (po zkušenostech s průměrnými známkami), ale stejné výsledky můžeme zjistit z četnosti hlasování jednoho uživatele pro určitou množinu dalších.

    Další tvůj postřeh je v diskuzi eliminovaný, ale někde v podhoubí je přítomný. Proto také uživatele registrujeme, proto budou dostávat body za délku "členství". Na druhou stranu, to o čem se tu bavíme je už vyšší dívčí, která potřebuje prostředky, čas a lidi pro vytěžování logů. A to je přesně ta věc, kterou si nemůžeme trvale dovolit.

    Škoda, že jste nenapsal, kde jste s tím experimentovali a čím byly výsledky zajímavé.
  • 2. 6. 2004 10:25

    r. (neregistrovaný)
    Martine, nemyslim si, ze vytezovani logu je mimoradne slozite. Abych doplnil, nemyslel jsem jen pouhe vytezovani logu jako takovych, ale monitorovani cele interakce, u komercnich serveru nebo u 'recommender systems' napr. toho, co si uzivatel objedna, zda doporuci nejaky vyrobek pratelum atd. Co se tyka poptavky, myslim ze je to dany tim, ze vetsina vlastniku je spokojena se status quo. Mam zkusenosti z vyzkumu, kde se tomuhle venuje relativne dost lidi a je na tohle tema poradanych hodne konferenci (napr. http://www.iadis.org/wbc2004/, a jeji minule rocniky).
    Nase konkretni experimenty se snazily pouzit umelych neuronovych siti, ktere se nejdriv ucily vzorce chovani skupiny uzivatelu a pak, zjednodusene, odhadovaly dalsi interakci pro 'podobne' uzivatele 'This item could be relevant based on your profile' apod.