Vlákno názorů k článku O sentiment analýze bez sentimentu aneb jeden malý experiment od anonym - Ptejme se po smyslu zadání hodnocení sentimentu. Myslím...

  • Článek je starý, nové názory již nelze přidávat.
  • 14. 7. 2011 11:47

    bez přezdívky

    Ptejme se po smyslu zadání hodnocení sentimentu. Myslím si, že by bylo fér uvést, že hovoříme-li o komerční sféře, pak klient, který z nějakých důvodů potřebuje rychle vyhodnotit desítky tisíc zmínek v sociálních médiích, chce velmi pravděpodobně vyhodnotit proběhlou reklamní kampaň. Při běžném provozu jde i pro opravdu velkou firmu o průběžné skórování v řádech několika stovek příspěvků denně; desítky tisíc zmínek jsou záležitost několikaměsíčního provozu a klient, který by je chtěl skórovat najednou s takovým časovým odstupem, vyhazuje peníze oknem.

    Hovoříme-li tedy o vyhodnocení reklamní kampaně, bude velká většina příspěvků na FB (který v ČR generuje většinu příspěvků) shodná nebo velmi podobná. Jde totiž o výsledek prostého sdílení, k němuž zvlášť aktivní uživatelé tu a tam přihodí zásadní sdělení typu „Mazec“ nebo :-). Pokud podobné nebo shodné příspěvky dokážete sloučit, není jejich skórování nijak obtížné (a zvládnete to i ručně). Co ale i v takovém případně není jednoznačné a velmi záleží na zadání, je otázka jaké skóre přiřadíte. Je skutečnost, že někdo na FB pouze sdílí reklamu své oblíbené značky a nic k ní nepřidává, pozitivní nebo neutrální? Ale jak budete hodnotit skutečnost, že ji někdo sdílí ze stránky, která onu reklamu hodnotí extrémně negativně?

    Pokud se ale pohybujeme na statistické úrovni, která je postačující např. pro potřeby rychlého a levného vyhodnocení masivní kampaně, pak myslím, že je strojové vyhodnocení přijatelné. Pokud ale chcete pracovat se sentimentem každého příspěvku pak v tuto chvíli nezbývá než poctivá ruční práce, pokud možno s průběžnou zpětnou vazbou od klienta.

  • 14. 7. 2011 11:39

    Michal Illich

    > Faktem ale je, že drtivá většina zmínek je jednoznačná.

    Četl jste ten článek vůbec? Z 90 náhodně vybraných zmínek se lidé shodli jen v 43 případech. Takže ne drtivá většina, ale lehká menšina.

  • 14. 7. 2011 10:26

    souhlas (neregistrovaný)

    ano, v podstatě souhlas, je pak tragické, když i veřejnoprávní televize přihlíží k podobným nerelevantním statistikám např. z facebooku

  • 14. 7. 2011 9:47

    Jean Laroux (neregistrovaný)

    Stojová analýza je jistě proveditelná. Otázkou je jaká data se vyhodnocují.

    V oblasti Social monitoringu webových médií tj. aktivních médií (kde vstupuje veřejnost) lze vyhodnocovat např. zájmovou orientaci skupin a jejich názor na určité téma nebo např. k určitému výrobku či službě za pomocí doplňkových prvků jako jsou např. ankety. Zde je pak strojově vyhodnotitelný zájem o produkt či službu s procentuálním rozlišením. Lze i sledovat vztah k určitému ideovému tématu. Popisuje však výsledek analýzy skutečně reálný stav ? Pokud jde o anketu typu: Koupil byste si telefon s a) Androidem, b) iOS, c) Symbianem d) jiným systémem pak může být výsledek jistě velmi průkazný a pro obchodní účely použitelný ale co jiné ankety a co jiná použití výsledků analýzy?

    Pokud se posuneme do roviny hodnocení názorů respondentů bez různých "zaškrtávacích"- anketních prvků pak stroj nemůže nikdy vyhodnotit postoj a náladu člověka sám o sobě bez vstupu lidského "hodnotitele". A i ten lidský hodnotitel hodnotí subjektivně a často už předem vnímá cíl, kterého by rád dosáhl. Pak podvědomě hledá podporu jen pro svůj cíl a ignoruje prvky pro podporu stanoviska na opačném pólu. I lidský faktor tedy nemůže objektivně vyhodnotit náladu či názorovou orientaci a může jen subjektivně odhadovat. Natož pak nějaký STROJ (algoritmus). To prostě nejde naprogramovat a i to tagování je jen přibližné ať jej provádí stroj či člověk. Ironii leckdy nepozná ani člověk natož stroj. V podstatě to plyne i se závěrů studie, kde se např. píše, že většina zmínek má bez kontextu komunikace zcela ambivalentní význam. Ta rozporuplnost je zřejmá protože ani lidský hodnotitel není schopen objektivně vyhodnotit ideový, potažmo náladový kontext celého komunikačního vlákna. Dále se v závěru "Ataxu" např. píše: "Zdá se, že shoda je tím větší, čím text obsahuje více z polarizačního či dokonce vulgárního slovníku." Stroj může vulgární slovník vyhodnotit pouze ve vztahu k slovníku vulgárních výrazů a to samo o sobě dělá ze strojového hodnocení naprosto zkreslující mechanismus. Mnoho vulgárních výrazů může totiž být v kontextu diskuze příznakem pozitivního vjemu a naopak mnoho velmi distingovaných a slušných formulací může mít naopak silně negativistický až urážlivý kontext. Tohle opět stroj nevyhodnotí nikdy. To už nemluvím o tom co ve slovníku je a co tam není. A nyní je ještě další podstatný prvek o kterém se zmiňuji výše. Mnoho názorů v diskuzi (komunikaci) nemusí být vůbec spontánním projevem komunikujícího ale může jít o činnost agenta nasazeného do diskuze za účelem manipulace diskuze a tedy i názorové orientace diskuze. Mnohdy mohou být agenti nasazeni i na obě názorové polarity. Těch metod cíleného ovlivňování komunity jsou kvanta a směřují k něčemu co se nazývá propaganda, vymývání mozků, psyops atp. Jak pak relevantně člověk nebo dokonce stroj vyhodnotí komunikaci, když není schopen detekovat spontánní respondenty a ty směrující Agenty? Ve výsledku může být i dobře míněná analýza manipulační a hraje ve prospěch cíle nastrčených agentů-respondentů, kteří v průběhu komunikace zastávají pozice jakýchsi Alfa diskutérů.

    Zůstaňme tedy raději pevnýma nohama na zemi a rozlišujme co lze vyhodnocovat a jakými metodami a co už vyhodnocovat nelze. Poslední věta článku říká, že je třeba vždy u každého klienta promyslet, proč ji potřebuje a jak ji sám vlastně vnímá. PROČ JI POTŘEBUJE ? Potřebuje třeba zveřejnit výsledek průzkumu, který byl manipulován např. vhodnou formulací otázek ankety. Příklad - OTÁZKA: Máte rád stranu TOP-09. 1. Ano rozhodně, 2. Nejsem si jist, 3. Nevadí mi. .. KDE JE volba "Rozhodně ne !" ?? Takto se výsledek ankety zveřejní v médiích jako 85 % respondentů nemá výtky vůči TOP-09 15% nemá názor. Ten kdo se pak seznámí s anketou získá dojem, že proti TOP-09 vlastně nikdo nemá nic a nepátrá po tom, jak byla formulována anketa. A nerozhodnutý volič se pak dle davové psychologie kloní k většinovému názoru tj. v našem případě buď k těm sympatizantům nebo těm, kteří zůstávají nerozhodnutí. Účelové zneužití analýzy za účelem následné manipulace. Já vím, že pro průzkumy veřejného mínění existují určitá pravidla a můj příklad je extrémní ale to bylo jen pro snazší pochopení. Ve skutečnosti může být i za použití nenápadných nuancí ve formulaci anketních otázek dosaženo požadovaného výsledku. A to už vůbec nemluvím o webových anketách na které se nasadí placení klikači ;) To co popisuji jistě není klasický průzkum zpracovávaný odborným teamem mezi respondenty vybranými dle určitých konstantních (závazných) pravidel ale pokud se začneme zabývat analýzou sociálních skupin viz. článek tak je třeba se o tom zmínit, protože pravidla zde na webu jsou jiná a roli zde hraje např. anonymita, falešná identifikace respondenta atp.

    Forenzní psycho-sociální analýza je sama o sobě velmi složitá disciplína a s její aplikací do prostředí interaktivních komunikačních nástrojů bych byl velmi opatrný. Prostředek hodnocení se zde může snadno stát nástrojem cílené manipulace.

  • 14. 7. 2011 8:53

    Jakub Mach (neregistrovaný)

    Strojová analýza je základ. Jedna firma si definuje celou sadu dotazů na zmínky v sociálních sítích a je není v jejích silách otagovat desetitisíce nalezených zmínek.

    Pane Šlerka, vy si ve svých zdůvodněních, proč je strojová analýza problém, vždy vyberete vyjímečný příklad. Faktem ale je, že drtivá většina zmínek je jednoznačná. To, že jednotky zmínek z celkového počtu desetitisíců stroj otaguje špatně (týká se například vaší oblíbené ironie), tak to je rozhodně menší problém, než nutnost vše tagovat ručně.

    Vidím to prostě jinak, ale články od vás si vždy s radostí přečtu.

Upozorníme vás na články, které by vám neměly uniknout (maximálně 2x týdně).