Hlavní navigace

O sentiment analýze bez sentimentu aneb jeden malý experiment

Josef Šlerka 14. 7. 2011

O sentiment analýze slýcháváme v souvislosti se social media monitoringem docela často. Většina velkých nástrojů na sledování sociálních sítí se chlubí nějakou formou strojové analýzy nálady příspěvků. Poněkud složitější je to ovšem s měřením jejich přesnosti.

Pokud totiž porovnáte výstupy z vybraných nástrojů, zjistíte, že se mezi sebou velice zásadně liší. Ostatně podívejte se na slajd číslo 18 velmi zajímavé prezentace Negative Sentiment (or „Sentiment Analysis is Sh*te“) od Mata Morrisona – už na první pohled něco není v pořádku.

Výsledky jednotlivých systémů se liší natolik zásadním způsobem, že je to až zarážející. Zvlášť pokud se obecně usuzuje, že relativně snadno dostupnými prostředky jako jsou bayesovské filtry či SVM, lze dosáhnout velmi rychle úspěšnosti přes 70 procent.

Potíž ovšem nastane ve chvíli, kdy se pokusíme tuto úspěšnost ověřit. Proč? Protože prostě není k dispozici žádný autoritativní dataset z reálných dat, vůči kterému bychom mohli měřit úspěšnost jednotlivých postupů. Zcela určitě to platí pro češtinu a do značné míry i pro angličtinu – to je dáno především tím, že anglické postupy jsou učeny a testovány na uživatelských recenzích, které jsou podstatně jiného žánru než příspěvky na Facebooku, Twitteru či jiné síti.

Když sentiment posuzují lidé

V Ataxu jsme se proto rozhodli udělat malý experiment ve spolupráci se studentem Studií nových médií Martinem Kubelkou. Náhodně jsme vybrali 90 zmínek z našeho nástroje pro monitoring sociálních sítí Ataxo Social Insider a ve dvou kolech jsme poprosili českou Twitter komunitu o to, aby posoudila, jaké mají zabarvení. Na výběr byla možnost pozitivní, neutrální nebo negativní.

V prvním kole bylo 90 otázek rozděleno do tří balíčků podle pořadí prokliku odkazu. U zmínky nebylo jasné, k jakému klíčovému slovu se vztahuje, takže kupříkladu zmínka „Nevolejte,nepiste mi na T-Mobile!!! Posral se mi IPhone!“ se vztahovala k T-Mobile, nikoli k iPhone.

Druhé kolo vypadalo stejně, jen bylo řečeno, které slovo bylo monitorováno. V obou kolech měl každý dotazník více než 30 účastníků. Důvod, proč byla kola dvě, je zcela prostý: U postupů typu SVM stroj prostě neví, k jakému slovu se výrok vztahuje, u postupů využívajících kupříkladu polarizační slovník to vědět může. Protoje dobré mít vyhodnocené datasety dva. Navíc u metod strojového učení, kam patří SVM i Bayes, hodně záleží na cvičícím materiálu, takže motivací bylo i vytvořit základ pro budoucí učební korpus.

Původním cílem výzkumu bylo připravit si měřítko pro námi vyvíjenou službu na určení sentimentu zmínky. Výsledek však ukazuje jednu zásadní věc: Běžní uživatelé sociálních sítí nejsou možná vůbec schopni se shodnout na tom, jaký sentiment zmínka vyjadřuje.

EBF16

V prvním kole totiž byla 70% shoda o sentimentu zmínky pouze v 30 případech z 90, tedy v jedné třetině! V druhém kole, kdy respondenti znali monitorované klíčové slovo, byla shoda o něco lepší, 70 % uživatelů se shodlo v 43 případech z 90. Tedy ani ne v polovině případů. Ostatně na celý set i s výsledky se můžete podívat v této prezentaci.

Co to všechno zřejmě znamená

  • Lidé mají sami mezi sebou velký problém se shodnout na tom, co je pozitivní, co neutrální a co negativní.

  • Zdá se, že shoda je tím větší, čím text obsahuje více z polarizačního či dokonce vulgárního slovníku.

  • Většina zmínek má bez kontextu komunikace zcela ambivalentní význam.

  • Lépe se detekuje extrémní negativita, než drobná pozitivita.

Závěr? Není. Naše malá studie patří do většího celku výzkumu, který v Ataxu děláme. Ukazuje se, že z pohledu social media monitoringu je třeba být se strojovou sentiment analýzou velmi opatrní a je třeba vždy u každého klienta promyslet, proč ji potřebuje a jak ji sám vlastně vnímá.

Našli jste v článku chybu?
Vitalia.cz: Běháte a nehubnete? 6 častých chyb

Běháte a nehubnete? 6 častých chyb

120na80.cz: Rodiče, pozor: jak dodat vitamín D bez rizika

Rodiče, pozor: jak dodat vitamín D bez rizika

Vitalia.cz: Antibakteriální mýdla nepomáhají, spíš škodí

Antibakteriální mýdla nepomáhají, spíš škodí

Podnikatel.cz: Vrcholový řídící zaměstnanec za 75 tisíc

Vrcholový řídící zaměstnanec za 75 tisíc

Vitalia.cz: Voda z Vltavy před a po úpravě na pitnou

Voda z Vltavy před a po úpravě na pitnou

Vitalia.cz: dTest odhalil ten nejlepší kečup

dTest odhalil ten nejlepší kečup

Podnikatel.cz: „Lex Babiš“ Babišovi paradoxně pomůže

„Lex Babiš“ Babišovi paradoxně pomůže

Podnikatel.cz: Letáky? Lidi zuří, ale ony stále fungují

Letáky? Lidi zuří, ale ony stále fungují

Vitalia.cz: Tohle všechno se dá usušit

Tohle všechno se dá usušit

DigiZone.cz: DVB-T2 ověřeno: seznam TV zveřejněn

DVB-T2 ověřeno: seznam TV zveřejněn

Podnikatel.cz: 5 věcí, které o EET ještě nevíte

5 věcí, které o EET ještě nevíte

Vitalia.cz: Test dětských svačinek: Tyhle ne!

Test dětských svačinek: Tyhle ne!

Vitalia.cz: Tesco nabízí desítky tun jídla zdarma

Tesco nabízí desítky tun jídla zdarma

DigiZone.cz: Samsung EVO-S: novinka pro Skylink

Samsung EVO-S: novinka pro Skylink

Měšec.cz: „Ukradli“ jsme peníze z bezkontaktních karet

„Ukradli“ jsme peníze z bezkontaktních karet

Root.cz: Prvních 700 routerů Omnia je hotových

Prvních 700 routerů Omnia je hotových

Vitalia.cz: Tipy: Kde zaručeně koupíte dobré maso

Tipy: Kde zaručeně koupíte dobré maso

DigiZone.cz: Nejnovější špičkové TV ve videu

Nejnovější špičkové TV ve videu

DigiZone.cz: LG OLED65E6: první pohled

LG OLED65E6: první pohled

Vitalia.cz: 5 chyb, které děláme při skladování potravin

5 chyb, které děláme při skladování potravin