O sentiment analýze bez sentimentu aneb jeden malý experiment

Pokud totiž porovnáte výstupy z vybraných nástrojů, zjistíte, že se mezi sebou velice zásadně liší. Ostatně podívejte se na slajd číslo 18 velmi zajímavé prezentace Negative Sentiment (or „Sentiment Analysis is Sh*te“) od Mata Morrisona – už na první pohled něco není v pořádku.

Výsledky jednotlivých systémů se liší natolik zásadním způsobem, že je to až zarážející. Zvlášť pokud se obecně usuzuje, že relativně snadno dostupnými prostředky jako jsou bayesovské filtry či SVM, lze dosáhnout velmi rychle úspěšnosti přes 70 procent.

Potíž ovšem nastane ve chvíli, kdy se pokusíme tuto úspěšnost ověřit. Proč? Protože prostě není k dispozici žádný autoritativní dataset z reálných dat, vůči kterému bychom mohli měřit úspěšnost jednotlivých postupů. Zcela určitě to platí pro češtinu a do značné míry i pro angličtinu – to je dáno především tím, že anglické postupy jsou učeny a testovány na uživatelských recenzích, které jsou podstatně jiného žánru než příspěvky na Facebooku, Twitteru či jiné síti.

Když sentiment posuzují lidé

V Ataxu jsme se proto rozhodli udělat malý experiment ve spolupráci se studentem Studií nových médií Martinem Kubelkou. Náhodně jsme vybrali 90 zmínek z našeho nástroje pro monitoring sociálních sítí Ataxo Social Insider a ve dvou kolech jsme poprosili českou Twitter komunitu o to, aby posoudila, jaké mají zabarvení. Na výběr byla možnost pozitivní, neutrální nebo negativní.

V prvním kole bylo 90 otázek rozděleno do tří balíčků podle pořadí prokliku odkazu. U zmínky nebylo jasné, k jakému klíčovému slovu se vztahuje, takže kupříkladu zmínka „Nevolejte,nepiste mi na T-Mobile!!! Posral se mi IPhone!“ se vztahovala k T-Mobile, nikoli k iPhone.

Druhé kolo vypadalo stejně, jen bylo řečeno, které slovo bylo monitorováno. V obou kolech měl každý dotazník více než 30 účastníků. Důvod, proč byla kola dvě, je zcela prostý: U postupů typu SVM stroj prostě neví, k jakému slovu se výrok vztahuje, u postupů využívajících kupříkladu polarizační slovník to vědět může. Protoje dobré mít vyhodnocené datasety dva. Navíc u metod strojového učení, kam patří SVM i Bayes, hodně záleží na cvičícím materiálu, takže motivací bylo i vytvořit základ pro budoucí učební korpus.

Původním cílem výzkumu bylo připravit si měřítko pro námi vyvíjenou službu na určení sentimentu zmínky. Výsledek však ukazuje jednu zásadní věc: Běžní uživatelé sociálních sítí nejsou možná vůbec schopni se shodnout na tom, jaký sentiment zmínka vyjadřuje.

       

V prvním kole totiž byla 70% shoda o sentimentu zmínky pouze v 30 případech z 90, tedy v jedné třetině! V druhém kole, kdy respondenti znali monitorované klíčové slovo, byla shoda o něco lepší, 70 % uživatelů se shodlo v 43 případech z 90. Tedy ani ne v polovině případů. Ostatně na celý set i s výsledky se můžete podívat v této prezentaci.

Co to všechno zřejmě znamená

• Lidé mají sami mezi sebou velký problém se shodnout na tom, co je pozitivní, co neutrální a co negativní.

• Zdá se, že shoda je tím větší, čím text obsahuje více z polarizačního či dokonce vulgárního slovníku.

• Většina zmínek má bez kontextu komunikace zcela ambivalentní význam.

• Lépe se detekuje extrémní negativita, než drobná pozitivita.

Závěr? Není. Naše malá studie patří do většího celku výzkumu, který v Ataxu děláme. Ukazuje se, že z pohledu social media monitoringu je třeba být se strojovou sentiment analýzou velmi opatrní a je třeba vždy u každého klienta promyslet, proč ji potřebuje a jak ji sám vlastně vnímá.