Hlavní navigace

O sentiment analýze bez sentimentu aneb jeden malý experiment

Josef Šlerka 14. 7. 2011

O sentiment analýze slýcháváme v souvislosti se social media monitoringem docela často. Většina velkých nástrojů na sledování sociálních sítí se chlubí nějakou formou strojové analýzy nálady příspěvků. Poněkud složitější je to ovšem s měřením jejich přesnosti.

Pokud totiž porovnáte výstupy z vybraných nástrojů, zjistíte, že se mezi sebou velice zásadně liší. Ostatně podívejte se na slajd číslo 18 velmi zajímavé prezentace Negative Sentiment (or „Sentiment Analysis is Sh*te“) od Mata Morrisona – už na první pohled něco není v pořádku.

Výsledky jednotlivých systémů se liší natolik zásadním způsobem, že je to až zarážející. Zvlášť pokud se obecně usuzuje, že relativně snadno dostupnými prostředky jako jsou bayesovské filtry či SVM, lze dosáhnout velmi rychle úspěšnosti přes 70 procent.

Potíž ovšem nastane ve chvíli, kdy se pokusíme tuto úspěšnost ověřit. Proč? Protože prostě není k dispozici žádný autoritativní dataset z reálných dat, vůči kterému bychom mohli měřit úspěšnost jednotlivých postupů. Zcela určitě to platí pro češtinu a do značné míry i pro angličtinu – to je dáno především tím, že anglické postupy jsou učeny a testovány na uživatelských recenzích, které jsou podstatně jiného žánru než příspěvky na Facebooku, Twitteru či jiné síti.

Když sentiment posuzují lidé

V Ataxu jsme se proto rozhodli udělat malý experiment ve spolupráci se studentem Studií nových médií Martinem Kubelkou. Náhodně jsme vybrali 90 zmínek z našeho nástroje pro monitoring sociálních sítí Ataxo Social Insider a ve dvou kolech jsme poprosili českou Twitter komunitu o to, aby posoudila, jaké mají zabarvení. Na výběr byla možnost pozitivní, neutrální nebo negativní.

V prvním kole bylo 90 otázek rozděleno do tří balíčků podle pořadí prokliku odkazu. U zmínky nebylo jasné, k jakému klíčovému slovu se vztahuje, takže kupříkladu zmínka „Nevolejte,nepiste mi na T-Mobile!!! Posral se mi IPhone!“ se vztahovala k T-Mobile, nikoli k iPhone.

Druhé kolo vypadalo stejně, jen bylo řečeno, které slovo bylo monitorováno. V obou kolech měl každý dotazník více než 30 účastníků. Důvod, proč byla kola dvě, je zcela prostý: U postupů typu SVM stroj prostě neví, k jakému slovu se výrok vztahuje, u postupů využívajících kupříkladu polarizační slovník to vědět může. Protoje dobré mít vyhodnocené datasety dva. Navíc u metod strojového učení, kam patří SVM i Bayes, hodně záleží na cvičícím materiálu, takže motivací bylo i vytvořit základ pro budoucí učební korpus.

Původním cílem výzkumu bylo připravit si měřítko pro námi vyvíjenou službu na určení sentimentu zmínky. Výsledek však ukazuje jednu zásadní věc: Běžní uživatelé sociálních sítí nejsou možná vůbec schopni se shodnout na tom, jaký sentiment zmínka vyjadřuje.

V prvním kole totiž byla 70% shoda o sentimentu zmínky pouze v 30 případech z 90, tedy v jedné třetině! V druhém kole, kdy respondenti znali monitorované klíčové slovo, byla shoda o něco lepší, 70 % uživatelů se shodlo v 43 případech z 90. Tedy ani ne v polovině případů. Ostatně na celý set i s výsledky se můžete podívat v této prezentaci.

Co to všechno zřejmě znamená

  • Lidé mají sami mezi sebou velký problém se shodnout na tom, co je pozitivní, co neutrální a co negativní.

  • Zdá se, že shoda je tím větší, čím text obsahuje více z polarizačního či dokonce vulgárního slovníku.

  • Většina zmínek má bez kontextu komunikace zcela ambivalentní význam.

  • Lépe se detekuje extrémní negativita, než drobná pozitivita.

Závěr? Není. Naše malá studie patří do většího celku výzkumu, který v Ataxu děláme. Ukazuje se, že z pohledu social media monitoringu je třeba být se strojovou sentiment analýzou velmi opatrní a je třeba vždy u každého klienta promyslet, proč ji potřebuje a jak ji sám vlastně vnímá.

Našli jste v článku chybu?

27. 10. 2011 18:46

KvěciProsím (neregistrovaný)

A protože se mi nelíbí tvůj tón, tak si neodpustím jednu podpásovou argumentaci.

I kdyby nakrásně byl celý výzkum financován UK, tak se neboj. Tvůj stát na tom neutratil ani korunu... ;)

27. 10. 2011 18:20

KvěciProsím (neregistrovaný)

Myslím, si že na tento výzkum byly obětovány nemalé prostředky celé UK, které byly doslova vyrvány z rukou biologů, chemiků a fyziků. Ono totiž udělat si ověření teorie pomocí sociálních sítí je MIMOŘÁDNĚ finančně náročné!

A teď vážně. Všichni jsou jistě rádi, že nám ignorant sdělil svůj názor, ale nemůžu říct, že by nějak plodně přispěl do debaty. Proto prosím, jestli nemáš něco k tématu "Sentiment Analysis", tak se pro příště zdrž srdceryvných komentářů.

Btw. Komu patří ty velké peníz…

Podnikatel.cz: Alza.cz má StreetShop. Mall.cz více výdejních míst

Alza.cz má StreetShop. Mall.cz více výdejních míst

Podnikatel.cz: Zavře krám u #EET Malá pokladna a Teeta?

Zavře krám u #EET Malá pokladna a Teeta?

DigiZone.cz: Milan Kruml: procházka TV historií

Milan Kruml: procházka TV historií

Podnikatel.cz: Snížení DPH na 15 % se netýká všech

Snížení DPH na 15 % se netýká všech

Podnikatel.cz: Přehledná titulka, průvodci, responzivita

Přehledná titulka, průvodci, responzivita

Root.cz: Telegram spustil anonymní blog Telegraph

Telegram spustil anonymní blog Telegraph

DigiZone.cz: Digi CZ výrazně zlevnila balíček HBO

Digi CZ výrazně zlevnila balíček HBO

DigiZone.cz: ČT má dalšího zástupce v EBU

ČT má dalšího zástupce v EBU

Měšec.cz: Golfové pojištění: kde si jej můžete sjednat?

Golfové pojištění: kde si jej můžete sjednat?

DigiZone.cz: HD programy ČT i v UPC Horizon

HD programy ČT i v UPC Horizon

Vitalia.cz: Naučí vás péct kváskový chléb bez lepku i s lepkem

Naučí vás péct kváskový chléb bez lepku i s lepkem

DigiZone.cz: Rádio Šlágr má licenci pro digi vysílání

Rádio Šlágr má licenci pro digi vysílání

Podnikatel.cz: Dárky v podnikání. Jak je uplatnit v daních?

Dárky v podnikání. Jak je uplatnit v daních?

Podnikatel.cz: Na poslední chvíli šokuje vyjímkami v EET

Na poslední chvíli šokuje vyjímkami v EET

120na80.cz: Na ucho teplý, nebo studený obklad?

Na ucho teplý, nebo studený obklad?

Podnikatel.cz: Víme první výsledky doby odezvy #EET

Víme první výsledky doby odezvy #EET

Podnikatel.cz: Přivýdělek u Airbnb nebo Uberu? Čekejte kontrolu

Přivýdělek u Airbnb nebo Uberu? Čekejte kontrolu

Měšec.cz: Air Bank zruší TOP3 garanci a zdražuje kurzy

Air Bank zruší TOP3 garanci a zdražuje kurzy

Měšec.cz: Vklad na cizí účet je draze zpoplatněn (přehled)

Vklad na cizí účet je draze zpoplatněn (přehled)

Podnikatel.cz: 3, 2, 1..EET startuje. Na co nezapomenout?

3, 2, 1..EET startuje. Na co nezapomenout?