Nepoužívejte IP blacklisty! (2.)

E-maily jsem testoval oproti pěti databázím – spamhaus.org, dsbl.org, sorbs.net, spamcop.net a njabl.org. V rámci jedné databáze jsem IP testoval proti všem dostupným blacklistům v databázi. Z nich jsem pak sestavil následující souhrnné hodnoty:

• sbl-xbl.spamhaus.org jako kombinaci jeho dvou seznamů (stačí, aby IP byla v jednom z nich),
• dnsbl.sorbs.net jako kombinaci všech jeho seznamů (stačí, aby IP byla v jednom z nich),
• combined.njabl­.org jako kombinaci dynablock.njabl.org a dnsbl.njabl.org (stačí, aby IP byla v jednom z nich),
• Q1 jako kombinaci sbl-xbl.spamhaus.org, dnsbl.sorbs.net, list.dsbl.org, bl.spamcop.net a combined.njabl.org, kde stačí, aby IP byla v jednom z nich,
• Q2 jako kombinaci stejných seznamů, ale IP musí být ve dvou z nich
• Q3 jako kombinaci stejných seznamů, ale IP musí být ve třech z nich,
• Q4 jako kombinaci stejných seznamů, ale IP musí být ve čtyřech z nich,
• Q5 jako kombinaci stejných seznamů, ale IP musí být ve všech pěti,
• Q1-sorbs jako kombinaci sbl-xbl.spamhaus.org, list.dsbl.org, bl.spamcop.net a combined.njabl.org, kde stačí, aby IP byla v jednom z nich,
• Q2-sorbs jako kombinaci stejných seznamů, ale IP musí být ve dvou z nich.

Nyní již k vlastní výsledkové tabulce. Jak se počítaly hodnoty účinnosti a chybovosti, jsem popsal v minulém díle. Pro zajímavost jsem spočítal a doplnil ještě pravděpodobnosti p_spam pro případ, že IP protistrany je/není na IP blacklistu (viz články o bayesiánských filtrech – první a druhý).

Význam jednotlivých sloupečků:

• p_m – účinnost naměřená,
• fpr_m – chybovost naměřená,
• p_c – účinnost po „korekci“,
• fpr_c – chybovost po „korekci“,
• p_{spam_ex} – pravděpodobnost, že je e-mail spam, pokud existuje v blacklistu,
• p_{spam_nex} – pravděpodobnost, že je e-mail spam, pokud neexistuje v blacklistu.

Jak vidíte, u Q5 se false positive rate korekcí dostala do záporných čísel, což je samozřejmě nesmysl. Z toho bych odvozoval, že platí spíše druhá možnost korelace (viz předchozí díl), a reálné hodnoty budou někde mezi naměřenými a korigovanými.

Protože tabulka obsahuje poměrně hodně čísel a je nepřehledná, vyrobil jsem z ní graf, který je snad o něco názornější. Každý blacklist je na něm prezentován úsečkou, spojující naměřené a korigované hodnoty. Reálná hodnota by pak měla ležet někde na této úsečce – podle míry korelace, o které jsem se zmiňoval výše. Přitom platí, že čím je hodnota blíže pravému dolnímu rohu, tím lépe.

Jako jednoznačně nejhorší se ukázal blacklist (dnsbl.)sorbs.net, který při účinnosti necelá 44 procenta dosáhl přes sedm procent false positiv. Kvůli jeho vysokému počtu false positiv jsem počítal i Q1-sorbs a Q2-sorbs.

Nejvyšší účinnosti – skoro 83 procenta – dosáhla kombinace Q1. To není zas tak špatná účinnost, ale extrémně dobrá také ne; vždyť to znamená čtyřikrát tolik spamů, než by propustil bayesiánský antispam Centra. Co tuto hodnotu ale zcela devalvuje, je počet false positiv. Každý osmý ne-spam by byl neprávem odmítnut.

O něco lepší je kombinace Q1-sorbs. Má účinnost jen o něco málo menší (80 procent), ale má „jen“ osm procent false positiv. I to je daleko za hranicí snesitelnosti.

Z jednotlivých poskytovatelů blacklistů měl nejvyšší účinnost spamhaus.org se svým kombinovaným listem sbl-xbl.spamhaus.org. Dosáhl účinnosti 66 procent, což je ale už docela málo, a chybovost (3,5 procenta) je přitom stále dosti vysoká.

Druhé místo patří poskytovateli spamcop.net (účinnost 59 procent, chybovost 3.5 procenta). Třetí je list.dsbl.org, který má účinnost už jen 33 procenta, ale jako první se s chybovostí dostává pod jedno procenta – na 0,5 procenta. njabl.org je předposlední – má o něco nižší účinnost, ale o hodně vyšší chybovost.

Chybovost list.dsbl.org je už srovnatelná s chybovostí antispamu Centra, ale účinnost je o mnoho, mnoho horší – propustí skoro 17krát více spamů!

Určit absolutního vítěze je těžké. Jak je vidět z grafu, jsou výsledky (až na určité excesy) zhruba na hyperbole. Takže pokud má blacklist alespoň trochu ucházející účinnost, má velkou chybovost a naopak – při rozumné chybovosti má mizivou účinnost.

Co tedy s tím? Když se podíváte do pravého spodního rohu, uvidíte se tam skromně krčit tmavě modrou „hvězdičku“, která označuje parametry antispamu Centra, založeného především na bayesiánských filtrech. Tento obrázek je hezkou ilustrací, že statistické filtry jsou svými vlastnostmi – a na obrázku doslova – někde úplně jinde než blacklisty.

Snad vás tento článek v souladu se svým trochu kontroverzím nadpisem přesvědčil, že používat blacklisty pro tvrdé blokování pošty není dobrý nápad. Ale ten nadpis neplatí stoprocentně. Podívejte se na hodnoty p_{spam_ex} a p_{spam_nex} v tabulce. Třeba pokud je odesílatel v listu list.dsbl.org, tak je jeho e-mail na 95 procent spam. To je pro bayesiánský filtr docela zajímavý fakt. Přitom takto „označkována“ bude skoro třetina spamů.

Hodnoty p_{spam_nex} jsou oproti tomu poměrně nezajímavé (blízké 0,5), až na hodnotu u Q1. Ta říká, že pokud e-mail není v žádném z pěti blacklistů, je 83procentní šance, že to není spam.

Takže bych zakončil přece jen trochu upraveným nadpisem: „Používejte blacklisty, ale jen jako pomocné vstupy do sofistikovanějších antispamových metod.“