Vlákno názorů k článku Kam kráčí spam? od Michal Kára - No, prave v te "nejake" heuristice. To je...

No, prave v te "nejake" heuristice. To je velmi magicka cast (navic bych tomu asi nerikal heuristika). Jediny algoritmus, ktery mne napada a ma alespon trochu rozumne ospravedlneni, je proste zkouset pridelovat ruznym prvkum ruzna hodnoceni, a vybrat takove rozdeleni, ktere ma na danem vzorku nejlepsi ucinnost. Problem je, ze je to dost casove narocne ;-)

SpamAssassin má proměnnou required_hits, která se může stát referenční hodnotou pro výpočet skóre. Pak vezmete hamy a spamy, porovnáte, jak často se daný prvek nachází v hamech nebo spamech a pomocí nějaké heuristiky rozpočítáte skóre. Jak přesná ta hodnota bude, záleží na vhodně zvolené heuristice.

> hodnocení bayesovského filtru se stejně přepočítává na skóre

Nojo, ale nemusi. Spamassasssin to dela naprosto zvracene. Misto, co by kazdemu "prvku" priradil nejakou pravdepodobnost a zahrnul to vsechno do pravdepobnostniho vyhodnocovani, tak vezme Bayesovskou pravdepodobnost a priradi ji "nejakou" bodovou hodnotu.

Normalni program vezme vystup z Bayese, spocita si pravdepodobnost, ze mail je spam, pravdepodobnost ze neni spam a z toho se rozhodne. A zadne bodovani neni vubec potreba.

To je samozřejmě pravda. Ale na druhou stranu, hodnocení bayesovského filtru se stejně přepočítává na skóre tak, že se přeloží na tagy BAYES_*, které mají přiřazeno určité skóre. To skóre také musí někdo určit a stane se, že mu ujede ruka. Takže nedávno mi třeba po upgradu výrazně klesla účinnost, protože z nějakých důvodů autoři snížili skóre BAYES_*, např. u BAYES_90 to bylo (přibližně) z 4.5 na 2.5.

No, ja bych alespon castecne vysvetleni mel. Podle mne za to muze jeho skorovaci system. U Bayese je to jasne. Kdyz se prvek vyskytuje u 10 zprav a 9 z toho je spam, tak pravdepodobnost, ze dopis s nim je spam, je 0.9 (90%). To je jasne.

Ale kolik by melo byt za takovy prvek bodu v hodnoceni SA? Jeden? Dva? Tri? Pet? 3.4623? A proc zrovna tolik?

To je mi právě také záhadou, proč spamassassin neurčuje váhy jednotlivých tagů (aspoň částečně) podle jejich výskytu v mailech, které dostává pro učení bayesovského filtru. Když to může dělat u slov a adres (auto whitelist), proč ne u jednotlivých tagů?

100% souhlas. Proto jsem vyse psal, ze spamassassin nema moc dobry system hodnoceni. Jednak jsou hodnoty nastrilene +/- od oka a hlavne zpetna vazba je komplikovana (vyzaduje rucni vyhodnoceni, i kdyz by se na to asi dal napsat program). Proto je taky vetsina spamassassinu nastavena +/- stejne a daji se docela uspesne obejit.

Jinak Bayes nemusi hodnotit jen slova jako takova, on muze hodnotit i ruzne "jevy" v tom mailu. (Je samozrejme otazka, co si definujeme pod pojmem "cisty" Bayes ;-)

To je ono, adaptace. Stejně jako se spammeři přizpůsobují měnícím se technikám detekce spamu, musejí se i ty techniky přizpůsobovat měnícímu se charakteru spamu. Statická technika, ať už je to greylisting nebo cokoli podobného, je pouze jednorázová překážka.

Ale u toho mého příkladu nešlo jen o čistý bayesovský filtr, on se také téměř nikdy samostatně nepoužívá. Šlo tam hlavně o rating pomocných kritérií, jako jsou určité nešvary v hlavičkách. Ty jsem musel postupně upravit, defaultně se třeba dával určitý bonus, pokud tam byla hlavička MUA, která ukazovala na Mozillu - jenže i takové spamy už mi začaly chodit. Nebo tam byl nesmyslně vysoký bonus, pokud tam byly hlavičky nějakého systému Habeas SWE - jenže zatímco mi zatím nepřišel normální mail, kde by byly, spamu s nimi už mi přišla spousta. A tak dále.

Proc se to nenauci? Protoze odesilat spam korektne aby obesel graylisting se da. Sice je to urcity problem, ale da se to. Ale zkuste poslat reklamni mail tak, aby nebyl reklamni ;-) Tim dostavate dost zavazne dilema. Pokud bude moc ne-reklamni, tak mozna lepe projde filtry, ale zase zaujme podstatne mene uzivatelu. I kdyz spammeri posilaji obrazky, ktere jsou odkazem jinak (pravdpodobnost, ze takovy mail je spam, mi vychazi 89% ;-), tak porad tam neco je - URL a hlavicky a z tech se da vycist hodne.

Jinak na tom, ze rok a pul stara databaze moc nefungovala, neshledavam nic prekvapiveho ;-) Ten algoritmus je nejak nauceny a pokud ho naucite na vzorku odlisnem od reality, ve ktere ma fungovat, tak proste nemuze fungovat dobre. Spis by bylo zajimave vyzkouset, jak rychle se dokaze adaptovat.

To je zasadni vyhoda tech filtru - jsou adaptabilni a jakmile spammeri "vynaleznou" neco noveho, tak se to rychle nauci. Stejne tak je vyhodou promenlivost databazi. Greylisting je proste jen jeden a kdyz se naucim obchazet jednu instanci, umim obchazet vsechny. Asi by slo naucit se obchazet nejakou instanci Bayesovskeho filtru (s konkretnimi daty). Jenze kazdy uzivatel ma ta data jina. A navic se meni v case.

Asi tak: Bayesovske filtry zacaly v roce 2002. Rozsirily se v roce nasledujicim. Od te doby uz uplynul rok a pul a stale se je spammeri snazi naucit obchazet. Nicmene se jim to jeste nepovedlo ;-)

Možná se to nenaučili, ale rozhodně se to učí. Ze zvědavosti jsem zkusil prohnat pár současných spamů spamassassinem, kterého jsem trénoval na rok a půl starých vzorcích. Úspěšnost byla překvapivě nízká. Spammeři se učí obcházet bayesovské filtry, dnešní spam už se (opticky) podobá normálnímu mailu daleko více než tehdy.

A stejně tak, jako si dávají pozor, aby adresa, z níž spam rozesílají, měla reverzní záznam, tak, jako si dávají pozor, aby to, co vydávají za zpáteční adresu, vypadalo věrorohodně, tak se přizpůsobí i greylistingu. A to jakmile to pro ně bude efektivní, tedy jakmile se rozšíří natolik, aby jim stálo za to ho řešit.

Jedna filozoficka - pokud se spammeri nenaucili obchazet bayesovske filtry, proc by se meli naucit obchazet greylisting? :-)

> Dal ho totiz siri (preposila) vlastnim jmenem.

To zalezi na tom, jak je implementovane preposilani. Nicmene ciste pragmaticky - pokud bys to zacal nabizet a prisli Ti tam novi lide, tak prvni co udelaji, ze si tam zacnou preposilat stare schranky.

> Stejne tak se spammeri naucili obchazet bayesovske filtry.

Ze jsem to nejak nezaregistroval ;-) Ano, snazi se, ale v mnoha pripadech tim spis detekci spamu jeste zjednodusuji (pouzivani modifikovanych slov), nebo jsou jejich metody neucinne (spousta "normalnich" slov v mailu).

Jasne, identifikoval ho uzivatel. Dal ho totiz siri (preposila) vlastnim jmenem.

Zadne reseni neni navzdy. Stejne tak se spammeri naucili obchazet bayesovske filtry. Nicmene Greylisting je reseni, ktere ted a tady funguje. Tak proc ho nenasadit?

> Jenze pokud mi chodi zpravy, ktere nekdo uz jsem identifikoval, jako ze mi
> patri, pak nemam pravo je odmitat.

A on je nekdo tak identifikoval? O tom mailserver nemuze nic vedet. Samotnym preposlanim se "spam status" mailu nezmeni. Samozrejme muzes (ba dokonce v Tvem pripade musis ;-) ) rict, ze na preposlane zpravy antispam nefunguje. Ale podle mych zkusenosti z toho uzivatele moc velkou radost nemaji ;-)

> I ze strany ostatnich uzivatelu dotycneho systemu jsem neslysel stiznosti.

Jo, to Ti neberu, pokud Ti to vyhovuje, tak zadny problem. Ja jen rikam, ze stiznosti uslysis az se nekdo pokusi subscribnout si konferenci z blacklistovaneho serveru, nebo se greylisting rozsiri tak, ze se spammerum vyplati ho obchazet...

Ad preposilani: Mam konto na serveru, ktery implementuje greylisting. Necham si tam preposilat maily z jine schranky, kam chodi mimo jine i spamy. Ale Tvoje greylisting ochrana bude vsechny spamy propoustet...
Ano, to je pravda. Jenze pokud mi chodi zpravy, ktere nekdo uz jsem identifikoval, jako ze mi patri, pak nemam pravo je odmitat.

Muj antispam na Gigacentru pracuje bleskove a docela ucinne.
Blahopreju. Koneckoncu dobre zbozi se chvali samo :-)

Stav u sebe jsem uz nekolikrat popisoval a jsem plne spokojen. Sice kolem sebe nemavam predponami jako GIGA, nicmene to celkem funguje ... I ze strany ostatnich uzivatelu dotycneho systemu jsem neslysel stiznosti.

Ad preposilani: Mam konto na serveru, ktery implementuje greylisting. Necham si tam preposilat maily z jine schranky, kam chodi mimo jine i spamy. Ale Tvoje greylisting ochrana bude vsechny spamy propoustet...

Ad MUA: Kardinalni otazka: Chceme, aby uzivatele pouzivali stejnou znalostni databazi? Odpoved podle meho neni vubec jednoznacna. Rozhodne dobra osobni databaze je lepsi, nez jakakoli obecna (zas na druhou stranu obecna databaze ma vyhodu, ze ji nemusim ucit). Integrace s MUA je u uceni prakticky nezbytna, jinak je uceni zbytecne obtezujici (preposilani mailu), nemluve o tom, co dela preposilani s hlavickami...

Spamassassin:
1) Pouziva neprilis vhodne bodovaci schema (at uz se jedna o kombinaci bodu nebo urceni bodove hodnoty)
2) Rozhodne neni napsan s ohledem na vykon

Muj antispam na Gigacentru pracuje bleskove a docela ucinne.

> abych zadne SPAMy nedostaval do sveho MUA. A ne, abych mel plny
> folder s nazvem "pravdepodobne SPAMy"

Pak budes muset nejspis svemu mailserveru poridit kristalovou kouli ;-) Je to neco za neco... Pokud chces likvidovat false positiva, tak se bez takoveho folderu neobejdes (a samotne stahovani spamu zas tolik provozu neudela - nastesti).

A jeste jedna nevyhoda greylistingu mne napadla - neumi osetrit preposilani - kdyz si nechavas preposilat postu z nekolika shcranek do jedne.
Uff? Co myslis tim "osetrit preposilani"?

Implementaci filtru v MUA prichazis o to, aby uzivatele pouzivali stejnou znalostni bazi. Navic ty e-maily musis stahnout (a to Ti zere konektivitu).

BTW netusim, co znamena "kdyz se to dobre napise". Je mozne, ze spamassasin je spatne napsany, ale spamasassin uzivatelu, kteri maji velke bayesovske databaze, dokaze potrapit server vic nez cely greylisting.

Problem s behem antispamu na desktopu jsem popsal vyse. Nevim jak pro Tebe, ale pro me je idealni stav, abych zadne SPAMy nedostaval do sveho MUA. A ne, abych mel plny folder s nazvem "pravdepodobne SPAMy".

Viz muj nedavny clanek o DomainKeys + nasledna diskuse ;-)

Ad retry: No prave, takze se muze stat, ze se mail klidne nekolik hodin nebo den zdrzi.

> Hakcle pocitace nebudou delat retrying posty. Ony se snazi poslat hlavne
> neodeslane e-maily. A provoz, ktery je vygenerovan, neni trivialni, takze je
> pocitac skoro vzdy odstrizen drive, nez rozesle celou davku.

Tomuhle neodporuji, jen by mne zajimalo, jestli je to bezna praxe mezi ISP.

Ad blacklisty: Nojo, ale natvrdo odstrihavat blacklistovane stroje je proste neunosne :-| To si treba neprectes zadnou konferenci z klokan.sh.cvut.cz...

A jeste jedna nevyhoda greylistingu mne napadla - neumi osetrit preposilani - kdyz si nechavas preposilat postu z nekolika shcranek do jedne.

> Ucici se filtry jsou sice ucinne, ale jejich implementace neni obvykle trivialni

Staci v MUA. Princip je jednoduchy, co je trochu slozitejsi je parsing mailu. Ale ten maji MUA vetsinou zvladnuty.

> Navic prave ony zerou hodne vypocetni kapacity.

Kdyz se to dobre napise, neni to zas tak strasne. A navic muzou bezet na uzivatelove pocitaci (desktopu), ktery ma vykonu vetsinou dostatek.

potom ti pocet spamov prerastie cez hlavu - rozumej stupne nad moznosti stroja a tie narocne skripty srotiace kazdy jeden mailik odrazu zahltia celu masinku a ty stiahnes chvost a vyhlasit bankrot svojho hw vybavenia.

ver, ze sme od toho naozaj blizko, citaj clanok - cim viac filtrujes, tym viac spamu je potrebne na dosiahnutie istej hranice rentability spamovania.

a oni kvoli tomu, ze mas filtre s 99.9% ucinnostou PROSTE neprestanu aj teba ostrelovat mailami, kedze tych, co nemaju filtre ziadne je dost. A aj to tvoje .01% im bude stacit na to, aby neprestali.

a ty proste nakoniec zistis, ze tvoj mailovy server je farma 20 strojov navzajom sa istiacich, a to vsetko pre firmu s 20 mailovymi schrankami ;-)

nie.

problemom spamu je, ze jeho povodca je elektronicky nevypatratelny a prakticky nepostihnutelny.

ano, niekde v spame je uvedeny kontakt, lenze pre stroje bezcenny.

stroj, pokial ma realne automaticky postihnut povodcu spamu "zablokovanim", musi vediet, jeho sietovu identitu.

u mailu to docielis jedine tak, ze sa vytvori zavislost - e-mailova adresa v hlavicke uvedena ako odosielatel + prvy doveryhodny SMTP server na ktory to MUA posiela. Pokial uzna tento SMTP server mail za "ok", tak ho oznaci dohodnutou znackou. Prijimajuci SMTP server (cize server adresata mailu) sa na zaklade tejto znacky rozhodne sam, co bude s tym mailom robit.

Cely tento proces sa vola inak aj elektronicky podpis - asymetricka sifra. Ono to nie je len to "PGP" - elektronicky podpis moze mat kludne server, zariadenie, software. Otazkou je len vybudovanie nezavislej a nepodkopatelnej siete certifikacnych autorit (co uz vlastne je) a rozsirenie dohodnutej metodiky podla akej sa takato technologia nasadi.

Musime si vazne naliat cisteho vina:

- spam sa oplati a bude sa oplacat, nicim to nezrusime - vzdy bude mat odozvu a vzniknu klienti. problem je v tom, ze popri tom vznika velmi vela bordelu, ktory platia vsetci ostatni.

- filtrovanie spamu nech je metoda akokolvek sofistikovana je len liecenim nasledkov a nie pricin.

- riesenie pricin je odstranenie dovodov vzniku spamu, co je velmi tazke - motivacia tu podla prveho bodu cisteho vina vzdy bude - lenze mal by nastat aj dost podstatny mechanizmus akym sa spriehladni "povodca" e-mailu - netreba sa toho bat, nejde o osobne data, proste e-identita a o restrikciach sa rozhoduje cielovy server.

- nepomoze ani system "platenia" za kazdy odoslany mail - to su rozpravkovo sprostucke napady.

- samozrejme postoj ku spamu je v spolocnosti skor laxny - proste vacsina "maze" a venuje sa inym problemom (zvycajne totiz ocakava, ze to proste niekto vyriesi, predlozi, nasadi, otestuje). Nemozno u vacsiny, aj ked trpi, ocakavat ani moralnu podporu. Lenze na druhu stranu "hotovu vec" prijmu s uspokojenim. To ze parta IT vzdelancov krici, ze spam je hrozna vec je malym krikom v tichu ;-)

- neexistuje ani sposob akym prevychovat pouzivatelov a s tymto treba pocitat. Ziadnu zodpovednost pri ich spravani sa pri mailovani nemozno ocakavat a viacmenej sa to zhorsuje tak, ako e-mail prenika cim dalej viac medzi vrstvy, pre ktore je "ten e-mail" nejaka webstranka na internete.

Pre implementaciu elektronickeho podpisu nie je nutne ani rusit existujuci SMTP protokol - proste server, co nevie citat znacky (elek. podpis servera) proste nadalej maily spracuje a doruci. Ale stroje, ktore to vedia, si navzajom budu vediet podat hodnotnu informaciu o povode mailu a tym padom si stanovit stupne ochrany.

Ma niekto radikalne odlisny a lepsie funkcny napad?

Cas, kdy druha strana udela retry neovlivnim, nicmene na sve strane chovani ovlivnit muzu (takze druha strana muze dorucovat uz po hodine, dni nebo tydnu).

Hakcle pocitace nebudou delat retrying posty. Ony se snazi poslat hlavne neodeslane e-maily. A provoz, ktery je vygenerovan, neni trivialni, takze je pocitac skoro vzdy odstrizen drive, nez rozesle celou davku.

Open Relaye greylisting nezastavi, to sem to nejak zmotal. Open Relaye zastavi blcklisty :-)

Ucici se filtry jsou sice ucinne, ale jejich implementace neni obvykle trivialni a navic prave ony zerou hodne vypocetni kapacity.

Ja mam momentalne na serveru nasazeny greylisting a jeste za nim osobniho spamasassina. Denne dojde jeden spam, false positive je tak jeden do mesice a dalsich pet spamu denne je ve folderu SPAM.

> To 1% je spatne, ale i to se zcela jiste da snizit.

Za cenu snizeni ucinnosti nekam dale k nule... (A je to cca 1.3%, byt ten vzorek si nedela narok na to byt reprezentativni.)

> Nejsem si jisty, ze zvysuje zatez serveru. Server NEMUSI dorucovat mraky posty.

V tom mas pravdu.

> Postu zpomali tak, jak ho nastavis :-)

No, cas mezi tim, nez druha strana udela retry neovlivnis, ne?

Nevidim duvod, proc by hackle pocitace nemohli delat retry dorucene posty. Ani si ty maily nemusi stosovat, proste si u adresy poznamenaji, ze byli docasne odmitnuti, a za nejaky cas poslou mail zase. A open relaye naopak greylisting nezastavi, ne? Ti dopis prijmou, zkusi poslat, kdyz neprojde ulozi a zkusi za chvili zase.

Jinak ucici se filtry zalozene na statistice (bayesovske i jine) jsou docela dost ucinne a je hodne tezke je obejit. Naopak casto se tim obchazenim spis ulehci rozpoznani spamu (obcas nekdo muze dostat legitimni mail se slovem porn, ale se slovem p0rn uz dost tezko ;-)

Jenze ja nepsal, ze pouziju jen blacklisty - ja to pouziju v kombinaci s greylistingem. To 1% je spatne, ale i to se zcela jiste da snizit.

Postu zpomali tak, jak ho nastavis :-) Po nejakem jednom mesici je mnozstvi zpozdenych e-mailu nemeritelne.

Nejsem si jisty, ze zvysuje zatez serveru. Server NEMUSI dorucovat mraky posty.

Neni problem ho obejit, jenze za soucasne situace ten system funguje.

Samozrejme, az spammeri zacnou pouzivat nejake jine metody nez hackle pocitace ci open relays, pak to bude problem. Pokud hledas svaty gral, ktery Ti navzdy vyresi problem se spamem, tak ver, ze ho nenajdes.

Tedy pokud si nekoupis nasi ultimatni horstovu antispamovaci © ™ sluzbu (pokus o marketing) :-)

Ty vyhrady prameni z neceho jineho ;-) Pro NC zas delam a mimo jine i antispam a v nem se berou v uvahu take blacklisty. Ted jsem si udelal malou statistiku. Pouzivame nekolik ruznych blacklistu a kombinovana ucinnost je pod 30%, false positive rate pres 1%. Opravdu nic moc :-)

Proti graylistingu mam nasledujici:
1) Zpomaluje postu (BTW, nemeril jsi, o kolik?)
2) Zvysuje zatez serveru
3) Neni zas takovy problem ho kompletne obejit

K tomu obchazeni - byly doby, kdy se 90% spamu dalo vyloucit ciste kontrolou na korektnost hlavicek atp. Spammeri se proto naucili delat hlavicky spravne.

Byly doby, kdy stacilo odfiltrovat vsechny maily z ne-cz domeny (samozrejme pokud jste komunikovali pouze v CZ). Ted to moc nefunguje, protoze spousta spamu je ze stejne domeny, ve ktere je adresa (asi si i lide davali filtry "vsechno z nasi spolecnosti je OK").

Stejne tak pokud se greylisting dostatecne rozsiri, tak prestane byt ucinny a prevazi nevyhody 1 a 2.

A to nezminuji problemy s udrzovanim databaze odmitnutych mailu a jeji synchronizace v pripade, ze ma domena vic MX...

preklep - melo byt greylisting :-)

preklep - melo by greylisting :-)

Ja chapu, ze jako byvaly zamestnanec firmy, ktera provozuje freemail, mas proti blacklistum "jiste vyhrady".

My momentalne na celkem vytizenem stroji provozujeme graylisting a objem SPAMu klesl nasobne (treba ja jsem drive dostaval stovky SPAMu za den, zatimco dnes jednotky). Inspirovalo me to a premyslim, zda by nemelo smysl nabidnout to jako placenou sluzbu. Zatim je problem s tim, ze neni kdo by tomu delal marketing a propagaci :-)
(pripadni zakaznici, hlaste se :-) )

Předpokládám, že po nějakém čase by se SPAMeři mohli serveru s těmito opatřeními vyhýbat.

Rozumny blacklist? To je neco jako cestny politik... Vsichni o nem mluvi, ale nikdo ho nikdy nevidel ;-)))

S blacklisty mam docela zkusenosti. Samozrejme k necemu jsou, ale rozhodne nelze natvrdo blokovat postu z blacklistovanych serveru. To je jako blokovat jakykoli dopis, ve kterem je slovo (treba) "offer". BL maji smysl jako poradni hlas. Casto se na ne napriklad dostavaji listservery.

Jenze pote, co to dotycny zkusi znova, uz muze byt klidne na nejakem blacklistu :-)

Greylisting a rozumne blacklisty jsou resenim, ktere vytesni spammery od zneuzivani open relays.

Ale kdeze. Ve chvili, kdy by se podobne metody vice rozsirily, tak by spammerum stacila opravdu jen mala chvile na to, aby proti podobnym ochranam vyvinuli ucinne protiopatreni.

Samozrejme by jim to zvysilo naklady, ale nemyslim si, ze by to bylo nejak vyrazne.

Greylisting je jenom o tom, ze je potreba mail poslat za nejakou chvili kdyz se to nepovede, coz by nakonec vedlo akorat k tomu, ze by cilove MTA mely vyssi pocet spojeni, protoze nejrychlejsi metoda je to zkouset porad dokolecka.

Teergrubbing je take velmi snadne detekovat a takove spojeni zavrit. Staci pocitat radky v odpovedi a kdyz jejich pocet preroste rekneme 20, tak spojeni uzavrit.

O.

Nevyřešilo by problematiku SPAMu hromadné nasazení Greylistingu a teergrubingu?