Zabójca spamu

Dziś dalsza część o pisaniu własnych reguł. W w części pierwszej było o zasadzie zero dziś podstawy z wyrażeń regularnych Perla. Potężne narzędzie i dość skomplikowane na szczęście aby je używać w spamassassinie nei trzeba znać ich bardzo dobrze, ponieważ wystarczą podstawy.

Czym są wyrażenia regularne (RegExp)? Nie chodzi o dokładną definicje, powiedzmy, że opisem ciągu tekstowego. Możemy zdefiniować wyrażenie które będzie pasowało do wielu wersji tekstu. Przykłady to lepiej wyjaśnia. Chcemy sprawdzić czy e tekście występuje slowo Adam. Wyrażenie regularne wygląda

/Adam/

i pasuje ono do ciągów: ‚Adam’, ‚Adamowski’, ‚bardzo zły Adam‚. ‚Adamowicz’. itd. Od razu należy nadmienić ze regexpy rozróżniają wielkość liter o czym nalezż pamiętać. /Adam/ nie będzie pasować do słowo preadamita bo nie ma wielkiego A.

Jak to działa? Maszyna wyrażen regularnych zaczyna szukanie przed pierwszym znakiem tekstu. To ważne bo można wstawić znacznik, aby text był na początku. I pożniej próbuje dopasować tekst. Jak nie uda się idzie dalej i po kolei dopasowuje(próbuje). Aż do końca albo do dopasowanie. A co jak mamy tekst Adam z cyfrą na końcu? Trzeba 9 wyrażeń regularnych? Otóż nie. Mówimy znajdź Adam i cyfrę. Wygląda to tak

/Adam\d/

znacnzik \d oznacza 1 cyfrę. I już możemy dopasować Adam1,Adam0,Adam1998. W ostatnim przykładzie zostanie dopasowane pierwsza cyfra. takich klas znaków jest trochę

.	Dowolny znak z wyjątkiem znaku nowej linii
\d	Dowolna cyfra
\D	Dowolna znak nie będący cyfrą
\s	Dowolny biały znak
\S	Dowolny znak nie będący białym znakiem
\w	Dowolny znak alfanumeryczny (litera lub cyfra) lub znak _
\W	Dowolny znak nie będący znakiem alfanumerycznym

Ważny jest symbol kropki , pasuje do każdego znaku. A co jeśli chcemy dopasować kropkę? trzeba użyć symbolu \

/\./

oznacza dopasowanie kropki.. Oprócz tego możemy sami definiować znaki

[a-z] oznacza male litery, [A-Z} wielkie litery, [A-Za-z] male i wielkie, [a-z.] oznacza male i kropkę(w klasach znaku nie musimy dodawać  przed kropką))

A co z ilością powtórzeń? Sa od tego kwantyfikatoiry które oznaczają

Kwantyfikator	Dopasowanie
*	0 lub więcej wystąpień
+	1 lub więcej wystąpień
?	0 lub 1 wystąpienie
{m}	dokładnie m wystąpień
{m,}	co najmniej m wystąpień
{,n}	co najwyżej n wystąpień
{m,n}	od m do n wystąpień
[…]	jeden znak spośród zbioru znaków
[^…]	jeden znak spoza zbioru znaków
A | B	dopasowanie A lub B, operator alternatywy jest zachłanny

 

I tyle wystarczy do pisania reguł do spamassassina. I ostatnie. Rgexpy rozróżniaja wielkośc liter jak chcemy to wyłączyć używamy znacznika i

/adam/i     będzie pasować do Adam adam, AdAm itd

Przykłady

Jest sobie temat maila który składa się ze słowa Wezwanie do zapłaty i cyferki np

Wezwanie do zaplaty 2016/03/00345 wyrażenie regularne będzie wyglądać następująco:

/Wezwanie do zaplaty \d\d\d\d\/\d\d\/\d\d\d\d\d/ w ten sposób określiliśmy dokładnie ile ma być cyfr. A co jeśli się zmieni liczba cyfr? wtedy reguła nie spasuje i spam przejdzie. Trzeba to uogólnić:

/Wezwanie do zaplaty \d+\/\d+\/\d+/ między znakami / może wystapić dowolna liczba cyfr (ale co najmniej jedna). Która jest lepsza? Pierwsza jest wycelowana dokładnie w jeden rodzaj spamu i nie wychwyci delikatnej zmiany. druga uogólniona może wychwytywać dobre maile(w końcu wezwanie do zapłaty może być w mailu). Ten przykład zostanie rozbudowany w następnej częsci.Możemy sie bawić w dawanie większej ilości spacji miedzy wyrazami

/Wezwanie +do +zaplaty +\d+\/\d+\/\d+/ czyli wystepuje 1 lub więcej spacji. ale można iśc dalej i zamiast spacji dać białe znaki

/Wezwanie\s+do\s+zaplaty\s+\d+\/\d+\/\d+/ hmmm i wszystko gra tylko czym bardziej komplikujemy wyrażenie regularne tym ono jest dłużej przetwarzane. regexpy są wydajne ale wykonują się w czasie wiekszym jednak od zera:)

Kilka uwag:

• jeśli jest kropka to piszmy \. a nie sam znak . Oba spasują lecz szybciej będzie sprawdzony znak \.
• zapisując rok w postaci 4 cyfr można napisac : \d\d\d\d jak i \d{4}, jak dla mnie czytelniejszy jest pierwszy zapis który jest samodokumentujący się
• pamietajmy ze dodanie znacnzika /i (brak rozróżnienia wielkości liter) spowalnia proces. Nieraz to niezbędne ale uzywajmy tam gdzie naprrawdę potrzeba.
• polskie litery jak chcemy zaznaczyć można /.{1,8}/ w różnych kodowaniach spasuje

Warto poczytać o tym zagadnieniu ale jak ktoś nie zna wyrażeń wystarcza podstawy. Pamiętajmy, że SA używa wersji Perla.W następnych częściach będzie o tym i nie tylko:)

Każdy może poszukać w necie materiałów na ten temat. Dobry startem jest strona podstawy wyrażeń (wystarczy skończyć na zachłannosci operatorów). Ale oólnie polecam zaznajomienie jest tym ciekawym narzędziem