17.06.2007
Złe antyspamy
Antyspam ma za zadanie odsiać śmieci i nie odsiać “pożądanej” przesyłki. Niestety, antyspamy od czasu do czasu się mylą:
- Niektóre śmieci przepuszczają i ludzie muszą sami się nimi zająć. Wg mnie to nie problem.
- Niektóre dobre listy są zabijane przez antyspam. Wg mnie to jest olbrzymi problem i antyspam nie ma prawa dopuścić do takiej sytuacji.
Sytuacja nr 2, to jest false positive, jest zabójcza. Powody:
- nadawca myśli, że list dotarł (nie ma zwrotu), i czeka na odpowiedź
- odbiorca nic nie dostał, więc nie ma dla niego tematu
- o ile odbiorca nie korzysta z antyspamu wrzucającego niechciane listy do skrzynki “spam” oraz nie zagląda tam co pewien czas, żaden z nich nigdy nie dowie się, że antyspam ten list odrzucił, sam z siebie
Przykład ilustrujący, jak krytycznie to wpływa na codzienność użytkowników:
Codzienna wymiana e-maili w środowisku biznesowym. X rozmawia z Y na jakiś temat przez telefon albo osobiście wymieniają się wizytówkami. Umawiają się na kontakt emailowy. X wysyła email do Y i prosi w nim o odpowiedź. List zostaje zabity przez antyspam, na przykład ze względu na załącznik oraz słowa w treści, albo dlatego, że jakiś spamer podszywał się pod domenę nadawcy (pech tej firmy) i trafił na czarną listę antyspamu serwera Y.
Po tygodniu X jest wkurzony, że nie dostał odpowiedzi, a Y jest wkurzony, że nie dostał żadnego emaila. Jeśli ludzie są wyrozumiali i się skontaktują (jeśli!), to może to sobie wyjaśnią. Ale źle skonstruowana technologia właśnie spowodowała opóźnienie w biznesie oraz napiętą relację u samego jej początku - niefajnie!
To samo może się zdarzyć u dwóch kontaktujących się już od dłuższego czasu ludzi.
Miałem ten problem z Gmailem już kilkukrotnie. Niektórzy znajomi, do których wysyłałem maile, nie dostali ich i w ogóle nie wiedzieli, że coś im wysyłałem. Nie przeglądali folderu spam (trudno im się dziwić).
Ludzie jeszcze myślą, że to “ich wina”, że to oni “coś źle zrobili”. Co więcej, ponieważ takie działanie antyspamu pozostaje (potencjalnie) niezauważone, to przynajmniej jeden z użytkowników myśli, że wszystko jest OK.
Ale ja nie mam wątpliwości, że nie jest OK. Jedyny dla mnie akceptowalny antyspam to taki, który ma 0% false positive. Może przepuszczać 1/4 spamu, ale nie ma prawa nie dostarczyć mi wiadomości, którą wysłał do mnie mój znajomy czy np. agent firmy, która chce ze mną nawiązać współpracę. Zwłaszcza jeśli to jest pierwszy kontakt (pierwszy i dlatego wrażliwy, także na blacklisty itp., bo antyspam nie ma podstawy do akceptacji listów typu “wysłali do siebie po 2 emaile, więc chyba się znają”).
Dlatego wszędzie, gdzie mogę, wyłączam antyspamy, filtry niechcianej poczty itp. Zbyt wiele razy już się sparzyłem.
Potrzebujesz sekretarki, która codziennie przejrzy folder ze spamem. Nie da się tego zrobić automatycznie.
Ja przede wszystkim nie potrzebuję antyspamów i wolałbym, żeby ich nie było.
A co się ‘da’ zrobić, to temat na dłuższą dyskusję.
Przykładowo, gmail dostał z mojego konta setki maili wcześniej, i to były często długie konwersacje, więc mógł się domyślić, że nie jestem spamerem, tylko zwyczajnym userem. Ale nie zrobił tego i przy którymś z kolei adresacie w domenie @gmail, zapewne tylko dlatego, że w treści i tytule maila użyłem zakazanego słowa ‘poker’, zaklasyfikował mnie jako spamera. Dlatego właśnie antyspam Gmail działa źle, i łatwo go poprawić, żeby działał lepiej. Ale nie chodzi tylko o Gmail i ten przypadek. Przypadków “poczty zaginionej z powodu antyspamu” jest więcej i należy bezwzględnie dążyć do ich wyeliminowania. Czułość antyspamów jest dawno wystarczająco wysoka.
Nie wiem czy takie podejście ma wogóle jakikolwiek sens:
ale gdyby tak antyspam, który wyłapał jakieś podejrzane maile (powiedzmy nie wszystkie, te ewidentnie, w 100% spamowe pomijamy) wysyłał do nadawcy wiadomośc, że poczta zaklasyfikowała sie do spamu?
Widzę minusy oczywiście - przy dużej ilości śmieci, zapchamy jeszcze bardziej łącza, i być może damy spammerom narzędzie do analizy (chociaż w ilu spamach jest prawdziwy reply-to?)
Ucinanie dobrych maili to rzeczywiście olbrzymi problem. Ale wyłączenie antyspamu nie jest dla mnie rozwiązaniem. Codziennie mój antyspam odsiewa około 100 maili. Na kasowanie ich musiałbym poświęcić dziennie X czasu, którego nie mam i którego nie chce mi się marnować.
Wolę w przypadku 1 na 1000 liczyć na życzliwość i domyślność ludzi, że maile czasami nie dochodzą/znikają. Ewentualnie prosić przy super ważnych o potwierdzenie dotarcia - prosta metoda (jak dotarło to jest potwierdzenie, jak nie dotarło to nie ma potwierdzenia).
To rozwiązanie jest chyba mocno niedocenione:
http://www.power.com.pl/en/antispam.html
1.
Apple’owy mail.app ładnie załatwia sprawę
The following type of messages are exempt from junk mail filtering:
- sender of message is in my Address Book
- sender of message is in my previous recipients
- message is addressed using my full name
2.
Problem istnieje też na innym poziomie
(patrz: Exploits Block List (XBL) is a realtime database of IP addresses of illegal 3rd party exploits, including open proxies)
nie tylko w aplikacji klienciej
wystarczy jeden NAT w dużym biurowcu i już się zaczyna…
3.
To o czym piszesz to idealny przykład na Goal Based Design :) Celem administratorów jest “zero spam”. Celem użytkoników (szczególnie biznesowych, gdzie pociąga to za sobą poważne reperkusje) jest “zero false positives”.
Szymon, co do punktu pierwszego - mam dokładnie takie same ustawienia we wtyczce “Antispam Snipper” z mojego TheBat!. Co z tego, skoro w poczcie elektronicznej każdy może sobie wpisać co chce jako “From”. Dostaję więc spamy “wysyłane” z mojego adresu, z adresów znajomych - na to wtyczka też ma sposób czyli analiza innych nagłówków i oczywiście treści. Ale wciąż jakiś margines pozostaje.
Jeśli odrzucimy oczywiste spamy, różne specyfiki ziołowe i przedłużanie tego czy owego - pozostają też spamy w definicji Setha Godina - wszystko niezapowiedziane jest spamem. Dostajesz jakiś newsletter, nie zamawiałeś go - czy filtr antyspamowy ma go wyciąć czy jednak założyć, że mogłeś go zamówić? (ostatnio ten mój wyciął - i słusznie kilkanaście numerów biuletynu “medialine.com.pl”, o którym nigdy nie słyszałem). A co z “prośbami o potwierdzenie” od spamerów, które wyglądają tak samo jak prośby o potwierdzenie z normalnych serwisów.
Moim zdaniem na obecnym poziomie technologii pocztowych nie da się uniknąć ręcznej weryfikacji. Rozwiązaniem byłaby autoryzacja wyższego poziomu czyli cyfrowe podpisywanie wiadomości - ale to się stosuje nadal rzadko.
Jedrzej: taka zapowiedź produktu Power Media do mnie przemawia. “O, oni rozumieją, o co mi chodzi!” :)
Szymon: ok, ale co wynika z tych różnic celów? Właściwie dlaczego celem administratora serwera pocztowego ma być 0 spamu? Administrator ma zapewnić działanie poczty. Jeśli użytkownicy mu marudzą, że dostają spam, robi to, o co proszą. Może im wytłumaczyć (nawet powinien), co to znaczy błąd antyspamu - i niech sobie wybiorą, który błąd jest dla nich gorszy. Wtedy albo włączy jakiś dobry antyspam (i zaryzykuje false positive’y), albo nic nie będzie blokował i niech userzy sobie filtrują. Brzmi dobrze? :)
To co opisałeś to jakiś horror - automat nie może “zabijać” przesyłek, a jeżeli może to zmień/doucz admina.
Najlepszym IMO rozwiązaniem jest antyspam/antyvir w warstwie sesji SMTP - list nie jest przyjmowany przez
serwer jeżeli uzna go za spam. Wtedy nawet w przypadku błędnej klasyfikacji, nadawca na pewno dostanie powiadomienie.