Jak chronić swoje zaplecze

Niewątpliwie dużo jest osób, które działają w sposób nieetyczny, piszą różnego rodzaju roboty i crawlery, które przeszukują internet szukając ofiar i działają na szkodę m.in. właśnie osób, które skrzętnie i z mozołem tworzą swoje wsparcie zapleczowe dla stron internetowych docelowych. Jak zatem chronić swoje zaplecza przed działaniami takich osób? O tym postaramy się odpowiedzieć w poniższym artykule. Zapraszamy do lektury!

Robots.txt czy htaccess?

            Dobrym sposobem jest ograniczanie wejścia przez różne niechciane roboty w pliku zwanym robots.txt, wszak jeszcze lepszym rozwiązaniem jest niewątpliwie wpisanie w pliku htaccess niechcianych robotów, ponieważ zawsze mamy pewność, że od strony serwera taki plik będzie przeczytany i zaakceptowany, podczas gdy od strony pliku robots.txt nigdy nie mamy takiej pewności.

A może by tak dać dostęp wybranym botom?

            Słusznie, lepiej było by napisać i taki plik, w którym dajesz dostęp, nie musisz wtedy martwić się, że z jakiejś innej lokalizacji wejdzie na stronę inny robot i zacznie spamować. Warto zatem przemyśleć sprawę, które roboty powinny być dodane do listy. Najlepiej jest dodawać tylko takie boty, które są nam znane i pewne np. Google, Yahoo, Bing, Msn i właśnie te pozycje warto jest wpisać w naszym pliku, który może wyglądać przykładowo tak:

SetEnvIfNoCase User-Agent .*google.* search_robot

SetEnvIfNoCase User-Agent .*Msn.* search_robot

SetEnvIfNoCase User-Agent .*yahoo.* search_robot

SetEnvIfNoCase User-Agent .*BingBot.* search_robot

SetEnvIfNoCase User-Agent .*Mozilla.* search_robot #przeglądarki

Order Deny,Allow

Deny from All

Allow from env=search_robot

Jak widzisz, mamy wpisane tylko te opcje, które są mile widziane, reszta robotów nie będzie miała dostępu do strony. Aby sprawdzić, czy dana kombinacja wpisana w pliku htaccess działa, trzeba wpisać taką linijkę kodu: curl -A „AhrefsBot” http://www.twojanazwadomeny.pl

To wszystko, teraz może sprawdzić, czy plik jest czytany a następnie możesz spać spokojnie, mając pewność, że żaden spam-bot nie wejdzie na stronę zaplecza i nie zaspamuje komentarzy na stronie.  Błędem, który powinien się pojawić jest oczywiście 403 i tak ma być. Bywa czasami jednak też, że na niektórych serwerach będziesz musiał dodać jeszcze linijkę z zapytaniami dla przeglądarek, tak aby poprawnie wszystko czytały.

Podsumowanie

            Niewątpliwie warto jest dbać za wczasu o kondycję swoich stron zapleczowych, tak aby nie dać się zaspamować i mieć dużo przy tym pracy. Wiele osób zaniedbuje ten fakt i dopiero po fakcie zaczyna działać, często mało profesjonalnie próbując instalować różnego rodzaju dodatki do swoich stron zapleczowych bazujących np. na Wordpress itp., itd. Jak się jednak okazuje tego typu działania dodatkowo obciążają niepotrzebnie strony i sam serwer co też ma wpływ na szybkość  ładowania strony i jak wiadomo nie jest to dobre rozwiązanie, bo jak widzisz można sobie z tym problemem poradzić dużo lepiej. Tak i ty możesz być mądry za wczasu i poradzić sobie z tym zagadnieniem profesjonalnie!