Możliwość blokowania robotów wyszukiwarek sieciowych

Nie każdy robot sieciowy jest odpowiednio zoptymalizowany, przez co dochodzi do sytuacji, w których nadmierna ilość żądań z jednego lub kilku botów jednocześnie jest w stanie spowolnić serwer. Wyniki skanowania niektórych botów trafiają również do serwisów, które często w praktyce nie dają nam żadnych zysków, a sam proces skanowania wręcz szkodzi.

Co to są roboty sieciowe?

Roboty sieciowe (boty, crawlery) to programy zbierające dane z dostępnych w sieci stron. Prostym przykładem może tu być robot Google, który skanuje strony, by później umieścić je w indeksie najpopularniejszej wyszukiwarki internetowej. Wyniki skanowania robotów sieciowych wykorzystywane są również np. do śledzenia zmian na stronach czy zbierania danych o cenach produktów dla porównywarek cen.

Dlaczego akurat Twenga, Yandex, Baidu, Yahoo i Bing?

Głównie przez wysokość obserwowanego wykorzystania zasobów od momentu, gdy roboty te rozpoczynają swoje działanie. Każdy z nich potrafi wygenerować od kilkuset do kilkudziesięciu tysięcy wywołań dziennie, przy czym są to serwisy rzadko wykorzystywane przez polskich internautów. Baidu działa głównie na rynku chińskim, Yandex to wyszukiwarka rosyjska, Twenga i Yahoo są serwisami, których wykorzystanie w naszym kraju jest praktycznie marginalne.
Robot ostatniego z serwisów, Bing, nie jest domyślnie blokowany, gdyż z opisywanych serwisów jest najpopularniejszy (to domyślna wyszukiwarka np. w telefonach opartych na systemie Windows Phone), ale dajemy taką możliwość, gdyż skanuje sklepy z dużą częstotliwością. Wyszukiwarka Bing jest o wiele rzadziej wykorzystywana, niż wyszukiwarka głównego konkurenta - Google. Jeżeli uważasz, że wystarczy Ci indeksowanie w Google, a Bing to niepotrzebne zużycie zasobów, to masz możliwość zablokowania indeksowania przez tą wyszukiwarkę.

Na podstawie analiz wybraliśmy boty, które generują dużą ilość zapytań, wpływając na wykorzystanie zasobów serwera. Skanowanie jest agresywne, a generowane obciążenie niewspółmierne do osiąganych profitów. Wychodząc naprzeciw potrzebom klientów, którzy chcą ograniczyć niepożądany ruch na swoim serwerze, wprowadzamy funkcjonalność, ułatwiającą kontrolę blokady robotów Twenga, Yandex, Baidu, Yahoo i Bing. Jeżeli jednak uważasz, przykładowo, że Twoi klienci trafiają do sklepu dzięki porównywarce cen Twenga, to w każdej chwili możesz pozwolić jej robotowi na skanowanie Twoich stron.

Gdzie znajduje się narzędzie do blokowania robotów?

Wszystkie opcje znajdują się na stronie z edycją pliku robots.txt. W Panelu wejdź w zakładkę MODERACJA -> SEO - Optymalizacja do wyszukiwarek -> Zawartość pliku /robots.txt. Jeżeli chcesz zmienić domyślne ustawienia, zaznacz pole tak lub nie przy odpowiednim robocie, i zapisać zmiany.

Blokada robotów sieciowych